EVROPSKA KOMISIJA

Bruselj, 18.8.2022

COM(2022) 414 final

Priporočilo

SKLEP SVETA

o odobritvi začetka pogajanj v imenu Evropske unije za konvencijo Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi

OBRAZLOŽITVENI MEMORANDUM

OZADJE PREDLOGA

Umetna inteligenca ponuja številne priložnosti za družbo, okolje in gospodarstvo. Hkrati pa lahko nekatere vrste umetne inteligence glede na okoliščine v zvezi z njenim posebnim namenom uporabe povzročijo materialno ali nematerialno škodo in tveganje za javni interes ter temeljne pravice in svoboščine posameznikov. Usklajen pravni okvir za umetno inteligenco, ki ščiti take javne interese in temeljne pravice ter hkrati spodbuja zaupanje in inovacije, je zato ključnega pomena za obravnavanje navedenih izzivov in izkoriščanje potenciala umetne inteligence.

Evropska komisija je aprila 2021 predlagala celovito uredbo na področju umetne inteligence, s katero bi se uskladila pravila za umetnointeligenčne sisteme v vseh 27 državah članicah EU 1 . Evropski parlament in Svet se trenutno pogajata o predlogu v skladu z rednim zakonodajnim postopkom. Različne mednarodne organizacije, vključno s Svetom Evrope, so prav tako okrepile svoja prizadevanja na tem področju, pri čemer priznavajo čezmejno naravo umetne inteligence in potrebo po mednarodnem sodelovanju za reševanje skupnih izzivov.

Odbor ministrov Sveta Evrope je 11. septembra 2019 sprejel odločitev o ustanovitvi posebnega odbora za umetno inteligenco 2 . Njegova naloga je bila preučiti izvedljivost in možne elemente pravnega okvira o razvoju, oblikovanju in uporabi umetne inteligence ob upoštevanju standardov Sveta Evrope na področju človekovih pravic, demokracije in pravne države ter ustreznih obstoječih mednarodnih pravnih instrumentov 3 . Delo posebnega odbora za umetno inteligenco je temeljilo na študiji izvedljivosti 4 in posvetovanju z več deležniki, opravljenem spomladi leta 2021 5 . Posebni odbor za umetno inteligenco je nalogo dokončal 3. decembra 2021, pri čemer je pripravil končni dokument, v katerem so bili opredeljeni morebitni elementi takšnega pravnega okvira 6 . V dokumentu je navedeno, da je za razvoj, oblikovanje in uporabo sistemov umetne inteligence potreben pravni instrument, ki bo vseboval temeljna načela varstva človekovega dostojanstva ter spoštovanja človekovih pravic, demokracije in pravne države. Instrument naj bi določal vzpostavitev metodologije za razvrstitev tveganj umetnointeligenčnih sistemov s kategorijami „majhno tveganje“, „veliko tveganje“ in „nesprejemljivo tveganje“. Uporabe umetne inteligence, ki pomenijo „nesprejemljivo“ tveganje, bi morale biti prepovedane 7 . Da bi se izognili neupravičeni pristranskosti, bi bilo treba vključiti določbo o spoštovanju enakega obravnavanja in nediskriminacije. Pravna jamstva naj bi zagotavljala vsaj pravico do učinkovitega pravnega sredstva pred nacionalnim organom, pravico do obveščenosti o uporabi umetnointeligenčnega sistema v postopku odločanja, pravico do izbire interakcije s človekom in pravico do tega, da uporabnik ve, da je v stiku z umetnointeligenčnim sistemom. Specifična vprašanja, kot je manipuliranje z vsebino (t. i. globoki ponaredki), pa naj bi bila obravnavana v drugih sektorskih instrumentih. Razmisliti bi bilo treba o zahtevi za vzpostavitev mehanizmov za zagotavljanje skladnosti in nacionalnih nadzornih organov. Pravni instrument bi lahko bil dopolnjen z nezavezujočim modelom ocene učinka.

Za obdobje 2022–2024 je bil oblikovan odbor za umetno inteligenco, ki je naslednik posebnega odbora za umetno inteligenco. Odbor za umetno inteligenco ima v skladu s svojimi pristojnostmi 8 nalogo, da vzpostavi mednarodni pogajalski proces, namenjen oblikovanju pravnega okvira za razvoj, oblikovanje in uporabo umetne inteligence. Okvir naj bi temeljil na standardih Sveta Evrope na področju človekovih pravic, demokracije in pravne države ter spodbujal inovacije. Osnutek okvira naj bi bil pripravljen do 15. novembra 2023, sam okvir pa naj bi bil dokončan do prenehanja delovanja odbora za umetno inteligenco v letu 2024. Odbor za umetno inteligenco naj bi pri izvajanju svojih pristojnosti svoje delo usklajeval z drugimi medvladnimi odbori in subjekti Sveta Evrope, se pri svojem delu opiral na trdne dokaze in vključujoče posvetovanje, vključno z mednarodnimi in nadnacionalnimi partnerji, ter upošteval končni dokument posebnega odbora za umetno inteligenco.

Odbor za umetno inteligenco je na svoji ustanovitveni seji, ki je potekala od 4. do 6. aprila 2022, izvolil predsednika, podpredsednika in predsedstvo odbora. Odbor ministrov Sveta Evrope je 30. junija 2022 odboru za umetno inteligenco naročil, naj „v skladu s svojimi pristojnostmi hitro začne pripravo pravno zavezujočega prečnega instrumenta (v nadaljnjem besedilu: konvencija ali okvirna konvencija) o umetni inteligenci, ki bo temeljil na standardih Sveta Evrope na področju človekovih pravic, demokracije in pravne države, ki bo osredotočen na splošna skupna načela, ki bo spodbujal inovacije in bo odprt za sodelovanje tretjih držav, ob upoštevanju drugih ustreznih mednarodnih pravnih okvirov, ki že obstajajo ali so v pripravi“ 9 .

Predsednik odbora za umetno inteligenco je nato predložil predhodni osnutek prihodnje (okvirne) konvencije, ki določa temeljna načela in pravila za zagotavljanje, da so oblikovanje, razvoj in uporaba umetnointeligenčnih sistemov skladni s spoštovanjem človekovih pravic, delovanjem demokracije in spoštovanjem pravne države. Prihodnjo (okvirno) konvencijo bo treba izvajati v zadevnih jurisdikcijah pogodbenic. Področje uporabe zajema javne in zasebne ponudnike ter uporabnike umetnointeligenčnih sistemov, ne vključuje pa umetnointeligenčnih sistemov, povezanih z nacionalno obrambo. V predhodnem osnutku je predlagana vključitev naslednjih določb:

·namen in področje uporabe (okvirne) konvencije;

·opredelitve pojmov umetnointeligenčni sistem, življenjski cikel, ponudnik, uporabnik in „umetnointeligenčni subjekt“;

·nekatera temeljna načela, vključno s postopkovnimi zaščitnimi ukrepi in pravicami za umetnointeligenčne subjekte, ki bi veljala za vse umetnointeligenčne sisteme, ne glede na njihovo stopnjo tveganja;

·dodatni ukrepi za javni sektor in umetnointeligenčne sisteme z „nesprejemljivo“ ali „pomembno“ stopnjo tveganja, opredeljeno na podlagi metodologije ocene tveganja in učinka (ki naj bi bila določena pozneje v prilogi h konvenciji);

·mehanizmi nadaljnjega spremljanja in sodelovanja med pogodbenicami;

·končne določbe, vključno z možnostjo, da države članice EU v okviru medsebojnih odnosov uporabljajo pravo EU za zadeve, ki jih zajema konvencija, in možnostjo, da h konvenciji pristopi Unija.

Predhodni osnutek bo obravnavan na plenarnih zasedanjih odbora za umetno inteligenco v Strasbourgu, ki sta predvideni 21.–23. septembra in 23.–25. novembra 2022. Predvidene so tudi štiri seje v letu 2023 in ena v letu 2024.

•Razlogi za predlog in njegovi cilji

To priporočilo za sklep je predloženo Svetu v skladu s členom 218 Pogodbe o delovanju Evropske unije (PDEU). S sklepom bi se podelilo pooblastilo za začetek pogajanj v imenu Unije za prihodnjo konvencijo Sveta Evrope na področju umetne inteligence, človekovih pravic, demokracije in pravne države, da bi se sprejele pogajalske smernice in Komisija imenovala za pogajalca Unije.

Člen 3(2) PDEU določa, da ima Unija izključno pristojnost „za sklenitev mednarodnega sporazuma, [...] kolikor lahko vpliva na skupna pravila ali spremeni njihovo področje uporabe“. Mednarodni sporazum lahko vpliva na skupna pravila ali spremeni njihovo področje uporabe, kadar se področje, ki ga zajema sporazum, prekriva z zakonodajo Unije ali je v veliki meri zajeto s pravom Unije 10 .

V zvezi s tem pravo EU določa celovit sklop skupnih pravil za enotni trg za izdelke 11 in storitve 12 , za katere se lahko uporabijo umetnointeligenčni sistemi. Poleg tega lahko razvoj in uporaba nekaterih umetnointeligenčnih sistemov vplivata na uveljavljanje temeljnih pravic, zapisanih v Listini EU o temeljnih pravicah 13 in sekundarni zakonodaji EU, med drugim na primer pravice do telesne in duševne celovitosti 14 , varstva osebnih podatkov 15 , zasebnosti 16 , nediskriminacije 17 , svobode izražanja in obveščanja 18 , domneve nedolžnosti 19 , nepristranskega sodišča in učinkovitega pravnega sredstva 20 . Takšen razvoj in uporaba lahko vplivata tudi na vrednote, na katerih temelji Unija, vključno s človekovim dostojanstvom, demokracijo in pravno državo 21 .

Poleg tega je treba za oceno, ali je zadevno področje večinoma zajeto s pravom EU, upoštevati ne le trenutno veljavno pravo EU na zadevnem področju, temveč tudi njegov prihodnji razvoj, kolikor je predvidljiv v času analize 22 . Področje, zajeto s prihodnjo konvencijo Sveta Evrope o umetni inteligenci, je neposredno povezano s takšnim predvidenim prihodnjim razvojem, ob upoštevanju predloga Komisije za uredbo o umetni inteligenci (v nadaljnjem besedilu: akt o umetni inteligenci) 23 , ki je bil predstavljen aprila 2021 in o katerem se trenutno pogajata Evropski parlament in Svet.

Pogajanja o prihodnji (okvirni) konvenciji Sveta Evrope o umetni inteligenci se nanašajo na zadeve v pristojnosti Unije in obstaja precejšnje prekrivanje med predhodnim osnutkom konvencije ter predlaganim aktom o umetni inteligenci, kar zadeva njuno področje uporabe, naravo in vsebino. Zato je pomembno, da se pogajanja izvedejo v imenu Unije in tako, da nista ogroženi skladnost in enotnost pravil EU glede umetne inteligence ter ustrezno delovanje sistema, ki ga vzpostavljajo, in da je prihodnja konvencija Sveta Evrope popolnoma skladna z obstoječim in prihodnjim pravom EU na tem področju.

•Skladnost z veljavnimi predpisi s področja zadevne politike

Komisija je 21. aprila 2021 predlagala uredbo o določitvi harmoniziranih pravil o dajanju na trg in v uporabo ter uporabi umetnointeligenčnih sistemov v Uniji. Predlog ima dvojni cilj vzpostavitve enotnega trga za spodbujanje razvoja in uvajanja umetne inteligence ter obravnavanja tveganj za varnost, zdravje in temeljne pravice. Predlog je horizontalne narave ter se uporablja za ponudnike in uporabnike umetnointeligenčnih sistemov, ne glede na to, ali so javni ali zasebni subjekti. Umetnointeligenčni sistemi, ki se razvijajo ali uporabljajo izključno v vojaške namene, so izključeni s področja uporabe.

V predlogu so določene minimalne sorazmerne zahteve in obveznosti, ki so potrebne za obravnavo tveganj za zdravje, varnost in temeljne pravice, ne da bi se oviral tehnološki razvoj umetne inteligence ali nesorazmerno povečevale finančne in upravne obremenitve operaterjev. V ta namen je v predlogu uporabljen pristop na podlagi tveganja, ki umetnointeligenčne sisteme razvršča v različne kategorije, tj. „“nesprejemljivo“, „veliko“, „s preglednostjo povezano“ in „majhno“ ali „minimalno“ tveganje.

·Predlagana je prepoved umetnointeligenčnih sistemov, za katere se šteje, da niso združljivi z vrednotami EU in da jasno ogrožajo varnost, preživetje ali pravice ljudi, s čimer pomenijo „nesprejemljivo tveganje“ (npr. družbeno točkovanje, ki ga izvajajo javni organi, škodljive in manipulativne prakse umetne inteligence, biometrična identifikacija na daljavo v realnem času v javno dostopnih prostorih, pri čemer veljajo nekatere omejene izjeme).

·Pri umetnointeligenčnih sistemih „velikega tveganja“, ki pomenijo bistveno tveganje za zdravje, varnost ali temeljne pravice, je treba opraviti preverjanje skladnosti, prav tako morajo izpolnjevati nekatere obvezne zahteve (npr. v zvezi z obvladovanjem tveganja, kakovostjo podatkov, dokumentacijo, preglednostjo, človekovim nadzorom, točnostjo, kibernetsko varnostjo), preden se lahko navedeni sistemi dajo na trg ali uporabljajo v Uniji. Sorazmerne in učinkovite obveznosti spremljanja in nadzora veljajo tudi za ponudnike in uporabnike, pri čemer so jasno opredeljene njihove vloge in odgovornosti v vrednostni verigi, ne da bi to vplivalo na druge obveznosti v skladu s sektorsko zakonodajo.

·Pri umetnointeligenčnih sistemih, ki pomenijo „s preglednostjo povezano tveganje“, bi morale biti osebe obveščene, da so v stiku s takšnimi sistemi ali da so jim izpostavljene (npr. klepetalni boti, sistemi za prepoznavanje čustev in biometrično kategorizacijo, globoki ponaredki).

·Vsi drugi sistemi, ki pomenijo „majhno“ ali „minimalno“ tveganje za zdravje, varnost in temeljne pravice, so dovoljeni brez nadaljnjih omejitev, vendar se lahko ponudniki odločijo za upoštevanje prostovoljnih kodeksov ravnanja.

O tem predlogu razpravljata Svet in Evropski parlament v skladu z rednim zakonodajnim postopkom.

Pogajanja o prihodnji konvenciji Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi bi morala zagotoviti, da so dogovorjene določbe združljive s pravom EU in obveznostmi držav članic v okviru tega prava, ob upoštevanju njegovega prihodnjega razvoja in predlaganega akta o umetni inteligenci. Zagotoviti bo treba tudi, da bo konvencija Sveta Evrope vključevala izločitveno klavzulo, ki bo državam članicam EU, ki bodo postale pogodbenice konvencije, omogočala urejanje medsebojnih odnosov na podlagi prava EU. Predlagani akt o umetni inteligenci, kot bo oblikovan v zakonodajnem postopku in pogajanjih sozakonodajalcev ter v končni (sprejeti) različici, bi bilo treba ohraniti med državami članicami EU. Možnost, da h konvenciji pristopi kot pogodbenica, bi morala imeti tudi Evropska unija.

•Skladnost z drugimi politikami Unije

Priporočilo je pomembno za druge tekoče ali načrtovane pobude Komisije, namenjene obravnavi težav, ki jih povzročata razvoj in uporaba umetnointeligenčnih sistemov, opredeljenih v beli knjigi o umetni inteligenci 24 . Te druge pobude vključujejo revizijo sektorske zakonodaje o proizvodih (npr. direktiva o strojih 25 , direktiva o splošni varnosti proizvodov) 26 in prihodnje pobude, ki obravnavajo vprašanja odgovornosti v zvezi z novimi tehnologijami, vključno z umetnointeligenčnimi sistemi.

Priporočilo je tudi v skladu s splošno digitalno strategijo Komisije, namenjeno spodbujanju tehnologije, ki deluje za ljudi, kar je eden od treh ključnih ciljev vizije politike iz sporočila z naslovom Oblikovanje digitalne prihodnosti Evrope 27 . Njen cilj je zagotoviti, da se bo umetna inteligenca razvijala na način, ki spoštuje pravice ljudi in si zasluži njihovo zaupanje, s čimer bo Evropa postala pripravljena na digitalno dobo in bo naslednjih deset let postalo digitalno desetletje 28 .

S predlaganim priporočilom se tudi znatno krepi vloga Unije pri oblikovanju svetovnih norm in standardov ter spodbujanju zaupanja vredne umetne inteligence, ki je v skladu z vrednotam in interesi Unije. Uniji zagotavlja močno podlago za krepitev kibernetske diplomacije EU 29 in za pogajanja z drugimi evropskimi in neevropskimi državami o prvem pravno zavezujočem sporazumu o umetni inteligenci, ki bo temeljil na skupnih vrednotah in načelih.

2.PRAVNA PODLAGA, SUBSIDIARNOST IN SORAZMERNOST

•Pravna podlaga

Člen 218(3) Pogodbe o delovanju Evropske unije (PDEU) določa, da Komisija predloži priporočila Svetu, ki sprejme sklep o odobritvi začetka pogajanj in imenovanju pogajalca Unije. V skladu s členom 218(4) PDEU lahko Svet da smernice pogajalcu.

•Subsidiarnost (za neizključno pristojnost)

Predlagani akt o umetni inteligenci določa harmonizirana pravila o umetnointeligenčnih sistemih v Uniji, s čimer državam članicam preprečuje, da bi uvedle nadaljnje omejitve, razen če je to izrecno dovoljeno z aktom. V skladu s členom 3(2) PDEU ima Unija izključno pristojnost za sklenitev mednarodnih sporazumov, kolikor lahko vplivajo na skupna pravila ali spremenijo njihovo področje uporabe. Zato bi morala biti Unija pristojna za pogajanje o prihodnji konvenciji Sveta Evrope o umetni inteligenci za vse zadeve, povezane z oblikovanjem, razvojem in uporabo umetnointeligenčnih sistemov, ki so v veliki meri zajete s pravom EU ali ki bodo zajete s pravom EU glede na njegov predvideni prihodnji razvoj, zlasti s predlaganim aktom o umetni inteligenci.

•Sorazmernost

Ta pobuda ne presega tistega, kar je potrebno za doseganje zadevnih ciljev politike.

•Izbira instrumenta

Izbira instrumenta je priporočilo za sklep Sveta, kot je določeno v členu 218(3) in (4) PDEU.

3.REZULTATI NAKNADNIH OCEN, POSVETOVANJ Z DELEŽNIKI IN OCEN UČINKA

•Naknadne ocene/preverjanja primernosti obstoječe zakonodaje

•Posvetovanja z deležniki

•Zbiranje in uporaba strokovnega znanja

Komisija je upoštevala mnenja, ki so jih strokovnjaki iz držav članic izrazili v zadevni delovni skupini Sveta med pripravami na pogajanja.

•Ocena učinka

•Ustreznost in poenostavitev ureditve

•Temeljne pravice

Namen predlaganega akta o umetni inteligenci in obravnavane konvencije Sveta Evrope je čim bolj zmanjšati tveganja in zagotoviti visoko raven varstva temeljnih pravic, na katere bi lahko v določenih okoliščinah negativno vplivala razvoj in uporaba umetne inteligence, ter obenem priznati potencial umetne inteligence, da zaščiti in poenostavi uresničevanje navedenih pravic v digitalnem okolju, pa tudi izboljša družbeno in okoljsko blaginjo ter tehnološki napredek.

4.PRORAČUNSKE POSLEDICE

5.DRUGI ELEMENTI

•Izvedbeni načrti ter ureditve spremljanja, ocenjevanja in poročanja

Priporočilo

SKLEP SVETA

o odobritvi začetka pogajanj v imenu Evropske unije za konvencijo Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi

SVET EVROPSKE UNIJE JE –

ob upoštevanju Pogodbe o delovanju Evropske unije ter zlasti člena 218(3) in (4) Pogodbe,

ob upoštevanju priporočila Evropske komisije,

ob upoštevanju naslednjega:

(1)Odbor ministrov Sveta Evrope je leta 2021 ustanovil odbor za umetno inteligenco za obdobje 2022–2024, ki naj bi vzpostavil mednarodni pogajalski proces za oblikovanje pravnega okvira, namenjenega razvoju, oblikovanju in uporabi umetne inteligence, ki bo temeljil na načelih Sveta Evrope na področju človekovih pravic, demokracije in pravne države ter spodbujal inovacije 30 .

(2)Odbor ministrov Sveta Evrope je 30. junija 2022 odboru za umetno inteligenco naročil, naj v skladu s svojimi pristojnostmi hitro začne pripravo pravno zavezujočega prečnega instrumenta (v nadaljnjem besedilu: konvencija ali okvirna konvencija) o umetni inteligenci, ki bo temeljil na standardih Sveta Evrope na področju človekovih pravic, demokracije in pravne države, ki bo osredotočen na splošna skupna načela, ki bo spodbujal inovacije in bo odprt za sodelovanje tretjih držav, ob upoštevanju drugih ustreznih mednarodnih pravnih okvirov, ki že obstajajo ali so v pripravi 31 .

(3)Nato je predsednik odbora za umetno inteligenco predlagal predhodni osnutek (okvirne) konvencije, ki bi se uporabljala za oblikovanje, razvoj in uporabo umetnointeligenčnih sistemov. Predhodni osnutek vključuje: določbe o namenu in predmetu, področju uporabe, opredelitvah pojmov, temeljnih načelih, vključno s postopkovnimi zaščitnimi ukrepi in pravicami, ki veljajo za vse umetnointeligenčne sisteme, ne glede na njihovo stopnjo tveganja, dodatnih ukrepih za umetnointeligenčne sisteme v javnem sektorju in za umetnonteligenčne sisteme z „nesprejemljivo“ in „pomembno“ stopnjo tveganja, mehanizmu spremljanja in sodelovanja; končne določbe, vključno z možnostjo pristopa Unije h konvenciji, ter prilogo, ki je v pripravi, o metodologiji za ugotavljanje tveganja in oceno učinka umetnointeligenčnih sistemov.

(4)Unija je sprejela skupna pravila, na katera bodo vplivali elementi, obravnavani za konvencijo Sveta Evrope. To vključuje zlasti celovit nabor pravil na področju enotnega trga za proizvode 32 in storitve 33 , za katere se lahko uporabljajo umetnointeligenčni sistemi, ter pravila o zaščiti temeljnih pravic, ki so zapisana v Listini EU o temeljnih pravicah 34 in ki se izvajajo v sekundarni zakonodaji Unije 35 , saj bosta razvoj in uporaba nekaterih umetnointeligenčnih sistemov v določenih okoliščinah verjetno škodljivo vplivala na navedene pravice.

(5)Poleg tega je Komisija 21. aprila 2021 vložila zakonodajni predlog za uredbo o določitvi harmoniziranih pravil o umetni inteligenci 36 , o katerem se trenutno pogajata Evropski parlament in Svet. Predvidena konvencija Sveta Evrope se v veliki meri prekriva z zakonodajnim predlogom v smislu področja uporabe, saj je cilj obeh instrumentov določiti pravila, ki veljajo za oblikovanje, razvoj in uporabo umetnointeligenčnih sistemov, ki jih zagotavljajo in uporabljajo javni ali zasebni subjekti.

(6)Zato obravnavana sklenitev konvencije Sveta Evrope lahko vpliva na obstoječa in predvidena prihodnja skupna pravila Unije ali spremeni njihovo področje uporabe v skladu s členom 3(2) Pogodbe o delovanju Evropske unije.

(7)Za zaščito celovitosti prava Unije ter nadaljnjo usklajenost določb mednarodnega prava in prava Unije je treba Komisijo pooblastiti za pogajanja v imenu Unije o konvenciji Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi.

(8)V skladu s členom 42(1) Uredbe (EU) 2018/1725 Evropskega parlamenta in Sveta je bilo opravljeno posvetovanje z Evropskim nadzornikom za varstvo podatkov, ki je mnenje podal [...] –

SPREJEL NASLEDNJI SKLEP:

Člen 1

Komisija je pooblaščena, da se v imenu Unije pogaja o (okvirni) konvenciji Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi.

Člen 2

Pogajalske smernice so določene v Prilogi.

Člen 3

Pogajanja se opravijo v posvetovanju [s/z] [ime posebnega odbora, ki ga vnese Svet].

Člen 4

Ta sklep je naslovljen na Komisijo.

V Bruslju,

(1)    Predlog uredbe Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) in spremembi nekaterih zakonodajnih aktov Unije, COM(2021) 206 final.

(2)     1 353. seja Odbora ministrov, Sklep CM/Del/Dec(2019)1353/1.5, 11. september 2019 .

(3)     Odbor ministrov, Pristojnosti posebnega odbora za umetno inteligenco (izvleček iz dokumenta CM(2019) 131) .

(4)     Posebni odbor za umetno inteligenco, Študija izvedljivosti, CAHAI(2020) 23, 17. december 2020 .

(5)     Posebni odbor za umetno inteligenco, Analiza posvetovanja z več deležniki, CAHAI(2021) 07, 23. junij 2021 .

(6)     Posebni odbor za umetno inteligenco – možni elementi pravnega okvira o umetni inteligenci, ki bi temeljil na standardih Sveta Evrope na področju človekovih pravic, demokracije in pravne države, CAHAI(2021) 09rev, 3. december 2021 .

(7)    Posebni odbor za umetno inteligenco v tem okviru opozarja na umetnointeligenčne sisteme, ki vodijo v množični nadzor, in umetnointeligenčne sisteme, ki se uporabljajo za družbeno točkovanje, namenjeno določanju dostopa do bistvenih storitev.

(8)     Odbor ministrov, Pristojnosti odbora za umetno inteligenco (izvleček iz dokumenta CM(2021) 131) .

(9)     Odbor ministrov, Sklep o delu odbora za umetno inteligenco na 132. seji Odbora ministrov – Nadaljnje spremljanje CM/Del/Dec(2022)1438/10.4  / 30. junij 2022 .

(10)    Npr. zadeva C‑114/12, Komisija/Svet (sorodne pravice RTV organizacij), ECLI:EU:C:2014:2151, točki 68 in 69; Mnenje 1/13, Pristop tretjih držav k Haaški konvenciji, ECLI:EU:C:2014:2303, točke 71–74; zadeva C-66/13, Green Network, ECLI:EU:C:2014:2399, točke 27–33; Mnenje 3/15, Marakeška pogodba o olajšanem dostopu do objavljenih del za slepe in slabovidne osebe ter osebe z drugimi motnjami branja, ECLI:EU:C:2017:114, točke 105–108.

(11)    Npr. Direktiva 2001/95/ES o splošni varnosti proizvodov (UL L 11, 15.1.2002, str. 4, Direktiva Sveta 85/374/EGS z dne 25. julija 1985 o približevanju zakonov in drugih predpisov držav članic v zvezi z odgovornostjo za proizvode z napako(UL L 210, 7.8.1985, str. 29) in sektorska zakonodaja o varnosti proizvodov, kot je Direktiva 2006/42/ES o strojih (UL L 157, 9.6.2006, str. 24); Direktiva 2014/53/EU o harmonizaciji zakonodaj držav članic v zvezi z dostopnostjo radijske opreme na trgu (UL L 153, 22.5.2014, str. 62); Direktiva 2009/48/ES o varnosti igrač (UL L 170, 30.6.2009, str. 1); Uredba (EU) 2017/745 o medicinskih pripomočkih (UL L 117, 5.5.2017, str. 1) ; Uredba (EU) 2019/2144 o zahtevah za homologacijo motornih vozil in njihovih priklopnikov ter sistemov, sestavnih delov in samostojnih tehničnih enot, namenjenih za taka vozila, v zvezi z njihovo splošno varnostjo in zaščito potnikov v vozilu ter izpostavljenih udeležencev v cestnem prometu (UL L 325, 16.12.2019, str. 1).

(12)    Npr. Direktiva 2006/123/ES o storitvah na notranjem trgu in sektorska zakonodaja o storitvah, kot je Direktiva 2000/31/ES o nekaterih pravnih vidikih storitev informacijske družbe, zlasti elektronskega poslovanja na notranjem trgu (UL L 178, 17.7.2000, str. 1); Direktiva 2008/48/ES Evropskega parlamenta in Sveta z dne 23. aprila 2008 o potrošniških kreditnih pogodbah (UL L 133, 22.5.2008, str. 66), Direktiva (EU) 2016/97 Evropskega parlamenta in Sveta z dne 20. januarja 2016 o distribuciji zavarovalnih produktov (prenovitev), (UL L 26, 2.2.2016, str. 19); Direktiva o audiovizualnih medijskih storitvah (EU) 2018/1808 (UL L 303, 28.11.2018, str. 69).

(13)    Listina Evropske unije o temeljnih pravicah (UL C 326, 26.10.2012, str. 391).

(14)    Npr. Uredba (EU) št. 536/2014 Evropskega parlamenta in Sveta z dne 16. aprila 2014 o kliničnem preskušanju zdravil za uporabo v humani medicini in razveljavitvi Direktive 2001/20/ES, Besedilo velja za EGP (UL L 158, 27.5.2014, str. 1).

(15)    Uredba (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES (Splošna uredba o varstvu podatkov) (UL L 119, 4.5.2016, str. 1); Direktiva (EU) 2016/680 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov, ki jih pristojni organi obdelujejo za namene preprečevanja, preiskovanja, odkrivanja ali pregona kaznivih dejanj ali izvrševanja kazenskih sankcij, in o prostem pretoku takih podatkov ter o razveljavitvi Okvirnega sklepa Sveta 2008/977/PNZ (UL L 119, 4.5.2016, str. 89).

(16)    Npr. Direktiva 2002/58/ES Evropskega parlamenta in Sveta z dne 12. julija 2002 o obdelavi osebnih podatkov in varstvu zasebnosti na področju elektronskih komunikacij (Direktiva o zasebnosti in elektronskih komunikacijah) (UL L 201, 31.7.2002, str. 37).

(17)    Npr. Direktiva Sveta 2000/43/ES z dne 29. junija 2000 o izvajanju načela enakega obravnavanja oseb ne glede na raso ali narodnost (UL L 180, 19.7.2000, str. 22); Direktiva Sveta 2000/78/ES z dne 27. novembra 2000 o splošnih okvirih enakega obravnavanja pri zaposlovanju in delu (UL L 303, 2.12.2000, str. 16); Direktiva 2006/54/ES Evropskega parlamenta in Sveta z dne 5. julija 2006 o uresničevanju načela enakih možnosti ter enakega obravnavanja moških in žensk pri zaposlovanju in poklicnem delu (preoblikovano) (UL L 204, 26.7.2006, str. 23); Direktiva Sveta 2004/113/ES z dne 13. decembra 2004 o izvajanju načela enakega obravnavanja moških in žensk pri dostopu do blaga in storitev ter oskrbi z njimi (UL L 373, 21.12.2004, str. 37).

(18)    Npr. Direktiva (EU) 2018/1808 Evropskega parlamenta in Sveta z dne 14. novembra 2018 o spremembi Direktive 2010/13/EU o usklajevanju nekaterih zakonov in drugih predpisov držav članic o opravljanju audiovizualnih medijskih storitev (Direktiva o audiovizualnih medijskih storitvah) glede na spreminjajoče se tržne razmere, PE/33/2018/REV/1 (UL L 303, 28.11.2018, str. 69).

(19)    Npr. Direktiva (EU) 2016/343 Evropskega parlamenta in Sveta z dne 9. marca 2016 o krepitvi nekaterih vidikov domnevne nedolžnosti in krepitvi pravice biti navzoč na sojenju v kazenskem postopku (UL L 65, 11.3.2016, str. 1).

(20)    Npr. Direktiva 2012/29/EU Evropskega parlamenta in Sveta z dne 25. oktobra 2012 o določitvi minimalnih standardov na področju pravic, podpore in zaščite žrtev kaznivih dejanj (UL L 315, 14.11.2012, str. 57); Uredba (EU) 2020/1783 Evropskega parlamenta in Sveta z dne 25. novembra 2020 o sodelovanju med sodišči držav članic pri pridobivanju dokazov v civilnih ali gospodarskih zadevah (pridobivanje dokazov) (prenovitev) (UL L 405, 2.12.2020, str. 1); Direktiva 2013/48/EU Evropskega parlamenta in Sveta z dne 22. oktobra 2013 o pravici do dostopa do odvetnika v kazenskem postopku in v postopkih na podlagi evropskega naloga za prijetje ter pravici do obvestitve tretje osebe ob odvzemu prostosti in do komunikacije s tretjimi osebami in konzularnimi organi med odvzemom prostosti (UL L 294, 6.11.2013).

(21)    Člen 2 Pogodbe o Evropski uniji (UL C 202, 7.6.2016).

(22)    Npr. Mnenje 1/03, Nova Luganska konvencija, ECLI:EU:C:2004:490, točka 126; zadeva C-114/12, Komisija/Svet (sorodne pravice RTV organizacij), ECLI:EU:C:2014:2151, točka 70; zadeva C-66/13, Green Network, ECLI:EU:C:2014:2399, točke 61–64.

(23)    Predlog uredbe Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) in spremembi nekaterih zakonodajnih aktov Unije, COM(2021) 206 final.

(24)    Bela knjiga o umetni inteligenci – evropski pristop k odličnosti in zaupanju, COM(2020) 65 final.

(25)    Predlog uredbe Evropskega parlamenta in Sveta o strojih in strojni opremi, COM(2021) 202 final.

(26)    Predlog uredbe Evropskega parlamenta in Sveta o splošni varnosti proizvodov, spremembi Uredbe (EU) št. 1025/2012 Evropskega parlamenta in Sveta ter razveljavitvi Direktive Sveta 87/357/EGS in Direktive 2001/95/ES Evropskega parlamenta in Sveta, COM(2021) 346 final.

(27)    Sporočilo Komisije, Oblikovanje digitalne prihodnosti Evrope, COM(2020) 67 final.

(28)    Sporočilo Komisije, Digitalni kompas za leto 2030: evropska pot v digitalno desetletje , COM(2021) 118 final.

(29)    V tem smislu glej tudi Sklepe Sveta z dne 18. julija 2022 o kibernetski diplomaciji EU, 11406/22.

(30)     Odbor ministrov, Pristojnosti odbora za umetno inteligenco, izvleček iz dokumenta CM(2021) 131) .

(31)     Odbor ministrov, Sklep o delu odbora za umetno inteligenco na 132. seji Odbora ministrov – Nadaljnje spremljanje CM/Del/Dec(2022)1438/10.4, 30. junij 2022 .

(32)    Npr. Direktiva 2001/95/ES o splošni varnosti proizvodov (UL L 11, 15.1.2022, str. 4), Direktiva Sveta 85/374/EGS z dne 25. julija 1985 o približevanju zakonov in drugih predpisov držav članic v zvezi z odgovornostjo za proizvode z napako (UL L 210, 7.8.1985, str. 29, in sektorska zakonodaja o varnosti proizvodov, kot je Direktiva 2006/42/ES o strojih (UL L 157, 9.6.2006, str. 24); Direktiva 2014/53/EU o harmonizaciji zakonodaj držav članic v zvezi z dostopnostjo radijske opreme na trgu (UL L 153, 22.5.2014, str. 62); Direktiva 2009/48/ES o varnosti igrač (UL L 170, 30.6.2009, str. 1); Uredba (EU) 2017/745 o medicinskih pripomočkih ( UL L 117, 5.5.2017, str. 1 ); Uredba (EU) 2019/2144 o zahtevah za homologacijo motornih vozil in njihovih priklopnikov ter sistemov, sestavnih delov in samostojnih tehničnih enot, namenjenih za taka vozila, v zvezi z njihovo splošno varnostjo in zaščito potnikov v vozilu ter izpostavljenih udeležencev v cestnem prometu (UL L 325, 16.12.2019, str. 1).

(33)    Npr. Direktiva 2006/123/ES o storitvah na notranjem trgu in sektorska zakonodaja o storitvah, kot je Direktiva 2000/31/ES o nekaterih pravnih vidikih storitev informacijske družbe, zlasti elektronskega poslovanja na notranjem trgu (UL L 178, 17.7.2000, str. 1); Direktiva 2008/48/ES Evropskega parlamenta in Sveta z dne 23. aprila 2008 o potrošniških kreditnih pogodbah (UL L 133, 22.5.2008, str. 66).

(34)    Listina Evropske unije o temeljnih pravicah (UL C 326, 26.10.2012, str. 391).

(35)    Npr. Uredba (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES (Splošna uredba o varstvu podatkov) (UL L 119, 4.5.2016, str. 1); Direktiva (EU) 2016/680 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov, ki jih pristojni organi obdelujejo za namene preprečevanja, preiskovanja, odkrivanja ali pregona kaznivih dejanj ali izvrševanja kazenskih sankcij, in o prostem pretoku takih podatkov ter o razveljavitvi Okvirnega sklepa Sveta 2008/977/PNZ (UL L 119, 4.5.2016, str. 89); Direktiva 2002/58/ES Evropskega parlamenta in Sveta z dne 12. julija 2002 o obdelavi osebnih podatkov in varstvu zasebnosti na področju elektronskih komunikacij (direktiva o zasebnosti in elektronskih komunikacijah) (UL L 201, 31.7.2002, str. 37); Direktiva Sveta 2000/43/ES z dne 29. junija 2000 o izvajanju načela enakega obravnavanja oseb ne glede na raso ali narodnost (UL L 180, 19.7.2000, str. 22); Direktiva Sveta 2000/78/ES z dne 27. novembra 2000 o splošnih okvirih enakega obravnavanja pri zaposlovanju in delu (UL L 303, 2.12.2000, str. 16).

(36)    Predlog uredbe Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) in spremembi nekaterih zakonodajnih aktov Unije, COM(2021) 206 final.

EVROPSKA KOMISIJA

Bruselj, 18.8.2022

COM(2022) 414 final

PRILOGA

k

PRIPOROČILU ZA SKLEP SVETA

o odobritvi začetka pogajanj v imenu Evropske unije za konvencijo Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi

PRILOGA
k Priporočilu za sklep Sveta o odobritvi začetka pogajanj v imenu Evropske unije za konvencijo Sveta Evrope o umetni inteligenci, človekovih pravicah, demokraciji in pravni državi

V zvezi s pogajalskim procesom bi si morala Unija prizadevati za to, da:

(1)je pogajalski proces odprt, vključujoč in pregleden ter temelji na trdnih dokazih in sodelovanju v dobri veri;

(2)pogajalski proces temelji na vključujočem posvetovalnem postopku in omogoča smiselno sodelovanje vseh ustreznih deležnikov, vključno s civilno družbo, zasebnim sektorjem, akademiki, nevladnimi organizacijami, organizacijami za standardizacijo in drugimi ustreznimi akterji s strokovnim znanjem s področja ureditve oblikovanja, razvoja in uporabe umetnointeligenčnih sistemov;

(3)se vsi prispevki vseh pogajalskih strani obravnavajo enako, da se zagotovi vključujoč proces;

(4)pogajalski proces temelji na učinkovitem in realističnem delovnem programu za pripravo (okvirne) konvencije.

V zvezi s splošnimi cilji za pogajanja bi si morala Unija prizadevati za to, da:

(5)je konvencija združljiva s pravom EU o enotnem trgu in drugimi področji prava EU, vključno s splošnimi načeli prava EU ter temeljnimi pravicami in svoboščinami, kot so zapisane v Listini EU o temeljnih pravicah in kot se izvajajo s sekundarno zakonodajo EU;

(6)je konvencija je združljiva s predlaganim aktom o umetni inteligenci 1 , pri čemer se upošteva prihodnji razvoj zakonodajnega postopka;

(7)je konvencija učinkovit in v prihodnost usmerjen regulativni okvir za umetno inteligenco, da bi se zagotovili visoka raven varstva človekovih pravic in ohranitev evropskih vrednot, obenem pa spodbujale inovacije ter povečala pravna varnost in zaupanje; konvencija priznava tudi morebitne koristi umetne inteligence za pomembne javne interese, vključno z zaščito in poenostavitvijo uresničevanja človekovih pravic v digitalnem okolju, izboljšanjem družbene in okoljske blaginje ter zdravja in spodbujanjem tehnološkega napredka;

(8)konvencija krepi mednarodno sodelovanje med Evropsko unijo ter drugimi evropskimi in neevropskimi državami, ki bi lahko pristopile h konvenciji;

(9)je konvencija združljiva z obstoječimi instrumenti Sveta Evrope, zlasti z Evropsko konvencijo o človekovih pravicah in njenimi protokoli, Konvencijo Sveta Evrope št. 108 o varstvu posameznikov glede na avtomatsko obdelavo osebnih podatkov, kakor je bila spremenjena s protokolom CETS 223, in drugimi ustreznimi pravnimi instrumenti Sveta Evrope; preprečuje podvajanje z navedenimi instrumenti in morebitne škodljive učinke na njihovo uporabo ali naknadni pristop katere koli države k njim; z njo se obravnavajo nova tveganja in izzivi, ki jih povzročajo posebne značilnosti nekaterih umetnointeligenčnih sistemov, za skladnost z obstoječimi pravicami, ki jih varujejo navedeni instrumenti, in učinkovito izvrševanje teh pravic;

(10)je konvencija združljiva z zavezami Evropske unije v zvezi z drugimi mednarodnimi sporazumi, katerih pogodbenica je, in preprečuje škodljive učinke na njihovo učinkovito uporabo; zlasti je v skladu z mednarodnimi trgovinskimi zavezami Unije in preprečuje nepotrebno ali neupravičeno omejevanje trgovine.

V zvezi z vsebino pogajanj bi si morala Unija prizadevati za to, da:

(11)so določbe konvencije v celoti združljive s pravom EU o enotnem trgu in drugimi področji prava EU, vključno s splošnimi načeli prava EU in temeljnimi pravicami, kot so zapisane v Listini EU o temeljnih pravicah in kot se izvajajo s sekundarno zakonodajo EU;

(12)so določbe konvencije v celoti združljive z določbami predlaganega akta o umetni inteligenci, pri čemer se upošteva prihodnji razvoj zakonodajnega postopka;

(13)določbe konvencije pogodbenicam omogočajo, da zagotovijo širše varstvo, kot je določeno v konvenciji, in v nobenem pogledu ne znižujejo ravni varstva temeljnih pravic in svoboščin ter jamstev, kot je določena s pravom Unije, vključno z načelom, da morajo biti organi, ki nadzorujejo temeljne pravice, neodvisni, kolikor se to zahteva s pravom EU;

(14)konvencija upošteva pristop, ki temelji na tveganju, ter določa sorazmerna, učinkovita in jasna pravila, ki se uporabljajo za javne in zasebne subjekte v vrednostni verigi umetne inteligence ter katerih namen je čim bolj zmanjšati morebitna tveganja v zvezi z oblikovanjem, razvojem in uporabo nekaterih umetnointeligenčnih sistemov, hkrati pa preprečuje morebitna nepotrebna in nesorazmerna bremena ali omejitve za dejavnosti navedenih subjektov ali omejitve za tehnološki razvoj; zlasti področje uporabe in strogost morebitnega regulativnega posredovanja sta uravnotežena, utemeljena in prilagojena stopnjam tveganja, ki jih pomenijo umetnointeligenčni sistemi;

(15)so določbe konvencije oblikovane na način, ki je čim bolj usmerjen v prihodnost in prilagodljiv, da se omogoči upoštevanje prihodnjega tehnološkega, tržnega, družbenega in okoljskega razvoja, povezanega z umetno inteligenco;

(16)konvencija določa pravila za oblikovanje, razvoj in uporabo umetnointeligenčnih sistemov, s katerimi se preprečujejo prekrivanja in ki zagotavljajo smiselno dodano vrednost v primerjavi z drugimi ustreznimi mednarodnimi ali regionalnimi konvencijami, zlasti na področju varstva podatkov; navedena pravila za umetno inteligenco so združljiva s takimi konvencijami in mednarodnimi standardi na področju človekovih pravic;

(17)konvencija vključuje določbe za učinkovito izvajanje pravil, ki veljajo za oblikovanje, razvoj in uporabo umetnointeligenčnih sistemov, zlasti z ustreznimi predhodnimi in naknadnimi mehanizmi za skladnost in nadzor, ter priznava vlogo standardov, mehanizmov za potrjevanje, neodvisnih tretjih oseb, ki sodelujejo pri preverjanju skladnosti, in pristojnih nadzornih organov;

(18)konvencija omogoča ukrepe v podporo inovacijam, vključno s testiranjem umetnointeligenčnih sistemov ter vzpostavitvijo in delovanjem regulativnih peskovnikov za spodbujanje inovacij na področju umetne inteligence v nadzorovanem okolju pod nadzorom pristojnih organov;

(19)konvencija upošteva posebne potrebe malih in srednjih podjetij (MSP), ne vpliva nesorazmerno na njihovo konkurenčnost in pogodbenice zavezuje k sprejetju posebnih ukrepov za podporo MSP;

(20)konvencija upošteva interes organov kazenskega pregona in pravosodnih organov za preprečevanje, preiskovanje, odkrivanje in pregon kaznivih dejanj, tudi v zvezi z zaupnostjo in celovitostjo takih preiskav;

(21)konvencija določa učinkovit nadzor s strani pristojnih organov in mehanizme sodelovanja, ki omogočajo njegovo učinkovito izvajanje.

V zvezi z delovanjem konvencije bi si morala Unija prizadevati za to, da:

(22)konvencija vključuje izločitveno klavzulo, ki državam članicam EU omogoča, da v medsebojnih odnosih še naprej uporabljajo pravo EU v zvezi z zadevami, zajetimi s področjem uporabe konvencije;

(23)konvencija določa ustrezen mehanizem za zagotovitev njenega izvajanja in vključuje končne določbe, med drugim o reševanju sporov, podpisu, ratifikaciji, sprejetju, odobritvi in pristopu, začetku veljavnosti, spremembi, začasni prekinitvi, odpovedi in depozitarju ter jezikih, ki so, če je to mogoče in primerno, oblikovane v skladu z določbami drugih ustreznih konvencij Sveta Evrope;

(24)konvencija Evropski uniji omogoča, da postane njena pogodbenica.

(1)    Predlog uredbe Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) in spremembi nekaterih zakonodajnih aktov Unije, COM(2021) 206 final.