28.2.2022 |
SL |
Uradni list Evropske unije |
C 97/60 |
Mnenje Evropskega odbora regij – Evropski pristop k umetni inteligenci – akt o umetni inteligenci
(revidirano mnenje)
(2022/C 97/12)
|
I. PREDLOGI SPREMEMB
Predlog spremembe 1
Uvodna izjava 1
Predlog Komisije |
Predlog spremembe OR |
Namen te uredbe je izboljšati delovanje notranjega trga z določitvijo enotnega pravnega okvira, zlasti za razvoj, trženje in uporabo umetne inteligence v skladu z vrednotami Unije. Ta uredba uresničuje številne nujne razloge javnega interesa, kot so visoka raven varovanja zdravja, varnosti in temeljnih pravic, ter zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo. |
Namen te uredbe je izboljšati delovanje notranjega trga in zaščititi temeljne pravice državljanov z določitvijo enotnega pravnega okvira, zlasti za razvoj, trženje in uporabo umetne inteligence v skladu z vrednotami Unije. Ta uredba uresničuje številne nujne razloge javnega interesa, kot so visoka raven varovanja zdravja, varnosti in temeljnih pravic, ter zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo. |
Obrazložitev
Z omembo temeljnih pravic se poudari povezava z Listino Evropske unije o temeljnih pravicah.
Predlog spremembe 2
Za uvodno izjavo 6 se doda nova uvodna izjava
Predlog Komisije |
Predlog spremembe OR |
|
Opredeljevanje umetnointeligenčnih sistemov je nenehen proces, pri katerem je treba upoštevati okvir, v katerem deluje umetna inteligenca, in slediti družbenemu razvoju na tem področju, pri tem pa se ne sme prezreti povezave med ekosistemom odličnosti in ekosistemom zaupanja. |
Obrazložitev
Razvoj na področju umetne inteligence in tehnologije zahteva pristop, ki se prilagaja in razvija. S to uvodno izjavo se poudari, da bi morala opredelitev umetne inteligence slediti času in stanju razvoja umetnointeligenčnih sistemov in njihove uporabe.
Predlog spremembe 3
Uvodna izjava 20
Predlog Komisije |
Predlog spremembe OR |
Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh treh izčrpno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, zlasti glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Poleg tega bi bilo treba za uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj določiti ustrezne časovne in prostorske omejitve, zlasti ob upoštevanju dokazov ali znamenj glede groženj, žrtev ali storilca. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od treh zgoraj navedenih primerov. |
Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh treh izčrpno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, zlasti glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Pred izjemno uporabo teh sistemov je potrebno posvetovanje z ustreznimi lokalnimi in regionalnimi oblastmi. Poleg tega bi bilo treba za uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj določiti stroge časovne in prostorske omejitve, zlasti ob upoštevanju dokazov ali znamenj glede groženj, žrtev ali storilca. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od treh zgoraj navedenih primerov. |
Obrazložitev
Sistemov za biometrično identifikacijo na daljavo v realnem času se ne bi smelo uporabljati preveč zlahka.
Predlog spremembe 4
Uvodna izjava 21
Predlog Komisije |
Predlog spremembe OR |
Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje pravosodnega organa ali neodvisnega upravnega organa države članice. Tako dovoljenje bi bilo treba načeloma pridobiti pred uporabo, razen v ustrezno utemeljenih nujnih primerih, tj. primerih, ko je potreba po uporabi zadevnih sistemov taka, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe. V takih nujnih primerih bi bilo treba uporabo omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo ter kot jih v okviru vsakega posameznega primera nujne uporabe določi organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj . Poleg tega bi si moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj v takih primerih prizadevati za čimprejšnjo pridobitev dovoljenja in hkrati podati razloge, zakaj ga ni mogel zahtevati prej . |
Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje pravosodnega organa ali neodvisnega upravnega organa države članice. Tako dovoljenje bi bilo treba pridobiti pred uporabo, razen v ustrezno utemeljenih nujnih primerih, tj. primerih, ko je potreba po uporabi zadevnih sistemov taka, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe. V vsakem primeru bi bilo treba uporabo omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo. Poleg tega bi moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj nemudoma obvestiti ustrezne lokalne in regionalne oblasti ter si pri pristojnih organih prizadevati za pridobitev dovoljenja. |
Obrazložitev
Lokalne in regionalne oblasti so politično in upravno pristojne za upravljanje javno dostopnih prostorov in nadzor nad njimi. Zato bi jih bilo treba ustrezno vključiti v uporabo takšnih sistemov v javno dostopnih prostorih. V nujnih primerih, ko ni mogoče v razumnem času izvesti predhodnega posvetovanja, bi bilo treba ustrezni lokalni ali regionalni organ nemudoma obvestiti o uporabi biometričnih sistemov v javno dostopnih prostorih.
Predlog spremembe 5
Uvodna izjava 39
Predlog Komisije |
Predlog spremembe OR |
Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je primerno , da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, kot so poligrafi in podobna orodja, ali za zaznavanje čustvenega stanja fizične osebe, uvrstijo med sisteme velikega tveganja; za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi prošenj za azil, vizume in dovoljenja za prebivanje ter s tem povezanih pritožb, da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status. Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta, Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta in druge ustrezne zakonodaje. |
Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je potrebno , da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, kot so poligrafi in podobna orodja, ali za zaznavanje čustvenega stanja fizične osebe, uvrstijo med sisteme velikega tveganja; za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi prošenj za azil, vizume in dovoljenja za prebivanje ter s tem povezanih pritožb, da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status. Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta, Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta in druge ustrezne zakonodaje. |
Obrazložitev
S to spremembo se poudari, da je treba za zadevne umetnointeligenčne sisteme uporabljati strožje predpise, ki veljajo za tovrstne sisteme velikega tveganja.
Predlog spremembe 6
Uvodna izjava 43
Predlog Komisije |
Predlog spremembe OR |
Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uporabnikom, človekovega nadzora ter robustnosti, točnosti in kibernetske varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost in temeljne pravice, kot se uporabljajo glede na predvideni namen sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine. |
Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uporabnikom, človekovega nadzora ter robustnosti, točnosti in kibernetske varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost , varnost podatkov, pravice potrošnikov in temeljne pravice, kot se uporabljajo glede na namen sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine. Fizične osebe ali skupine oseb, na katere vplivajo umetnointeligenčni sistemi velikega tveganja, ki so dani na trg Unije ali kako drugače dani v uporabo, bi morale biti ustrezno, lahko dostopno in na razumljiv način obveščene ter imeti dostop do jasnih, lahko dostopnih in javnih pojasnil, da so pod vplivom teh sistemov. |
Obrazložitev
Zahteve glede preglednosti in zagotavljanja informacij, ki veljajo za ponudnike in uporabnike, bi bilo treba razširiti na osebe ali skupine oseb, na katere lahko vpliva uporaba umetnointeligenčnih sistemov velikega tveganja, kakor so navedeni v Prilogi III k uredbi. „Na razumljiv način“ pomeni tudi v „jeziku, ki je razumljiv in dostopen uporabniku, vključno z govornim in znakovnim jezikom“.
Predlog spremembe 7
Za uvodno izjavo 44 se doda nova uvodna izjava
Predlog Komisije |
Predlog spremembe OR |
|
Ponudniki umetnointeligenčnih sistemov v svoj sistem upravljanja kakovosti ne vključijo ukrepov, ki spodbujajo neupravičeno diskriminacijo na podlagi spola, porekla, vere ali prepričanja, invalidnosti, starosti, spolne usmerjenosti ali diskriminacijo iz drugih razlogov. |
Obrazložitev
Nezakonita diskriminacija izvira iz človekovega ravnanja. Ponudniki umetnointeligenčnih sistemov v svoj sistem kakovosti ne smejo vključiti ukrepov, ki bi lahko spodbujali diskriminacijo.
Predlog spremembe 8
Uvodna izjava 47
Predlog Komisije |
Predlog spremembe OR |
Za odpravo neprepustnosti, zaradi katere so nekateri umetnointeligenčni sistemi fizičnim osebam morda nerazumljivi ali zanje preveč zapleteni, bi bilo treba za umetnointeligenčne sisteme velikega tveganja zahtevati določeno stopnjo preglednosti. Uporabniki bi morali biti sposobni interpretirati izhodne podatke sistema in jih ustrezno uporabiti. Sistemom umetne inteligence velikega tveganja bi bilo zato treba priložiti ustrezno dokumentacijo in navodila za uporabo ter vključiti jedrnate in jasne informacije, vključno z morebitnimi tveganji za temeljne pravice in diskriminacijo, kjer je to primerno. |
Za odpravo neprepustnosti, zaradi katere so nekateri umetnointeligenčni sistemi fizičnim osebam ali javnim organom na vseh ravneh upravljanja morda nerazumljivi ali zanje preveč zapleteni, bi bilo treba za umetnointeligenčne sisteme velikega tveganja zahtevati visoko stopnjo preglednosti. Uporabniki bi morali biti sposobni interpretirati izhodne podatke sistema in jih ustrezno uporabiti. Sistemom umetne inteligence velikega tveganja bi bilo zato treba priložiti ustrezno dokumentacijo in navodila za uporabo ter vključiti jedrnate in jasne informacije, vključno z morebitnimi tveganji za temeljne pravice in diskriminacijo, kjer je to primerno. |
Obrazložitev
Z uporabo besed „določeno stopnjo preglednosti“ se zmanjšuje odgovornost snovalcev umetnointeligenčnih sistemov velikega tveganja.
Predlog spremembe 9
Uvodna izjava 48
Predlog Komisije |
Predlog spremembe OR |
Umetnointeligenčni sistemi velikega tveganja bi morali biti zasnovani in razviti tako, da lahko fizične osebe nadzorujejo njihovo delovanje. V ta namen bi moral ponudnik sistema pred dajanjem sistema na trg ali v uporabo določiti ustrezne ukrepe za človekov nadzor. Zlasti bi morali taki ukrepi, kadar je to primerno, zagotavljati, da za sistem veljajo vgrajene operativne omejitve, ki jih sistem sam ne more razveljaviti in se odziva na človeškega operaterja, ter da imajo fizične osebe, ki jim je bil dodeljen človekov nadzor, potrebno pristojnost, usposobljenost in pooblastila za opravljanje te vloge. |
Umetnointeligenčni sistemi velikega tveganja bi morali biti zasnovani in razviti tako, da lahko fizične osebe in javni organi na vseh ravneh upravljanja nadzorujejo njihovo delovanje. V ta namen bi moral ponudnik sistema pred dajanjem sistema na trg ali v uporabo določiti ustrezne ukrepe za človekov nadzor. Zlasti bi morali taki ukrepi, kadar je to primerno, zagotavljati, da za sistem veljajo vgrajene operativne omejitve, ki jih sistem sam ne more razveljaviti in se odziva na človeškega operaterja, ter da imajo fizične osebe, ki jim je bil dodeljen človekov nadzor, potrebno pristojnost, usposobljenost in pooblastila za opravljanje te vloge. |
Obrazložitev
Obrazložitev je razvidna iz besedila.
Predlog spremembe 10
Uvodna izjava 67
Predlog Komisije |
Predlog spremembe OR |
Umetnointeligenčni sistemi velikega tveganja bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Države članice ne bi smele neupravičeno ovirati dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE. |
Umetnointeligenčni sistemi velikega tveganja bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Države članice ne bi smele ovirati dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE. Države članice so pristojne za urejanje umetnointeligenčnih praks in sistemov velikega tveganja izključno na podlagi nujnih in ustrezno utemeljenih razlogov v splošnem interesu ter interesu nacionalne varnosti. |
Obrazložitev
Države članice sicer ne bi smele ovirati uporabe uredbe, vendar bi morale obdržati pravico do urejanja umetnointeligenčnih sistemov velikega tveganja, če gre za javne interese in interese nacionalne varnosti.
Predlog spremembe 11
Uvodna izjava 70
Predlog Komisije |
Predlog spremembe OR |
Nekateri umetnointeligenčni sistemi, namenjeni stikom s fizičnimi osebami ali ustvarjanju vsebine, lahko predstavljajo posebna tveganja za izdajanje za drugo osebo ali zavajanje, ne glede na to, ali se uvrščajo med sisteme velikega tveganja ali ne. V določenih okoliščinah bi zato za uporabo teh sistemov morale veljati posebne obveznosti glede preglednosti brez poseganja v zahteve in obveznosti za umetnointeligenčne sisteme velikega tveganja. Zlasti fizične osebe bi morale biti obveščene, da so v stiku s sistemom umetne inteligence , razen če je to razvidno iz okoliščin in konteksta uporabe . Poleg tega bi morale biti fizične osebe obveščene, kadar so izpostavljene sistemu za prepoznavanje čustev ali sistemu za biometrično kategorizacijo. Take informacije in obvestila bi bilo treba zagotoviti v oblikah, dostopnih za invalide. Poleg tega bi morali uporabniki, ki uporabljajo umetnointeligenčni sistem za ustvarjanje ali manipulacijo slikovne, zvočne ali videovsebine, ki v znatni meri spominja na obstoječe osebe, kraje ali dogodke in bi se osebi zdela verodostojna, čeprav ni, razkriti, da je bila vsebina umetno ustvarjena ali manipulirana, tako da ustrezno označijo izhodne podatke umetne inteligence in razkrijejo njihov umetni izvor. |
Nekateri umetnointeligenčni sistemi, namenjeni stikom s fizičnimi osebami ali ustvarjanju vsebine, lahko predstavljajo posebna tveganja za izdajanje za drugo osebo ali zavajanje, ne glede na to, ali se uvrščajo med sisteme velikega tveganja ali ne. Zato bi za uporabo teh sistemov morale veljati posebne obveznosti glede preglednosti brez poseganja v zahteve in obveznosti za umetnointeligenčne sisteme velikega tveganja. Zlasti fizične osebe bi morale biti sistematično obveščene, da so v stiku s sistemom umetne inteligence. Poleg tega bi morale biti fizične osebe obveščene, kadar so izpostavljene sistemu za prepoznavanje čustev ali sistemu za biometrično kategorizacijo. Take informacije in obvestila bi bilo treba zagotoviti v oblikah, dostopnih za invalide. Poleg tega bi morali uporabniki, ki uporabljajo umetnointeligenčni sistem za ustvarjanje ali manipulacijo slikovne, zvočne ali videovsebine, ki v znatni meri spominja na obstoječe osebe, kraje ali dogodke in bi se osebi zdela verodostojna, čeprav ni, razkriti, da je bila vsebina umetno ustvarjena ali manipulirana, tako da ustrezno označijo izhodne podatke umetne inteligence in razkrijejo njihov umetni izvor. |
Obrazložitev
V zvezi z obveznostjo glede preglednosti in obveščanja pri interakciji fizičnih oseb z umetnointeligenčnimi sistemi ne bi smelo biti izjem.
Predlog spremembe 12
Uvodna izjava 76
Predlog Komisije |
Predlog spremembe OR |
Za lažje nemoteno, učinkovito in harmonizirano izvajanje te uredbe bi bilo treba ustanoviti Evropski odbor za umetno inteligenco. Odbor bi moral biti odgovoren za številne svetovalne naloge, med drugim za izdajanje mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem te uredbe, vključno s tehničnimi specifikacijami ali obstoječimi standardi v zvezi z zahtevami iz te uredbe, ter svetovanje in pomoč Komisiji pri posebnih vprašanjih v zvezi z umetno inteligenco. |
Za lažje nemoteno, učinkovito in harmonizirano izvajanje te uredbe bi bilo treba ustanoviti Evropski odbor za umetno inteligenco. Odbor bi moral biti odgovoren za številne svetovalne naloge, med drugim za izdajanje mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem te uredbe, vključno s tehničnimi specifikacijami ali obstoječimi standardi v zvezi z zahtevami iz te uredbe, ter svetovanje in pomoč Komisiji pri posebnih vprašanjih v zvezi z umetno inteligenco. Sestava Evropskega odbora za umetno inteligenco bi morala odražati interese evropske družbe in biti uravnotežena glede na spol. |
Obrazložitev
Evropski odbor za umetno inteligenco bi moral ustrezno odražati široke interese evropske družbe. Ti vključujejo vprašanja, kot so človekove pravice, podnebje in energetsko učinkovita uporaba umetnointeligenčnih sistemov, varnost, socialna vključenost, zdravje itd. Uravnotežena zastopanost spolov je predpogoj za raznolikost pri pripravi mnenj, pripravi smernic itd.
Predlog spremembe 13
Uvodna izjava 77
Predlog Komisije |
Predlog spremembe OR |
Države članice imajo ključno vlogo pri uporabi in izvrševanju te uredbe. V zvezi s tem bi morala vsaka država članica imenovati enega ali več pristojnih nacionalnih organov za nadzor uporabe in izvajanja te uredbe. Da bi se povečala učinkovitost organizacije s strani držav članic ter vzpostavila uradna kontaktna točka za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije, bi bilo treba v vsaki državi članici en nacionalni organ imenovati za nacionalni nadzorni organ. |
Države članice imajo ključno vlogo pri uporabi in izvrševanju te uredbe. V zvezi s tem bi morala vsaka država članica imenovati enega ali več pristojnih nacionalnih organov za nadzor uporabe in izvajanja te uredbe. Da bi se povečala učinkovitost organizacije s strani držav članic ter vzpostavila uradna kontaktna točka za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije, bi bilo treba v vsaki državi članici en nacionalni organ imenovati za nacionalni nadzorni organ. Če država članica oceni, da je to primerno, se lokalni in regionalni organi pooblastijo za opravljanje nalog nadzora ali izvrševanja. |
Obrazložitev
Zaradi izvedljivosti uredbe ter njenega okvira za nadzor in izvrševanje bi bilo treba državam članicam podeliti pooblastila, da po potrebi in kadar je to mogoče, lokalne in regionalne organe pooblastijo za izvajanje nalog nadzora ali izvrševanja.
Predlog spremembe 14
Uvodna izjava 79
Predlog Komisije |
Predlog spremembe OR |
Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Kadar je to potrebno za njihove naloge, bi morali imeti nacionalni javni organi, ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, vključno z organi za enakost, tudi dostop do kakršne koli dokumentacije, pripravljene v skladu s to uredbo. |
Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Kadar je to potrebno za njihove naloge, bi morali imeti nacionalni javni organi in po potrebi lokalni in regionalni organi , ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, vključno z organi za enakost, tudi dostop do kakršne koli dokumentacije, pripravljene v skladu s to uredbo. |
Obrazložitev
V tem predlogu spremembe se upoštevajo različne strukture upravljanja v državah članicah EU.
Predlog spremembe 15
Uvodna izjava 83
Predlog Komisije |
Predlog spremembe OR |
Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni ravni bi morale vse strani, vključene v uporabo te uredbe, spoštovati zaupnost informacij in podatkov, pridobljenih pri opravljanju svojih nalog. |
Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni , regionalni in lokalni ravni bi morale vse strani, vključene v uporabo te uredbe, spoštovati zaupnost informacij in podatkov, pridobljenih pri opravljanju svojih nalog. |
Obrazložitev
V tem predlogu spremembe se upoštevajo različne strukture upravljanja v državah članicah EU.
Predlog spremembe 16
NASLOV I, člen 3(1) – Opredelitve pojmov
Predlog Komisije |
Predlog spremembe OR |
„umetnointeligenčni sistem“ pomeni programsko opremo, ki je razvita z eno ali več tehnikami in pristopi iz Priloge I ter lahko za določen sklop ciljev, ki jih opredeli človek, ustvarja izhodne podatke, kot so vsebine, napovedi, priporočila ali odločitve, ki vplivajo na okolje, s katerim so v stiku; |
„umetnointeligenčni sistem“ pomeni programsko opremo, ki je razvita z eno ali več tehnikami in pristopi z neizčrpnega seznama Priloge I , v kombinaciji z družbenimi praksami, identiteto in kulturo, ter lahko za določen sklop ciljev, ki jih opredeli človek , in sicer z opazovanjem svojega okolja prek zbiranja podatkov, razlaganja zbranih strukturiranih ali nestrukturiranih podatkov, upravljanja znanja ali obdelave informacij, pridobljenih iz teh podatkov, ustvarja izhodne podatke, kot so vsebine, napovedi, priporočila ali odločitve, ki vplivajo na okolje, s katerim so v stiku; |
Obrazložitev
Umetnointeligenčni sistem sestavlja kombinacija tehničnih elementov, ki podatke, algoritme in računalniške zmogljivosti povezujejo z družbenimi praksami, družbo, identiteto in kulturo. Opredelitev tovrstnega socialno-tehničnega sklopa bi zato morala biti primerna za prihodnost in bi jo bilo treba redno posodabljati, da bi točno odražala vse večje družbene učinke umetne inteligence in hkrati zajela hitro spreminjajoče se izzive in priložnosti, povezane z umetno inteligenco, vključno s povezavo med upravljanjem znanja in umetno inteligenco. Algoritem, ki ga je razvil drug algoritem, bi moral biti tudi predmet uredbe.
Predlog spremembe 17
Člen 5(1)
Predlog Komisije |
Predlog spremembe OR |
||||||||||
Prepovedane so naslednje prakse umetne inteligence: |
Prepovedane so naslednje prakse umetne inteligence: |
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
Obrazložitev
Subliminalne tehnike na splošno lahko ogrozijo svobodo, človekove pravice in s tem delovanje demokratične pravne države. Hkrati lahko umetna inteligenca tudi spodkopava pravice potrošnikov. Z dodanim besedilom se to pojasni.
Družbeno razvrščanje, ki ga izvajajo javni organi ali se izvaja v njihovem imenu, bi moralo biti glede na nevarnosti, ki izhajajo iz tovrstnih praks, kot je razloženo v uvodni izjavi 17, prepovedano, če se izvaja v splošne namene. Ustvarjanje ali zbiranje podatkov v posebne namene bi smelo biti dovoljeno le ob človeškem nadzoru in pod pogojem, da ni v nasprotju s pravico do dostojanstva in nediskriminacije ter vrednotami, kot sta enakost in pravica.
Predlog spremembe 18
Člen 5(4)
Predlog Komisije |
Predlog spremembe OR |
Država članica se lahko odloči, da v okviru omejitev in pod pogoji iz točke (d) odstavka 1 ter odstavkov 2 in 3 v celoti ali delno dovoli uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Ta država članica v svoji nacionalni zakonodaji določi potrebna podrobna pravila za zahtevo, izdajo in izvajanje ter nadzor v zvezi z dovoljenji iz odstavka 3. Ta pravila poleg tega določajo, za katere od ciljev iz točke (d) odstavka 1, med drugim tudi, za katera kazniva dejanja iz točke (iii), se lahko pristojnim organom dovoli uporaba teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. |
Država članica se lahko odloči, da v okviru omejitev in pod pogoji iz točke (d) odstavka 1 ter odstavkov 2 in 3 v celoti ali delno dovoli uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Ta država članica v svoji nacionalni zakonodaji določi potrebna podrobna pravila za zahtevo, izdajo in izvajanje ter nadzor v zvezi z dovoljenji iz odstavka 3. Ta pravila poleg tega določajo, za katere od ciljev iz točke (d) odstavka 1, med drugim tudi, za katera kazniva dejanja iz točke (iii), se lahko pristojnim organom dovoli uporaba teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Ta pravila določajo načine obveščanja ustreznih lokalnih in regionalnih organov ter posvetovanja z njimi. To posvetovanje mora potekati pred izjemno uporabo teh sistemov v javno dostopnih prostorih. V nujnih primerih, ko ni mogoče v razumnem času izvesti predhodnega posvetovanja, se ustrezni lokalni ali regionalni organ nemudoma obvesti o uporabi zadevne prakse umetne inteligence. |
Obrazložitev
Lokalni in regionalni organi so politično in upravno pristojni za upravljanje javno dostopnih prostorov in nadzor nad njimi. Zato bi jim bilo treba omogočiti, da pred uvedbo takih praks umetne inteligence izrazijo svoje stališče in so ustrezno obveščeni o izjemni uporabi sistemov umetne inteligence za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj.
V nujnem primeru, ko ni mogoče v razumnem času izvesti predhodnega posvetovanja, se ustrezni lokalni ali regionalni organ nemudoma obvesti.
Predlog spremembe 19
Člen 13
Predlog Komisije |
Predlog spremembe OR |
||||||||||
Člen 13 Preglednost in zagotavljanje informacij uporabnikom |
Člen 13a Preglednost in zagotavljanje informacij uporabnikom |
||||||||||
1. Umetnointeligenčni sistemi velikega tveganja so zasnovani in razviti tako, da je njihovo delovanje dovolj pregledno, da lahko uporabniki razlagajo izhodne podatke sistema in jih ustrezno uporabijo. Zagotovita se ustrezna vrsta in stopnja preglednosti, da se doseže skladnost z ustreznimi obveznostmi uporabnika in ponudnika iz poglavja 3 tega naslova. |
1. Umetnointeligenčni sistemi velikega tveganja so zasnovani in razviti tako, da je njihovo delovanje dovolj pregledno, da lahko uporabniki razlagajo izhodne podatke sistema in jih ustrezno uporabijo. Zagotovijo se ustrezna vrsta in stopnja preglednosti ter razumljiva razlaga , da se doseže skladnost z ustreznimi obveznostmi uporabnika in ponudnika iz poglavja 3 tega naslova. Razlaga se zagotovi vsaj v jeziku države, v kateri se uporablja umetnointeligenčni sistem. |
||||||||||
2. Umetnointeligenčnim sistemom velikega tveganja so priložena navodila za uporabo v ustrezni digitalni obliki ali kako drugače, ki vključujejo jedrnate, popolne, pravilne in jasne informacije, ki so pomembne, dostopne in razumljive uporabnikom. |
2. Umetnointeligenčnim sistemom velikega tveganja so priložena javno dostopna in razumljiva navodila za uporabo v ustrezni digitalni obliki ali kako drugače, ki vključujejo jedrnate, popolne, pravilne in jasne informacije, ki so pomembne, dostopne in razumljive uporabnikom. |
||||||||||
3. Informacije iz odstavka 2 določajo: |
3. Informacije iz odstavka 2 določajo: |
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
Člen 13b Preglednost in zagotavljanje informacij zadevnim osebam Osebe ali skupine oseb, za katere se uporablja umetnointeligenčni sistem velikega tveganja, se o tem ustrezno ter na lahko dostopen in razumljiv način obvesti. Zagotovi se jim dostop do jasnih, lahko dostopnih in javnih informacij o njihovi uporabi. |
Obrazložitev
Za okrepitev ekosistema zaupanja morajo biti navodila za uporabo umetnointeligenčnih sistemov velikega tveganja javno dostopna. Napisana morajo biti v bralcu razumljivem jeziku države, v kateri se uporablja umetnointeligenčni sistem.
Zaradi preglednosti in razložljivosti algoritmov bi moralo biti mogoče pojasniti, s katerimi parametri je bil model prilagojen in kateri ukrepi so bili sprejeti za preprečevanje pretiranega (overfitting) in premajhnega prilagajanja (underfitting).
Člen 13b določa obveznost preglednosti in obveščanja oseb, ki so v stiku s sistemi umetne inteligence ali na katere bi sistem umetne inteligence lahko vplival.
Predlog spremembe 20
Člen 14(4)
Predlog Komisije |
Predlog spremembe OR |
||||
Ukrepi iz odstavka 3 posameznikom, ki jim je dodeljen človekov nadzor, omogočajo, da glede na okoliščine storijo naslednje: |
Ukrepi iz odstavka 3 posameznikom, ki jim je dodeljen človekov nadzor, omogočajo, da glede na okoliščine storijo naslednje: |
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
Obrazložitev
Problematičnih je lahko več oblik pristranskosti. Primeri vključujejo pristranskost oblikovalca ali uporabnika umetnointeligenčnega sistema (družbena pristranskost), pristranskost glede tega, ali je uporabljeni umetnointeligenčni sistem ustrezna rešitev problema (tehnološka pristranskost), in statistične oblike pristranskosti.
Predlog spremembe 21
Člen 14 – nov odstavek za odstavkom 5
Predlog Komisije |
Predlog spremembe OR |
|
Vsaka odločitev, ki jo sprejmejo umetnointeligenčni sistemi, kot je navedeno v točki 5(a) in (b) Priloge III, je predmet človekovega posredovanja in temelji na skrbnem postopku odločanja. Pri teh odločitvah mora sodelovati človek. |
Obrazložitev
V členu 14 se obravnava le človeški nadzor nad umetnointeligenčnimi sistemi velikega tveganja. V zvezi z odločitvami organov je pomembno poudariti, da so zagotovljeni človekovo posredovanje, stik in spoštovanje postopkov.
Predlog spremembe 22
Člen 17(1) – novi alineji za alinejo (m)
Predlog Komisije |
Predlog spremembe OR |
||||
Ponudniki umetnointeligenčnih sistemov velikega tveganja vzpostavijo sistem upravljanja kakovosti, ki zagotavlja skladnost s to uredbo. Ta sistem se sistematično in urejeno dokumentira v obliki pisnih politik, postopkov in navodil ter vključuje vsaj naslednje vidike: |
Ponudniki umetnointeligenčnih sistemov velikega tveganja vzpostavijo sistem upravljanja kakovosti, ki zagotavlja skladnost s to uredbo. Ta sistem se sistematično in urejeno dokumentira v obliki pisnih politik, postopkov in navodil ter vključuje vsaj naslednje vidike: |
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
Obrazložitev
Z dodanim besedilom se poudari, da bi morala biti vključenost in boj proti neupravičeni diskriminaciji pomembna elementa sistema kakovosti.
Sistem mora spoštovati etične vrednote, ki jih uporabnik umetnointeligenčnega sistema zahteva ali za katere ponudnik razumno pričakuje, da se lahko zahtevajo od umetnointeligenčnega sistema velikega tveganja. Ponudnik mora biti sposoben pojasniti, kako je to upošteval.
Predlog spremembe 23
Člen 19(1)
Predlog Komisije |
Predlog spremembe OR |
Ponudniki umetnointeligenčnih sistemov velikega tveganja zagotovijo, da njihovi sistemi pred dajanjem na trg ali v uporabo opravijo ustrezen postopek ugotavljanja skladnosti v skladu s členom 43. Kadar je bila po navedenem ugotavljanju skladnosti dokazana skladnost umetnointeligenčnih sistemov z zahtevami iz poglavja 2 tega naslova, ponudniki pripravijo izjavo EU o skladnosti v skladu s členom 48 in namestijo oznako skladnosti v skladu s členom 49. |
Ponudniki umetnointeligenčnih sistemov velikega tveganja zagotovijo, da njihovi sistemi pred dajanjem na trg ali v uporabo opravijo ustrezen postopek ugotavljanja skladnosti v skladu s členom 43. Kadar je bila po navedenem ugotavljanju skladnosti dokazana skladnost umetnointeligenčnih sistemov z zahtevami iz poglavja 2 tega naslova, ponudniki pripravijo izjavo EU o skladnosti v skladu s členom 48 in namestijo oznako skladnosti v skladu s členom 49. Ponudnik umetnointeligenčnih sistemov velikega tveganja na javno dostopnem mestu objavi izjavo EU o skladnosti in povzetek ugotavljanja skladnosti. |
Obrazložitev
Da bi okrepili ekosistem zaupanja v umetnointeligenčne sisteme, morajo ponudniki umetnointeligenčnih sistemov velikega tveganja poskrbeti za transparentnost. Zato mora imeti javnost možnost, da preveri, ali je bilo ugotavljanje skladnosti ustrezno izvedeno v skladu s pravili uredbe.
Predlog spremembe 24
Člen 29 – nov odstavek za odstavkom 6
Predlog Komisije |
Predlog spremembe OR |
|
Uporabniki umetnointeligenčnih sistemov velikega tveganja so odgovorni za preučitev etičnih vidikov, preden sistem dajo v uporabo. Znati morajo pojasniti morebitne učinke uporabe tehnologije na človeka in družbo. Izrecno navedejo predvideni namen uvedbe umetnointeligenčnega sistema, temeljne vrednote in način tehtanja teh vrednot ter ali so bile v sistemu upoštevane ali ne. Med življenjskim ciklom umetnointeligenčnega sistema ocenijo dejanske učinke sistema na človeka in družbo. |
Obrazložitev
Etika je širok pojem. Obstaja veliko načinov za upoštevanje etike v povezavi s tehnologijo, tako s teoretičnimi utemeljitvami kot s konkretnimi metodologijami, instrumenti in vrednotami zasnove. Vrednote so stvari, ki so za določene (skupine) ljudi pomembne. Lahko so konkretne ali bolj konceptualne. Pomembno je, da seznam moralnih vrednot, ki jih je treba upoštevati, ostane neizčrpen in da se še naprej ocenjuje življenjski cikel umetnointeligenčnega sistema.
Predlog spremembe 25
Člen 52(1)
Predlog Komisije |
Predlog spremembe OR |
Ponudniki zagotovijo, da so umetnointeligenčni sistemi, namenjeni interakciji s fizičnimi osebami, zasnovani in razviti tako, da so fizične osebe obveščene, da so v stiku z umetnointeligenčnim sistemom , razen če je to razvidno iz okoliščin in konteksta uporabe . Ta obveznost se ne uporablja za umetnointeligenčne sisteme, ki so z zakonom pooblaščeni za odkrivanje, preprečevanje, preiskovanje in pregon kaznivih dejanj, razen če so ti sistemi na voljo javnosti za prijavo kaznivega dejanja. |
Ponudniki zagotovijo, da so umetnointeligenčni sistemi, namenjeni interakciji s fizičnimi osebami, zasnovani in razviti tako, da so fizične osebe obveščene, da so v stiku z umetnointeligenčnim sistemom. Ta obveznost se ne uporablja za umetnointeligenčne sisteme, ki so z zakonom pooblaščeni za odkrivanje, preprečevanje, preiskovanje in pregon kaznivih dejanj, razen če so ti sistemi na voljo javnosti za prijavo kaznivega dejanja. Ta interakcija ne bi smela omejevati obsega možnosti in pravnega statusa fizičnih oseb, ki so v stiku z umetnointeligenčnimi sistemi. |
Obrazložitev
Kadar se tehnološka orodja uporabljajo kot sredstvo za interakcijo s fizičnimi osebami, lahko obstaja tveganje, da se omejijo možnosti izbire fizičnih oseb, ki so v stiku s temi orodji. Kadar se fizične osebe srečajo z umetnointeligenčnimi sistemi, bi morale biti vselej ustrezno obveščene, in to ne bi smelo biti odvisno od razlage določene situacije. Njihove pravice bi morale biti pri interakciji z umetnointeligenčnimi sistemi vselej zagotovljene.
Predlog spremembe 26
Člen 57(1)
Predlog Komisije |
Predlog spremembe OR |
Odbor sestavljajo nacionalni nadzorni organi, ki jih zastopa vodja ali enakovreden visoki uradnik tega organa, in Evropski nadzornik za varstvo podatkov. Na sestanke se lahko povabijo tudi drugi nacionalni organi, kadar so vprašanja, o katerih se razpravlja, pomembna zanje. |
Odbor sestavljajo nacionalni nadzorni organi, ki jih zastopa vodja ali enakovreden visoki uradnik tega organa, in Evropski nadzornik za varstvo podatkov. Na sestanke se lahko povabijo tudi drugi nacionalni , regionalni in lokalni organi, kadar so vprašanja, o katerih se razpravlja, pomembna zanje. |
Obrazložitev
Lokalne in regionalne oblasti bi morale imeti možnost, da sodelujejo pri nadzoru umetnointeligenčnih sistemov in poročajo o njihovi uporabi na lokalni ravni.
Predlog spremembe 27
Člen 58
Predlog Komisije |
Predlog spremembe OR |
||||||||||||||||
Odbor pri svetovanju in pomoči Komisiji v smislu člena 56(2) zlasti: |
Odbor pri svetovanju in pomoči Komisiji v smislu člena 56(2) zlasti: |
||||||||||||||||
|
|
||||||||||||||||
|
|
||||||||||||||||
|
|
||||||||||||||||
|
|
Obrazložitev
Lokalne in regionalne oblasti so lokalnim prebivalcem in gospodarstvom najbližje. Treba bi jih bilo izrecno vključiti v izmenjavo znanja.
Predlog spremembe 28
Člen 59(1)
Predlog Komisije |
Predlog spremembe OR |
Pristojne nacionalne organe ustanovi ali imenuje vsaka država članica za zagotavljanje uporabe in izvajanja te uredbe. Pristojni nacionalni organi so organizirani tako, da zagotavljajo objektivnost in nepristranskost svojih dejavnosti. |
Pristojne nacionalne organe ustanovi ali imenuje vsaka država članica za zagotavljanje uporabe in izvajanja te uredbe. Pristojni nacionalni organi so organizirani tako, da zagotavljajo objektivnost in nepristranskost svojih dejavnosti. Če država članica oceni, da je to primerno, se lokalni in regionalni organi pripravijo za opravljanje nalog nadzora ali izvrševanja. |
Obrazložitev
Zaradi izvedljivosti uredbe ter njenega okvira za nadzor in izvrševanje bi bilo treba državam članicam omogočiti, da po potrebi in kadar je to mogoče, lokalnim in regionalnim organom zaupajo izvajanje nalog nadzora ali izvrševanja. Lokalne in regionalne oblasti prejmejo podporo in usposabljanje, da bi bile popolnoma opolnomočene za opravljanje nalog nadzora in izvrševanja.
Predlog spremembe 29
Člen 69(3)
Predlog Komisije |
Predlog spremembe OR |
Kodekse ravnanja lahko pripravijo posamezni ponudniki sistemov umetne inteligence ali organizacije, ki jih zastopajo, ali oboji, tudi z vključevanjem uporabnikov in vseh zainteresiranih strani ter njihovih predstavniških organizacij. Kodeksi ravnanja lahko zajemajo enega ali več umetnointeligenčnih sistemov ob upoštevanju podobnosti predvidenega namena zadevnih sistemov. |
Kodekse ravnanja lahko pripravijo nacionalni, regionalni ali lokalni organi, posamezni ponudniki sistemov umetne inteligence ali organizacije, ki jih zastopajo, ali oboji, tudi z vključevanjem uporabnikov in vseh zainteresiranih strani ter njihovih predstavniških organizacij. Kodeksi ravnanja lahko zajemajo enega ali več umetnointeligenčnih sistemov ob upoštevanju podobnosti predvidenega namena zadevnih sistemov. |
Obrazložitev
Nacionalnim, lokalnim in regionalnim organom bi bilo treba podeliti zakonska pooblastila za pripravo kodeksov ravnanja za umetnointeligenčne sisteme, ki jih razvijajo ali uporabljajo.
Predlog spremembe 30
PRILOGA I – Tehnike in pristopi na področju umetne inteligence iz člena 3(1)
Predlog Komisije |
Predlog spremembe OR |
||||
|
Glede na trenutna znanstvena dognanja umetna inteligenca vključuje naslednje tehnike in metode: |
||||
|
|
||||
|
|
||||
|
|
Obrazložitev
Opredelitev in seznam umetnointeligenčnih tehnik morata biti primerna za prihodnost. Seznam posebnih tehnik in pristopov, ki se uporablja za razvoj umetnointeligenčnih sistemov, ne sme biti izčrpen in jasno mora biti, da temelji na sedanjih znanstvenih spoznanjih.
Predlog spremembe 31
Priloga III, 1–5
Predlog Komisije |
Predlog spremembe OR |
||||
Umetnointeligenčni sistemi velikega tveganja v skladu s členom 6(2) so umetnointeligenčni sistemi, navedeni na seznamu za katero koli od naslednjih področij: |
Umetnointeligenčni sistemi velikega tveganja v skladu s členom 6(2) so umetnointeligenčni sistemi, navedeni na seznamu za katero koli od naslednjih področij: |
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
Obrazložitev
Telekomunikacijska, vodovodna in internetna infrastruktura je sestavni del ključne infrastrukture.
Opredelitev sistemov velikega tveganja temelji na vprašanju, ali bi taki sistemi lahko predstavljali resnično tveganje za državljane. Zgolj analitična in teoretična ocena upravičenosti oseb do javnih storitev še ne pomeni velikega tveganja. Z dopolnitvijo besede „ocenjevanje“ z besedo „odločanje“ se poudari, da je pri odločanju prisotno to tveganje, zlasti za prebivalce.
II. POLITIČNA PRIPOROČILA
EVROPSKI ODBOR REGIJ
Sistem odličnosti
1. |
poudarja, da je cilj Komisije, da EU postane vodilna v svetu pri odgovornem in humanocentričnem razvoju umetne inteligence, mogoče uresničiti le, če bodo imele lokalne in regionalne oblasti pri tem močno vlogo. Te oblasti lahko zaradi svojega položaja najbolje prispevajo k ustvarjanju ugodnih pogojev za povečanje naložb v umetno inteligenco v prihodnjih letih in krepitev zaupanja vanjo; |
2. |
poudarja, da je poleg vključevanja lokalnih in regionalnih oblasti pomembno, da se zagotovita podpora in usposabljanje, da bi izboljšali njihovo usposobljenost na tem področju, zlasti ker lahko dobijo nadzorno in izvršilno vlogo; |
3. |
ugotavlja, da bodo za razvoj umetne inteligence na voljo sredstva EU, vendar opozarja na neusklajen pristop k temu razvoju zaradi raznolikosti programov, kar povečuje tveganje razdrobljenosti in prekrivanja; |
4. |
zato poziva Komisijo, naj razvije in poveže močne in raznolike skupne podatkovne prostore, ki z uporabo javnih in zasebnih podatkov rešujejo družbene primere uporabe. Za to je potrebna tudi uskladitev z zakonodajnimi pobudami v okviru evropske strategije za podatke; |
Ekosistem zaupanja
5. |
obžaluje, da se predlog uredbe ne nanaša na lokalne in regionalne oblasti, čeprav se bo pravni okvir uporabljal za javne in zasebne akterje; |
6. |
opozarja, da so lahko umetnointeligenčni sistemi lokalnim in regionalnim oblastem v veliko pomoč pri interakciji z državljani in zagotavljanju storitev. Med drugim lahko povečajo učinkovitost javnega sektorja ter te oblasti podprejo pri uvajanju prilagoditev, ki so zaradi zelenega in digitalnega prehoda potrebne na lokalni in regionalni ravni. Zato je pomembno, da se izkušnje, ki so jih pridobile lokalne in regionalne oblasti, dejavno uporabijo pri sedanji reviziji uredbe; |
7. |
poziva k podrobnejši pojasnitvi opredelitev „ponudnika“ in „uporabnika“, zlasti v primerih, ko podjetja, raziskovalne ustanove, javni organi in prebivalci skupaj razvijajo in preskušajo umetnointeligenčne sisteme v živih laboratorijih. Ustrezno bi bilo treba obravnavati tudi državljane oziroma potrošnike, na katere vplivajo odločitve na podlagi umetne inteligence v okviru sistemov, ki jih uporabljajo poslovni uporabniki; |
8. |
poudarja potrebo po predhodnem posvetovanju z ustreznimi lokalnimi in regionalnimi organi v primeru uporabe umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb v realnem času na daljavo v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj; |
9. |
pozdravlja javno posvetovanje Evropske komisije o prilagoditvi pravil o civilni odgovornosti posebnim izzivom digitalne dobe in umetne inteligence (1) ter pričakuje, da bo to privedlo do posodobljenega okvira, s katerim se bo zagotavljala odškodnina potrošnikom za škodo, ki jo povzročijo aplikacije umetne inteligence; |
10. |
se sprašuje, zakaj umetnointeligenčni sistemi, ki se uporabljajo v demokratičnih procesih, kot so volitve, niso na seznamu umetnointeligenčnih sistemov velikega tveganja; |
11. |
poziva, naj za umetnointeligenčne sisteme velikega tveganja veljajo enake zahteve glede preglednosti in zagotavljanja informacij za fizične osebe, kot sedaj veljajo za uporabnike; |
12. |
poudarja velika tveganja in posledice za človekove pravice, ki so povezani z uporabo družbenega razvrščanja; |
13. |
v zvezi s tem je zelo skeptičen glede dveh možnosti, navedenih v uredbi (2), na podlagi katerih se ugotavlja, kdaj družbeno razvrščanje pomeni škodljivo ali neugodno obravnavo posameznikov ali skupin ljudi, saj je obstoj teh možnosti zelo težko ugotoviti. V zvezi s tem poziva k jasni formulaciji močnih varoval, da se prepreči izogibanje prepovedi praks družbenega razvrščanja; |
14. |
ugotavlja, da so v uvodnih izjavah uredbe podrobno obravnavana tveganja, ki so jim izpostavljene fizične osebe zaradi njihove interakcije z umetnointeligenčnimi sistemi velikega tveganja, med drugim pri izobraževanju, usposabljanju, zaposlovanju, upravljanju človeških virov, dostopu do samozaposlitve ali nekaterih osnovnih zasebnih in javnih storitev ter njihovem koriščenju; |
15. |
poziva Komisijo, naj podrobno preuči opredelitev umetnointeligenčnih sistemov velikega tveganja, ki so namenjeni uporabi javnih organov (3); |
16. |
poziva, naj ustrezen organ poda tehtno predhodno mnenje o razlagi določb uredbe, tudi v povezavi s splošno uredbo o varstvu podatkov. To bo povečalo pravno varnost in zmanjšalo stroške zasnove in izvajanja umetnointeligenčnih sistemov; |
17. |
v zvezi s tem poudarja pomen jasnosti pri oblikovanju uredbe, ki je ključnega pomena za vzpostavitev ekosistema zaupanja in odpravo pravne negotovosti v zvezi z razvojem in uporabo umetnointeligenčnih sistemov. To bi preprečilo napačno razlago predlaganih zahtev in zmanjšalo tveganje poznejše nepravilne uporabe umetnointeligenčnih aplikacij, s čimer bi se povečali učinkovitost uredbe in verodostojnost kazni. Hkrati in v skladu z agendo Evropske komisije za boljše pravno urejanje sta ključnega pomena zgodnje odkrivanje in odprava morebitnih prekrivanj in/ali kolizije z obstoječimi pravili; |
18. |
ugotavlja, da številne lokalne in regionalne oblasti uporabljajo iste sisteme umetne inteligence za podobne naloge. Te sisteme v veliki večini primerov oblikujejo zasebna podjetja; |
19. |
poudarja, da predlog uredbe z vidika zagotavljanja pravic državljanov ni osamljen akt, temveč ga je treba obravnavati v povezavi z veljavno zakonodajo. Zato se države članice poziva, naj stalno zagotavljajo, da se s sprejemanjem potrebnih upravnih ukrepov upoštevajo priložnosti in tveganja, ki so povezani z uporabo umetne inteligence v javnem sektorju; |
20. |
opozarja, da to pomeni, da podjetja in priglašeni organi pri ugotavljanju skladnosti razlagajo evropska in nacionalna pravila, kar nato vpliva na prakso lokalnih in regionalnih oblasti, ki uporabljajo te umetnointeligenčne sisteme. Zato je težko ugotoviti, koliko se v teh sistemih upoštevajo lokalne in regionalne politike. Zato Odbor opozarja na posebne potrebe lokalnih in regionalnih oblasti ter na dejstvo, da lahko enoten pristop ogrozi učinkovitost umetnointeligenčnih sistemov pri odzivanju na te potrebe. Poleg tega Odbor predlaga, da se države članice pooblasti za urejanje umetnointeligenčnih sistemov velikega tveganja, kadar obstajajo nujni in upravičeni razlogi v splošnem interesu; |
21. |
v zvezi s tem poziva, da mora biti ugotavljanje skladnosti pregledno in dostopno javnosti. Poleg tega bi morale imeti lokalne in regionalne oblasti možnost, da sodelujejo pri nadzoru umetnointeligenčnih sistemov in poročajo o njihovi uporabi na lokalni ravni ter formalno prispevajo k oceni Evropske komisije o uporabi uredbe; |
22. |
poudarja, da uporaba regulativnega peskovnika zahteva vzpostavitev primernih pravnih, metodoloških in etičnih pogojev, da se omogoči razvoj tehnologije, priprava zakonodaje in njeno ocenjevanje. Določiti bi bilo treba jasna merila za vključitev podjetij v regulativni peskovnik. Da bi potrošniške organizacije lahko uveljavljale določbe akta o umetni inteligenci, ga je treba dodati v Prilogo I evropske direktive o zastopniških tožbah za varstvo kolektivnih interesov potrošnikov (Direktiva (EU) 2020/1828); |
Kampanje obveščanja
23. |
opozarja na pomen javnih kampanj, da se splošna javnost seznani in ozavešča o obstoju in koristih umetnointeligenčnih sistemov, pa tudi o možnih tveganjih. Poleg tega opozarja na nujnost obsežnega informiranja potrošnikov o odločanju, opravljenem z umetno inteligenco oziroma stroji. Zato poziva Evropsko komisijo, naj zagotovi financiranje za tovrstne kampanje; |
Upravno breme
24. |
izraža zaskrbljenost zaradi morebitnega upravnega bremena, ki bi ga lahko povzročila predlagana uredba. Upravno breme lahko ovira mala in srednja podjetja ter lokalne in regionalne oblasti pri spodbujanju inovacij in uvajanju umetnointeligenčnih sistemov (4); |
Sorazmernost in subsidiarnost
25. |
meni, da je predlog uredbe v skladu z zahtevami načel sorazmernosti in subsidiarnosti. Dodana vrednost ukrepov EU na tem področju in ustreznost pravne podlage, ki jo je izbrala Komisija, sta jasni in dosledni. Ocena učinka vsebuje poseben oddelek o subsidiarnosti. Poleg tega noben nacionalni parlament ni izdal obrazloženega mnenja o nespoštovanju načela subsidiarnosti do določenega roka, tj. 2. septembra 2021. |
V Bruslju, 2. decembra 2021
Predsednik Evropskega odbora regij
Apostolos TZITZIKOSTAS
([62]) Okvirni sklep Sveta 2002/584/PNZ z dne 13. junija 2002 o evropskem nalogu za prijetje in postopkih predaje med državami članicami (UL L 190, 18.7.2002, str. 1).
([62]) Okvirni sklep Sveta 2002/584/PNZ z dne 13. junija 2002 o evropskem nalogu za prijetje in postopkih predaje med državami članicami (UL L 190, 18.7.2002, str. 1).
(1) https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12979-Civil-liability-adapting-liability-rules-to-the-digital-age-and-artificial-intelligence/public-consultation_sl
(2) Člen 5(1)(c).
(3) Priloga III, točka 5(a).
(4) V nedavni študiji (Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe (Študija v podporo oceni učinka regulativnih zahtev za umetno inteligenco v Evropi), str. 12), ki jo je podprla Evropska komisija, je bilo ocenjeno, da bi lahko na podlagi razumnih predpostavk pridobitev certifikata za umetnointeligenčni sistem v povprečju stala 16 800–23 000 EUR, kar približno ustreza 10–14 % stroškov razvoja.