Access to European Union law
<a href="https://eur-lex.europa.eu/content/help/eurlex-content/experimental-features.html" target="_blank">More about the experimental features corner</a>
Choose the experimental features you want to try
EUR-Lex
Access to European Union law

This document is an excerpt from the EUR-Lex website

You are here
Use quotation marks to search for an "exact phrase". Append an asterisk (*) to a search term to find variations of it (transp*, 32019R*). Use a question mark (?) instead of a single character in your search term to find variations of it (ca?e finds case, cane, care).
Search tips
Need more search options? Use the Advanced search

Document 52021AR2682

Mnenje Evropskega odbora regij – Evropski pristop k umetni inteligenci – akt o umetni inteligenci (revidirano mnenje)

COR 2021/02682

UL C 97, 28.2.2022, p. 60–85 (BG, ES, CS, DA, DE, ET, EL, EN, FR, GA, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

Date of document:
02/12/2021; datum glasovanja
Date of vote:
02/12/2021
Date lodged:
24/06/2021
Author:
Evropski odbor regij, Komisija za socialno politiko, izobraževanje, zaposlovanje, raziskave in kulturo
Responsible body:
Commission for Social Policy, Education, Employment, Research and Culture, COR_SEDEC
Rapporteur:
Guido RINK
Form:
Mnenje
Term of office:
VII (2020-2025)
Internal reference:
SEDEC-VII/022
Session:
147
Treaty:
Pogodba o delovanju Evropske unije
Legal basis:
Link
Link
Link
Select all documents mentioning this document
Earlier related instruments:
Instruments cited:
Link

28.2.2022   

SL

Uradni list Evropske unije

C 97/60

Mnenje Evropskega odbora regij – Evropski pristop k umetni inteligenci – akt o umetni inteligenci

(revidirano mnenje)

(2022/C 97/12)

Poročevalec:

Guido RINK (NL/PES), član občinskega sveta, Emmen

Referenčna dokumenta:

Sporočilo Komisije Evropskemu parlamentu, Svetu, Evropskemu ekonomsko-socialnemu odboru in Odboru regij – Spodbujanje evropskega pristopa k umetni inteligenci

COM(2021) 205 final

Predlog uredbe Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci (akt o umetni inteligenci) in spremembi nekaterih zakonodajnih aktov Unije

COM(2021) 206 final

I.   PREDLOGI SPREMEMB

Predlog spremembe 1

Uvodna izjava 1

Predlog Komisije

Predlog spremembe OR

Namen te uredbe je izboljšati delovanje notranjega trga z določitvijo enotnega pravnega okvira, zlasti za razvoj, trženje in uporabo umetne inteligence v skladu z vrednotami Unije. Ta uredba uresničuje številne nujne razloge javnega interesa, kot so visoka raven varovanja zdravja, varnosti in temeljnih pravic, ter zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo.

Namen te uredbe je izboljšati delovanje notranjega trga in zaščititi temeljne pravice državljanov z določitvijo enotnega pravnega okvira, zlasti za razvoj, trženje in uporabo umetne inteligence v skladu z vrednotami Unije. Ta uredba uresničuje številne nujne razloge javnega interesa, kot so visoka raven varovanja zdravja, varnosti in temeljnih pravic, ter zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo.

Obrazložitev

Z omembo temeljnih pravic se poudari povezava z Listino Evropske unije o temeljnih pravicah.

Predlog spremembe 2

Za uvodno izjavo 6 se doda nova uvodna izjava

Predlog Komisije

Predlog spremembe OR

 

Opredeljevanje umetnointeligenčnih sistemov je nenehen proces, pri katerem je treba upoštevati okvir, v katerem deluje umetna inteligenca, in slediti družbenemu razvoju na tem področju, pri tem pa se ne sme prezreti povezave med ekosistemom odličnosti in ekosistemom zaupanja.

Obrazložitev

Razvoj na področju umetne inteligence in tehnologije zahteva pristop, ki se prilagaja in razvija. S to uvodno izjavo se poudari, da bi morala opredelitev umetne inteligence slediti času in stanju razvoja umetnointeligenčnih sistemov in njihove uporabe.

Predlog spremembe 3

Uvodna izjava 20

Predlog Komisije

Predlog spremembe OR

Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh treh izčrpno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, zlasti glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Poleg tega bi bilo treba za uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj določiti ustrezne časovne in prostorske omejitve, zlasti ob upoštevanju dokazov ali znamenj glede groženj, žrtev ali storilca. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od treh zgoraj navedenih primerov.

Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh treh izčrpno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, zlasti glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Pred izjemno uporabo teh sistemov je potrebno posvetovanje z ustreznimi lokalnimi in regionalnimi oblastmi. Poleg tega bi bilo treba za uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj določiti stroge časovne in prostorske omejitve, zlasti ob upoštevanju dokazov ali znamenj glede groženj, žrtev ali storilca. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od treh zgoraj navedenih primerov.

Obrazložitev

Sistemov za biometrično identifikacijo na daljavo v realnem času se ne bi smelo uporabljati preveč zlahka.

Predlog spremembe 4

Uvodna izjava 21

Predlog Komisije

Predlog spremembe OR

Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje pravosodnega organa ali neodvisnega upravnega organa države članice. Tako dovoljenje bi bilo treba načeloma pridobiti pred uporabo, razen v ustrezno utemeljenih nujnih primerih, tj. primerih, ko je potreba po uporabi zadevnih sistemov taka, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe. V  takih nujnih primerih bi bilo treba uporabo omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo ter kot jih v okviru vsakega posameznega primera nujne uporabe določi organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj . Poleg tega bi si moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj v takih primerih prizadevati za čimprejšnjo pridobitev dovoljenja in hkrati podati razloge, zakaj ga ni mogel zahtevati prej .

Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje pravosodnega organa ali neodvisnega upravnega organa države članice. Tako dovoljenje bi bilo treba pridobiti pred uporabo, razen v ustrezno utemeljenih nujnih primerih, tj. primerih, ko je potreba po uporabi zadevnih sistemov taka, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe. V  vsakem primeru bi bilo treba uporabo omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo. Poleg tega bi moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj nemudoma obvestiti ustrezne lokalne in regionalne oblasti ter si pri pristojnih organih prizadevati za pridobitev dovoljenja.

Obrazložitev

Lokalne in regionalne oblasti so politično in upravno pristojne za upravljanje javno dostopnih prostorov in nadzor nad njimi. Zato bi jih bilo treba ustrezno vključiti v uporabo takšnih sistemov v javno dostopnih prostorih. V nujnih primerih, ko ni mogoče v razumnem času izvesti predhodnega posvetovanja, bi bilo treba ustrezni lokalni ali regionalni organ nemudoma obvestiti o uporabi biometričnih sistemov v javno dostopnih prostorih.

Predlog spremembe 5

Uvodna izjava 39

Predlog Komisije

Predlog spremembe OR

Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je primerno , da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, kot so poligrafi in podobna orodja, ali za zaznavanje čustvenega stanja fizične osebe, uvrstijo med sisteme velikega tveganja; za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi prošenj za azil, vizume in dovoljenja za prebivanje ter s tem povezanih pritožb, da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status. Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta, Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta in druge ustrezne zakonodaje.

Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je potrebno , da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, kot so poligrafi in podobna orodja, ali za zaznavanje čustvenega stanja fizične osebe, uvrstijo med sisteme velikega tveganja; za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi prošenj za azil, vizume in dovoljenja za prebivanje ter s tem povezanih pritožb, da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status. Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta, Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta in druge ustrezne zakonodaje.

Obrazložitev

S to spremembo se poudari, da je treba za zadevne umetnointeligenčne sisteme uporabljati strožje predpise, ki veljajo za tovrstne sisteme velikega tveganja.

Predlog spremembe 6

Uvodna izjava 43

Predlog Komisije

Predlog spremembe OR

Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uporabnikom, človekovega nadzora ter robustnosti, točnosti in kibernetske varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost in temeljne pravice, kot se uporabljajo glede na predvideni namen sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine.

Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uporabnikom, človekovega nadzora ter robustnosti, točnosti in kibernetske varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost , varnost podatkov, pravice potrošnikov in temeljne pravice, kot se uporabljajo glede na namen sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine. Fizične osebe ali skupine oseb, na katere vplivajo umetnointeligenčni sistemi velikega tveganja, ki so dani na trg Unije ali kako drugače dani v uporabo, bi morale biti ustrezno, lahko dostopno in na razumljiv način obveščene ter imeti dostop do jasnih, lahko dostopnih in javnih pojasnil, da so pod vplivom teh sistemov.

Obrazložitev

Zahteve glede preglednosti in zagotavljanja informacij, ki veljajo za ponudnike in uporabnike, bi bilo treba razširiti na osebe ali skupine oseb, na katere lahko vpliva uporaba umetnointeligenčnih sistemov velikega tveganja, kakor so navedeni v Prilogi III k uredbi. „Na razumljiv način“ pomeni tudi v „jeziku, ki je razumljiv in dostopen uporabniku, vključno z govornim in znakovnim jezikom“.

Predlog spremembe 7

Za uvodno izjavo 44 se doda nova uvodna izjava

Predlog Komisije

Predlog spremembe OR

 

Ponudniki umetnointeligenčnih sistemov v svoj sistem upravljanja kakovosti ne vključijo ukrepov, ki spodbujajo neupravičeno diskriminacijo na podlagi spola, porekla, vere ali prepričanja, invalidnosti, starosti, spolne usmerjenosti ali diskriminacijo iz drugih razlogov.

Obrazložitev

Nezakonita diskriminacija izvira iz človekovega ravnanja. Ponudniki umetnointeligenčnih sistemov v svoj sistem kakovosti ne smejo vključiti ukrepov, ki bi lahko spodbujali diskriminacijo.

Predlog spremembe 8

Uvodna izjava 47

Predlog Komisije

Predlog spremembe OR

Za odpravo neprepustnosti, zaradi katere so nekateri umetnointeligenčni sistemi fizičnim osebam morda nerazumljivi ali zanje preveč zapleteni, bi bilo treba za umetnointeligenčne sisteme velikega tveganja zahtevati določeno stopnjo preglednosti. Uporabniki bi morali biti sposobni interpretirati izhodne podatke sistema in jih ustrezno uporabiti. Sistemom umetne inteligence velikega tveganja bi bilo zato treba priložiti ustrezno dokumentacijo in navodila za uporabo ter vključiti jedrnate in jasne informacije, vključno z morebitnimi tveganji za temeljne pravice in diskriminacijo, kjer je to primerno.

Za odpravo neprepustnosti, zaradi katere so nekateri umetnointeligenčni sistemi fizičnim osebam ali javnim organom na vseh ravneh upravljanja morda nerazumljivi ali zanje preveč zapleteni, bi bilo treba za umetnointeligenčne sisteme velikega tveganja zahtevati visoko stopnjo preglednosti. Uporabniki bi morali biti sposobni interpretirati izhodne podatke sistema in jih ustrezno uporabiti. Sistemom umetne inteligence velikega tveganja bi bilo zato treba priložiti ustrezno dokumentacijo in navodila za uporabo ter vključiti jedrnate in jasne informacije, vključno z morebitnimi tveganji za temeljne pravice in diskriminacijo, kjer je to primerno.

Obrazložitev

Z uporabo besed „določeno stopnjo preglednosti“ se zmanjšuje odgovornost snovalcev umetnointeligenčnih sistemov velikega tveganja.

Predlog spremembe 9

Uvodna izjava 48

Predlog Komisije

Predlog spremembe OR

Umetnointeligenčni sistemi velikega tveganja bi morali biti zasnovani in razviti tako, da lahko fizične osebe nadzorujejo njihovo delovanje. V ta namen bi moral ponudnik sistema pred dajanjem sistema na trg ali v uporabo določiti ustrezne ukrepe za človekov nadzor. Zlasti bi morali taki ukrepi, kadar je to primerno, zagotavljati, da za sistem veljajo vgrajene operativne omejitve, ki jih sistem sam ne more razveljaviti in se odziva na človeškega operaterja, ter da imajo fizične osebe, ki jim je bil dodeljen človekov nadzor, potrebno pristojnost, usposobljenost in pooblastila za opravljanje te vloge.

Umetnointeligenčni sistemi velikega tveganja bi morali biti zasnovani in razviti tako, da lahko fizične osebe in javni organi na vseh ravneh upravljanja nadzorujejo njihovo delovanje. V ta namen bi moral ponudnik sistema pred dajanjem sistema na trg ali v uporabo določiti ustrezne ukrepe za človekov nadzor. Zlasti bi morali taki ukrepi, kadar je to primerno, zagotavljati, da za sistem veljajo vgrajene operativne omejitve, ki jih sistem sam ne more razveljaviti in se odziva na človeškega operaterja, ter da imajo fizične osebe, ki jim je bil dodeljen človekov nadzor, potrebno pristojnost, usposobljenost in pooblastila za opravljanje te vloge.

Obrazložitev

Obrazložitev je razvidna iz besedila.

Predlog spremembe 10

Uvodna izjava 67

Predlog Komisije

Predlog spremembe OR

Umetnointeligenčni sistemi velikega tveganja bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Države članice ne bi smele neupravičeno ovirati dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE.

Umetnointeligenčni sistemi velikega tveganja bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Države članice ne bi smele ovirati dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE. Države članice so pristojne za urejanje umetnointeligenčnih praks in sistemov velikega tveganja izključno na podlagi nujnih in ustrezno utemeljenih razlogov v splošnem interesu ter interesu nacionalne varnosti.

Obrazložitev

Države članice sicer ne bi smele ovirati uporabe uredbe, vendar bi morale obdržati pravico do urejanja umetnointeligenčnih sistemov velikega tveganja, če gre za javne interese in interese nacionalne varnosti.

Predlog spremembe 11

Uvodna izjava 70

Predlog Komisije

Predlog spremembe OR

Nekateri umetnointeligenčni sistemi, namenjeni stikom s fizičnimi osebami ali ustvarjanju vsebine, lahko predstavljajo posebna tveganja za izdajanje za drugo osebo ali zavajanje, ne glede na to, ali se uvrščajo med sisteme velikega tveganja ali ne. V določenih okoliščinah bi zato za uporabo teh sistemov morale veljati posebne obveznosti glede preglednosti brez poseganja v zahteve in obveznosti za umetnointeligenčne sisteme velikega tveganja. Zlasti fizične osebe bi morale biti obveščene, da so v stiku s sistemom umetne inteligence , razen če je to razvidno iz okoliščin in konteksta uporabe . Poleg tega bi morale biti fizične osebe obveščene, kadar so izpostavljene sistemu za prepoznavanje čustev ali sistemu za biometrično kategorizacijo. Take informacije in obvestila bi bilo treba zagotoviti v oblikah, dostopnih za invalide. Poleg tega bi morali uporabniki, ki uporabljajo umetnointeligenčni sistem za ustvarjanje ali manipulacijo slikovne, zvočne ali videovsebine, ki v znatni meri spominja na obstoječe osebe, kraje ali dogodke in bi se osebi zdela verodostojna, čeprav ni, razkriti, da je bila vsebina umetno ustvarjena ali manipulirana, tako da ustrezno označijo izhodne podatke umetne inteligence in razkrijejo njihov umetni izvor.

Nekateri umetnointeligenčni sistemi, namenjeni stikom s fizičnimi osebami ali ustvarjanju vsebine, lahko predstavljajo posebna tveganja za izdajanje za drugo osebo ali zavajanje, ne glede na to, ali se uvrščajo med sisteme velikega tveganja ali ne. Zato bi za uporabo teh sistemov morale veljati posebne obveznosti glede preglednosti brez poseganja v zahteve in obveznosti za umetnointeligenčne sisteme velikega tveganja. Zlasti fizične osebe bi morale biti sistematično obveščene, da so v stiku s sistemom umetne inteligence. Poleg tega bi morale biti fizične osebe obveščene, kadar so izpostavljene sistemu za prepoznavanje čustev ali sistemu za biometrično kategorizacijo. Take informacije in obvestila bi bilo treba zagotoviti v oblikah, dostopnih za invalide. Poleg tega bi morali uporabniki, ki uporabljajo umetnointeligenčni sistem za ustvarjanje ali manipulacijo slikovne, zvočne ali videovsebine, ki v znatni meri spominja na obstoječe osebe, kraje ali dogodke in bi se osebi zdela verodostojna, čeprav ni, razkriti, da je bila vsebina umetno ustvarjena ali manipulirana, tako da ustrezno označijo izhodne podatke umetne inteligence in razkrijejo njihov umetni izvor.

Obrazložitev

V zvezi z obveznostjo glede preglednosti in obveščanja pri interakciji fizičnih oseb z umetnointeligenčnimi sistemi ne bi smelo biti izjem.

Predlog spremembe 12

Uvodna izjava 76

Predlog Komisije

Predlog spremembe OR

Za lažje nemoteno, učinkovito in harmonizirano izvajanje te uredbe bi bilo treba ustanoviti Evropski odbor za umetno inteligenco. Odbor bi moral biti odgovoren za številne svetovalne naloge, med drugim za izdajanje mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem te uredbe, vključno s tehničnimi specifikacijami ali obstoječimi standardi v zvezi z zahtevami iz te uredbe, ter svetovanje in pomoč Komisiji pri posebnih vprašanjih v zvezi z umetno inteligenco.

Za lažje nemoteno, učinkovito in harmonizirano izvajanje te uredbe bi bilo treba ustanoviti Evropski odbor za umetno inteligenco. Odbor bi moral biti odgovoren za številne svetovalne naloge, med drugim za izdajanje mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem te uredbe, vključno s tehničnimi specifikacijami ali obstoječimi standardi v zvezi z zahtevami iz te uredbe, ter svetovanje in pomoč Komisiji pri posebnih vprašanjih v zvezi z umetno inteligenco. Sestava Evropskega odbora za umetno inteligenco bi morala odražati interese evropske družbe in biti uravnotežena glede na spol.

Obrazložitev

Evropski odbor za umetno inteligenco bi moral ustrezno odražati široke interese evropske družbe. Ti vključujejo vprašanja, kot so človekove pravice, podnebje in energetsko učinkovita uporaba umetnointeligenčnih sistemov, varnost, socialna vključenost, zdravje itd. Uravnotežena zastopanost spolov je predpogoj za raznolikost pri pripravi mnenj, pripravi smernic itd.

Predlog spremembe 13

Uvodna izjava 77

Predlog Komisije

Predlog spremembe OR

Države članice imajo ključno vlogo pri uporabi in izvrševanju te uredbe. V zvezi s tem bi morala vsaka država članica imenovati enega ali več pristojnih nacionalnih organov za nadzor uporabe in izvajanja te uredbe. Da bi se povečala učinkovitost organizacije s strani držav članic ter vzpostavila uradna kontaktna točka za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije, bi bilo treba v vsaki državi članici en nacionalni organ imenovati za nacionalni nadzorni organ.

Države članice imajo ključno vlogo pri uporabi in izvrševanju te uredbe. V zvezi s tem bi morala vsaka država članica imenovati enega ali več pristojnih nacionalnih organov za nadzor uporabe in izvajanja te uredbe. Da bi se povečala učinkovitost organizacije s strani držav članic ter vzpostavila uradna kontaktna točka za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije, bi bilo treba v vsaki državi članici en nacionalni organ imenovati za nacionalni nadzorni organ. Če država članica oceni, da je to primerno, se lokalni in regionalni organi pooblastijo za opravljanje nalog nadzora ali izvrševanja.

Obrazložitev

Zaradi izvedljivosti uredbe ter njenega okvira za nadzor in izvrševanje bi bilo treba državam članicam podeliti pooblastila, da po potrebi in kadar je to mogoče, lokalne in regionalne organe pooblastijo za izvajanje nalog nadzora ali izvrševanja.

Predlog spremembe 14

Uvodna izjava 79

Predlog Komisije

Predlog spremembe OR

Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Kadar je to potrebno za njihove naloge, bi morali imeti nacionalni javni organi, ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, vključno z organi za enakost, tudi dostop do kakršne koli dokumentacije, pripravljene v skladu s to uredbo.

Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Kadar je to potrebno za njihove naloge, bi morali imeti nacionalni javni organi in po potrebi lokalni in regionalni organi , ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, vključno z organi za enakost, tudi dostop do kakršne koli dokumentacije, pripravljene v skladu s to uredbo.

Obrazložitev

V tem predlogu spremembe se upoštevajo različne strukture upravljanja v državah članicah EU.

Predlog spremembe 15

Uvodna izjava 83

Predlog Komisije

Predlog spremembe OR

Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni ravni bi morale vse strani, vključene v uporabo te uredbe, spoštovati zaupnost informacij in podatkov, pridobljenih pri opravljanju svojih nalog.

Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni , regionalni in lokalni ravni bi morale vse strani, vključene v uporabo te uredbe, spoštovati zaupnost informacij in podatkov, pridobljenih pri opravljanju svojih nalog.

Obrazložitev

V tem predlogu spremembe se upoštevajo različne strukture upravljanja v državah članicah EU.

Predlog spremembe 16

NASLOV I, člen 3(1) – Opredelitve pojmov

Predlog Komisije

Predlog spremembe OR

„umetnointeligenčni sistem“ pomeni programsko opremo, ki je razvita z eno ali več tehnikami in pristopi iz Priloge I ter lahko za določen sklop ciljev, ki jih opredeli človek, ustvarja izhodne podatke, kot so vsebine, napovedi, priporočila ali odločitve, ki vplivajo na okolje, s katerim so v stiku;

„umetnointeligenčni sistem“ pomeni programsko opremo, ki je razvita z eno ali več tehnikami in pristopi z neizčrpnega seznama Priloge I , v kombinaciji z družbenimi praksami, identiteto in kulturo, ter lahko za določen sklop ciljev, ki jih opredeli človek , in sicer z opazovanjem svojega okolja prek zbiranja podatkov, razlaganja zbranih strukturiranih ali nestrukturiranih podatkov, upravljanja znanja ali obdelave informacij, pridobljenih iz teh podatkov, ustvarja izhodne podatke, kot so vsebine, napovedi, priporočila ali odločitve, ki vplivajo na okolje, s katerim so v stiku;

Obrazložitev

Umetnointeligenčni sistem sestavlja kombinacija tehničnih elementov, ki podatke, algoritme in računalniške zmogljivosti povezujejo z družbenimi praksami, družbo, identiteto in kulturo. Opredelitev tovrstnega socialno-tehničnega sklopa bi zato morala biti primerna za prihodnost in bi jo bilo treba redno posodabljati, da bi točno odražala vse večje družbene učinke umetne inteligence in hkrati zajela hitro spreminjajoče se izzive in priložnosti, povezane z umetno inteligenco, vključno s povezavo med upravljanjem znanja in umetno inteligenco. Algoritem, ki ga je razvil drug algoritem, bi moral biti tudi predmet uredbe.

Predlog spremembe 17

Člen 5(1)

Predlog Komisije

Predlog spremembe OR

Prepovedane so naslednje prakse umetne inteligence:

Prepovedane so naslednje prakse umetne inteligence:

(a)

dajanje na trg, v uporabo ali v obratovanje umetnointeligenčnega sistema, ki uporablja subliminalne tehnike, ki presegajo zavest osebe, da bi bistveno izkrivili vedenje osebe na način, ki tej osebi ali drugi osebi povzroči ali bi ji lahko povzročil fizično ali psihično škodo;

(a)

dajanje na trg, v uporabo ali v obratovanje umetnointeligenčnega sistema, ki uporablja subliminalne tehnike, ki presegajo zavest osebe, da bi bistveno izkrivili vedenje osebe na način, ki tej osebi ali drugi osebi povzroči ali bi ji lahko povzročil fizično ali psihično škodo, posega ali lahko poseže v temeljne pravice druge osebe ali skupine oseb, vključno z njihovim telesnim ali duševnim zdravjem in varnostjo, ima ali bi lahko imela negativne posledice za potrošnike, vključno z denarno izgubo ali ekonomsko diskriminacijo, ali spodkopava ali bi lahko spodkopala demokracijo in pravno državo ;

(b)

dajanje na trg, v uporabo ali v obratovanje umetnointeligenčnega sistema, ki izkorišča katere koli šibke točke določene skupine oseb zaradi njihove starosti, telesne ali duševne invalidnosti, da bi bistveno izkrivili vedenje osebe, ki spada v to skupino, na način, ki tej osebi ali drugi osebi povzroči ali bi ji lahko povzročil fizično ali psihično škodo;

(b)

dajanje na trg, v uporabo ali v obratovanje umetnointeligenčnega sistema, ki izkorišča katere koli šibke točke določene skupine oseb zaradi njihove starosti, telesne ali duševne invalidnosti, da bi bistveno izkrivili vedenje osebe, ki spada v to skupino, na način, ki tej osebi ali drugi osebi povzroči ali bi ji lahko povzročil fizično ali psihično škodo;

(c)

dajanje umetnointeligenčnih sistemov na trg, v uporabo ali v obratovanje s strani javnih organov ali v njihovem imenu za ocenjevanje ali razvrščanje fizičnih oseb po tem, koliko so vredne zaupanja, v določenem časovnem obdobju na podlagi njihovega družbenega vedenja ali znanih ali predvidenih osebnih ali osebnostnih značilnosti , pri čemer število družbenih točk vodi do ene ali obeh naslednjih možnosti:

i)

škodljiva ali neugodna obravnava nekaterih fizičnih oseb ali njihovih celotnih skupin v družbenih okoliščinah, ki niso povezane z okoliščinami, v katerih so bili podatki prvotno ustvarjeni ali zbrani;

ii)

škodljiva ali neugodna obravnava nekaterih fizičnih oseb ali njihovih celotnih skupin, ki je neupravičena ali nesorazmerna z njihovim družbenim vedenjem ali resnostjo njihovega družbenega vedenja ;

(c)

dajanje umetnointeligenčnih sistemov na trg, v uporabo ali v obratovanje s strani javnih organov ali v njihovem imenu za ocenjevanje ali razvrščanje fizičnih oseb ali skupin oseb po tem, koliko so vredne zaupanja, v določenem časovnem obdobju na podlagi njihovega družbenega vedenja ali znanih ali predvidenih osebnih ali osebnostnih značilnosti , kar vodi do družbenega točkovanja za splošne namene, temelječega na umetni inteligenci;

(d)

uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen če je taka uporaba nujno potrebna za enega od naslednjih ciljev:

i)

usmerjeno iskanje določenih potencialnih žrtev kaznivih dejanj, vključno s pogrešanimi otroki;

ii)

preprečitev konkretne, znatne in neposredne nevarnosti za življenje ali fizično varnost fizičnih oseb ali preprečitev terorističnega napada;

iii)

odkrivanje, lokalizacijo, identifikacijo ali pregon storilca ali osumljenca kaznivega dejanja iz člena 2(2) Okvirnega sklepa Sveta 2002/584/PNZ ([62]), ki se v zadevni državi članici kaznuje z zaporno kaznijo ali ukrepom, vezanim na odvzem prostosti najmanj treh let, kot je določeno z zakonodajo te države članice.

(d)

dajanje umetnointeligenčnih sistemov na trg, v uporabo ali v obratovanje s strani javnih organov ali v njihovem imenu, ki uporabljajo na umetni inteligenci temelječe družbeno točkovanje brez človeškega nadzora za posebne namene, tj. v družbenih okoliščinah, povezanih z okoliščinami, v katerih so bili podatki prvotno ustvarjeni ali zbrani, za ocenjevanje ali razvrščanje fizičnih oseb ali skupin oseb v določenem časovnem obdobju po tem, koliko so vredne zaupanja na podlagi njihovega družbenega vedenja ali znanih ali predvidenih osebnih ali osebnostnih značilnosti, pri čemer število družbenih točk vodi do škodljive ali neugodne obravnave nekaterih fizičnih oseb ali njihovih celotnih skupin, ki je neupravičena ali nesorazmerna z njihovim družbenim vedenjem ali resnostjo takšnega vedenja;

 

(e)

uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen če je taka uporaba nujno potrebna za enega od naslednjih ciljev:

i)

usmerjeno iskanje določenih potencialnih žrtev kaznivih dejanj, vključno s pogrešanimi otroki;

ii)

preprečitev konkretne, znatne in neposredne nevarnosti za življenje ali fizično varnost fizičnih oseb ali preprečitev terorističnega napada;

iii)

odkrivanje, lokalizacijo, identifikacijo ali pregon storilca ali osumljenca kaznivega dejanja iz člena 2(2) Okvirnega sklepa Sveta 2002/584/PNZ ([62]), ki se v zadevni državi članici kaznuje z zaporno kaznijo ali ukrepom, vezanim na odvzem prostosti najmanj treh let, kot je določeno z zakonodajo te države članice.

Obrazložitev

Subliminalne tehnike na splošno lahko ogrozijo svobodo, človekove pravice in s tem delovanje demokratične pravne države. Hkrati lahko umetna inteligenca tudi spodkopava pravice potrošnikov. Z dodanim besedilom se to pojasni.

Družbeno razvrščanje, ki ga izvajajo javni organi ali se izvaja v njihovem imenu, bi moralo biti glede na nevarnosti, ki izhajajo iz tovrstnih praks, kot je razloženo v uvodni izjavi 17, prepovedano, če se izvaja v splošne namene. Ustvarjanje ali zbiranje podatkov v posebne namene bi smelo biti dovoljeno le ob človeškem nadzoru in pod pogojem, da ni v nasprotju s pravico do dostojanstva in nediskriminacije ter vrednotami, kot sta enakost in pravica.

Predlog spremembe 18

Člen 5(4)

Predlog Komisije

Predlog spremembe OR

Država članica se lahko odloči, da v okviru omejitev in pod pogoji iz točke (d) odstavka 1 ter odstavkov 2 in 3 v celoti ali delno dovoli uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Ta država članica v svoji nacionalni zakonodaji določi potrebna podrobna pravila za zahtevo, izdajo in izvajanje ter nadzor v zvezi z dovoljenji iz odstavka 3. Ta pravila poleg tega določajo, za katere od ciljev iz točke (d) odstavka 1, med drugim tudi, za katera kazniva dejanja iz točke (iii), se lahko pristojnim organom dovoli uporaba teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj.

Država članica se lahko odloči, da v okviru omejitev in pod pogoji iz točke (d) odstavka 1 ter odstavkov 2 in 3 v celoti ali delno dovoli uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Ta država članica v svoji nacionalni zakonodaji določi potrebna podrobna pravila za zahtevo, izdajo in izvajanje ter nadzor v zvezi z dovoljenji iz odstavka 3. Ta pravila poleg tega določajo, za katere od ciljev iz točke (d) odstavka 1, med drugim tudi, za katera kazniva dejanja iz točke (iii), se lahko pristojnim organom dovoli uporaba teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Ta pravila določajo načine obveščanja ustreznih lokalnih in regionalnih organov ter posvetovanja z njimi. To posvetovanje mora potekati pred izjemno uporabo teh sistemov v javno dostopnih prostorih. V nujnih primerih, ko ni mogoče v razumnem času izvesti predhodnega posvetovanja, se ustrezni lokalni ali regionalni organ nemudoma obvesti o uporabi zadevne prakse umetne inteligence.

Obrazložitev

Lokalni in regionalni organi so politično in upravno pristojni za upravljanje javno dostopnih prostorov in nadzor nad njimi. Zato bi jim bilo treba omogočiti, da pred uvedbo takih praks umetne inteligence izrazijo svoje stališče in so ustrezno obveščeni o izjemni uporabi sistemov umetne inteligence za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj.

V nujnem primeru, ko ni mogoče v razumnem času izvesti predhodnega posvetovanja, se ustrezni lokalni ali regionalni organ nemudoma obvesti.

Predlog spremembe 19

Člen 13

Predlog Komisije

Predlog spremembe OR

Člen 13 Preglednost in zagotavljanje informacij uporabnikom

Člen 13a Preglednost in zagotavljanje informacij uporabnikom

1.   Umetnointeligenčni sistemi velikega tveganja so zasnovani in razviti tako, da je njihovo delovanje dovolj pregledno, da lahko uporabniki razlagajo izhodne podatke sistema in jih ustrezno uporabijo. Zagotovita se ustrezna vrsta in stopnja preglednosti, da se doseže skladnost z ustreznimi obveznostmi uporabnika in ponudnika iz poglavja 3 tega naslova.

1.   Umetnointeligenčni sistemi velikega tveganja so zasnovani in razviti tako, da je njihovo delovanje dovolj pregledno, da lahko uporabniki razlagajo izhodne podatke sistema in jih ustrezno uporabijo. Zagotovijo se ustrezna vrsta in stopnja preglednosti ter razumljiva razlaga , da se doseže skladnost z ustreznimi obveznostmi uporabnika in ponudnika iz poglavja 3 tega naslova. Razlaga se zagotovi vsaj v jeziku države, v kateri se uporablja umetnointeligenčni sistem.

2.   Umetnointeligenčnim sistemom velikega tveganja so priložena navodila za uporabo v ustrezni digitalni obliki ali kako drugače, ki vključujejo jedrnate, popolne, pravilne in jasne informacije, ki so pomembne, dostopne in razumljive uporabnikom.

2.   Umetnointeligenčnim sistemom velikega tveganja so priložena javno dostopna in razumljiva navodila za uporabo v ustrezni digitalni obliki ali kako drugače, ki vključujejo jedrnate, popolne, pravilne in jasne informacije, ki so pomembne, dostopne in razumljive uporabnikom.

3.   Informacije iz odstavka 2 določajo:

3.   Informacije iz odstavka 2 določajo:

(a)

istovetnost in kontaktne podatke ponudnika in njegovega pooblaščenega zastopnika, kadar ta obstaja;

(a)

istovetnost in kontaktne podatke ponudnika in njegovega pooblaščenega zastopnika, kadar ta obstaja;

(b)

značilnosti, zmogljivosti in omejitve delovanja umetnointeligenčnega sistema velikega tveganja, ki vključujejo:

(b)

značilnosti, zmogljivosti in omejitve delovanja umetnointeligenčnega sistema velikega tveganja, ki vključujejo:

 

i)

njegov predvideni namen;

 

i)

njegov predvideni namen;

 

ii)

raven točnosti, robustnosti in kibernetske varnosti iz člena 15, na podlagi katere je bil umetnointeligenčni sistem velikega tveganja testiran ter potrjen in katero se lahko pričakuje, ter vse znane in predvidljive okoliščine, ki bi lahko vplivale na to pričakovano raven točnosti, robustnosti in kibernetske varnosti;

 

ii)

raven točnosti (izražene v ustreznih merilih za oceno modelov) , robustnosti in kibernetske varnosti iz člena 15, na podlagi katere je bil umetnointeligenčni sistem velikega tveganja testiran ter potrjen in katero se lahko pričakuje, ter vse znane in predvidljive okoliščine, ki bi lahko vplivale na to pričakovano raven točnosti, robustnosti in kibernetske varnosti;

 

iii)

vse znane ali predvidljive okoliščine, povezane z uporabo umetnointeligenčnega sistema velikega tveganja v skladu s predvidenim namenom ali v razmerah razumno predvidljive napačne uporabe, ki lahko pripeljejo do tveganj za zdravje in varnost ali za temeljne pravice;

 

iii)

vse znane ali predvidljive okoliščine, povezane z uporabo umetnointeligenčnega sistema velikega tveganja v skladu s predvidenim namenom ali v razmerah razumno predvidljive napačne uporabe, ki lahko pripeljejo do tveganj za zdravje in varnost ali za temeljne pravice;

 

iv)

njegove zmogljivosti v zvezi z osebami ali skupinami oseb, na katerih naj bi se sistem uporabljal;

 

iv)

njegove zmogljivosti v zvezi z osebami ali skupinami oseb, na katerih naj bi se sistem uporabljal;

 

v)

kadar je to primerno, specifikacije za vhodne podatke ali katere koli druge ustrezne informacije v zvezi z uporabljenimi nabori učnih in testnih podatkov ter podatkov za potrditev, ob upoštevanju predvidenega namena umetnointeligenčnega sistema;

 

v)

kadar je to primerno, specifikacije za vhodne podatke ali katere koli druge ustrezne informacije v zvezi z uporabljenimi nabori učnih in testnih podatkov ter podatkov za potrditev, ob upoštevanju predvidenega namena umetnointeligenčnega sistema;

(vi)

parametre, ki se uporabljajo za prilagoditev modela, in ukrepe, sprejete za preprečevanje pretiranega (overfitting) in premajhnega prilagajanja (underfitting);

(c)

morebitne spremembe umetnointeligenčnega sistema velikega tveganja in njegove zmogljivosti, ki jih je ponudnik vnaprej določil ob začetnem ugotavljanju skladnosti;

(c)

morebitne spremembe umetnointeligenčnega sistema velikega tveganja in njegove zmogljivosti, ki jih je ponudnik vnaprej določil ob začetnem ugotavljanju skladnosti;

(d)

ukrepe človekovega nadzora iz člena 14, vključno z vzpostavljenimi tehničnimi ukrepi, ki uporabnikom olajšajo razlago izhodnih podatkov umetnointeligenčnih sistemov;

(d)

ukrepe človekovega nadzora iz člena 14, vključno z vzpostavljenimi tehničnimi ukrepi, ki uporabnikom olajšajo razlago izhodnih podatkov umetnointeligenčnih sistemov;

(e)

pričakovano življenjsko dobo umetnointeligenčnega sistema velikega tveganja ter vse potrebne vzdrževalne in negovalne ukrepe za zagotovitev pravilnega delovanja tega umetnointeligenčnega sistema, tudi v zvezi s posodobitvami programske opreme.

(e)

pričakovano življenjsko dobo umetnointeligenčnega sistema velikega tveganja ter vse potrebne vzdrževalne in negovalne ukrepe za zagotovitev pravilnega delovanja tega umetnointeligenčnega sistema, tudi v zvezi s posodobitvami programske opreme.

 

Člen 13b Preglednost in zagotavljanje informacij zadevnim osebam

Osebe ali skupine oseb, za katere se uporablja umetnointeligenčni sistem velikega tveganja, se o tem ustrezno ter na lahko dostopen in razumljiv način obvesti. Zagotovi se jim dostop do jasnih, lahko dostopnih in javnih informacij o njihovi uporabi.

Obrazložitev

Za okrepitev ekosistema zaupanja morajo biti navodila za uporabo umetnointeligenčnih sistemov velikega tveganja javno dostopna. Napisana morajo biti v bralcu razumljivem jeziku države, v kateri se uporablja umetnointeligenčni sistem.

Zaradi preglednosti in razložljivosti algoritmov bi moralo biti mogoče pojasniti, s katerimi parametri je bil model prilagojen in kateri ukrepi so bili sprejeti za preprečevanje pretiranega (overfitting) in premajhnega prilagajanja (underfitting).

Člen 13b določa obveznost preglednosti in obveščanja oseb, ki so v stiku s sistemi umetne inteligence ali na katere bi sistem umetne inteligence lahko vplival.

Predlog spremembe 20

Člen 14(4)

Predlog Komisije

Predlog spremembe OR

Ukrepi iz odstavka 3 posameznikom, ki jim je dodeljen človekov nadzor, omogočajo, da glede na okoliščine storijo naslednje:

Ukrepi iz odstavka 3 posameznikom, ki jim je dodeljen človekov nadzor, omogočajo, da glede na okoliščine storijo naslednje:

(a)

v celoti razumejo zmogljivosti in omejitve umetnointeligenčnega sistema velikega tveganja ter so sposobni ustrezno spremljati njegovo delovanje, da se lahko čim prej odkrijejo in odpravijo znaki nepravilnosti, motenj in nepričakovanega delovanja;

(a)

v celoti razumejo zmogljivosti in omejitve umetnointeligenčnega sistema velikega tveganja ter so sposobni ustrezno spremljati njegovo delovanje, da se lahko čim prej odkrijejo in odpravijo znaki nepravilnosti, motenj in nepričakovanega delovanja;

(b)

se zavedajo morebitne težnje po samodejnem zanašanju ali prevelikem zanašanju na izhodne podatke umetnointeligenčnega sistema velikega tveganja („pristranskost zaradi avtomatizacije“), zlasti pri umetnointeligenčnih sistemih velikega tveganja, ki se uporabljajo za zagotavljanje informacij ali priporočil za odločitve, ki jih sprejemajo fizične osebe;

(b)

se zavedajo morebitne težnje po samodejnem zanašanju ali prevelikem zanašanju na izhodne podatke umetnointeligenčnega sistema velikega tveganja („pristranskost zaradi avtomatizacije“) ali vseh drugih oblik pristranskosti , zlasti pri umetnointeligenčnih sistemih velikega tveganja, ki se uporabljajo za zagotavljanje informacij ali priporočil za odločitve, ki jih sprejemajo fizične osebe;

(c)

so sposobni pravilno razlagati izhodne podatke umetnointeligenčnega sistema velikega tveganja, zlasti ob upoštevanju značilnosti sistema ter razpoložljivih orodij in metod za razlago;

(c)

so sposobni pravilno razlagati izhodne podatke umetnointeligenčnega sistema velikega tveganja, zlasti ob upoštevanju značilnosti sistema ter razpoložljivih orodij in metod za razlago;

(d)

se lahko v vseh okoliščinah odločijo, da ne bodo uporabljali umetnointeligenčnega sistema velikega tveganja ali da bodo kako drugače zanemarili, razveljavili ali obrnili izhodne podatke umetnointeligenčnega sistema velikega tveganja;

(d)

se lahko v vseh okoliščinah odločijo, da ne bodo uporabljali umetnointeligenčnega sistema velikega tveganja ali da bodo kako drugače zanemarili, razveljavili ali obrnili izhodne podatke umetnointeligenčnega sistema velikega tveganja;

(e)

so sposobni poseči v delovanje umetnointeligenčnega sistema velikega tveganja ali ga prekiniti s tipko „stop“ ali podobnim postopkom.

(e)

so sposobni poseči v delovanje umetnointeligenčnega sistema velikega tveganja ali ga prekiniti s tipko „stop“ ali podobnim postopkom.

Obrazložitev

Problematičnih je lahko več oblik pristranskosti. Primeri vključujejo pristranskost oblikovalca ali uporabnika umetnointeligenčnega sistema (družbena pristranskost), pristranskost glede tega, ali je uporabljeni umetnointeligenčni sistem ustrezna rešitev problema (tehnološka pristranskost), in statistične oblike pristranskosti.

Predlog spremembe 21

Člen 14 – nov odstavek za odstavkom 5

Predlog Komisije

Predlog spremembe OR

 

Vsaka odločitev, ki jo sprejmejo umetnointeligenčni sistemi, kot je navedeno v točki 5(a) in (b) Priloge III, je predmet človekovega posredovanja in temelji na skrbnem postopku odločanja. Pri teh odločitvah mora sodelovati človek.

Obrazložitev

V členu 14 se obravnava le človeški nadzor nad umetnointeligenčnimi sistemi velikega tveganja. V zvezi z odločitvami organov je pomembno poudariti, da so zagotovljeni človekovo posredovanje, stik in spoštovanje postopkov.

Predlog spremembe 22

Člen 17(1) – novi alineji za alinejo (m)

Predlog Komisije

Predlog spremembe OR

Ponudniki umetnointeligenčnih sistemov velikega tveganja vzpostavijo sistem upravljanja kakovosti, ki zagotavlja skladnost s to uredbo. Ta sistem se sistematično in urejeno dokumentira v obliki pisnih politik, postopkov in navodil ter vključuje vsaj naslednje vidike:

Ponudniki umetnointeligenčnih sistemov velikega tveganja vzpostavijo sistem upravljanja kakovosti, ki zagotavlja skladnost s to uredbo. Ta sistem se sistematično in urejeno dokumentira v obliki pisnih politik, postopkov in navodil ter vključuje vsaj naslednje vidike:

(a)

strategijo za skladnost z zakonodajo, tudi skladnost s postopki za ugotavljanje skladnosti in postopki za upravljanje sprememb umetnointeligenčnega sistema velikega tveganja;

(a)

strategijo za skladnost z zakonodajo, tudi skladnost s postopki za ugotavljanje skladnosti in postopki za upravljanje sprememb umetnointeligenčnega sistema velikega tveganja;

(b)

tehnike, postopke in sistematične ukrepe, ki se uporabljajo za zasnovo, nadzor zasnove in preverjanje zasnove umetnointeligenčnega sistema velikega tveganja;

(b)

tehnike, postopke in sistematične ukrepe, ki se uporabljajo za zasnovo, nadzor zasnove in preverjanje zasnove umetnointeligenčnega sistema velikega tveganja;

(c)

tehnike, postopke in sistematične ukrepe, ki se uporabljajo za razvoj, nadzor kakovosti in zagotavljanje kakovosti umetnointeligenčnega sistema velikega tveganja;

(c)

tehnike, postopke in sistematične ukrepe, ki se uporabljajo za razvoj, nadzor kakovosti in zagotavljanje kakovosti umetnointeligenčnega sistema velikega tveganja;

(d)

postopke pregledovanja, testiranja in postopke za potrditev, ki se izvedejo pred razvojem umetnointeligenčnega sistema velikega tveganja, med njim in po njem, ter pogostost njihovega izvajanja;

(d)

postopke pregledovanja, testiranja in postopke za potrditev, ki se izvedejo pred razvojem umetnointeligenčnega sistema velikega tveganja, med njim in po njem, ter pogostost njihovega izvajanja;

(e)

tehnične specifikacije, vključno s standardi, ki jih je treba uporabiti, in, kadar se ustrezni harmonizirani standardi ne uporabljajo v celoti, sredstva, ki se uporabljajo za zagotovitev, da je umetnointeligenčni sistem velikega tveganja skladen z zahtevami iz poglavja 2 tega naslova;

(e)

tehnične specifikacije, vključno s standardi, ki jih je treba uporabiti, in, kadar se ustrezni harmonizirani standardi ne uporabljajo v celoti, sredstva, ki se uporabljajo za zagotovitev, da je umetnointeligenčni sistem velikega tveganja skladen z zahtevami iz poglavja 2 tega naslova;

(f)

sisteme in postopke za upravljanje podatkov, vključno z zbiranjem podatkov, analizo podatkov, označevanjem podatkov, shranjevanjem podatkov, filtriranjem podatkov, podatkovnim rudarjenjem, združevanjem podatkov, hrambo podatkov ter vsemi drugimi postopki v zvezi s podatki, ki se izvajajo pred dajanjem na trg ali v uporabo in za namene dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja;

(f)

sisteme in postopke za upravljanje podatkov, vključno z zbiranjem podatkov, analizo podatkov, označevanjem podatkov, shranjevanjem podatkov, filtriranjem podatkov, podatkovnim rudarjenjem, združevanjem podatkov, hrambo podatkov ter vsemi drugimi postopki v zvezi s podatki, ki se izvajajo pred dajanjem na trg ali v uporabo in za namene dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja;

(g)

sistem obvladovanja tveganja iz člena 9;

(g)

sistem obvladovanja tveganja iz člena 9;

(h)

vzpostavitev, izvajanje in vzdrževanje sistema za spremljanje po dajanju na trg v skladu s členom 61;

(h)

vzpostavitev, izvajanje in vzdrževanje sistema za spremljanje po dajanju na trg v skladu s členom 61;

(i)

postopke v zvezi s poročanjem o hudih incidentih in okvarah v skladu s členom 62;

(i)

postopke v zvezi s poročanjem o hudih incidentih in okvarah v skladu s členom 62;

(j)

vodenje komunikacije s pristojnimi nacionalnimi organi, pristojnimi organi, vključno s sektorskimi, ki zagotavljajo ali podpirajo dostop do podatkov, priglašenimi organi, drugimi operaterji, strankami ali drugimi zainteresiranimi stranmi;

(j)

vodenje komunikacije s pristojnimi nacionalnimi organi, pristojnimi organi, vključno s sektorskimi, ki zagotavljajo ali podpirajo dostop do podatkov, priglašenimi organi, drugimi operaterji, strankami ali drugimi zainteresiranimi stranmi;

(k)

sisteme in postopke za vodenje evidenc vse ustrezne dokumentacije in informacij;

(k)

sisteme in postopke za vodenje evidenc vse ustrezne dokumentacije in informacij;

(l)

upravljanje virov, vključno z ukrepi, povezanimi z zanesljivostjo oskrbe;

(l)

upravljanje virov, vključno z ukrepi, povezanimi z zanesljivostjo oskrbe;

(m)

okvir odgovornosti, ki določa odgovornosti vodstva in drugega osebja v zvezi z vsemi vidiki iz tega odstavka.

(m)

okvir odgovornosti, ki določa odgovornosti vodstva in drugega osebja v zvezi z vsemi vidiki iz tega odstavka;

 

(n)

ukrepe za preprečevanje neupravičene diskriminacije na podlagi spola, etničnega porekla, vere ali prepričanja, invalidnosti, starosti, spolne usmerjenosti ali diskriminacije iz drugih razlogov;

(o)

pojasnilo, kako so bile pri zasnovi umetnointeligenčnega sistema velikega tveganja upoštevana etična vprašanja.

Obrazložitev

Z dodanim besedilom se poudari, da bi morala biti vključenost in boj proti neupravičeni diskriminaciji pomembna elementa sistema kakovosti.

Sistem mora spoštovati etične vrednote, ki jih uporabnik umetnointeligenčnega sistema zahteva ali za katere ponudnik razumno pričakuje, da se lahko zahtevajo od umetnointeligenčnega sistema velikega tveganja. Ponudnik mora biti sposoben pojasniti, kako je to upošteval.

Predlog spremembe 23

Člen 19(1)

Predlog Komisije

Predlog spremembe OR

Ponudniki umetnointeligenčnih sistemov velikega tveganja zagotovijo, da njihovi sistemi pred dajanjem na trg ali v uporabo opravijo ustrezen postopek ugotavljanja skladnosti v skladu s členom 43. Kadar je bila po navedenem ugotavljanju skladnosti dokazana skladnost umetnointeligenčnih sistemov z zahtevami iz poglavja 2 tega naslova, ponudniki pripravijo izjavo EU o skladnosti v skladu s členom 48 in namestijo oznako skladnosti v skladu s členom 49.

Ponudniki umetnointeligenčnih sistemov velikega tveganja zagotovijo, da njihovi sistemi pred dajanjem na trg ali v uporabo opravijo ustrezen postopek ugotavljanja skladnosti v skladu s členom 43. Kadar je bila po navedenem ugotavljanju skladnosti dokazana skladnost umetnointeligenčnih sistemov z zahtevami iz poglavja 2 tega naslova, ponudniki pripravijo izjavo EU o skladnosti v skladu s členom 48 in namestijo oznako skladnosti v skladu s členom 49. Ponudnik umetnointeligenčnih sistemov velikega tveganja na javno dostopnem mestu objavi izjavo EU o skladnosti in povzetek ugotavljanja skladnosti.

Obrazložitev

Da bi okrepili ekosistem zaupanja v umetnointeligenčne sisteme, morajo ponudniki umetnointeligenčnih sistemov velikega tveganja poskrbeti za transparentnost. Zato mora imeti javnost možnost, da preveri, ali je bilo ugotavljanje skladnosti ustrezno izvedeno v skladu s pravili uredbe.

Predlog spremembe 24

Člen 29 – nov odstavek za odstavkom 6

Predlog Komisije

Predlog spremembe OR

 

Uporabniki umetnointeligenčnih sistemov velikega tveganja so odgovorni za preučitev etičnih vidikov, preden sistem dajo v uporabo. Znati morajo pojasniti morebitne učinke uporabe tehnologije na človeka in družbo. Izrecno navedejo predvideni namen uvedbe umetnointeligenčnega sistema, temeljne vrednote in način tehtanja teh vrednot ter ali so bile v sistemu upoštevane ali ne. Med življenjskim ciklom umetnointeligenčnega sistema ocenijo dejanske učinke sistema na človeka in družbo.

Obrazložitev

Etika je širok pojem. Obstaja veliko načinov za upoštevanje etike v povezavi s tehnologijo, tako s teoretičnimi utemeljitvami kot s konkretnimi metodologijami, instrumenti in vrednotami zasnove. Vrednote so stvari, ki so za določene (skupine) ljudi pomembne. Lahko so konkretne ali bolj konceptualne. Pomembno je, da seznam moralnih vrednot, ki jih je treba upoštevati, ostane neizčrpen in da se še naprej ocenjuje življenjski cikel umetnointeligenčnega sistema.

Predlog spremembe 25

Člen 52(1)

Predlog Komisije

Predlog spremembe OR

Ponudniki zagotovijo, da so umetnointeligenčni sistemi, namenjeni interakciji s fizičnimi osebami, zasnovani in razviti tako, da so fizične osebe obveščene, da so v stiku z umetnointeligenčnim sistemom , razen če je to razvidno iz okoliščin in konteksta uporabe . Ta obveznost se ne uporablja za umetnointeligenčne sisteme, ki so z zakonom pooblaščeni za odkrivanje, preprečevanje, preiskovanje in pregon kaznivih dejanj, razen če so ti sistemi na voljo javnosti za prijavo kaznivega dejanja.

Ponudniki zagotovijo, da so umetnointeligenčni sistemi, namenjeni interakciji s fizičnimi osebami, zasnovani in razviti tako, da so fizične osebe obveščene, da so v stiku z umetnointeligenčnim sistemom. Ta obveznost se ne uporablja za umetnointeligenčne sisteme, ki so z zakonom pooblaščeni za odkrivanje, preprečevanje, preiskovanje in pregon kaznivih dejanj, razen če so ti sistemi na voljo javnosti za prijavo kaznivega dejanja. Ta interakcija ne bi smela omejevati obsega možnosti in pravnega statusa fizičnih oseb, ki so v stiku z umetnointeligenčnimi sistemi.

Obrazložitev

Kadar se tehnološka orodja uporabljajo kot sredstvo za interakcijo s fizičnimi osebami, lahko obstaja tveganje, da se omejijo možnosti izbire fizičnih oseb, ki so v stiku s temi orodji. Kadar se fizične osebe srečajo z umetnointeligenčnimi sistemi, bi morale biti vselej ustrezno obveščene, in to ne bi smelo biti odvisno od razlage določene situacije. Njihove pravice bi morale biti pri interakciji z umetnointeligenčnimi sistemi vselej zagotovljene.

Predlog spremembe 26

Člen 57(1)

Predlog Komisije

Predlog spremembe OR

Odbor sestavljajo nacionalni nadzorni organi, ki jih zastopa vodja ali enakovreden visoki uradnik tega organa, in Evropski nadzornik za varstvo podatkov. Na sestanke se lahko povabijo tudi drugi nacionalni organi, kadar so vprašanja, o katerih se razpravlja, pomembna zanje.

Odbor sestavljajo nacionalni nadzorni organi, ki jih zastopa vodja ali enakovreden visoki uradnik tega organa, in Evropski nadzornik za varstvo podatkov. Na sestanke se lahko povabijo tudi drugi nacionalni , regionalni in lokalni organi, kadar so vprašanja, o katerih se razpravlja, pomembna zanje.

Obrazložitev

Lokalne in regionalne oblasti bi morale imeti možnost, da sodelujejo pri nadzoru umetnointeligenčnih sistemov in poročajo o njihovi uporabi na lokalni ravni.

Predlog spremembe 27

Člen 58

Predlog Komisije

Predlog spremembe OR

Odbor pri svetovanju in pomoči Komisiji v smislu člena 56(2) zlasti:

Odbor pri svetovanju in pomoči Komisiji v smislu člena 56(2) zlasti:

(a)

zbira in izmenjuje strokovno znanje in najboljše prakse med državami članicami;

(a)

zbira in izmenjuje strokovno znanje in najboljše prakse med državami članicami ter regionalnimi in lokalnimi oblastmi ;

(b)

prispeva k enotnim upravnim praksam v državah članicah, tudi za delovanje regulativnih peskovnikov iz člena 53;

(b)

prispeva k enotnim upravnim praksam v državah članicah, tudi za delovanje regulativnih peskovnikov iz člena 53;

(c)

izdaja mnenja, priporočila ali pisne prispevke o zadevah, povezanih z izvajanjem te uredbe, zlasti

(c)

izdaja mnenja, priporočila ali pisne prispevke o zadevah, povezanih z izvajanjem te uredbe, zlasti

 

i)

o tehničnih specifikacijah ali obstoječih standardih v zvezi z zahtevami iz poglavja 2 naslova III,

ii)

o uporabi harmoniziranih standardov ali skupnih specifikacij iz členov 40 in 41,

iii)

o pripravi smernic, vključno s smernicami za določanje upravnih glob iz člena 71.

 

i)

o tehničnih specifikacijah ali obstoječih standardih v zvezi z zahtevami iz poglavja 2 naslova III,

ii)

o uporabi harmoniziranih standardov ali skupnih specifikacij iz členov 40 in 41,

iii)

o pripravi smernic, vključno s smernicami za določanje upravnih glob iz člena 71.

Obrazložitev

Lokalne in regionalne oblasti so lokalnim prebivalcem in gospodarstvom najbližje. Treba bi jih bilo izrecno vključiti v izmenjavo znanja.

Predlog spremembe 28

Člen 59(1)

Predlog Komisije

Predlog spremembe OR

Pristojne nacionalne organe ustanovi ali imenuje vsaka država članica za zagotavljanje uporabe in izvajanja te uredbe. Pristojni nacionalni organi so organizirani tako, da zagotavljajo objektivnost in nepristranskost svojih dejavnosti.

Pristojne nacionalne organe ustanovi ali imenuje vsaka država članica za zagotavljanje uporabe in izvajanja te uredbe. Pristojni nacionalni organi so organizirani tako, da zagotavljajo objektivnost in nepristranskost svojih dejavnosti. Če država članica oceni, da je to primerno, se lokalni in regionalni organi pripravijo za opravljanje nalog nadzora ali izvrševanja.

Obrazložitev

Zaradi izvedljivosti uredbe ter njenega okvira za nadzor in izvrševanje bi bilo treba državam članicam omogočiti, da po potrebi in kadar je to mogoče, lokalnim in regionalnim organom zaupajo izvajanje nalog nadzora ali izvrševanja. Lokalne in regionalne oblasti prejmejo podporo in usposabljanje, da bi bile popolnoma opolnomočene za opravljanje nalog nadzora in izvrševanja.

Predlog spremembe 29

Člen 69(3)

Predlog Komisije

Predlog spremembe OR

Kodekse ravnanja lahko pripravijo posamezni ponudniki sistemov umetne inteligence ali organizacije, ki jih zastopajo, ali oboji, tudi z vključevanjem uporabnikov in vseh zainteresiranih strani ter njihovih predstavniških organizacij. Kodeksi ravnanja lahko zajemajo enega ali več umetnointeligenčnih sistemov ob upoštevanju podobnosti predvidenega namena zadevnih sistemov.

Kodekse ravnanja lahko pripravijo nacionalni, regionalni ali lokalni organi, posamezni ponudniki sistemov umetne inteligence ali organizacije, ki jih zastopajo, ali oboji, tudi z vključevanjem uporabnikov in vseh zainteresiranih strani ter njihovih predstavniških organizacij. Kodeksi ravnanja lahko zajemajo enega ali več umetnointeligenčnih sistemov ob upoštevanju podobnosti predvidenega namena zadevnih sistemov.

Obrazložitev

Nacionalnim, lokalnim in regionalnim organom bi bilo treba podeliti zakonska pooblastila za pripravo kodeksov ravnanja za umetnointeligenčne sisteme, ki jih razvijajo ali uporabljajo.

Predlog spremembe 30

PRILOGA I – Tehnike in pristopi na področju umetne inteligence iz člena 3(1)

Predlog Komisije

Predlog spremembe OR

 

Glede na trenutna znanstvena dognanja umetna inteligenca vključuje naslednje tehnike in metode:

(a)

Pristopi k strojnemu učenju, vključno z nadzorovanim, nenadzorovanim in spodbujevanim učenjem, pri katerih se uporabljajo najrazličnejše metode, vključno z globokim učenjem;

(a)

pristopi k strojnemu učenju, vključno z nadzorovanim, nenadzorovanim in spodbujevanim učenjem, pri katerih se uporabljajo najrazličnejše metode, vključno z globokim učenjem;

(b)

pristopi, ki temeljijo na logiki in znanju, vključno s predstavitvijo znanja, induktivnim (logičnim) programiranjem, bazami znanja, inferenčnimi in deduktivnimi sistemi, (simbolnim) sklepanjem in strokovnimi sistemi;

(b)

pristopi, ki temeljijo na logiki in znanju, vključno s predstavitvijo znanja, induktivnim (logičnim) programiranjem, bazami znanja, inferenčnimi in deduktivnimi sistemi, (simbolnim) sklepanjem in strokovnimi sistemi;

(c)

statistični pristopi, Bayesovo ocenjevanje, metode iskanja in optimizacije.

(c)

statistični pristopi, Bayesovo ocenjevanje, metode iskanja in optimizacije;

Obrazložitev

Opredelitev in seznam umetnointeligenčnih tehnik morata biti primerna za prihodnost. Seznam posebnih tehnik in pristopov, ki se uporablja za razvoj umetnointeligenčnih sistemov, ne sme biti izčrpen in jasno mora biti, da temelji na sedanjih znanstvenih spoznanjih.

Predlog spremembe 31

Priloga III, 1–5

Predlog Komisije

Predlog spremembe OR

Umetnointeligenčni sistemi velikega tveganja v skladu s členom 6(2) so umetnointeligenčni sistemi, navedeni na seznamu za katero koli od naslednjih področij:

Umetnointeligenčni sistemi velikega tveganja v skladu s členom 6(2) so umetnointeligenčni sistemi, navedeni na seznamu za katero koli od naslednjih področij:

1.

biometrična identifikacija in kategorizacija fizičnih oseb:

1.

biometrična identifikacija in kategorizacija fizičnih oseb:

(a)

umetnointeligenčni sistemi, namenjeni biometrični identifikaciji fizičnih oseb na daljavo v realnem času in naknadni biometrični identifikaciji fizičnih oseb na daljavo;

(a)

umetnointeligenčni sistemi, namenjeni biometrični identifikaciji fizičnih oseb na daljavo v realnem času in naknadni biometrični identifikaciji fizičnih oseb na daljavo;

2.

upravljanje in delovanje kritične infrastrukture:

2.

upravljanje in delovanje kritične infrastrukture:

(a)

umetnointeligenčni sistemi, namenjeni za uporabo kot varnostne komponente pri upravljanju in delovanju infrastrukture za cestni promet ter oskrbo z vodo, plinom, ogrevanjem in električno energijo;

(a)

umetnointeligenčni sistemi, namenjeni za uporabo kot varnostne komponente pri upravljanju in delovanju infrastrukture za cestni promet ter oskrbo z vodo, plinom, ogrevanjem in električno energijo ter telekomunikacijske, vodovodne in internetne infrastrukture ;

3.

izobraževanje in poklicno usposabljanje:

3.

izobraževanje in poklicno usposabljanje:

(a)

umetnointeligenčni sistemi, namenjeni določanju dostopa do izobraževalnih ustanov in ustanov za poklicno usposabljanje ali dodeljevanju fizičnih oseb tem ustanovam;

(a)

umetnointeligenčni sistemi, namenjeni določanju dostopa do izobraževalnih ustanov in ustanov za poklicno usposabljanje ali dodeljevanju fizičnih oseb tem ustanovam;

(b)

umetnointeligenčni sistemi, namenjeni ocenjevanju dijakov in študentov v izobraževalnih ustanovah in ustanovah za poklicno usposabljanje ter ocenjevanju udeležencev preizkusov, ki se običajno zahtevajo za sprejem v izobraževalne ustanove;

(b)

umetnointeligenčni sistemi, namenjeni ocenjevanju dijakov in študentov v izobraževalnih ustanovah in ustanovah za poklicno usposabljanje ter ocenjevanju udeležencev preizkusov, ki se običajno zahtevajo za sprejem v izobraževalne ustanove;

4.

zaposlovanje, upravljanje delavcev in dostop do samozaposlitve:

4.

zaposlovanje, upravljanje delavcev in dostop do samozaposlitve:

(a)

umetnointeligenčni sistemi, namenjeni zaposlovanju ali izbiri fizičnih oseb, zlasti za oglaševanje prostih delovnih mest, pregledovanje ali filtriranje prijav in ocenjevanje kandidatov med razgovori ali preizkusi;

(a)

umetnointeligenčni sistemi, namenjeni zaposlovanju ali izbiri fizičnih oseb, zlasti za oglaševanje prostih delovnih mest, pregledovanje ali filtriranje prijav in ocenjevanje kandidatov med razgovori ali preizkusi;

(b)

umetna inteligenca, namenjena odločanju o napredovanju in prenehanju z delom povezanih pogodbenih razmerij, dodeljevanju nalog ter spremljanju in ocenjevanju uspešnosti in vedenja oseb v takih razmerjih;

(b)

umetna inteligenca, namenjena odločanju o napredovanju in prenehanju z delom povezanih pogodbenih razmerij, dodeljevanju nalog ter spremljanju in ocenjevanju uspešnosti in vedenja oseb v takih razmerjih;

5.

uživanje bistvenih zasebnih in javnih storitev in ugodnosti ter dostop do njih:

5.

uživanje bistvenih zasebnih in javnih storitev in ugodnosti ter dostop do njih:

(a)

umetnointeligenčni sistemi, ki naj bi jih uporabljali javni organi ali naj bi se uporabljali v njihovem imenu za ocenjevanje upravičenosti fizičnih oseb do ugodnosti in storitev javne pomoči ter za dodelitev, zmanjšanje, preklic ali povračilo takih ugodnosti in storitev;

(a)

umetnointeligenčni sistemi, ki naj bi jih uporabljali javni organi ali naj bi se uporabljali v njihovem imenu za ocenjevanje in odločanje o upravičenosti fizičnih oseb do ugodnosti in storitev javne pomoči ter za dodelitev, zmanjšanje, preklic ali povračilo takih ugodnosti in storitev;

(b)

umetnointeligenčni sistemi, namenjeni ocenjevanju kreditne sposobnosti fizičnih oseb ali določanju njihove kreditne ocene, razen umetnointeligenčnih sistemov, ki jih mali ponudniki uporabljajo za lastne potrebe;

(b)

umetnointeligenčni sistemi, namenjeni določanju kreditne sposobnosti fizičnih oseb ali njihove kreditne ocene, razen umetnointeligenčnih sistemov, ki jih mali ponudniki uporabljajo za lastne potrebe;

(c)

umetnointeligenčni sistemi, namenjeni uporabi za napotitev služb za ukrepanje ob nesrečah, vključno z gasilci in medicinsko pomočjo, ali določanje prednosti pri njihovi napotitvi;

(c)

umetnointeligenčni sistemi, namenjeni uporabi za napotitev služb za ukrepanje ob nesrečah, vključno z gasilci in medicinsko pomočjo, ali določanje prednosti pri njihovi napotitvi;

Obrazložitev

Telekomunikacijska, vodovodna in internetna infrastruktura je sestavni del ključne infrastrukture.

Opredelitev sistemov velikega tveganja temelji na vprašanju, ali bi taki sistemi lahko predstavljali resnično tveganje za državljane. Zgolj analitična in teoretična ocena upravičenosti oseb do javnih storitev še ne pomeni velikega tveganja. Z dopolnitvijo besede „ocenjevanje“ z besedo „odločanje“ se poudari, da je pri odločanju prisotno to tveganje, zlasti za prebivalce.

II.   POLITIČNA PRIPOROČILA

EVROPSKI ODBOR REGIJ

Sistem odličnosti

1.

 poudarja, da je cilj Komisije, da EU postane vodilna v svetu pri odgovornem in humanocentričnem razvoju umetne inteligence, mogoče uresničiti le, če bodo imele lokalne in regionalne oblasti pri tem močno vlogo. Te oblasti lahko zaradi svojega položaja najbolje prispevajo k ustvarjanju ugodnih pogojev za povečanje naložb v umetno inteligenco v prihodnjih letih in krepitev zaupanja vanjo;

2.

 poudarja, da je poleg vključevanja lokalnih in regionalnih oblasti pomembno, da se zagotovita podpora in usposabljanje, da bi izboljšali njihovo usposobljenost na tem področju, zlasti ker lahko dobijo nadzorno in izvršilno vlogo;

3.

 ugotavlja, da bodo za razvoj umetne inteligence na voljo sredstva EU, vendar opozarja na neusklajen pristop k temu razvoju zaradi raznolikosti programov, kar povečuje tveganje razdrobljenosti in prekrivanja;

4.

 zato poziva Komisijo, naj razvije in poveže močne in raznolike skupne podatkovne prostore, ki z uporabo javnih in zasebnih podatkov rešujejo družbene primere uporabe. Za to je potrebna tudi uskladitev z zakonodajnimi pobudami v okviru evropske strategije za podatke;

Ekosistem zaupanja

5.

 obžaluje, da se predlog uredbe ne nanaša na lokalne in regionalne oblasti, čeprav se bo pravni okvir uporabljal za javne in zasebne akterje;

6.

 opozarja, da so lahko umetnointeligenčni sistemi lokalnim in regionalnim oblastem v veliko pomoč pri interakciji z državljani in zagotavljanju storitev. Med drugim lahko povečajo učinkovitost javnega sektorja ter te oblasti podprejo pri uvajanju prilagoditev, ki so zaradi zelenega in digitalnega prehoda potrebne na lokalni in regionalni ravni. Zato je pomembno, da se izkušnje, ki so jih pridobile lokalne in regionalne oblasti, dejavno uporabijo pri sedanji reviziji uredbe;

7.

 poziva k podrobnejši pojasnitvi opredelitev „ponudnika“ in „uporabnika“, zlasti v primerih, ko podjetja, raziskovalne ustanove, javni organi in prebivalci skupaj razvijajo in preskušajo umetnointeligenčne sisteme v živih laboratorijih. Ustrezno bi bilo treba obravnavati tudi državljane oziroma potrošnike, na katere vplivajo odločitve na podlagi umetne inteligence v okviru sistemov, ki jih uporabljajo poslovni uporabniki;

8.

 poudarja potrebo po predhodnem posvetovanju z ustreznimi lokalnimi in regionalnimi organi v primeru uporabe umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb v realnem času na daljavo v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj;

9.

 pozdravlja javno posvetovanje Evropske komisije o prilagoditvi pravil o civilni odgovornosti posebnim izzivom digitalne dobe in umetne inteligence (1) ter pričakuje, da bo to privedlo do posodobljenega okvira, s katerim se bo zagotavljala odškodnina potrošnikom za škodo, ki jo povzročijo aplikacije umetne inteligence;

10.

 se sprašuje, zakaj umetnointeligenčni sistemi, ki se uporabljajo v demokratičnih procesih, kot so volitve, niso na seznamu umetnointeligenčnih sistemov velikega tveganja;

11.

 poziva, naj za umetnointeligenčne sisteme velikega tveganja veljajo enake zahteve glede preglednosti in zagotavljanja informacij za fizične osebe, kot sedaj veljajo za uporabnike;

12.

 poudarja velika tveganja in posledice za človekove pravice, ki so povezani z uporabo družbenega razvrščanja;

13.

 v zvezi s tem je zelo skeptičen glede dveh možnosti, navedenih v uredbi (2), na podlagi katerih se ugotavlja, kdaj družbeno razvrščanje pomeni škodljivo ali neugodno obravnavo posameznikov ali skupin ljudi, saj je obstoj teh možnosti zelo težko ugotoviti. V zvezi s tem poziva k jasni formulaciji močnih varoval, da se prepreči izogibanje prepovedi praks družbenega razvrščanja;

14.

 ugotavlja, da so v uvodnih izjavah uredbe podrobno obravnavana tveganja, ki so jim izpostavljene fizične osebe zaradi njihove interakcije z umetnointeligenčnimi sistemi velikega tveganja, med drugim pri izobraževanju, usposabljanju, zaposlovanju, upravljanju človeških virov, dostopu do samozaposlitve ali nekaterih osnovnih zasebnih in javnih storitev ter njihovem koriščenju;

15.

 poziva Komisijo, naj podrobno preuči opredelitev umetnointeligenčnih sistemov velikega tveganja, ki so namenjeni uporabi javnih organov (3);

16.

 poziva, naj ustrezen organ poda tehtno predhodno mnenje o razlagi določb uredbe, tudi v povezavi s splošno uredbo o varstvu podatkov. To bo povečalo pravno varnost in zmanjšalo stroške zasnove in izvajanja umetnointeligenčnih sistemov;

17.

 v zvezi s tem poudarja pomen jasnosti pri oblikovanju uredbe, ki je ključnega pomena za vzpostavitev ekosistema zaupanja in odpravo pravne negotovosti v zvezi z razvojem in uporabo umetnointeligenčnih sistemov. To bi preprečilo napačno razlago predlaganih zahtev in zmanjšalo tveganje poznejše nepravilne uporabe umetnointeligenčnih aplikacij, s čimer bi se povečali učinkovitost uredbe in verodostojnost kazni. Hkrati in v skladu z agendo Evropske komisije za boljše pravno urejanje sta ključnega pomena zgodnje odkrivanje in odprava morebitnih prekrivanj in/ali kolizije z obstoječimi pravili;

18.

 ugotavlja, da številne lokalne in regionalne oblasti uporabljajo iste sisteme umetne inteligence za podobne naloge. Te sisteme v veliki večini primerov oblikujejo zasebna podjetja;

19.

 poudarja, da predlog uredbe z vidika zagotavljanja pravic državljanov ni osamljen akt, temveč ga je treba obravnavati v povezavi z veljavno zakonodajo. Zato se države članice poziva, naj stalno zagotavljajo, da se s sprejemanjem potrebnih upravnih ukrepov upoštevajo priložnosti in tveganja, ki so povezani z uporabo umetne inteligence v javnem sektorju;

20.

 opozarja, da to pomeni, da podjetja in priglašeni organi pri ugotavljanju skladnosti razlagajo evropska in nacionalna pravila, kar nato vpliva na prakso lokalnih in regionalnih oblasti, ki uporabljajo te umetnointeligenčne sisteme. Zato je težko ugotoviti, koliko se v teh sistemih upoštevajo lokalne in regionalne politike. Zato Odbor opozarja na posebne potrebe lokalnih in regionalnih oblasti ter na dejstvo, da lahko enoten pristop ogrozi učinkovitost umetnointeligenčnih sistemov pri odzivanju na te potrebe. Poleg tega Odbor predlaga, da se države članice pooblasti za urejanje umetnointeligenčnih sistemov velikega tveganja, kadar obstajajo nujni in upravičeni razlogi v splošnem interesu;

21.

 v zvezi s tem poziva, da mora biti ugotavljanje skladnosti pregledno in dostopno javnosti. Poleg tega bi morale imeti lokalne in regionalne oblasti možnost, da sodelujejo pri nadzoru umetnointeligenčnih sistemov in poročajo o njihovi uporabi na lokalni ravni ter formalno prispevajo k oceni Evropske komisije o uporabi uredbe;

22.

 poudarja, da uporaba regulativnega peskovnika zahteva vzpostavitev primernih pravnih, metodoloških in etičnih pogojev, da se omogoči razvoj tehnologije, priprava zakonodaje in njeno ocenjevanje. Določiti bi bilo treba jasna merila za vključitev podjetij v regulativni peskovnik. Da bi potrošniške organizacije lahko uveljavljale določbe akta o umetni inteligenci, ga je treba dodati v Prilogo I evropske direktive o zastopniških tožbah za varstvo kolektivnih interesov potrošnikov (Direktiva (EU) 2020/1828);

Kampanje obveščanja

23.

 opozarja na pomen javnih kampanj, da se splošna javnost seznani in ozavešča o obstoju in koristih umetnointeligenčnih sistemov, pa tudi o možnih tveganjih. Poleg tega opozarja na nujnost obsežnega informiranja potrošnikov o odločanju, opravljenem z umetno inteligenco oziroma stroji. Zato poziva Evropsko komisijo, naj zagotovi financiranje za tovrstne kampanje;

Upravno breme

24.

 izraža zaskrbljenost zaradi morebitnega upravnega bremena, ki bi ga lahko povzročila predlagana uredba. Upravno breme lahko ovira mala in srednja podjetja ter lokalne in regionalne oblasti pri spodbujanju inovacij in uvajanju umetnointeligenčnih sistemov (4);

Sorazmernost in subsidiarnost

25.

 meni, da je predlog uredbe v skladu z zahtevami načel sorazmernosti in subsidiarnosti. Dodana vrednost ukrepov EU na tem področju in ustreznost pravne podlage, ki jo je izbrala Komisija, sta jasni in dosledni. Ocena učinka vsebuje poseben oddelek o subsidiarnosti. Poleg tega noben nacionalni parlament ni izdal obrazloženega mnenja o nespoštovanju načela subsidiarnosti do določenega roka, tj. 2. septembra 2021.

V Bruslju, 2. decembra 2021

Predsednik Evropskega odbora regij

Apostolos TZITZIKOSTAS

([62])  Okvirni sklep Sveta 2002/584/PNZ z dne 13. junija 2002 o evropskem nalogu za prijetje in postopkih predaje med državami članicami (UL L 190, 18.7.2002, str. 1).

([62])  Okvirni sklep Sveta 2002/584/PNZ z dne 13. junija 2002 o evropskem nalogu za prijetje in postopkih predaje med državami članicami (UL L 190, 18.7.2002, str. 1).

(1)  https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12979-Civil-liability-adapting-liability-rules-to-the-digital-age-and-artificial-intelligence/public-consultation_sl

(2)  Člen 5(1)(c).

(3)  Priloga III, točka 5(a).

(4)  V nedavni študiji (Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe (Študija v podporo oceni učinka regulativnih zahtev za umetno inteligenco v Evropi), str. 12), ki jo je podprla Evropska komisija, je bilo ocenjeno, da bi lahko na podlagi razumnih predpostavk pridobitev certifikata za umetnointeligenčni sistem v povprečju stala 16 800–23 000 EUR, kar približno ustreza 10–14 % stroškov razvoja.

Top