Access to European Union law
<a href="https://eur-lex.europa.eu/content/help/eurlex-content/experimental-features.html" target="_blank">More about the experimental features corner</a>
Choose the experimental features you want to try
EUR-Lex
Access to European Union law

This document is an excerpt from the EUR-Lex website

You are here
Use quotation marks to search for an "exact phrase". Append an asterisk (*) to a search term to find variations of it (transp*, 32019R*). Use a question mark (?) instead of a single character in your search term to find variations of it (ca?e finds case, cane, care).
Search tips
Need more search options? Use the Advanced search

Document 52021AR2682

Mišljenje Europskog odbora regija – Europski pristup umjetnoj inteligenciji – Akt o umjetnoj inteligenciji (revidirano mišljenje)

COR 2021/02682

SL C 97, 28.2.2022, p. 60–85 (BG, ES, CS, DA, DE, ET, EL, EN, FR, GA, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

Date of document:
02/12/2021; Datum glasanja
Date of vote:
02/12/2021
Date lodged:
24/06/2021
Author:
Europski odbor regija, Povjerenstvo za socijalnu politiku, obrazovanje, zapošljavanje, istraživanje i kulturu
Responsible body:
Commission for Social Policy, Education, Employment, Research and Culture, COR_SEDEC
Rapporteur:
Guido RINK
Form:
Mišljenje
Term of office:
VII (2020-2025)
Internal reference:
SEDEC-VII/022
Session:
147
Treaty:
Ugovor o funkcioniranju Europske unije
Legal basis:
Link
Link
Link
Select all documents mentioning this document
Earlier related instruments:
Instruments cited:
Link

28.2.2022   

HR

Službeni list Europske unije

C 97/60

Mišljenje Europskog odbora regija – Europski pristup umjetnoj inteligenciji – Akt o umjetnoj inteligenciji

(revidirano mišljenje)

(2022/C 97/12)

Izvjestitelj:

Guido RINK (NL/PES), član Izvršnog vijeća Općine Emmen

Referentni dokumenti:

Komunikacija Komisije Europskom parlamentu, Vijeću, Europskom gospodarskom i socijalnom odboru i Odboru regija – Poticanje europskog pristupa umjetnoj inteligenciji

COM(2021) 205

Prijedlog uredbe Europskog parlamenta i Vijeća o utvrđivanju usklađenih pravila o umjetnoj inteligenciji (Akt o umjetnoj inteligenciji) i izmjeni određenih zakonodavnih akata Unije

COM(2021) 206

I.   PREPORUKE ZA AMANDMANE

Amandman 1.

Uvodna izjava 1.

Prijedlog Komisije

Amandman OR-a

Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta utvrđivanjem ujednačenog pravnog okvira, posebno za razvoj, stavljanje na tržište i uporabu umjetne inteligencije u skladu s vrijednostima Unije. Uredbom je obuhvaćeno nekoliko prevladavajućih razloga od općeg interesa, kao što je visoka razina zaštite zdravlja, sigurnosti i temeljnih prava, te se njome osigurava slobodno prekogranično kretanje robe i usluga koje se temelje na UI-ju, čime se sprečava da države članice nameću ograničenja na razvoj, stavljanje na tržište i uporabu UI sustava osim ako je to izričito odobreno ovom Uredbom.

Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta i zaštititi temeljna prava građana utvrđivanjem ujednačenog pravnog okvira, posebno za razvoj, stavljanje na tržište i uporabu umjetne inteligencije u skladu s vrijednostima Unije. Uredbom je obuhvaćeno nekoliko prevladavajućih razloga od općeg interesa, kao što je visoka razina zaštite zdravlja, sigurnosti i temeljnih prava, te se njome osigurava slobodno prekogranično kretanje robe i usluga koje se temelje na UI-ju, čime se sprečava da države članice nameću ograničenja na razvoj, stavljanje na tržište i uporabu UI sustava osim ako je to izričito odobreno ovom Uredbom.

Obrazloženje

Upućivanjem na temeljna prava želi se naglasiti povezanost s Poveljom Europske unije o temeljnim pravima.

Amandman 2.

Nova uvodna izjava nakon uvodne izjave 6.

Prijedlog Komisije

Amandman OR-a

 

Definiranje UI sustava kontinuirani je proces kojim se uzima u obzir kontekst u kojem umjetna inteligencija djeluje, prati ritam društvenih promjena u tom području i ne gubi iz vida veza između ekosustava izvrsnosti i ekosustava povjerenja.

Obrazloženje

Razvoj umjetne inteligencije i tehnologije iziskuje prilagodljiv i evolutivan pristup. Ovom se uvodnom izjavom želi pojasniti da se definicija umjetne inteligencije treba razvijati ukorak s vremenom i napretkom u UI sustavima i aplikacijama.

Amandman 3.

Uvodna izjava 20.

Prijedlog Komisije

Amandman OR-a

Kako bi se osigurala odgovorna i proporcionalna uporaba tih sustava, važno je i utvrditi da bi u svakoj od tih triju iscrpno navedenih i usko definiranih situacija trebalo uzeti u obzir određene elemente, osobito u pogledu prirode situacije zbog koje zahtijeva njihova uporaba i posljedica uporabe za prava i slobode svih uključenih osoba te na zaštitne mjere i uvjete propisane za tu uporabu. Osim toga, za uporabu sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebala bi vrijediti odgovarajuća vremenska i prostorna ograničenja, osobito s obzirom na dokaze ili indikacije koji se odnose na prijetnje, žrtve ili počinitelje. Referentna baza podataka osoba trebala bi biti prikladna za svaki slučaj primjene u svakoj od triju prethodno navedenih situacija.

Kako bi se osigurala odgovorna i proporcionalna uporaba tih sustava, važno je i utvrditi da bi u svakoj od tih triju iscrpno navedenih i usko definiranih situacija trebalo uzeti u obzir određene elemente, osobito u pogledu prirode situacije zbog koje zahtijeva njihova uporaba i posljedica uporabe za prava i slobode svih uključenih osoba te na zaštitne mjere i uvjete propisane za tu uporabu. Prije iznimne uporabe tih sustava trebalo bi provesti savjetovanje s relevantnim lokalnim i regionalnim vlastima. Osim toga, za uporabu sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebala bi vrijediti stroga vremenska i prostorna ograničenja, osobito s obzirom na dokaze ili indikacije koji se odnose na prijetnje, žrtve ili počinitelje. Referentna baza podataka osoba trebala bi biti prikladna za svaki slučaj primjene u svakoj od triju prethodno navedenih situacija.

Obrazloženje

Sustavi za daljinsku biometrijsku identifikaciju u stvarnom vremenu ne bi se smjeli upotrebljavati olako.

Amandman 4.

Uvodna izjava 21.

Prijedlog Komisije

Amandman OR-a

Za svaku uporabu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebalo bi pribaviti izričito i posebno odobrenje pravosudnog tijela ili neovisnog upravnog tijela države članice. Takvo bi se odobrenje u načelu trebalo pribaviti prije uporabe, osim u propisno opravdanim hitnim situacijama, odnosno situacijama u kojima je potreba za uporabom tih sustava takva da je praktično i objektivno nemoguće dobiti odobrenje prije početka uporabe. U takvim hitnim situacijama uporaba bi trebala biti ograničena na apsolutno nužni minimum te podlijegati odgovarajućim zaštitnim mjerama i uvjetima, kako je utvrđeno u nacionalnom pravu i kako je odredilo samo tijelo kaznenog progona u kontekstu svakog pojedinačnog hitnog primjera uporabe . Osim toga, tijelo kaznenog progona u takvim bi situacijama trebalo tražiti pribavljanje odobrenja što prije, uz navođenje razloga zbog kojih se ono nije moglo zatražiti ranije.

Za svaku uporabu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebalo bi pribaviti izričito i posebno odobrenje pravosudnog tijela ili neovisnog upravnog tijela države članice. Takvo bi se odobrenje trebalo pribaviti prije uporabe, osim u propisno opravdanim hitnim situacijama, odnosno situacijama u kojima je potreba za uporabom tih sustava takva da je praktično i objektivno nemoguće dobiti odobrenje prije početka uporabe. U svakom slučaju, uporaba bi trebala biti ograničena na apsolutno nužni minimum te podlijegati odgovarajućim zaštitnim mjerama i uvjetima, kako je utvrđeno u nacionalnom pravu. Osim toga, tijelo kaznenog progona trebalo bi hitno obavijestiti relevantne lokalne i regionalne vlasti i tražiti pribavljanje odobrenja od nadležnih tijela .

Obrazloženje

Lokalne i regionalne vlasti snose političku i administrativnu odgovornost za upravljanje javnim prostorima i nadzor nad njima. One bi stoga trebale biti propisno uključene u uvođenje takvih sustava u javnim prostorima. U izvanrednim situacijama u kojima se ne može razumno očekivati prethodno savjetovanje, dotično lokalno ili regionalno tijelo trebalo bi odmah biti obaviješteno o uvođenju biometrijskih sustava u javnom prostoru.

Amandman 5.

Uvodna izjava 39.

Prijedlog Komisije

Amandman OR-a

UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, posebno njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je primjereno klasificirati kao visokorizične one UI sustave namijenjene tijelima javne vlasti nadležnima za zadaće u području upravljanja migracijama, azilom i granicama, kao što su poligrafi i slični alati ili sustavi za utvrđivanje emocionalnog stanja pojedinca, za procjenu određenih rizika koje predstavljaju pojedinci koji ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za provjeru vjerodostojnosti relevantnih dokumenata pojedinaca, za pomaganje nadležnim tijelima javne vlasti pri razmatranju zahtjeva za azil, vize i boravišne dozvole te s tim povezanih pritužbi s obzirom na cilj da se utvrdi prihvatljivost pojedinca koji podnosi zahtjev za taj status. UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Direktivom 2013/32/EU Europskog parlamenta i Vijeća, Uredbom (EZ) br. 810/2009 Europskog parlamenta i Vijeća i drugim relevantnim propisima.

UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, posebno njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je potrebno klasificirati kao visokorizične one UI sustave namijenjene tijelima javne vlasti nadležnima za zadaće u području upravljanja migracijama, azilom i granicama, kao što su poligrafi i slični alati ili sustavi za utvrđivanje emocionalnog stanja pojedinca, za procjenu određenih rizika koje predstavljaju pojedinci koji ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za provjeru vjerodostojnosti relevantnih dokumenata pojedinaca, za pomaganje nadležnim tijelima javne vlasti pri razmatranju zahtjeva za azil, vize i boravišne dozvole te s tim povezanih pritužbi s obzirom na cilj da se utvrdi prihvatljivost pojedinca koji podnosi zahtjev za taj status. UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Direktivom 2013/32/EU Europskog parlamenta i Vijeća, Uredbom (EZ) br. 810/2009 Europskog parlamenta i Vijeća i drugim relevantnim propisima.

Obrazloženje

Ovim se amandmanom želi naglasiti potreba da se na predmetne sustave umjetne inteligencije primjenjuje pojačani režim za visokorizične sustave umjetne inteligencije.

Amandman 6.

Uvodna izjava 43.

Prijedlog Komisije

Amandman OR-a

Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu kvalitete korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija korisnicima, ljudskog nadzora te otpornosti, točnosti i kibersigurnosti. Ti su zahtjevi potrebni kako bi se uspješno smanjili rizici za zdravlje, sigurnost i temeljna prava, ovisno o namjeni sustava, a druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne, čime se izbjegavaju neopravdana ograničenja u području trgovine.

Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu kvalitete korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija korisnicima, ljudskog nadzora te otpornosti, točnosti i kibersigurnosti. Ti su zahtjevi potrebni kako bi se uspješno smanjili rizici za zdravlje, sigurnost , sigurnost podataka, prava potrošača i temeljna prava, ovisno o svrsi sustava, a druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne, čime se izbjegavaju neopravdana ograničenja u području trgovine. Fizičke osobe ili skupine fizičkih osoba na koje utječu visokorizični UI sustavi koji se stavljaju na tržište Unije ili na drugi način stavljaju u uporabu trebale bi na odgovarajući, pristupačan i razumljiv način moći pronaći jasne i dostupne javne informacije o tome da podliježu tim sustavima.

Obrazloženje

Zahtjevi u pogledu transparentnosti i informiranja za dobavljače i korisnike trebali bi se proširiti na osobe ili skupine osoba na koje bi mogli utjecati visokorizični UI sustavi navedeni u Prilogu III. Uredbi. Pojam „razumljiv” obuhvaća, među ostalim, „jezik koji je razumljiv i dostupan korisniku, uključujući glasovne i gestovne jezike”.

Amandman 7.

Nova uvodna izjava nakon uvodne izjave 44.

Prijedlog Komisije

Amandman OR-a

 

Dobavljači UI sustava ne smiju u svoj sustav upravljanja kvalitetom uključiti nijednu mjeru kojom se promiče neopravdana diskriminacija na temelju spola, podrijetla, vjere ili uvjerenja, invaliditeta, dobi, spolne orijentacije ili bilo kojeg drugog razloga.

Obrazloženje

Nezakonita diskriminacija proizlazi iz ljudskog djelovanja. Dobavljači sustava umjetne inteligencije ne bi smjeli uključivati mjere za upravljanje kvalitetom kojima bi se mogla potaknuti diskriminacija.

Amandman 8.

Uvodna izjava 47.

Prijedlog Komisije

Amandman OR-a

Kako bi se riješio problem netransparentnosti koja može određene UI sustave učiniti neshvatljivima ili presloženima za pojedince, visokorizični UI sustavi trebali bi biti u određenoj mjeri transparentni . Korisnici bi trebali moći tumačiti izlazne rezultate sustava i upotrebljavati ih na odgovarajući način. Visokorizični UI sustavi stoga bi trebali biti popraćeni odgovarajućom dokumentacijom i uputama za uporabu sa sažetim i jasnim informacijama, među ostalim, prema potrebi, u pogledu mogućih rizika povezanih s temeljnim pravima i diskriminacijom.

Kako bi se riješio problem netransparentnosti koja može određene UI sustave učiniti neshvatljivima ili presloženima za pojedince ili javna tijela na svim razinama vlasti , visokorizični UI sustavi trebali bi biti na visokom stupnju transparentnosti . Korisnici bi trebali moći tumačiti izlazne rezultate sustava i upotrebljavati ih na odgovarajući način. Visokorizični UI sustavi stoga bi trebali biti popraćeni odgovarajućom dokumentacijom i uputama za uporabu sa sažetim i jasnim informacijama, među ostalim, prema potrebi, u pogledu mogućih rizika povezanih s temeljnim pravima i diskriminacijom.

Obrazloženje

Odgovornost dizajnera visokorizičnih sustava umjetne inteligencije oslabljena je upotrebom izraza „u određenoj mjeri transparentni”.

Amandman 9.

Uvodna izjava 48.

Prijedlog Komisije

Amandman OR-a

Visokorizične UI sustave trebalo bi projektirati i razvijati na način da pojedinci mogu nadzirati njihovo funkcioniranje. U tu bi svrhu dobavljač sustava prije njegova stavljanja na tržište ili u uporabu trebao utvrditi odgovarajuće mjere ljudskog nadzora. Prema potrebi bi takvim mjerama posebno trebalo osigurati da su u sustav ugrađena operativna ograničenja koja sam sustav ne može promijeniti i da reagira na ljudske operatere te da pojedinci koji su zaduženi za ljudski nadzor imaju potrebne kompetencije i da su osposobljeni i ovlašteni za obavljanje te zadaće.

Visokorizične UI sustave trebalo bi projektirati i razvijati na način da pojedinci i javna tijela na svim razinama vlasti mogu nadzirati njihovo funkcioniranje. U tu bi svrhu dobavljač sustava prije njegova stavljanja na tržište ili u uporabu trebao utvrditi odgovarajuće mjere ljudskog nadzora. Prema potrebi bi takvim mjerama posebno trebalo osigurati da su u sustav ugrađena operativna ograničenja koja sam sustav ne može promijeniti i da reagira na ljudske operatere te da pojedinci koji su zaduženi za ljudski nadzor imaju potrebne kompetencije i da su osposobljeni i ovlašteni za obavljanje te zadaće.

Obrazloženje

Razumljivo samo po sebi.

Amandman 10.

Uvodna izjava 67.

Prijedlog Komisije

Amandman OR-a

Visokorizični UI sustavi trebali bi nositi oznaku CE koja upućuje na njihovu sukladnost s ovom Uredbom kako bi se mogli slobodno kretati na unutarnjem tržištu. Države članice ne bi trebale stvarati neopravdane zapreke stavljanju na tržište ili u uporabu visokorizičnih UI sustava koji ispunjavaju zahtjeve utvrđene ovom Uredbom i nose oznaku CE.

Visokorizični UI sustavi trebali bi nositi oznaku CE koja upućuje na njihovu sukladnost s ovom Uredbom kako bi se mogli slobodno kretati na unutarnjem tržištu. Države članice ne bi trebale stvarati zapreke stavljanju na tržište ili u uporabu visokorizičnih UI sustava koji ispunjavaju zahtjeve utvrđene ovom Uredbom i nose oznaku CE. Države članice bit će ovlaštene regulirati visokorizične UI prakse i UI sustave samo zbog prevladavajućih i propisno opravdanih javnih i nacionalnih sigurnosnih interesa.

Obrazloženje

Iako države članice ne bi smjele ometati primjenu Uredbe, trebale bi zadržati pravo na reguliranje visokorizičnih UI sustava ako su u pitanju javni i nacionalni sigurnosni interesi.

Amandman 11.

Uvodna izjava 70.

Prijedlog Komisije

Amandman OR-a

Kod određenih UI sustava namijenjenih interakciji s pojedincima ili generiranju sadržaja mogu postojati posebni rizici u pogledu lažnog predstavljanja ili obmanjivanja, bez obzira na to smatraju li se visokorizičnima. Uporaba tih sustava stoga bi u određenim okolnostima trebala podlijegati posebnim obvezama u pogledu transparentnosti, ne dovodeći u pitanje zahtjeve i obveze za visokorizične UI sustave. Pojedinci bi prije svega trebali biti obaviješteni da su u interakciji s UI sustavom , osim ako je to očito iz okolnosti i konteksta uporabe . Osim toga, pojedince bi trebalo obavijestiti kad su izloženi sustavu za prepoznavanje emocija ili sustavu za biometrijsku kategorizaciju. Takve informacije i obavijesti trebale bi se davati u oblicima koji su pristupačni osobama s invaliditetom. Nadalje, korisnici koji upotrebljavaju UI sustav za generiranje ili manipuliranje slikovnim sadržajem, audiosadržajem ili videosadržajem u kojem postoji znatna sličnost s postojećim osobama, mjestima ili događajima te koji bi se nekoj osobi netočno činio vjerodostojnim moraju navesti da je taj sadržaj umjetno stvoren ili da je njime manipulirano označivanjem izlaznih rezultata UI sustava na odgovarajući način i navođenjem njihova umjetnog podrijetla.

Kod određenih UI sustava namijenjenih interakciji s pojedincima ili generiranju sadržaja mogu postojati posebni rizici u pogledu lažnog predstavljanja ili obmanjivanja, bez obzira na to smatraju li se visokorizičnima. Uporaba tih sustava stoga bi trebala podlijegati posebnim obvezama u pogledu transparentnosti, ne dovodeći u pitanje zahtjeve i obveze za visokorizične UI sustave. Pojedinci bi prije svega trebali biti sustavno obavještavani da su u interakciji s UI sustavom. Osim toga, pojedince bi trebalo obavijestiti kad su izloženi sustavu za prepoznavanje emocija ili sustavu za biometrijsku kategorizaciju. Takve informacije i obavijesti trebale bi se davati u oblicima koji su pristupačni osobama s invaliditetom. Nadalje, korisnici koji upotrebljavaju UI sustav za generiranje ili manipuliranje slikovnim sadržajem, audiosadržajem ili videosadržajem u kojem postoji znatna sličnost s postojećim osobama, mjestima ili događajima te koji bi se nekoj osobi netočno činio vjerodostojnim moraju navesti da je taj sadržaj umjetno stvoren ili da je njime manipulirano označivanjem izlaznih rezultata UI sustava na odgovarajući način i navođenjem njihova umjetnog podrijetla.

Obrazloženje

Ne bi trebalo omogućiti izuzeće od obveze transparentnosti i informiranja kada su fizičke osobe u interakciji sa sustavima umjetne inteligencije.

Amandman 12.

Uvodna izjava 76.

Prijedlog Komisije

Amandman OR-a

Kako bi se olakšala nesmetana, učinkovita i usklađena provedba ove Uredbe, trebalo bi uspostaviti Europski odbor za umjetnu inteligenciju. Odbor bi trebao biti odgovoran za niz savjetodavnih zadaća, uključujući davanje mišljenja, preporuka, savjeta ili smjernica o pitanjima povezanima s provedbom ove Uredbe, među ostalim o tehničkim specifikacijama ili postojećim normama povezanima sa zahtjevima iz ove Uredbe, te za davanje savjeta i pomaganje Komisiji u vezi sa specifičnim pitanjima koja se odnose na umjetnu inteligenciju.

Kako bi se olakšala nesmetana, učinkovita i usklađena provedba ove Uredbe, trebalo bi uspostaviti Europski odbor za umjetnu inteligenciju. Odbor bi trebao biti odgovoran za niz savjetodavnih zadaća, uključujući davanje mišljenja, preporuka, savjeta ili smjernica o pitanjima povezanima s provedbom ove Uredbe, među ostalim o tehničkim specifikacijama ili postojećim normama povezanima sa zahtjevima iz ove Uredbe, te za davanje savjeta i pomaganje Komisiji u vezi sa specifičnim pitanjima koja se odnose na umjetnu inteligenciju. Sastav Europskog odbora za umjetnu inteligenciju trebao bi odražavati interese europskog društva i biti rodno uravnotežen.

Obrazloženje

Europski odbor za umjetnu inteligenciju trebao bi na odgovarajući način odražavati široke interese europskog društva poput ljudskih prava, klime i energetske učinkovitosti sustava umjetne inteligencije, sigurnosti, socijalne uključenosti, zdravlja itd. Rodna ravnoteža nužan je preduvjet za osiguravanje raznolikosti u savjetodavnim aktivnostima, smjernicama itd.

Amandman 13.

Uvodna izjava 77.

Prijedlog Komisije

Amandman OR-a

Države članice imaju ključnu ulogu u primjeni i provedbi ove Uredbe. Svaka bi država članica zato trebala odrediti jedno ili više nacionalnih nadležnih tijela za potrebe nadziranja primjene i provedbe ove Uredbe. Kako bi se povećala učinkovitost organizacije u državama članicama i uspostavila službena kontaktna točka za javne i druge partnere na razini država članica i Unije, u svakoj bi državi članici jedno nacionalno tijelo trebalo imenovati kao nacionalno nadzorno tijelo.

Države članice imaju ključnu ulogu u primjeni i provedbi ove Uredbe. Svaka bi država članica zato trebala odrediti jedno ili više nacionalnih nadležnih tijela za potrebe nadziranja primjene i provedbe ove Uredbe. Kako bi se povećala učinkovitost organizacije u državama članicama i uspostavila službena kontaktna točka za javne i druge partnere na razini država članica i Unije, u svakoj bi državi članici jedno nacionalno tijelo trebalo imenovati kao nacionalno nadzorno tijelo. Lokalnim i regionalnim vlastima povjeravaju se zadaće praćenja ili provedbe, ako to država članica smatra primjerenim.

Obrazloženje

Za potrebe primjenjivosti Uredbe i njezinog nadzornog i provedbenog mehanizma, država članica trebala bi biti ovlaštena povjeriti zadaće praćenja ili provedbe lokalnim i regionalnim tijelima ako je to potrebno i moguće.

Amandman 14.

Uvodna izjava 79.

Prijedlog Komisije

Amandman OR-a

Kako bi se osigurala odgovarajuća i učinkovita provedba zahtjeva i obveza utvrđenih ovom Uredbom, odnosno zakonodavstvom Unije o usklađivanju, u cijelosti bi se trebao primjenjivati sustav nadzora tržišta i sukladnosti proizvoda uspostavljen Uredbom (EU) 2019/1020. Ako je to potrebno za njihov mandat, pristup svoj dokumentaciji izrađenoj na temelju ove Uredbe trebala bi imati i nacionalna tijela javne vlasti ili javnopravna tijela koja nadziru primjenu prava Unije o zaštiti temeljnih prava, uključujući tijela za ravnopravnost.

Kako bi se osigurala odgovarajuća i učinkovita provedba zahtjeva i obveza utvrđenih ovom Uredbom, odnosno zakonodavstvom Unije o usklađivanju, u cijelosti bi se trebao primjenjivati sustav nadzora tržišta i sukladnosti proizvoda uspostavljen Uredbom (EU) 2019/1020. Ako je to potrebno za njihov mandat, pristup svoj dokumentaciji izrađenoj na temelju ove Uredbe trebala bi imati i nacionalna tijela javne vlasti i, ovisno o okolnostima, lokalna i regionalna tijela ili javnopravna tijela koja nadziru primjenu prava Unije o zaštiti temeljnih prava, uključujući tijela za ravnopravnost.

Obrazloženje

Ovim se amandmanom nastoje uzeti u obzir različite upravljačke strukture u državama članicama EU-a.

Amandman 15.

Uvodna izjava 83.

Prijedlog Komisije

Amandman OR-a

Kako bi se osigurala pouzdana i konstruktivna suradnja nadležnih tijela na razini Unije i na nacionalnoj razini, sve strane uključene u primjenu ove Uredbe trebale bi poštovati povjerljivost informacija i podataka prikupljenih pri obavljanju svojih zadaća.

Kako bi se osigurala pouzdana i konstruktivna suradnja nadležnih tijela na razini Unije, na nacionalnoj , regionalnoj i lokalnoj razini, sve strane uključene u primjenu ove Uredbe trebale bi poštovati povjerljivost informacija i podataka prikupljenih pri obavljanju svojih zadaća.

Obrazloženje

Ovim se amandmanom nastoje uzeti u obzir različite upravljačke strukture u državama članicama EU-a.

Amandman 16.

Glava I., članak 3. – Definicije, točka 1.

Prijedlog Komisije

Amandman OR-a

„sustav umjetne inteligencije” ili „UI sustav” znači softver koji je razvijen pomoću barem jedne tehnike ili pristupa iz Priloga I. i koji može, za zadani skup ciljeva koje odredi čovjek, generirati izlazne rezultate, kao što su sadržaj, predviđanja, preporuke ili odluke, koji utječu na okruženja s kojima su u interakciji;

„sustav umjetne inteligencije” ili „UI sustav” znači softver koji je razvijen pomoću barem jedne tehnike ili pristupa s neiscrpnog popisa iz Priloga I. , koji je povezan s društvenim praksama, identitetom i kulturom, i koji može , prikupljanjem podataka, tumačenjem prikupljenih strukturiranih ili nestrukturiranih podataka, upravljanjem znanjem ili obradom informacija koje proizlaze iz tih podataka, za zadani skup ciljeva koji odredi čovjek, promatrati svoj okoliš i na temelju toga generirati izlazne rezultate, kao što su sadržaj, predviđanja, preporuke ili odluke, koji utječu na okruženja s kojima su u interakciji;

Obrazloženje

Sustav umjetne inteligencije kombinacija je tehničkih elemenata kojima se podaci, algoritmi i računalni kapaciteti povezuju s društvenim praksama, društvom, identitetom i kulturom. Definicija takvog dinamičnog društveno-tehničkog skupa trebala bi stoga odolijevati vremenu i trebalo bi je redovito ažurirati kako bi točno odražavala sve veći društveni učinak umjetne inteligencije, a istodobno utvrđivati s njom povezane izazove i mogućnosti koji se brzo mijenjaju, uključujući vezu između upravljanja znanjem i UI-ja. U tom bi kontekstu Uredbi trebao podlijegati i algoritam razvijen drugim algoritmom.

Amandman 17.

Članak 5. stavak 1.

Prijedlog Komisije

Amandman OR-a

Zabranjuju se sljedeće prakse u području umjetne inteligencije:

Zabranjuju se sljedeće prakse u području umjetne inteligencije:

(a)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava u kojem se primjenjuju subliminalne tehnike zbog kojih osoba nesvjesno bitno mijenja svoje ponašanje na način koji toj ili drugoj osobi uzrokuje ili bi mogao prouzročiti tjelesnu ili psihološku štetu;

(a)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava u kojem se primjenjuju subliminalne tehnike zbog kojih osoba nesvjesno bitno mijenja svoje ponašanje na način koji toj ili drugoj osobi uzrokuje ili bi mogao prouzročiti tjelesnu ili psihološku štetu, povređuje ili bi mogao povrijediti temeljna prava druge osobe ili skupine ljudi, uključujući njihovo fizičko i psihičko zdravlje i sigurnost, ima ili bi mogao imati štetan učinak na potrošače, uključujući novčani gubitak ili ekonomsku diskriminaciju, ili narušava ili bi mogao narušiti demokraciju i vladavinu prava ;

(b)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava koji iskorištava bilo koju slabost određene skupine osoba zbog njihove dobi ili tjelesnog ili mentalnog oštećenja radi bitnog mijenjanja ponašanja osobe koja pripada toj skupini na način koji toj ili drugoj osobi uzrokuje ili bi mogao uzrokovati tjelesnu ili psihološku štetu;

(b)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava koji iskorištava bilo koju slabost određene skupine osoba zbog njihove dobi ili tjelesnog ili mentalnog oštećenja radi bitnog mijenjanja ponašanja osobe koja pripada toj skupini na način koji toj ili drugoj osobi uzrokuje ili bi mogao uzrokovati tjelesnu ili psihološku štetu;

(c)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava tijelima javne vlasti ili u njihovo ime u svrhu vrednovanja ili klasifikacije vjerodostojnosti pojedinaca u određenom razdoblju na temelju njihova društvenog ponašanja ili poznatih ili predviđenih osobnih obilježja ili obilježja osobnosti, pri čemu njihov društveni rejting uzrokuje barem jedno od sljedećeg:

i.

štetno ili nepovoljno postupanje prema određenim pojedincima ili cijelim skupinama pojedinaca u društvenim kontekstima koji nisu povezani s kontekstima u kojima su podaci izvorno generirani ili prikupljeni;

ii.

štetno ili nepovoljno postupanje prema određenim pojedincima ili cijelim skupinama pojedinaca koje je neopravdano ili nerazmjerno njihovu društvenom ponašanju ili težini njegovih posljedica;

(c)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava tijelima javne vlasti ili u njihovo ime u svrhu vrednovanja ili klasifikacije vjerodostojnosti pojedinaca ili skupina pojedinaca u određenom razdoblju na temelju njihova društvenog ponašanja ili poznatih ili predviđenih osobnih obilježja ili obilježja osobnosti, što dovodi do društvenog vrednovanja građana za opće namjene na temelju UI-ja ;

(d)

uporaba sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona, osim ako i u mjeri u kojoj je takvo korištenje nužno isključivo radi jednog od sljedećih ciljeva:

i.

ciljane potrage za konkretnim potencijalnim žrtvama kaznenih djela, uključujući nestalu djecu;

ii.

sprečavanja konkretne, znatne i neposredne prijetnje životu ili tjelesnoj sigurnosti pojedinaca ili terorističkog napada;

iii.

otkrivanja, lociranja, identifikacije ili progona počinitelja kaznenog djela ili osumnjičenika za kazneno djelo iz članka 2. stavka 2. Okvirne odluke Vijeća 2002/584/PUP ([62]) koje je u državi članici kažnjivo najvišom kaznom zatvora ili oduzimanjem slobode od najmanje tri godine, kako je utvrđeno pravom te države članice.

(d)

stavljanje na tržište, stavljanje u uporabu ili korištenje UI sustava u tijelima javne vlasti ili u njihovo ime, uz primjenu društvenog vrednovanja na temelju UI-ja bez ljudskog nadzora za određene namjene, to jest u društvenim kontekstima povezanima s kontekstima u kojima su podaci izvorno generirani ili prikupljeni, radi ocjene ili klasifikacije vjerodostojnosti pojedinaca ili skupina pojedinaca na temelju njihova društvenog ponašanja ili poznatih ili predviđenih osobnih obilježja ili obilježja osobnosti, pri čemu njihov društveni rejting uzrokuje štetno ili nepovoljno postupanje prema određenim pojedincima ili cijelim skupinama pojedinaca koje je neopravdano ili nerazmjerno njihovu društvenom ponašanju ili težini njegovih posljedica;

 

(e)

uporaba sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona, osim ako i u mjeri u kojoj je takvo korištenje nužno isključivo radi jednog od sljedećih ciljeva:

i.

ciljane potrage za konkretnim potencijalnim žrtvama kaznenih djela, uključujući nestalu djecu;

ii.

sprečavanja konkretne, znatne i neposredne prijetnje životu ili tjelesnoj sigurnosti pojedinaca ili terorističkog napada;

iii.

otkrivanja, lociranja, identifikacije ili progona počinitelja kaznenog djela ili osumnjičenika za kazneno djelo iz članka 2. stavka 2. Okvirne odluke Vijeća 2002/584/PUP ([62]) koje je u državi članici kažnjivo najvišom kaznom zatvora ili oduzimanjem slobode od najmanje tri godine, kako je utvrđeno pravom te države članice.

Obrazloženje

Subliminalne tehnike općenito mogu ugroziti slobodu i ljudska prava, a time i funkcioniranje demokratske vladavine prava. Istodobno, umjetna inteligencija može ugroziti prava potrošača. Svrha je predloženog dodatka pojasniti to pitanje.

Društvena klasifikacija u tijelima javne vlasti ili u njihovo ime trebalo bi zabraniti ako se provodi u opće namjene s obzirom na opasnosti koje proizlaze iz takvih praksi, kao što je pojašnjeno u uvodnoj izjavi 17. Generiranje ili prikupljanje podataka u posebne namjene trebalo bi biti dopušteno samo uz ljudski nadzor i pod uvjetom da se time ne krše pravo na dostojanstvo i nediskriminaciju i vrijednosti jednakosti i pravde.

Amandman 18.

Članak 5. stavak 4.

Prijedlog Komisije

Amandman OR-a

Država članica može odlučiti propisati mogućnost potpunog ili djelomičnog odobrenja uporabe sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona uz ograničenja i pod uvjetima iz stavka 1. točke (d) te stavaka 2. i 3. Ta država članica u svojem nacionalnom pravu utvrđuje potrebna podrobna pravila o podnošenju zahtjeva za odobrenja iz stavka 3. te izdavanje, izvršavanje i nadzor tih odobrenja. U tim se pravilima određuje i za se koje ciljeve iz stavka 1. točke (d), što znači i za koja kaznena djela iz njegove podtočke iii., nadležnim tijelima može odobriti uporaba tih sustava za potrebe kaznenog progona.

Država članica može odlučiti propisati mogućnost potpunog ili djelomičnog odobrenja uporabe sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona uz ograničenja i pod uvjetima iz stavka 1. točke (d) te stavaka 2. i 3. Ta država članica u svojem nacionalnom pravu utvrđuje potrebna podrobna pravila o podnošenju zahtjeva za odobrenja iz stavka 3. te izdavanje, izvršavanje i nadzor tih odobrenja. U tim se pravilima određuje i za se koje ciljeve iz stavka 1. točke (d), što znači i za koja kaznena djela iz njegove podtočke iii., nadležnim tijelima može odobriti uporaba tih sustava za potrebe kaznenog progona. Tim se pravilima utvrđuju i načini obavješćivanja dotičnih lokalnih i regionalnih vlasti i savjetovanja s njima. Savjetovanje se mora održati prije iznimne uporabe tih sustava u javnim prostorima. U izvanrednim situacijama u kojima se ne može razumno očekivati prethodno savjetovanje, dotično lokalno ili regionalno tijelo mora se odmah obavijestiti o uvođenju predmetne prakse zasnovane na UI-ju.

Obrazloženje

Lokalne i regionalne vlasti snose političku i administrativnu odgovornost za upravljanje javnim prostorima i nadzor nad njima. Stoga bi trebale imati pravo glasa prije uvođenja takvih praksi zasnovanih na UI-ju i biti propisno informirane o iznimnoj uporabi sustava UI-ja za potrebe kaznenog progona.

U izvanrednim situacijama u kojima se ne može razumno očekivati prethodno savjetovanje, dotično lokalno ili regionalno tijelo mora se odmah obavijestiti.

Amandman 19.

Članak 13.

Prijedlog Komisije

Amandman OR-a

Članak  13. Transparentnost i informiranje korisnika

Članak 13.a Transparentnost i informiranje korisnika

1.   Visokorizični UI sustavi projektiraju se i razvijaju tako da njihov rad bude dovoljno transparentan da korisnici mogu tumačiti izlazne rezultate sustava i primjereno ih koristiti. Osigurava se odgovarajuća vrsta i stupanj transparentnosti kako bi se ispunile relevantne obveze korisnika i dobavljača utvrđene u poglavlju 3. ove glave.

1.   Visokorizični UI sustavi projektiraju se i razvijaju tako da njihov rad bude dovoljno transparentan da korisnici mogu tumačiti izlazne rezultate sustava i primjereno ih koristiti. Osigurava se odgovarajuća vrsta i stupanj transparentnosti i razumljivog objašnjenja kako bi se ispunile relevantne obveze korisnika i dobavljača utvrđene u poglavlju 3. ove glave. To objašnjenje mora biti navedeno barem na jeziku zemlje u kojoj se primjenjuje UI sustav.

2.   Visokorizičnim UI sustavima prilažu se upute za uporabu u odgovarajućem digitalnom ili drugom formatu sa sažetim, potpunim, točnim i jasnim informacijama koje su korisnicima važne, pristupačne i razumljive.

2.   Visokorizičnim UI sustavima prilažu se javno dostupne i razumljive upute za uporabu u odgovarajućem digitalnom ili drugom formatu sa sažetim, potpunim, točnim i jasnim informacijama koje su korisnicima važne, pristupačne i razumljive.

3.   U informacijama iz stavka 2. navode se:

3.   U informacijama iz stavka 2. navode se:

(a)

identitet i kontaktni podaci dobavljača i, prema potrebi, njegova ovlaštenog zastupnika;

(a)

identitet i kontaktni podaci dobavljača i, prema potrebi, njegova ovlaštenog zastupnika;

(b)

karakteristike, mogućnosti i ograničenja sposobnosti visokorizičnog UI sustava, uključujući:

(b)

karakteristike, mogućnosti i ograničenja sposobnosti visokorizičnog UI sustava, uključujući:

 

i.

njegovu namjenu

 

i.

njegovu namjenu

 

ii.

razine točnosti, otpornosti i kibersigurnosti iz članka 15. u odnosu na koje je visokorizični UI sustav testiran i potvrđen i koje se mogu očekivati te sve poznate i predvidljive okolnosti koje mogu utjecati na tu očekivanu razinu točnosti, stabilnosti i kibersigurnosti;

 

ii.

razine točnosti (izražene u mjerilu primjerenom evaluaciji modela) , otpornosti i kibersigurnosti iz članka 15. u odnosu na koje je visokorizični UI sustav testiran i potvrđen i koje se mogu očekivati te sve poznate i predvidljive okolnosti koje mogu utjecati na tu očekivanu razinu točnosti, stabilnosti i kibersigurnosti;

 

iii.

sve poznate i predvidljive okolnosti povezane s uporabom visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive krive uporabe koje mogu prouzročiti rizike za zdravlje i sigurnost ili temeljna prava;

 

iii.

sve poznate i predvidljive okolnosti povezane s uporabom visokorizičnog UI sustava u skladu s njegovom namjenom ili u uvjetima razumno predvidljive krive uporabe koje mogu prouzročiti rizike za zdravlje i sigurnost ili temeljna prava;

 

iv.

sposobnost sustava u odnosu na osobe ili skupine osoba za koje se sustav namjerava rabiti;

 

iv.

sposobnost sustava u odnosu na osobe ili skupine osoba za koje se sustav namjerava rabiti;

 

v.

prema potrebi, specifikacije ulaznih podataka ili sve druge važne informacije o korištenim skupovima podataka za učenje, validaciju i testiranje, uzimajući u obzir namjenu UI sustava;

 

v.

prema potrebi, specifikacije ulaznih podataka ili sve druge važne informacije o korištenim skupovima podataka za učenje, validaciju i testiranje, uzimajući u obzir namjenu UI sustava;

vi.

parametre koji se upotrebljavaju za prilagodbu modela i mjere poduzete kako bi se izbjegla prevelika ili nedovoljna naučenost;

(c)

promjene visokorizičnog UI sustava i njegove sposobnosti koje je dobavljač unaprijed odredio u trenutku početnog ocjenjivanja sukladnosti, ako ih ima;

(c)

promjene visokorizičnog UI sustava i njegove sposobnosti koje je dobavljač unaprijed odredio u trenutku početnog ocjenjivanja sukladnosti, ako ih ima;

(d)

mjere ljudskog nadzora iz članka 14., uključujući tehničke mjere uvedene kako bi se korisnicima olakšalo tumačenje izlaznih rezultata UI sustava;

(d)

mjere ljudskog nadzora iz članka 14., uključujući tehničke mjere uvedene kako bi se korisnicima olakšalo tumačenje izlaznih rezultata UI sustava;

(e)

očekivani životni vijek visokorizičnog UI sustava i sve potrebne mjere održavanja i brige kako bi se osiguralo pravilno funkcioniranje UI sustava, što se odnosi i na softverska ažuriranja.

(e)

očekivani životni vijek visokorizičnog UI sustava i sve potrebne mjere održavanja i brige kako bi se osiguralo pravilno funkcioniranje UI sustava, što se odnosi i na softverska ažuriranja.

 

Članak 13.b – Transparentnost i obavješćivanje zahvaćenih osoba

Osobe ili skupine osoba na koje bi se mogao primjenjivati visokorizični UI sustav moraju na primjeren i razumljiv način biti o tome obaviještene i imati pristup izričitim, lako i javno dostupnim informacijama.

Obrazloženje

Kako bi se ojačao ekosustav povjerenja, upute za uporabu visokorizičnih UI sustava trebale bi biti dostupne javnosti. Te bi upute trebale biti sastavljene na razumljiv način, na jeziku zemlje u kojoj se primjenjuje UI sustav.

U svrhu transparentnosti i objašnjivosti algoritama trebalo bi biti moguće objasniti koji su se parametri upotrebljavali za reguliranje modela i koje su mjere poduzete kako bi se izbjegla pretjerana ili nedovoljna naučenost.

Člankom 13.b uređuje se obveza transparentnosti i informiranja osoba koje su u interakciji sa sustavima umjetne inteligencije ili na koje bi sustav umjetne inteligencije mogao utjecati.

Amandman 20.

Članak 14. stavak 4.

Prijedlog Komisije

Amandman OR-a

Mjere iz stavka 3. omogućuju pojedincima kojima je povjeren ljudski nadzor da, ovisno o okolnostima:

Mjere iz stavka 3. omogućuju pojedincima kojima je povjeren ljudski nadzor da, ovisno o okolnostima:

(a)

posve razumiju mogućnosti i ograničenja visokorizičnog UI sustava te da pravilno prate njegov rad kako bi se znakovi nepravilnosti, disfunkcija i neočekivanih rezultata mogli što prije otkriti i ispraviti;

(a)

posve razumiju mogućnosti i ograničenja visokorizičnog UI sustava te da pravilno prate njegov rad kako bi se znakovi nepravilnosti, disfunkcija i neočekivanih rezultata mogli što prije otkriti i ispraviti;

(b)

budu svjesni moguće tendencije nevoljnog ili pretjeranog oslanjanja na izlazne rezultate visokorizičnog UI sustava („automatizacijska pristranost”), osobito visokorizičnih UI sustava koji se rabe za davanje informacija ili preporuka na temelju kojih odluke donose pojedinci;

(b)

budu svjesni moguće tendencije nevoljnog ili pretjeranog oslanjanja na izlazne rezultate visokorizičnog UI sustava („automatizacijska pristranost”) ili bilo kakve druge pristranosti , osobito visokorizičnih UI sustava koji se rabe za davanje informacija ili preporuka na temelju kojih odluke donose pojedinci;

(c)

točno protumače izlazni rezultat visokorizičnog UI sustava, uzimajući u obzir karakteristike sustava te dostupne alate i metode za tumačenje;

(c)

točno protumače izlazni rezultat visokorizičnog UI sustava, uzimajući u obzir karakteristike sustava te dostupne alate i metode za tumačenje;

(d)

u bilo kojoj situaciji odustanu od korištenja visokorizičnog UI sustava ili drukčije zanemare, zaobiđu ili ponište izlazni rezultat visokorizičnog UI sustava;

(d)

u bilo kojoj situaciji odustanu od korištenja visokorizičnog UI sustava ili drukčije zanemare, zaobiđu ili ponište izlazni rezultat visokorizičnog UI sustava;

(e)

interveniraju u rad visokorizičnog UI sustava ili ga prekinu pritiskom na gumb za zaustavljanje ili sličnim postupkom.

(e)

interveniraju u rad visokorizičnog UI sustava ili ga prekinu pritiskom na gumb za zaustavljanje ili sličnim postupkom.

Obrazloženje

Postoji nekoliko vrsta pristranosti koje mogu biti problematične, na primjer pristranost dizajnera ili samog korisnika („društvena pristranost”), pristranost u pogledu toga je li uvedeni sustav umjetne inteligencije prikladno rješenje problema („tehnološka pristranost”) i različite vrste statističke pristranosti.

Amandman 21.

Članak 14., novi stavak nakon stavka 5.

Prijedlog Komisije

Amandman OR-a

 

Svaka odluka koju donesu UI sustavi iz točke 5. podtočaka (a) i (b) Priloga III. podliježe ljudskoj intervenciji i temelji se na strogom postupku donošenja odluka. Trebalo bi zajamčiti uključenost ljudi u donošenje takvih odluka.

Obrazloženje

Članak 14. odnosi se samo na kontrolu visokorizičnih sustava umjetne inteligencije koju provode ljudi. Kad je riječ o odlukama koje donose javna tijela, važno je naglasiti da je potrebno zajamčiti ljudsku intervenciju, kontakt i poštovanje postupaka.

Amandman 22.

Članak 17. stavak 1. – dodati dvije točke nakon točke (m)

Prijedlog Komisije

Amandman OR-a

Dobavljači visokorizičnih UI sustava dužni su uspostaviti sustav upravljanja kvalitetom kojim se osigurava usklađenost s ovom Uredbom. O tom se sustavu na sustavan i uredan način sastavlja dokumentacija u obliku pisanih politika, postupaka i uputa te on obuhvaća barem sljedeće aspekte:

Dobavljači visokorizičnih UI sustava dužni su uspostaviti sustav upravljanja kvalitetom kojim se osigurava usklađenost s ovom Uredbom. O tom se sustavu na sustavan i uredan način sastavlja dokumentacija u obliku pisanih politika, postupaka i uputa te on obuhvaća barem sljedeće aspekte:

(a)

strategiju za usklađenost s propisima, uključujući usklađenost s postupcima ocjenjivanja sukladnosti i postupcima za upravljanje izmjenama visokorizičnog UI sustava;

(a)

strategiju za usklađenost s propisima, uključujući usklađenost s postupcima ocjenjivanja sukladnosti i postupcima za upravljanje izmjenama visokorizičnog UI sustava;

(b)

tehnike, postupke i sustavne aktivnosti koje treba provoditi u projektiranju te nadzoru i provjeri projektiranja visokorizičnog UI sustava

(b)

tehnike, postupke i sustavne aktivnosti koje treba provoditi u projektiranju te nadzoru i provjeri projektiranja visokorizičnog UI sustava

(c)

tehnike, postupke i sustavne aktivnosti koje treba provoditi u razvoju te kontroli kvalitete i osiguranju kvalitete visokorizičnog UI sustava;

(c)

tehnike, postupke i sustavne aktivnosti koje treba provoditi u razvoju te kontroli kvalitete i osiguranju kvalitete visokorizičnog UI sustava;

(d)

postupke pregleda, testiranja i validacije koje treba provesti prije, tijekom i poslije razvoja visokorizičnog UI sustava te učestalost kojom se moraju provoditi,

(d)

postupke pregleda, testiranja i validacije koje treba provesti prije, tijekom i poslije razvoja visokorizičnog UI sustava te učestalost kojom se moraju provoditi,

(e)

tehničke specifikacije, uključujući norme, koje treba primijeniti i, ako relevantne usklađene norme nisu u cijelosti primijenjene, sredstva kojima treba osigurati sukladnost visokorizičnog UI sustava sa zahtjevima iz poglavlja 2. ove glave;

(e)

tehničke specifikacije, uključujući norme, koje treba primijeniti i, ako relevantne usklađene norme nisu u cijelosti primijenjene, sredstva kojima treba osigurati sukladnost visokorizičnog UI sustava sa zahtjevima iz poglavlja 2. ove glave;

(f)

sustave i postupke za upravljanje podacima, uključujući prikupljanje podataka, analizu podataka, označivanje podataka, pohranu podataka, filtriranje podataka, rudarenje podataka, agregiranje podataka, zadržavanje podataka i sve druge operacije s podacima koje se obavljaju prije i za potrebe stavljanja na tržište ili stavljanja u uporabu visokorizičnih UI sustava;

(f)

sustave i postupke za upravljanje podacima, uključujući prikupljanje podataka, analizu podataka, označivanje podataka, pohranu podataka, filtriranje podataka, rudarenje podataka, agregiranje podataka, zadržavanje podataka i sve druge operacije s podacima koje se obavljaju prije i za potrebe stavljanja na tržište ili stavljanja u uporabu visokorizičnih UI sustava;

(g)

sustav upravljanja rizicima iz članka 9.;

(g)

sustav upravljanja rizicima iz članka 9.;

(h)

uspostavu, primjenu i održavanje sustava praćenja nakon stavljanja na tržište u skladu s člankom 61.;

(h)

uspostavu, primjenu i održavanje sustava praćenja nakon stavljanja na tržište u skladu s člankom 61.;

(i)

postupke povezane s prijavljivanjem ozbiljnih incidenata i neispravnosti u skladu s člankom 62.;

(i)

postupke povezane s prijavljivanjem ozbiljnih incidenata i neispravnosti u skladu s člankom 62.;

(j)

postupke komunikacije s nacionalnim nadležnim tijelima i drugim nadležnim tijelima, uključujući sektorska, te pružanje ili olakšavanje pristupa podacima, prijavljenim tijelima, drugim operaterima, klijentima ili drugim zainteresiranim stranama;

(j)

postupke komunikacije s nacionalnim nadležnim tijelima i drugim nadležnim tijelima, uključujući sektorska, te pružanje ili olakšavanje pristupa podacima, prijavljenim tijelima, drugim operaterima, klijentima ili drugim zainteresiranim stranama;

(k)

sustave i postupke za arhiviranje sve važne dokumentacije i svih važnih informacija;

(k)

sustave i postupke za arhiviranje sve važne dokumentacije i svih važnih informacija;

(l)

upravljanje resursima, uključujući mjere koje se odnose na sigurnost opskrbe;

(l)

upravljanje resursima, uključujući mjere koje se odnose na sigurnost opskrbe;

(m)

okvir za odgovornost kojim se utvrđuje odgovornost uprave i drugog osoblja za sve aspekte navedene u ovom stavku.

(m)

okvir za odgovornost kojim se utvrđuje odgovornost uprave i drugog osoblja za sve aspekte navedene u ovom;

 

(n)

mjere za sprečavanje neopravdane diskriminacije na temelju spola, etničkog podrijetla, vjere ili uvjerenja, invaliditeta, dobi, spolne orijentacije ili bilo koje druge osnove;

(o)

objašnjenje načina na koji su etička pitanja uzeta u obzir pri osmišljavanju visokorizičnog UI sustava .

Obrazloženje

Tim se dodatkom naglašava da uključivost i borba protiv neopravdane diskriminacije trebaju biti važni elementi sustava upravljanja kvalitetom.

Sustav mora poštovati etičke vrijednosti koje korisnik UI sustava želi u njemu uspostaviti ili za koje dobavljač može razumno očekivati da će se moći uspostaviti u visokorizičnom UI sustavu. Dobavljač bi trebao moći objasniti na koji su način uzete u obzir.

Amandman 23.

Članak 19. stavak 1.

Prijedlog Komisije

Amandman OR-a

Dobavljači visokorizičnih UI sustava dužni su se pobrinuti da njihovi sustavi prije stavljanja na tržište ili stavljanja u uporabu prođu relevantni postupak ocjenjivanja u skladu s postupkom iz članka 43. Ako se na temelju tog ocjenjivanja dokaže da UI sustav ispunjava zahtjeve iz poglavlja 2. ove glave, dobavljači sastavljaju EU izjavu o sukladnosti u skladu s člankom 48. i označuju UI sustav oznakom sukladnosti CE u skladu s člankom 49.

Dobavljači visokorizičnih UI sustava dužni su se pobrinuti da njihovi sustavi prije stavljanja na tržište ili stavljanja u uporabu prođu relevantni postupak ocjenjivanja u skladu s postupkom iz članka 43. Ako se na temelju tog ocjenjivanja dokaže da UI sustav ispunjava zahtjeve iz poglavlja 2. ove glave, dobavljači sastavljaju EU izjavu o sukladnosti u skladu s člankom 48. i označuju UI sustav oznakom sukladnosti CE u skladu s člankom 49. Dobavljači visokorizičnih UI sustava objavljuju EU izjavu o sukladnosti i sažetak ocjenjivanja sukladnosti na javno dostupnom mjestu.

Obrazloženje

Kako bi se ojačao ekosustav povjerenja u UI sustave, dobavljači visokorizičnih UI sustava moraju nastupati otvoreno. Javnost bi stoga trebala moći provjeriti je li ocjena sukladnosti pravilno utvrđena u skladu s odredbama Uredbe.

Amandman 24.

Članak 29. – novi stavak nakon stavka 6.

Prijedlog Komisije

Amandman OR-a

 

Korisnici visokorizičnih UI sustava dužni su prije početka korištenja provesti etičku evaluaciju sustava. Moraju moći objasniti mogući utjecaj uvođenja tehnologije na pojedince i društvo. Navode namjenu uvođenja UI sustava, njegove temeljne vrijednosti i način na koji su utvrđene te jesu li uzete u obzir u sustavu ili ne. Ocjenjuju stvaran utjecaj sustava na ljude i društvo tijekom cijelog životnog ciklusa UI sustava.

Obrazloženje

Etika je širok pojam. Postoji mnogo načina primjene etike u području tehnologije, kako u smislu teorijske podloge tako i u smislu konkretnih metodologija, alata i vrijednosti koje se primjenjuju pri projektiranju. Vrijednosti su elementi koje određeni pojedinci ili skupine ljudi smatraju važnima; mogu biti prilično konkretni ili više konceptualni. Važno je očuvati raspon moralnih vrijednosti koje se mogu primijeniti i kontinuirano evaluirati životni ciklus UI sustava.

Amandman 25.

Članak 52. stavak 1.

Prijedlog Komisije

Amandman OR-a

Dobavljači osiguravaju da su UI sustavi koji su namijenjeni interakciji s pojedincima osmišljeni i razvijeni tako da pojedinci budu svjesni da su u interakciji s UI sustavom , osim ako je to očito iz okolnosti i konteksta uporabe . Ta se obveza ne primjenjuje na UI sustave koji su zakonski odobreni za otkrivanje, sprečavanje, istragu i kazneni progon kaznenih djela, osim ako su ti sustavi dostupni javnosti za prijavu kaznenog djela.

Dobavljači osiguravaju da su UI sustavi koji su namijenjeni interakciji s pojedincima osmišljeni i razvijeni tako da pojedinci budu svjesni da su u interakciji s UI sustavom. Ta se obveza ne primjenjuje na UI sustave koji su zakonski odobreni za otkrivanje, sprečavanje, istragu i kazneni progon kaznenih djela, osim ako su ti sustavi dostupni javnosti za prijavu kaznenog djela. Opseg mogućnosti i pravni status fizičkih osoba koje su u interakciji s UI sustavima nisu ograničeni tom interakcijom.

Obrazloženje

Ako se tehnološki alati upotrebljavaju kao sredstvo interakcije s fizičkim osobama, može postojati opasnost da odluke fizičkih osoba koje su u interakciji s tim artefaktima budu ograničene. Fizičke osobe trebale bi biti propisno informirane kad god imaju posla s UI sustavima te to ne bi smjelo biti podložno interpretaciji u datoj situaciji. Njihova bi prava uvijek trebala biti zajamčena u interakciji s UI sustavima.

Amandman 26.

Članak 57. stavak 1.

Prijedlog Komisije

Amandman OR-a

Odbor se sastoji od nacionalnih nadzornih tijela, koja predstavljaju voditelji ili ekvivalentni visoki dužnosnici tih tijela, i Europskog nadzornika za zaštitu podataka. Na sastanke se mogu pozvati druga nacionalna tijela ako se raspravlja o pitanjima koja su im važna.

Odbor se sastoji od nacionalnih nadzornih tijela, koja predstavljaju voditelji ili ekvivalentni visoki dužnosnici tih tijela, i Europskog nadzornika za zaštitu podataka. Na sastanke se mogu pozvati druga nacionalna , regionalna i lokalna tijela ako se raspravlja o pitanjima koja su im važna.

Obrazloženje

Lokalne i regionalne vlasti trebale bi moći sudjelovati u praćenju UI sustava i izvješćivati o njihovoj provedbi na terenu.

Amandman 27.

Članak 58.

Prijedlog Komisije

Amandman OR-a

Pri pružanju savjeta i pomoći Komisiji u kontekstu članka 56. stavka 2. Odbor posebno:

Pri pružanju savjeta i pomoći Komisiji u kontekstu članka 56. stavka 2. Odbor posebno:

(a)

prikuplja i prenosi stručno znanje i najbolje primjere iz prakse među državama članicama;

(a)

prikuplja i prenosi stručno znanje i najbolje primjere iz prakse među državama članicama , regionalnim i lokalnim vlastima ;

(b)

doprinosi ujednačenim administrativnim praksama u državama članicama, među ostalim za funkcioniranje regulatornih izoliranih okruženja iz članka 53.;

(b)

doprinosi ujednačenim administrativnim praksama u državama članicama, među ostalim za funkcioniranje regulatornih izoliranih okruženja iz članka 53.;

(c)

izdaje mišljenja, preporuke ili pisane doprinose o pitanjima povezanima s provedbom ove Uredbe, a posebno:

(c)

izdaje mišljenja, preporuke ili pisane doprinose o pitanjima povezanima s provedbom ove Uredbe, a posebno:

 

i.

o tehničkim specifikacijama ili postojećim normama u vezi sa zahtjevima iz glave III. poglavlja 2.;

ii.

o uporabi usklađenih normi ili zajedničkih specifikacija iz članaka 40. i 41.;

iii.

o pripremi smjernica, uključujući smjernice za određivanje upravnih novčanih kazni iz članka 71.

 

i.

o tehničkim specifikacijama ili postojećim normama u vezi sa zahtjevima iz glave III. poglavlja 2.;

ii.

o uporabi usklađenih normi ili zajedničkih specifikacija iz članaka 40. i 41.;

iii.

o pripremi smjernica, uključujući smjernice za određivanje upravnih novčanih kazni iz članka 71.

Obrazloženje

Lokalne i regionalne vlasti najbliže su lokalnom stanovništvu i gospodarstvu. Trebalo bi ih izričito navesti na istaknutom mjestu kada se govori o prenošenju njihova znanja.

Amandman 28.

Članak 59. stavak 1.

Prijedlog Komisije

Amandman OR-a

Svaka država članica osniva ili imenuje nacionalna nadležna tijela koja će biti zadužena za primjenu i provedbu ove Uredbe. Nacionalna nadležna tijela moraju se organizirati tako da budu zajamčene objektivnost i nepristranost njihovih aktivnosti i zadaća.

Svaka država članica osniva ili imenuje nacionalna nadležna tijela koja će biti zadužena za primjenu i provedbu ove Uredbe. Nacionalna nadležna tijela moraju se organizirati tako da budu zajamčene objektivnost i nepristranost njihovih aktivnosti i zadaća. Lokalnim i regionalnim vlastima daju se ovlasti da obavljaju zadaće praćenja ili provedbe, ako to država članica smatra primjerenim.

Obrazloženje

Za potrebe primjenjivosti Uredbe i njezinog nadzornog i provedbenog mehanizma, država članica trebala bi biti u mogućnosti povjeriti zadaće praćenja ili provedbe lokalnim i regionalnim tijelima ako je to potrebno i moguće. U tom kontekstu lokalnim i regionalnim vlastima mora se osigurati potpora i osposobljavanje kako bi bile u potpunosti ovlaštene za provođenje nadzornih ili provedbenih zadaća.

Amandman 29.

Članak 69. stavak 3.

Prijedlog Komisije

Amandman OR-a

Kodekse ponašanja mogu sastavljati pojedinačni dobavljači UI sustava i/ili organizacije koje ih zastupaju, među ostalim uz sudjelovanje korisnika i svih zainteresiranih dionika i njihovih predstavničkih organizacija. Kodeksi ponašanja mogu obuhvaćati jedan ili više UI sustava uzimajući u obzir sličnost namjene relevantnih sustava.

Kodekse ponašanja mogu sastavljati nacionalna, regionalna ili lokalna tijela, pojedinačni dobavljači UI sustava i/ili organizacije koje ih zastupaju, među ostalim uz sudjelovanje korisnika i svih zainteresiranih dionika i njihovih predstavničkih organizacija. Kodeksi ponašanja mogu obuhvaćati jedan ili više UI sustava uzimajući u obzir sličnost namjene relevantnih sustava.

Obrazloženje

Nacionalna, lokalna i regionalna tijela trebala bi imati pravnu nadležnost za izradu kodeksa ponašanja za sustave umjetne inteligencije koje razvijaju ili upotrebljavaju.

Amandman 30.

Prilog I. – Tehnike i pristupi umjetne inteligencije iz članka 3. stavka 1.

Prijedlog Komisije

Amandman OR-a

 

S obzirom na trenutačno stanje znanosti UI-ju pripadaju sljedeće tehnike i pristupi:

(a)

pristupi strojnog učenja, što obuhvaća nadzirano, nenadzirano i podržano učenje, s pomoću raznih metoda, uključujući duboko učenje;

(a)

pristupi strojnog učenja, što obuhvaća nadzirano, nenadzirano i podržano učenje, s pomoću raznih metoda, uključujući duboko učenje;

(b)

pristupi temeljeni na logici i pristupi temeljeni na znanju, uključujući reprezentacije znanja, induktivno (logičko) programiranje, baze znanja, module za inferenciju i dedukciju, (simboličko) zaključivanje i stručne sustave;

(b)

pristupi temeljeni na logici i pristupi temeljeni na znanju, uključujući reprezentacije znanja, induktivno (logičko) programiranje, baze znanja, module za inferenciju i dedukciju, (simboličko) zaključivanje i stručne sustave;

(c)

statistički pristupi, Bayesovska procjena, metode pretraživanja i optimizacije.

(c)

statistički pristupi, Bayesovska procjena, metode pretraživanja i optimizacije.

Obrazloženje

Definicija i popis tehnika umjetne inteligencije trebali bi vrijediti bez obzira na buduće promjene. Popis posebnih tehnika i pristupa koji se upotrebljavaju za razvoj sustava umjetne inteligencije ne bi trebao biti iscrpan i mora biti jasno da se temelji na aktualnim znanstvenim spoznajama.

Amandman 31.

Prilog III. točke 1. do 5.

Prijedlog Komisije

Amandman OR-a

Visokorizični UI sustavi u skladu s člankom 6. stavkom 2. obuhvaćaju UI sustave u bilo kojem od sljedećih područja:

Visokorizični UI sustavi u skladu s člankom 6. stavkom 2. obuhvaćaju UI sustave u bilo kojem od sljedećih područja:

1.

biometrijska identifikacija i kategorizacija pojedinaca:

1.

biometrijska identifikacija i kategorizacija pojedinaca:

(a)

UI sustavi namijenjeni za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu i za naknadnu daljinsku biometrijsku identifikaciju pojedinaca;

(a)

UI sustavi namijenjeni za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu i za naknadnu daljinsku biometrijsku identifikaciju pojedinaca;

2.

upravljanje kritičnom infrastrukturom i njezin rad:

2.

upravljanje kritičnom infrastrukturom i njezin rad:

(a)

UI sustavi namijenjeni za uporabu kao sigurnosni sastavni dijelovi za upravljanje cestovnim prometom i opskrbom vodom, plinom, grijanjem i električnom energijom te za rad te infrastrukture;

(a)

UI sustavi namijenjeni za uporabu kao sigurnosni sastavni dijelovi za upravljanje cestovnim prometom i opskrbom vodom, plinom, grijanjem i električnom energijom te za rad te infrastrukture , kao i za telekomunikacijsku, vodovodnu i internetsku infrastrukturu ;

3.

obrazovanje i strukovno osposobljavanje:

3.

obrazovanje i strukovno osposobljavanje:

(a)

UI sustavi namijenjeni za određivanje mogućnosti pristupa pojedinaca ustanovama za obrazovanje i strukovno osposobljavanje ili za raspoređivanje pojedinaca u te ustanove;

(a)

UI sustavi namijenjeni za određivanje mogućnosti pristupa pojedinaca ustanovama za obrazovanje i strukovno osposobljavanje ili za raspoređivanje pojedinaca u te ustanove;

(b)

UI sustavi namijenjeni za ocjenjivanje učenika i studenata u ustanovama za obrazovanje i strukovno osposobljavanje te za ocjenjivanje sudionika na testovima koji su obično potrebni za upis u ustanove za obrazovanje;

(b)

UI sustavi namijenjeni za ocjenjivanje učenika i studenata u ustanovama za obrazovanje i strukovno osposobljavanje te za ocjenjivanje sudionika na testovima koji su obično potrebni za upis u ustanove za obrazovanje;

4.

zapošljavanje, upravljanje radnicima i pristup samozapošljavanju:

4.

zapošljavanje, upravljanje radnicima i pristup samozapošljavanju:

(a)

UI sustavi namijenjeni za zapošljavanje ili odabir pojedinaca, posebno za oglašavanje slobodnih radnih mjesta, pregled ili filtriranje prijava te ocjenjivanje kandidata na razgovorima ili testovima za posao;

(a)

UI sustavi namijenjeni za zapošljavanje ili odabir pojedinaca, posebno za oglašavanje slobodnih radnih mjesta, pregled ili filtriranje prijava te ocjenjivanje kandidata na razgovorima ili testovima za posao;

(b)

umjetna inteligencija namijenjena za donošenje odluka o promicanju zaposlenika i prestanku radnih ugovornih odnosa, za dodjelu zadataka te za praćenje i evaluaciju uspješnosti i ponašanja osoba u takvim odnosima;

(b)

umjetna inteligencija namijenjena za donošenje odluka o promicanju zaposlenika i prestanku radnih ugovornih odnosa, za dodjelu zadataka te za praćenje i evaluaciju uspješnosti i ponašanja osoba u takvim odnosima;

5.

pristup i korištenje osnovnih privatnih usluga te javnih usluga i socijalnih naknada:

5.

pristup i korištenje osnovnih privatnih usluga te javnih usluga i socijalnih naknada:

(a)

UI sustavi namijenjeni tijelima javne vlasti, ili drugima u njihovo ime, za ocjenjivanje prihvatljivosti pojedinaca za naknade i usluge javne pomoći te za odobravanje, smanjenje, ukidanje ili povrat takvih naknada i usluga;

(a)

UI sustavi namijenjeni tijelima javne vlasti, ili drugima u njihovo ime, za ocjenjivanje i odlučivanje o prihvatljivosti pojedinaca za naknade i usluge javne pomoći te za odobravanje, smanjenje, ukidanje ili povrat takvih naknada i usluga;

(b)

UI sustavi namijenjeni za ocjenjivanje kreditne sposobnosti pojedinaca ili utvrđivanje njihove kreditne ocjene, osim UI sustava koje mali dobavljači stavljaju u uporabu za vlastite potrebe;

(b)

UI sustavi namijenjeni za utvrđivanje kreditne sposobnosti pojedinaca ili njihove kreditne ocjene, osim UI sustava koje mali dobavljači stavljaju u uporabu za vlastite potrebe;

(c)

UI sustavi namijenjeni za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi, uključujući vatrogasce i medicinsku pomoć;

(c)

UI sustavi namijenjeni za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi, uključujući vatrogasce i medicinsku pomoć;

Obrazloženje

Telekomunikacijska, vodovodna i internetska infrastruktura sastavni su dio kritične infrastrukture.

Klasifikacija sustava umjetne inteligencije kao visokorizičnog sustava ovisi o tome može li takav sustav predstavljati stvaran rizik za građane. Puka analitička i teoretska procjena prava građana na javne usluge sama po sebi ne predstavlja visok rizik. Nadopunom izraza „ocjenjivanje” izrazom „odlučivanje” naglašava se da se ta opasnost doista odražava u postupku donošenja odluka, posebno za stanovništvo.

II.   PREPORUKE O POLITIKAMA

EUROPSKI ODBOR REGIJA

Ekosustav izvrsnosti

1.

 naglašava da se ambicija Komisije da Europska unija postane globalni predvodnik u antropocentričnom i odgovornom razvoju umjetne inteligencije (UI) može postići samo ako lokalne i regionalne vlasti budu imale snažnu ulogu u tom procesu. One su u najboljem položaju da doprinesu stvaranju povoljnog okruženja za poticanje ulaganja u umjetnu inteligenciju u predstojećim godinama i jačanje povjerenja u UI;

2.

 ističe da je, osim uključivanja lokalnih i regionalnih vlasti, važno osigurati potporu i osposobljavanje kako bi se poboljšale njihove kompetencije u tom području, posebno s obzirom na to da mogu imati nadzorne ili provedbene zadaće;

3.

 napominje da sredstva Unije postaju dostupna za razvoj UI-ja, ali skreće pozornost na rascjepkanost pristupa zbog raznolikosti programa, čime se povećava rizik od raspršivanja i preklapanja;

4.

 stoga poziva Komisiju da razvije i poveže čvrste i pluralističke zajedničke podatkovne prostore kojima se društveni slučajevi uporabe mogu riješiti s pomoću javnih i privatnih podataka. To iziskuje i usklađivanje sa zakonodavnim inicijativama u okviru europske strategije za podatke;

Ekosustav povjerenja

5.

 izražava žaljenje što se u prijedlogu uredbe ne navode lokalne i regionalne vlasti iako se pravni okvir primjenjuje i na javne i na privatne subjekte;

6.

 u tu svrhu ističe da UI sustavi mogu imati važnu ulogu u interakciji lokalnih i regionalnih vlasti s građankama i građanima i u pružanju usluga. Nadalje, UI sustavi mogu, među ostalim, povećati učinkovitost javnog sektora i pomoći lokalnim i regionalnim vlastima u provedbi prilagodbi koje su na lokalnoj i regionalnoj razini potrebne u kontekstu zelene i digitalne tranzicije. Stoga je važno da se iskustvo lokalnih i regionalnih vlasti aktivno iskoristi u tekućoj reviziji Uredbe;

7.

 poziva na precizniju definiciju „dobavljača” i „korisnika”, posebno u situacijama u kojima poduzeća, istraživački instituti, javna tijela i građani zajednički razvijaju i ispituju UI sustave u „živim laboratorijima”; Trebalo bi posvetiti pozornost i građanima i potrošačima na koje utječu odluke koje se temelje na umjetnoj inteligenciji u sustavima koje upotrebljavaju profesionalni korisnici;

8.

 naglašava da je potrebno unaprijed se savjetovati s relevantnim lokalnim i regionalnim vlastima kada se UI sustavi za biometrijsku identifikaciju fizičkih osoba koriste u stvarnom vremenu i na daljinu u prostorima koji su dostupni javnosti, u svrhu kaznenog progona;

9.

 pozdravlja javno savjetovanje Europske komisije o prilagodbi pravila o građanskopravnoj odgovornosti posebnim izazovima digitalnog doba i umjetne inteligencije (1) te očekuje da će to rezultirati ažuriranim okvirom čiji je cilj osigurati pravnu zaštitu potrošača od štete prouzročene aplikacijama umjetne inteligencije;

10.

 postavlja pitanje zašto sustavi umjetne inteligencije koji se upotrebljavaju u demokratskim procesima kao što su izbori nisu uvršteni na popis visokorizičnih UI sustava;

11.

 poziva na to da visokorizični UI sustavi podliježu istim zahtjevima u pogledu transparentnosti i informiranja za fizičke osobe kakvi se trenutačno primjenjuju na korisnike;

12.

 napominje da upotreba društvenog vrednovanja podrazumijeva znatne rizike i posljedice za ljudska prava;

13.

 u tom je kontekstu vrlo skeptičan u pogledu dviju situacija navedenih u Uredbi (2) kako bi se utvrdilo kada društveno vrednovanje dovodi do štetnog ili nepovoljnog postupanja prema osobama ili skupinama osoba s obzirom na to da je iznimno teško utvrditi postojanje takvih situacija. U tom pogledu zahtijeva da se jasno formuliraju jake zaštitne mjere kako bi se spriječilo zaobilaženje zabrane praksi društvenog vrednovanja;

14.

 napominje činjenicu da se u uvodnim izjavama Uredbe razmatraju rizici kojima su pojedinci izloženi zbog interakcije s visokorizičnim UI sustavima, među ostalim u kontekstu obrazovanja, osposobljavanja, zapošljavanja, upravljanja ljudskim resursima, pristupa samozapošljavanju ili pristupa određenim osnovnim javnim i privatnim uslugama i prava na njih;

15.

 poziva Komisiju da podrobnije ispita visokorizičnu kvalifikaciju UI sustava namijenjenih javnim tijelima (3);

16.

 želi da dotično javno tijelo ex ante da snažno mišljenje o tumačenju odredbi Uredbe, među ostalim i u pogledu Opće uredbe o zaštiti podataka. Time se povećava pravna sigurnost i smanjuju troškovi osmišljavanja i provedbe UI sustava;

17.

 u tu svrhu ističe važnost jasnoće u formulaciji Uredbe, koja je ključna za izgradnju ekosustava povjerenja i uklanjanje pravne nesigurnosti u pogledu razvoja i upotrebe sustava umjetne inteligencije. Tako bi se izbjegla pogrešna tumačenja predloženih zahtjeva i minimizirali rizici naknadnog lošeg upravljanja aplikacijama umjetne inteligencije, čime bi se maksimalno povećala djelotvornost Uredbe i vjerodostojnost sankcija. Istodobno, u skladu s programom za bolju regulativu Europske komisije, rano otkrivanje i uklanjanje mogućih preklapanja i/ili sukoba s postojećim pravilima od ključne je važnosti;

18.

 napominje da mnoge lokalne i regionalne vlasti koriste iste UI sustave za slične zadaće. U velikoj većini slučajeva te sustave osmišljavaju privatna poduzeća;

19.

 napominje da Prijedlog uredbe nije jedini instrument kojim se jamče građanska prava i da ga treba promatrati u kontekstu postojećeg zakonodavstva. Države članice stoga se potiče da kontinuirano poduzimaju potrebne administrativne mjere kako bi se mogle nositi s prilikama i rizicima povezanima s upotrebom UI-ja u javnom sektoru;

20.

 iz toga proizlazi da poduzeća i prijavljena tijela tumače europska i nacionalna pravila tijekom ocjenjivanja sukladnosti i da to tumačenje utječe na praksu lokalnih i regionalnih vlasti koje upotrebljavaju te UI sustave. Stoga je teško utvrditi u kojoj se mjeri lokalne i regionalne politike mogu uzeti u obzir u tim UI sustavima; Odbor stoga skreće pozornost na specifične potrebe lokalnih i regionalnih vlasti i na činjenicu da bi univerzalni pristup mogao ugroziti učinkovitost sustavâ umjetne inteligencije u odgovaranju na te potrebe. Osim toga, Odbor predlaže da se države članice ovlasti za reguliranje visokorizičnih sustava umjetne inteligencije zbog prevladavajućih i opravdanih razloga od javnog interesa;

21.

 u tom pogledu poziva na to da ocjenjivanje sukladnosti bude transparentno i javno dostupno. Osim toga, lokalne i regionalne vlasti također bi trebale moći sudjelovati u nadziranju sustava UI-ja i izvješćivati o njihovoj provedbi na terenu te službeno doprinijeti ocjeni primjene Uredbe koju provodi Europska komisija.

22.

 naglašava da za primjenu regulatornog izoliranog okruženja valja uspostaviti primjerene pravne, metodološke i etičke uvjete kako bi se omogućio razvoj tehnologije, izrada zakonodavstva i njegova evaluacija. Osim toga, potrebno je uspostaviti jasne kriterije za sudjelovanje poduzeća u regulatornom izoliranom okruženju; Kako bi se osiguralo da organizacije potrošača mogu provoditi odredbe Akta o umjetnoj inteligenciji, on se mora dodati u Prilog I. Direktivi EU-a o predstavničkim tužbama za zaštitu kolektivnih interesa potrošačâ ((EU) 2020/1828);

Informativne kampanje

23.

 naglašava važnost javnih kampanja kako bi se javnost informirala i upoznala s postojanjem i korisnošću sustava UI-ja, kao i s mogućim rizicima. Nadalje ističe hitnu potrebu za sveobuhvatnim informacijama za potrošače o umjetnoj inteligenciji / strojnom donošenju odluka. U tu svrhu traži od Europske komisije da osigura financijska sredstva za takve kampanje;

Administrativno opterećenje

24.

 izražava zabrinutost zbog mogućeg administrativnog opterećenja do kojeg bi mogao dovesti Prijedlog uredbe. Administrativno opterećenje može onemogućiti da mala i srednja poduzeća te lokalne i regionalne vlasti promiču inovacije i uvode UI sustave (4);

Proporcionalnost i supsidijarnost

25.

 smatra da se nacrtom uredbe poštuju načela proporcionalnosti i supsidijarnosti. Dodana vrijednost djelovanja EU-a u tom području i relevantne pravne osnove koje je odabrala Komisija jasne su i usklađene. Procjena učinka uključivala je poseban odjeljak o supsidijarnosti. Osim toga, nijedan nacionalni parlament nije izdao obrazloženo mišljenje o nepoštovanju načela supsidijarnosti do isteka roka za podnošenje zahtjeva, određenog za 2. rujna 2021.

Bruxelles, 2. prosinca 2021.

Predsjednik Europskog odbora regija

Apostolos TZITZIKOSTAS

([62])  Okvirna odluka Vijeća 2002/584/PUP od 13. lipnja 2002. o Europskom uhidbenom nalogu i postupcima predaje između država članica (SL L 190, 18.7.2002., str. 1.).

([62])  Okvirna odluka Vijeća 2002/584/PUP od 13. lipnja 2002. o Europskom uhidbenom nalogu i postupcima predaje između država članica (SL L 190, 18.7.2002., str. 1.).

(1)  https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12979-Civil-liability-adapting-liability-rules-to-the-digital-age-and-artificial-intelligence/public-consultation_en

(2)  Članak 5. stavak 1. točka (c).

(3)  Prilog III. točka 5. podtočka (a).

(4)  U nedavnoj studiji koju je podržala Europska komisija (Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe (Studija za potporu procjeni učinka regulatornih zahtjeva za umjetnu inteligenciju u Europi), str. 12.) procijenjeno je da bi, na temelju razumnih pretpostavki, dobivanje certifikata za UI sustav moglo koštati prosječno od 16 800 EUR od 23 000 EUR, odnosno oko 10 do 14 % troškova razvoja.

Top