(1)

Svrha je ove Uredbe poboljšati funkcioniranje unutarnjeg tržišta utvrđivanjem ujednačenog pravnog okvira , posebno za razvoj , stavljanje na tržište i uporabu umjetne inteligencije u  skladu s vrijednostima Unije . Uredbom je obuhvaćeno nekoliko prevladavajućih razloga od općeg interesa , kao što je visoka razina zaštite zdravlja, sigurnosti i temeljnih prava, te se njome osigurava slobodno prekogranično kretanje robe i usluga koje se temelje na UI-ju, čime se sprečava da države članice nameću ograničenja na razvoj, stavljanje na tržište i uporabu UI sustava osim ako je to izričito odobreno ovom Uredbom.

(1)

Svrha je ove Uredbe promicati prihvaćanje pouzdane antropocentrične umjetne inteligencije i osigurati visoku razinu zaštite zdravlja , sigurnosti, temeljnih prava , demokracije i vladavine prava te okoliša od štetnih učinaka sustava umjetne inteligencije u  Uniji, uz istodobno podupiranje inovacija i poboljšanje funkcioniranja unutarnjeg tržišta . Ovom se Uredbom utvrđuje ujednačen pravni okvir, posebno za razvoj, stavljanje na tržište , stavljanje u uporabu i uporabu umjetne inteligencije u skladu s vrijednostima Unije te se njome osigurava slobodno prekogranično kretanje robe i usluga koje se temelje na UI-ju, čime se sprečava da države članice nameću ograničenja na razvoj, stavljanje na tržište i uporabu sustava umjetne inteligencije ( UI sustava) osim ako je to izričito odobreno ovom Uredbom. Određeni UI sustavi mogu utjecati i na demokraciju i vladavinu prava te okoliš. Te su zabrinutosti posebno uzete u obzir u ključnim sektorima i slučajevima primjene navedenima u prilozima ovoj Uredbi.

(1 a)

Ovom Uredbom trebale bi se čuvati vrijednosti Unije, olakšati raspodjela koristi od umjetne inteligencije u cijelom društvu i zaštititi pojedinci, poduzeća, demokracija i vladavina prava te okoliš od rizika, uz istovremeno poticanje inovacija i zapošljavanja te pretvaranje Europe u predvodnicu u tom području.

(2)

Sustavi umjetne inteligencije ( UI sustavi) mogu se lako upotrebljavati u različitim sektorima gospodarstva i društva, među ostalim preko granica, te se kretati unutar Unije. Neke su države članice već razmotrile donošenje nacionalnih pravila kojima bi zajamčile sigurnost umjetne inteligencije te njezin razvoj i uporabu u skladu s obvezama u području temeljnih prava. Različita nacionalna pravila mogu uzrokovati fragmentaciju unutarnjeg tržišta i smanjiti pravnu sigurnost za operatere koji razvijaju ili upotrebljavaju UI sustave. Stoga bi u cijeloj Uniji trebalo osigurati dosljednu i visoku razinu zaštite, dok bi razlike koje otežavaju slobodno kretanje UI sustava te povezanih proizvoda i usluga unutar unutarnjeg tržišta trebalo spriječiti utvrđivanjem jedinstvenih obveza za operatere i jamčenjem ujednačene zaštite prevladavajućih razloga od javnog interesa i prava osoba na cijelom unutarnjem tržištu na temelju članka 114. Ugovora o funkcioniranju Europske unije (UFEU). U mjeri u kojoj ova Uredba sadržava posebna pravila o zaštiti pojedinaca pri obradi osobnih podataka u vezi s ograničenjima uporabe UI sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona dio ove Uredbe koji se odnosi na ta posebna pravila primjereno je temeljiti na članku 16. UFEU-a. S obzirom na ta posebna pravila i pozivanje na članak 16. UFEU-a, primjereno je zatražiti mišljenje Europskog odbora za zaštitu podataka.

(2)

UI sustavi mogu se lako upotrebljavati u različitim sektorima gospodarstva i društva, među ostalim preko granica, te se kretati unutar Unije. Neke su države članice već razmotrile donošenje nacionalnih pravila kojima bi zajamčile pouzdanost i sigurnost umjetne inteligencije te njezin razvoj i uporabu u skladu s obvezama u području temeljnih prava. Različita nacionalna pravila mogu uzrokovati fragmentaciju unutarnjeg tržišta i smanjiti pravnu sigurnost za operatere koji razvijaju ili upotrebljavaju UI sustave. Stoga bi za postizanje pouzdane umjetne inteligencije u cijeloj Uniji trebalo osigurati dosljednu i visoku razinu zaštite, dok bi razlike koje otežavaju slobodno kretanje , inovacije, primjenu i prihvaćanje UI sustava te povezanih proizvoda i usluga unutar unutarnjeg tržišta trebalo spriječiti utvrđivanjem jedinstvenih obveza za operatere i jamčenjem ujednačene zaštite prevladavajućih razloga od javnog interesa i prava osoba na cijelom unutarnjem tržištu na temelju članka 114. Ugovora o funkcioniranju Europske unije (UFEU).

(2 a)

Budući da se umjetna inteligencija često oslanja na obradu velikih količina podataka, a mnogi UI sustavi i aplikacije na obradu osobnih podataka, primjereno je temeljiti ovu Uredbu na članku 16. UFEU-a, kojim se utvrđuje pravo pojedinaca na zaštitu u pogledu obrade osobnih podataka i predviđa donošenje pravila o zaštiti pojedinaca s obzirom na obradu osobnih podataka.

(2 b)

Temeljno pravo na zaštitu osobnih podataka posebno je zaštićeno uredbama (EU) 2016/679 i (EU) 2018/1725 te Direktivom 2016/680. Direktivom 2002/58/EZ dodatno se štiti privatni život i povjerljivost komunikacija te utvrđuju uvjeti za svaku pohranu osobnih i neosobnih podataka na terminalnim uređajima i pristup tim podacima s njih. Ti pravni akti temelj su za održivu i odgovornu obradu podataka, među ostalim ako skupovi podataka obuhvaćaju kombinaciju osobnih i neosobnih podataka. Ovom se Uredbom ne nastoji utjecati na primjenu postojećeg prava Unije kojim se uređuje obrada osobnih podataka, uključujući zadaće i ovlasti neovisnih nadzornih tijela nadležnih za praćenje usklađenosti s tim instrumentima. Ova Uredba ne utječe na temeljna prava na privatni život i zaštitu osobnih podataka kako su predviđena pravom Unije o zaštiti podataka i privatnosti i sadržana u Povelji Europske unije o temeljnim pravima („Povelja”).

(2 c)

Sustavi umjetne inteligencije u Uniji podliježu relevantnom zakonodavstvu o sigurnosti proizvoda kojim se osigurava okvir za zaštitu potrošača od opasnih proizvoda općenito te bi se takvo zakonodavstvo trebalo nastaviti primjenjivati. Ovom Uredbom ne dovode se u pitanje ni pravila utvrđena drugim pravnim aktima Unije koji se odnose na zaštitu potrošača i sigurnost proizvoda, uključujući Uredbu (EU) 2017/2394, Uredbu (EU) 2019/1020 i Direktivu 2001/95/EZ o općoj sigurnosti proizvoda te Direktivu 2013/11/EU.

(2 d)

U skladu s člankom 114. stavkom 2. UFEU-a ova Uredba dopunjuje te ne bi smjela narušavati prava i interese zaposlenih osoba. Ova Uredba stoga ne bi trebala utjecati na pravo Unije o socijalnoj politici, nacionalno radno pravo i prakse, odnosno bilo koju zakonsku i ugovornu odredbu koja se odnosi na uvjete zapošljavanja, radne uvjete, uključujući zdravlje i sigurnost na radnome mjestu, te odnos između poslodavaca i zaposlenika, uključujući informiranje, savjetovanje i sudjelovanje. Ova Uredba ne bi trebala utjecati na ostvarivanje temeljnih prava priznatih u državama članicama i na razini Unije, uključujući pravo ili slobodu štrajka ili poduzimanja drugih mjera obuhvaćenih posebnim sustavima radnih odnosa u državama članicama, u skladu s nacionalnim pravom i/ili praksom. Ne bi trebala utjecati ni na prakse usuglašavanja ili pravo na pregovaranje, sklapanje i provedbu kolektivnog ugovora ili na poduzimanje kolektivnih mjera u skladu s nacionalnim pravom i/ili praksom. Ni u kojem slučaju ne bi trebala spriječiti Komisiju da predloži posebno zakonodavstvo o pravima i slobodama radnika na koje utječu UI sustavi.

(2 e)

Ova Uredba ne bi smjela utjecati na odredbe kojima se nastoje poboljšati radni uvjeti u radu putem platformi iz Direktive … [COD 2021/414/EZ].

(2 f)

Ova bi Uredba trebala pomoći u podupiranju istraživanja i inovacija, njome se ne bi smjele ugroziti aktivnosti istraživanja i razvoja te bi se njome trebala poštovati sloboda znanstvenog istraživanja. Stoga je potrebno iz njezina područja primjene isključiti UI sustave koji su posebno razvijeni isključivo u svrhu znanstvenog istraživanja i razvoja te osigurati da Uredba na drugi način ne utječe na aktivnosti znanstvenog istraživanja i razvoja UI sustava. Sve aktivnosti istraživanja i razvoja u svim bi se okolnostima trebale provoditi u skladu s Poveljom, pravom Unije te nacionalnim pravom.

(3)

Umjetna inteligencija skupina je tehnologija koja se brzo razvija i  može pridonijeti nizu gospodarskih i društvenih koristi u cijelom spektru sektora i društvenih aktivnosti. Zahvaljujući boljem predviđanju, optimizaciji operacija i dodjele resursa te personalizaciji digitalnih rješenja koja su dostupna pojedincima i organizacijama, uporaba umjetne inteligencije može poduzećima omogućiti ključne konkurentske prednosti i pridonijeti društveno i ekološki korisnim rezultatima, na primjer u zdravstvenoj zaštiti, poljoprivredi, obrazovanju i osposobljavanju, upravljanju infrastrukturom, energetici, prometu i logistici, javnim uslugama, sigurnosti, pravosuđu, učinkovitom korištenju resursa i energije te ublažavanju klimatskih promjena i prilagodbi tim promjenama.

(3)

Umjetna inteligencija skupina je tehnologija koja se brzo razvija i  već pridonosi nizu gospodarskih , okolišnih i društvenih koristi u cijelom spektru sektora i društvenih aktivnosti ako se razvija u skladu s relevantnim općim načelima Povelje i vrijednostima na kojima se Unija temelji . Zahvaljujući boljem predviđanju, optimizaciji operacija i dodjele resursa te personalizaciji digitalnih rješenja koja su dostupna pojedincima i organizacijama, uporaba umjetne inteligencije može poduzećima omogućiti ključne konkurentske prednosti i pridonijeti društveno i ekološki korisnim rezultatima, na primjer u zdravstvenoj zaštiti, poljoprivredi, sigurnosti hrane, obrazovanju i osposobljavanju, medijima, sportu, kulturi, upravljanju infrastrukturom, energetici, prometu i logistici, upravljanju krizama, javnim uslugama, sigurnosti, pravosuđu, učinkovitom korištenju resursa i energije , praćenju stanja okoliša, očuvanju i obnovi bioraznolikosti i ekosustava te ublažavanju klimatskih promjena i prilagodbi tim promjenama.

(3 a)

Kako bi doprinijela postizanju ciljnih vrijednosti u pogledu ugljične neutralnosti, europska poduzeća trebala bi nastojati iskoristiti sva dostupna tehnološka dostignuća koja mogu pomoći pri postizanju tog cilja. Umjetna inteligencija tehnologija je koja se potencijalno može koristiti za obradu sve veće količine podataka koji se stvaraju u industrijskim, okolišnim, zdravstvenim i drugim procesima. Kako bi se olakšala ulaganja u alate za analizu i optimizaciju koji se temelje na umjetnoj inteligenciji, ovom bi se Uredbom trebalo osigurati predvidljivo i proporcionalno okruženje za niskorizična industrijska rješenja.

(4)

Međutim, ovisno o okolnostima njezine specifične primjene i uporabe, umjetna inteligencija može stvoriti rizike i uzrokovati štetu javnim interesima i pravima koja su zaštićena pravom Unije. Takva šteta može biti materijalna i nematerijalna.

(4)

Međutim, ovisno o okolnostima njezine specifične primjene i uporabe te razini tehnološkog razvoja , umjetna inteligencija može stvoriti rizike i uzrokovati štetu javnim ili privatnim interesima i  temeljnim pravima pojedinaca koja su zaštićena pravom Unije. Takva šteta može biti materijalna i nematerijalna , uključujući tjelesnu, psihološku, društvenu ili ekonomsku štetu .

(4 a)

S obzirom na velik utjecaj koji umjetna inteligencija može imati na društvo i potrebu za izgradnjom povjerenja, ključno je da se umjetna inteligencija i njezin regulatorni okvir razvijaju u skladu s vrijednostima Unije sadržanima u članku 2. UEU-a, temeljnim pravima i slobodama sadržanima u Ugovorima, Povelji i međunarodnom pravu o ljudskim pravima. Kao preduvjet, umjetna inteligencija trebala bi biti antropocentrična tehnologija. Ona ne bi smjela zamijeniti ljudsku autonomiju niti podrazumijevati gubitak osobne slobode te bi prvenstveno trebala služiti potrebama društva i općem dobru. Trebalo bi osigurati zaštitne mjere kako bi se osigurali razvoj i upotreba umjetne inteligencije koja se temelji na etičkim načelima i kojom se poštuju vrijednosti Unije i Povelja.

(5)

Stoga je potreban pravni okvir kojim se utvrđuju usklađena pravila o umjetnoj inteligenciji kako bi se poticali razvoj, uporaba i prihvaćanje umjetne inteligencije na unutarnjem tržištu kojima se istodobno ostvaruje visoka razina zaštite javnih interesa, kao što su zdravlje i sigurnost te zaštita temeljnih prava koja su priznata i zaštićena pravom Unije. Kako bi se postigao taj cilj, trebalo bi utvrditi pravila kojima se uređuje stavljanje na tržište i stavljanje u uporabu određenih UI sustava, te tako osigurati neometano funkcioniranje unutarnjeg tržišta i omogućiti da načela slobodnog kretanja robe i usluga pogoduju tim sustavima. Ovom se Uredbom, zahvaljujući tim pravilima, pridonosi Unijinu cilju globalnog vodstva u razvoju sigurne, pouzdane i etične umjetne inteligencije koji je odredilo Europsko vijeće (33) i osigurava se zaštita etičkih načela u skladu s izričitim zahtjevom Europskog parlamenta (34).

(5)

Stoga je potreban pravni okvir kojim se utvrđuju usklađena pravila o umjetnoj inteligenciji kako bi se poticali razvoj, uporaba i prihvaćanje umjetne inteligencije na unutarnjem tržištu kojima se istodobno ostvaruje visoka razina zaštite javnih interesa, kao što su zdravlje i sigurnost, zaštita temeljnih prava , demokracija i vladavina prava te okoliš, koja su priznata i zaštićena pravom Unije. Kako bi se postigao taj cilj, trebalo bi utvrditi pravila kojima se uređuju stavljanje na tržište, stavljanje u uporabu i uporaba određenih UI sustava, te tako osigurati neometano funkcioniranje unutarnjeg tržišta i omogućiti da načela slobodnog kretanja robe i usluga pogoduju tim sustavima. Ta bi pravila trebala biti jasna i pouzdana u zaštiti temeljnih prava, njima bi se trebala podupirati nova inovativna rješenja te bi ona trebala pogodovati europskom ekosustavu javnih i privatnih aktera koji stvaraju UI sustave u skladu s vrijednostima Unije. Ovom se Uredbom, zahvaljujući tim pravilima i mjerama za potporu inovacijama, s posebnim naglaskom na MSP-ovima i start-up poduzećima , pridonosi cilju promicanja umjetne inteligencije proizvedene u Europi i Unijinu cilju globalnog vodstva u razvoju sigurne, pouzdane i etične umjetne inteligencije koji je odredilo Europsko vijeće (33) i osigurava se zaštita etičkih načela u skladu s izričitim zahtjevom Europskog parlamenta (34).

(5 a)

Nadalje, kako bi se potaknuo razvoj UI sustava u skladu s vrijednostima Unije, Unija treba ukloniti glavne razlike i prepreke koje blokiraju potencijal digitalne transformacije, uključujući nedostatak radnika s digitalnim vještinama, zabrinutost u pogledu kibersigurnosti, manjak ulaganja i nemogućnost pristupa ulaganjima te postojeće i moguće razlike među velikim poduzećima, MSP-ovima i start-up poduzećima. Posebnu pozornost trebalo bi posvetiti osiguravanju da su koristi umjetne inteligencije i inovacija u području novih tehnologija vidljive u svim regijama Unije te da su pružena dostatna ulaganja i resursi, osobito u regijama koje možda zaostaju u određenim digitalnim pokazateljima.

(6)

Trebalo bi jasno definirati pojam UI sustava kako bi se osigurala pravna sigurnost i pritom omogućila fleksibilnost za prilagođavanje budućem tehnološkom napretku. Ta bi se definicija trebala temeljiti na ključnim funkcionalnim karakteristikama softvera , a posebno na sposobnosti da za zadani skup ciljeva koje odredi čovjek generira izlazne rezultate kao što su sadržaj, predviđanja , preporuke ili odluke koji utječu na okolinu s kojom je sustav u  interakciji, bilo u fizičkoj ili digitalnoj dimenziji . UI sustavi mogu se projektirati tako da rade s različitom razinom autonomije i da se upotrebljavaju samostalno ili kao sastavni dio nekog proizvoda, bez obzira na to je li sustav fizički integriran u  proizvod (ugrađen) ili izvršava funkciju proizvoda bez integriranja u  njega (neugrađen). Definiciju UI sustava trebalo bi dopuniti popisom posebnih tehnika i pristupa primijenjenih u njegovu razvoju , koji bi trebalo ažurirati s obzirom na tržišne i tehnološke promjene , i  to delegiranim aktima Komisije za izmjenu tog popisa .

(6)

Trebalo bi jasno definirati pojam UI sustava u ovoj Uredbi i usko ga uskladiti s radom međunarodnih organizacija koje rade na umjetnoj inteligenciji kako bi se osigurala pravna sigurnost , usklađenost i široka prihvaćenost i pritom omogućila fleksibilnost za prilagođavanje brzom tehnološkom napretku u tom području . Osim toga, ta bi se definicija trebala temeljiti na ključnim karakteristikama umjetne inteligencije , kao što su njezine sposobnosti učenja, zaključivanja ili modeliranja, kako bi je se razlikovalo od jednostavnijih softverskih sustava i programskih pristupa. UI sustavi projektirani su tako da rade s različitom razinom autonomije , što znači da imaju barem određeni stupanj neovisnosti o ljudskoj kontroli u  svojem djelovanju i sposobnosti rada bez ljudske intervencije . Pojam „strojni” odnosi se na činjenicu da je rad UI sustava pogonjen strojevima. Upućivanjem na eksplicitne ili implicitne ciljeve naglašava se da UI sustavi mogu raditi u skladu s izričitim ciljevima koje definira čovjek ili implicitnim ciljevima. Ciljevi UI sustava mogu se u  određenom kontekstu razlikovati od namjene UI sustava. Upućivanje na predviđanja uključuje sadržaj, koji se u  ovoj Uredbi smatra oblikom predviđanja kao jednog od mogućih izlaznih rezultata UI sustava . Za potrebe ove Uredbe okruženja bi trebalo tumačiti kao kontekste u kojima UI sustavi rade, dok izlazni rezultati koje generira UI sustav , odnosno predviđanja, preporuke ili odluke, odgovaraju ciljevima sustava na temelju ulaznih podataka iz dotičnog okruženja. Takvi izlazni rezultati dodatno utječu na dotično okruženje, čak i pukim uvođenjem novih informacija u njega.

(6 a)

UI sustavi često imaju sposobnost strojnog učenja koja im omogućuje da se prilagode i samostalno izvršavaju nove zadaće. Strojno učenje odnosi se na računalni proces optimizacije parametara modela iz podataka, što je matematička konstrukcija koja proizvodi izlazni rezultat na temelju ulaznih podataka. Pristupi strojnog učenja obuhvaćaju, na primjer, nadzirano, nenadzirano i podržano učenje, s pomoću raznih metoda, uključujući duboko učenje s neuronskim mrežama. Ovom se Uredbom nastoje ukloniti novi potencijalni rizici koji mogu nastati zbog delegiranja kontrole UI sustavima, posebno onim UI sustavima koji se mogu razvijati nakon uvođenja u uporabu. Funkcija i izlazni rezultati mnogih od tih UI sustava temelje se na apstraktnim matematičkim odnosima koje je ljudima teško razumjeti, pratiti i povezati s određenim ulaznim podacima. Te složene i netransparentne karakteristike (element crne kutije) utječu na odgovornost i objašnjivost. Usporedivo jednostavnije tehnike kao što su pristupi utemeljeni na znanju, Bayesovska procjena ili stabla odlučivanja također mogu dovesti do pravnih praznina koje se moraju riješiti ovom Uredbom, posebno ako se koriste u kombinaciji s pristupima strojnog učenja u hibridnim sustavima.

(6 b)

UI sustavi mogu se upotrebljavati kao samostalni softverski sustav, mogu biti integrirani u fizički proizvod (ugrađeni) ili se koristiti za funkciju fizičkog proizvoda bez integriranja u njega (neugrađeni) ili se upotrebljavati kao UI komponenta većeg sustava. Ako taj veći sustav ne bi funkcionirao bez predmetne UI komponente, čitavi veći sustav trebao bi se smatrati jednim UI sustavom u skladu s ovom Uredbom.

(7)

Pojam biometrijskih podataka koji se upotrebljava u ovoj Uredbi u skladu je s pojmom biometrijskih podataka kako je definiran člankom 4. točkom 14. Uredbe (EU) 2016/679 Europskog parlamenta i Vijeća (35), člankom 3. točkom 18. Uredbe (EU) 2018/1725 Europskog parlamenta i Vijeća  (36) i člankom 3. točkom 13. Direktive (EU) 2016/680 Europskog parlamenta i  Vijeća  (37) te bi se trebao tumačiti dosljedno tim odredbama .

(7)

Pojam biometrijskih podataka koji se upotrebljava u ovoj Uredbi u skladu je s pojmom biometrijskih podataka kako je definiran člankom 4. točkom 14. Uredbe (EU) 2016/679 Europskog parlamenta i Vijeća (35) . Podaci temeljeni na biometriji znači dodatni podaci dobiveni posebnom tehničkom obradom koji se odnose na fizičke , fiziološke ili bihevioralne signale pojedinca, kao što su izrazi lica, pokreti, frekvencija pulsa, glas, način tipkanja ili način kretanja koji mogu, ali i  ne moraju omogućiti ili potvrditi jedinstvenu identifikaciju pojedinca .

(7 a)

Pojam biometrijske identifikacije koji se upotrebljava u ovoj Uredbi trebalo bi definirati kao automatsko prepoznavanje fizičkih, fizioloških, bihevioralnih i psiholoških ljudskih obilježja kao što su lice, pokreti očiju, izrazi lica, oblik tijela, glas, govor, hod, držanje, srčani ritam, krvni tlak, miris, način tipkanja, psihološke reakcije (bijes, stres, tuga itd.) za potrebe utvrđivanja identiteta pojedinca usporedbom biometrijskih podataka tog pojedinca s biometrijskim podacima pojedinaca pohranjenima u bazi podataka (identifikacija usporedbom više uzoraka), neovisno o tome je li pojedinac dao svoj pristanak.

(7 b)

Pojam biometrijske kategorizacije koji se upotrebljava u ovoj Uredbi trebalo bi definirati kao razvrstavanje pojedinaca prema određenim kategorijama ili izvođenje zaključaka o njihovim karakteristikama ili obilježjima kao što su rod, spol, dob, boja kose, boja očiju, tetovaže, etničko ili socijalno podrijetlo, zdravlje, mentalne ili fizičke sposobnosti, obilježja ponašanja ili osobine ličnosti, jezik, vjera ili pripadnost nacionalnoj manjini ili seksualna ili politička orijentacija na temelju njihovih biometrijskih podataka ili podataka koji se temelje na biometriji, ili prema kategorijama koje se mogu izvesti iz takvih podataka.

(8)

Pojam sustava za daljinsku biometrijsku identifikaciju koji se upotrebljava u ovoj Uredbi trebalo bi definirati funkcionalno, kao UI sustav namijenjen za daljinsko identificiranje pojedinaca usporedbom biometrijskih podataka osobe s biometrijskim podacima iz referentne baze podataka, pri čemu se ne može unaprijed znati hoće li ciljana osoba biti prisutna i može li je se identificirati, bez obzira na tehnologiju, postupke ili vrste biometrijskih podataka koji se upotrebljavaju. S obzirom na njihove različite karakteristike i različite načine korištenja, ali i na različite prisutne rizike, trebalo bi razlikovati sustav za daljinsku biometrijsku identifikaciju u stvarnom vremenu i sustav za naknadnu daljinsku biometrijsku identifikaciju. U sustavima za daljinsku biometrijsku identifikaciju u stvarnom vremenu prikupljanje biometrijskih podataka, usporedba i identifikacija odvijaju se trenutačno, gotovo trenutačno ili u svakom slučaju bez znatnog kašnjenja. Reguliranjem kratkih kašnjenja trebalo bi onemogućiti zaobilaženje pravila ove Uredbe o uporabi tih UI sustava u stvarnom vremenu. Sustavi u stvarnom vremenu uključuju uporabu materijala snimljenog „uživo” ili „gotovo uživo”, kao što je videozapis snimljen kamerom ili drugim uređajem sa sličnom funkcijom. S druge strane, u sustavima za naknadnu identifikaciju biometrijski su podaci već prethodno prikupljeni te se usporedba i identifikacija vrše tek nakon znatnog kašnjenja. To uključuje materijal snimljen prije nego što je sustav upotrijebljen za identifikaciju predmetnih pojedinaca, kao što su fotografije ili videozapisi snimljeni nadzornim kamerama ili privatnim uređajima.

(8)

Pojam sustava za daljinsku biometrijsku identifikaciju koji se upotrebljava u ovoj Uredbi trebalo bi definirati funkcionalno, kao UI sustav namijenjen za daljinsko identificiranje pojedinaca usporedbom biometrijskih podataka osobe s biometrijskim podacima iz referentne baze podataka, pri čemu se ne može unaprijed znati hoće li ciljana osoba biti prisutna i može li je se identificirati, bez obzira na tehnologiju, postupke ili vrste biometrijskih podataka koji se upotrebljavaju , isključujući sustave provjere koji samo uspoređuju biometrijske podatke pojedinca s njihovim prijašnjim biometrijskim podacima (usporedba dvaju uzoraka) . S obzirom na njihove različite karakteristike i različite načine korištenja, ali i na različite prisutne rizike, trebalo bi razlikovati sustav za daljinsku biometrijsku identifikaciju u stvarnom vremenu i sustav za naknadnu daljinsku biometrijsku identifikaciju. U sustavima za daljinsku biometrijsku identifikaciju u stvarnom vremenu prikupljanje biometrijskih podataka, usporedba i identifikacija odvijaju se trenutačno, gotovo trenutačno ili u svakom slučaju bez znatnog kašnjenja. Reguliranjem kratkih kašnjenja trebalo bi onemogućiti zaobilaženje pravila ove Uredbe o uporabi tih UI sustava u stvarnom vremenu. Sustavi u stvarnom vremenu uključuju uporabu materijala snimljenog „uživo” ili „gotovo uživo”, kao što je videozapis snimljen kamerom ili drugim uređajem sa sličnom funkcijom. S druge strane, u sustavima za naknadnu identifikaciju biometrijski su podaci već prethodno prikupljeni te se usporedba i identifikacija vrše tek nakon znatnog kašnjenja. To uključuje materijal snimljen prije nego što je sustav upotrijebljen za identifikaciju predmetnih pojedinaca, kao što su fotografije ili videozapisi snimljeni nadzornim kamerama ili privatnim uređajima. S obzirom na to da je pojam biometrijske identifikacije neovisan o pristanku pojedinca, ta se definicija primjenjuje čak i kada su na lokaciju pod nadzorom sustava za daljinsku biometrijsku identifikaciju postavljena upozorenja te se de facto ne poništava prethodnim unosom.

(8 a)

Daljinska identifikacija pojedinaca tumači se tako da se sustavi za daljinsku biometrijsku identifikaciju razlikuju od sustava za provjeru pojedinaca iz neposredne blizine uz korištenje sredstava biometrijske identifikacije, čija je jedina svrha potvrditi ima li određeni pojedinac dopuštenje, primjerice kako bi dobio pristup usluzi, uređaju ili prostorima.

(9)

Pojam javnog mjesta za potrebe ove Uredbe trebalo bi shvatiti kao svako fizičko mjesto koje je dostupno javnosti, bez obzira na to je li u privatnom ili javnom vlasništvu. Dakle, taj pojam ne obuhvaća mjesta koja su privatne naravi i obično nisu slobodno dostupna trećim stranama, među ostalim ni tijelima kaznenog progona, osim ako su te strane izričito pozvane ili im je odobren pristup; to su primjerice stambeni objekti, privatni klubovi, uredi, skladišta i tvornice. Nisu obuhvaćeni ni internetski prostori jer oni nisu fizički prostori. Međutim, samo to što se nekom mjestu može pristupiti po određenim uvjetima, kao što su ulaznice ili dobna ograničenja, ne znači da to mjesto nije javno u smislu ove Uredbe. Prema tome, uz javna mjesta kao što su ulice, odgovarajući dijelovi vladinih zgrada i većina prometne infrastrukture, i mjesta kao što su kina, kazališta, trgovine i trgovački centri obično su javna. Ipak, to je li određeno mjesto javno trebalo bi utvrditi u svakom slučaju posebno i pritom uzeti u obzir specifične okolnosti konkretne situacije.

(9)

Pojam javnog mjesta za potrebe ove Uredbe trebalo bi shvatiti kao svako fizičko mjesto koje je dostupno javnosti, bez obzira na to je li u privatnom ili javnom vlasništvu i bez obzira na moguća ograničenja kapaciteta . Dakle, taj pojam ne obuhvaća mjesta koja su privatne naravi i obično nisu slobodno dostupna trećim stranama, među ostalim ni tijelima kaznenog progona, osim ako su te strane izričito pozvane ili im je odobren pristup; to su primjerice stambeni objekti, privatni klubovi, uredi, skladišta i tvornice. Nisu obuhvaćeni ni internetski prostori jer oni nisu fizički prostori. Međutim, samo to što se nekom mjestu može pristupiti po određenim uvjetima, kao što su ulaznice ili dobna ograničenja, ne znači da to mjesto nije javno u smislu ove Uredbe. Prema tome, uz javna mjesta kao što su ulice, odgovarajući dijelovi vladinih zgrada i većina prometne infrastrukture, i mjesta kao što su kina, kazališta, sportski tereni, škole, sveučilišta, bolnice, relevantni dijelovi bolnica i banaka, zabavni parkovi, festivali, trgovine i trgovački centri obično su javna. Ipak, to je li određeno mjesto javno trebalo bi utvrditi u svakom slučaju posebno i pritom uzeti u obzir specifične okolnosti konkretne situacije.

(9 a)

Važno je napomenuti da bi UI sustavi trebali nastojati poštovati opća načela kojima se uspostavlja okvir na visokoj razini kojim se promiče dosljedan antropocentrični pristup etičnoj i pouzdanoj umjetnoj inteligenciji u skladu s Poveljom Europske unije o temeljnim pravima i vrijednostima na kojima se Unija temelji, uključujući zaštitu temeljnih prava, ljudsko upravljanje i nadzor, tehničku stabilnost i sigurnost, upravljanje privatnošću i podacima, transparentnost, nediskriminaciju i pravednost te društvenu i ekološku dobrobit.

(9 b)

„Pismenost u području umjetne inteligencije” odnosi se na vještine, znanje i razumijevanje koje dobavljačima, korisnicima i zahvaćenim osobama, uzimajući u obzir njihova prava i obveze u kontekstu ove Uredbe, omogućuje informiranu primjenu UI sustava, kao i informiranje o mogućnostima i rizicima umjetne inteligencije, te šteti koju može izazvati, a time promicanje demokratskog nadzora nad njom. Pismenost u području umjetne inteligencije ne bi smjela biti ograničena na učenje o alatima i tehnologijama, već bi trebala biti usmjerena i na to da dobavljači i korisnici usvoje pojmove i steknu vještine potrebne za osiguravanje usklađenosti s ovom Uredbom i njezine provedbe. Stoga je nužno da Komisija, države članice te dobavljači i korisnici UI sustava u suradnji sa svim relevantnim dionicima promiču razvoj dostatne razine pismenosti u području umjetne inteligencije u svim sektorima društva, za građane svih uzrasta, uključujući žene i djevojčice, te da se pomno prati napredak u tom pogledu.

(10)

Kako bi se osigurali jednaki uvjeti i djelotvorna zaštita prava i sloboda pojedinaca u cijeloj Uniji, pravila utvrđena u ovoj Uredbi trebala bi se primjenjivati na dobavljače UI sustava na nediskriminirajući način, bez obzira na to imaju li poslovni nastan u Uniji ili trećoj zemlji, i na korisnike UI sustava s poslovnim nastanom u Uniji.

(10)

Kako bi se osigurali jednaki uvjeti i djelotvorna zaštita prava i sloboda pojedinaca u cijeloj Uniji i na međunarodnoj razini , pravila utvrđena u ovoj Uredbi trebala bi se primjenjivati na dobavljače UI sustava na nediskriminirajući način, bez obzira na to imaju li poslovni nastan u Uniji ili trećoj zemlji, i na subjekte koji primjenjuju UI sustave s poslovnim nastanom u Uniji. Kako bi Unija bila vjerna svojim temeljnim vrijednostima, UI sustavi namijenjeni za upotrebu u svrhe koje se u ovoj Uredbi smatraju neprihvatljivima trebali bi se također smatrati neprihvatljivima izvan Unije zbog njihova posebno štetnog učinka na temeljna prava utvrđena u Povelji. Stoga je primjereno dobavljačima s boravištem u Uniji zabraniti izvoz takvih UI sustava u treće zemlje.

(11)

Određeni bi UI sustavi zbog svojeg digitalnog karaktera trebali biti obuhvaćeni područjem primjene ove Uredbe čak i ako nisu stavljeni ni na tržište ni u uporabu niti se upotrebljavaju u Uniji. To se, primjerice, odnosi na operatera s poslovnim nastanom u Uniji koji od operatera s poslovnim nastanom izvan Unije naruči određene usluge povezane sa zadaćom koju obavlja UI sustav koji bi pripadao u visokorizične sustave i koji bi mogao utjecati na pojedince u Uniji. U tim bi okolnostima UI sustav kojim se služi operater izvan Unije mogao obrađivati podatke koji su zakonito prikupljeni u Uniji i preneseni iz nje te dostaviti izlazni rezultat UI sustava koji se temelji na toj obradi operateru ugovaratelju u Uniji, a da taj UI sustav nije stavljen ni na tržište ni u uporabu niti se upotrebljava u Uniji. Kako bi se spriječilo zaobilaženje ove Uredbe i osigurala djelotvorna zaštita pojedinaca u Uniji, ova bi se Uredba trebala primjenjivati i na dobavljače i korisnike UI sustava koji imaju poslovni nastan u trećoj zemlji ako se u Uniji upotrebljavaju izlazni rezultati tih sustava. Međutim, kako bi se uzeli u obzir postojeći aranžmani i specifične potrebe za suradnjom sa stranim partnerima s kojima se razmjenjuju informacije i dokazi, ova se Uredba ne bi trebala primjenjivati na tijela javne vlasti treće zemlje ni na međunarodne organizacije koje djeluju u okviru međunarodnih sporazuma koji su na nacionalnoj ili europskoj razini sklopljeni s Unijom ili njezinim državama članicama za suradnju u područjima kaznenog progona i pravosuđa. Riječ je o bilateralnim sporazumima sklopljenima između država članica i trećih zemalja ili između Europske unije, Europola i drugih agencija EU-a te trećih zemalja i međunarodnih organizacija.

(11)

Određeni bi UI sustavi zbog svojeg digitalnog karaktera trebali biti obuhvaćeni područjem primjene ove Uredbe čak i ako nisu stavljeni ni na tržište ni u uporabu niti se upotrebljavaju u Uniji. To se, primjerice, odnosi na operatera s poslovnim nastanom u Uniji koji od operatera s poslovnim nastanom izvan Unije naruči određene usluge povezane sa zadaćom koju obavlja UI sustav koji bi pripadao u visokorizične sustave i koji bi mogao utjecati na pojedince u Uniji. U tim bi okolnostima UI sustav kojim se služi operater izvan Unije mogao obrađivati podatke koji su zakonito prikupljeni u Uniji i preneseni iz nje te dostaviti izlazni rezultat UI sustava koji se temelji na toj obradi operateru ugovaratelju u Uniji, a da taj UI sustav nije stavljen ni na tržište ni u uporabu niti se upotrebljava u Uniji. Kako bi se spriječilo zaobilaženje ove Uredbe i osigurala djelotvorna zaštita pojedinaca u Uniji, ova bi se Uredba trebala primjenjivati i na dobavljače i korisnike UI sustava te subjekte koji primjenjuju UI sustave koji imaju poslovni nastan u trećoj zemlji ako su izlazni rezultati tih sustava namijenjeni za upotrebu u Uniji . Međutim, kako bi se uzeli u obzir postojeći aranžmani i specifične potrebe za suradnjom sa stranim partnerima s kojima se razmjenjuju informacije i dokazi, ova se Uredba ne bi trebala primjenjivati na tijela javne vlasti treće zemlje ni na međunarodne organizacije koje djeluju u okviru međunarodnih sporazuma koji su na nacionalnoj ili europskoj razini sklopljeni s Unijom ili njezinim državama članicama za suradnju u područjima kaznenog progona i pravosuđa. Riječ je o bilateralnim sporazumima sklopljenima između država članica i trećih zemalja ili između Europske unije, Europola i drugih agencija EU-a te trećih zemalja i međunarodnih organizacija. Ta bi iznimka ipak trebala biti ograničena na pouzdane zemlje i međunarodne organizacije koje dijele vrijednosti Unije.

(12)

Ova bi se Uredba trebala primjenjivati i na institucije, urede, tijela i agencije Unije ako djeluju kao dobavljači ili korisnici UI sustava . UI sustave koji se razvijaju ili upotrebljavaju isključivo u vojne svrhe trebalo bi izostaviti iz područja primjene ove Uredbe ako je ta uporaba u isključivoj nadležnosti zajedničke vanjske i sigurnosne politike uređene na temelju glave V. Ugovora o Europskoj uniji (UEU). Ovom Uredbom ne bi se trebale dovoditi u pitanje odredbe o odgovornosti pružatelja posredničkih usluga iz Direktive 2000/31/EZ Europskog parlamenta i Vijeća [kako je izmijenjena Aktom o digitalnim uslugama].

(12)

Ova bi se Uredba trebala primjenjivati i na institucije, urede, tijela i agencije Unije ako djeluju kao dobavljači UI sustava ili subjekti koji primjenjuju UI sustave . UI sustave koji se razvijaju ili upotrebljavaju isključivo u vojne svrhe trebalo bi izostaviti iz područja primjene ove Uredbe ako je ta uporaba u isključivoj nadležnosti zajedničke vanjske i sigurnosne politike uređene na temelju glave V. Ugovora o Europskoj uniji (UEU). Ovom Uredbom ne bi se trebale dovoditi u pitanje odredbe o odgovornosti pružatelja posredničkih usluga iz Direktive 2000/31/EZ Europskog parlamenta i Vijeća [kako je izmijenjena Aktom o digitalnim uslugama].

(12 a)

Softver i podaci koji se otvoreno dijele i kojima korisnici mogu slobodno pristupiti, koristiti ih, mijenjati i redistribuirati njih ili njihove izmijenjene verzije mogu doprinijeti istraživanju i inovacijama na tržištu. Istraživanje Komisije također pokazuje da besplatni softver otvorenog koda može BDP-u Europske unije doprinijeti između 65 milijardi EUR i 95 milijardi EUR te da može pružiti znatne prilike za rast europskoga gospodarstva. Korisnicima je dopušteno pokretati, kopirati, distribuirati, proučavati, mijenjati i poboljšavati softver i podatke, uključujući modele na temelju besplatnih licencija za softver otvorenog koda. Radi poticanja razvoja i primjene umjetne inteligencije, posebno u MSP-ovima, start-up poduzećima, u okviru akademskog istraživanja, ali i od strane pojedinaca, ova Uredba ne bi se trebala primjenjivati na takve besplatne UI komponente otvorenog koda, osim ako ih dobavljač stavlja na tržište ili u uporabu kao dio visokorizičnog UI sustava ili UI sustava obuhvaćenog glavom II. ili IV. ove Uredbe.

(12 b)

Ni zajednički razvoj besplatnih UI komponenti otvorenog koda niti njihovo stavljanje na raspolaganje u repozitorijima otvorenog pristupa ne bi trebalo predstavljati stavljanje na tržište ili stavljanje u uporabu. U okviru razumijevanja stavljanja na raspolaganje na tržištu, komercijalna djelatnost može, međutim, podrazumijevati ne samo naplaćivanje, uz iznimku transakcija među mikropoduzećima, besplatnih UI komponenti otvorenoga koda, nego i naplaćivanje usluga tehničke podrške, pružanjem softverske platforme putem koje dobavljač unovčuje druge usluge ili uporabom osobnih podataka u svrhe koje nisu isključivo povećanje sigurnosti, kompatibilnosti ili interoperabilnosti softvera.

(12 c)

Programeri besplatnih UI komponenti otvorenog koda ne bi trebali biti obvezni na temelju ove Uredbe ispunjavati zahtjeve koji se odnose na vrijednosni lanac umjetne inteligencije i, posebno, na dobavljača koji se koristio tom besplatnom UI komponentom otvorenog koda. Međutim, programere besplatnih UI komponenti otvorenog koda trebalo bi poticati da primjenjuju široko prihvaćene prakse dokumentiranja, kao što su modeli i podatkovne kartice kako bi se ubrzala razmjena informacija duž vrijednosnog lanca umjetne inteligencije i omogućilo promicanje pouzdanih UI sustava u Uniji.

(13)

Kako bi se osigurala dosljedna i visoka razina zaštite javnih interesa u pogledu zdravlja, sigurnosti i temeljnih prava, trebalo bi utvrditi zajedničke normativne standarde za sve visokorizične UI sustave. Ti bi standardi trebali biti dosljedni s Poveljom Europske unije o  temeljnim pravima ( Povelja ) te bi trebali biti nediskriminirajući i usklađeni s međunarodnim trgovinskim obvezama Unije.

(13)

Kako bi se osigurala dosljedna i visoka razina zaštite javnih interesa u pogledu zdravlja, sigurnosti i temeljnih prava, kao i demokracije i vladavine prava te okoliša, trebalo bi utvrditi zajedničke normativne standarde za sve visokorizične UI sustave. Ti bi standardi trebali biti dosljedni s Poveljom , europskim zelenim planom, zajedničkom Deklaracijom o  digitalnim pravima Unije i Etičkim smjernicama za pouzdanu umjetnu inteligenciju ( UI ) Stručne skupine na visokoj razini za umjetnu inteligenciju te bi trebali biti nediskriminirajući i usklađeni s međunarodnim trgovinskim obvezama Unije.

(14)

Kako bi se uveo proporcionalan i djelotvoran skup obvezujućih pravila za UI sustave, trebalo bi slijediti jasno definiran pristup koji se temelji na riziku. Vrsta i sadržaj tih pravila u tom bi pristupu trebali biti primjereni intenzitetu i opsegu rizika koje mogu stvoriti UI sustavi. Stoga je potrebno zabraniti određene prakse u području umjetne inteligencije, utvrditi zahtjeve za visokorizične UI sustave i obveze za relevantne operatere te utvrditi obveze u pogledu transparentnosti za određene UI sustave.

(14)

Kako bi se uveo proporcionalan i djelotvoran skup obvezujućih pravila za UI sustave, trebalo bi slijediti jasno definiran pristup koji se temelji na riziku. Vrsta i sadržaj tih pravila u tom bi pristupu trebali biti primjereni intenzitetu i opsegu rizika koje mogu stvoriti UI sustavi. Stoga je potrebno zabraniti određene neprihvatljive prakse u području umjetne inteligencije, utvrditi zahtjeve za visokorizične UI sustave i obveze za relevantne operatere te utvrditi obveze u pogledu transparentnosti za određene UI sustave.

(15)

Osim brojnih korisnih primjena umjetne inteligencije, ta se tehnologija može i zloupotrijebiti te omogućiti nove i moćne alate za manipulativne i izrabljivačke prakse te prakse socijalne kontrole. Takve su prakse iznimno štetne i trebalo bi ih zabraniti jer su protivne Unijinim vrijednostima poštovanja ljudskog dostojanstva, slobode, ravnopravnosti, demokracije i vladavine prava te temeljnim pravima Unije, uključujući pravo na nediskriminaciju, zaštitu podataka i privatnost te prava djeteta.

(15)

Osim brojnih korisnih primjena umjetne inteligencije, ta se tehnologija može i zloupotrijebiti te omogućiti nove i moćne alate za manipulativne i izrabljivačke prakse te prakse socijalne kontrole. Takve su prakse zlouporaba i iznimno su štetne i trebalo bi ih zabraniti jer su protivne Unijinim vrijednostima poštovanja ljudskog dostojanstva, slobode, ravnopravnosti, demokracije i vladavine prava te temeljnim pravima Unije, uključujući pravo na nediskriminaciju, zaštitu podataka i privatnost te prava djeteta.

(16)

Trebalo bi zabraniti stavljanje na tržište, stavljanje u uporabu ili primjenu određenih UI sustava kojima se želi promijeniti čovjekovo ponašanje, čime se može izazvati tjelesna ili psihološka šteta. U takvim UI sustavima primjenjuju se subliminalni elementi koje pojedinci ne mogu percipirati ili se iskorištavaju ranjivosti koje djeca i  odrasli mogu imati zbog svoje dobi te fizičkih ili mentalnih poteškoća. Pritom se njima želi bitno promijeniti ponašanje osobe na način koji uzrokuje ili bi mogao uzrokovati štetu toj ili nekoj drugoj osobi. Ta se namjera ne može pretpostaviti ako mijenjanje ljudskog ponašanja proizlazi iz čimbenika koji su izvan UI sustava i kontrole dobavljača ili korisnika. Zabrana ne bi trebala kočiti istraživanja u zakonite svrhe koja se odnose na takve UI sustave ako ta istraživanja ne uključuju uporabu UI sustava u odnosima između ljudi i strojeva koji bi mogli naštetiti pojedincima i ako se provode u skladu s priznatim etičkim standardima za znanstvena istraživanja.

(16)

Trebalo bi zabraniti stavljanje na tržište, stavljanje u uporabu ili primjenu određenih UI sustava kojima se namjerava promijeniti ili koji imaju učinak da se njima bitno mijenja čovjekovo ponašanje, čime se može izazvati tjelesna ili psihološka šteta. To ograničenje trebalo bi tumačiti na način da uključuje neurotehnologije koje podupiru UI sustavi korišteni za praćenje, uporabu ili utjecanje na neuronske podatke prikupljene sučeljima mozga i računala u mjeri u kojoj bitno mijenjaju ponašanje pojedinca na način koji toj ili drugoj osobi uzrokuje ili bi mogao uzrokovati znatnu štetu. U takvim UI sustavima primjenjuju se subliminalni elementi koje pojedinci ne mogu percipirati ili se iskorištavaju ranjivosti koje pojedinci i  određene skupine osoba mogu imati zbog svojih poznatih ili predviđenih obilježja osobnosti, dobi, fizičkih ili mentalnih poteškoća te socijalne ili ekonomske situacije . Pritom se njima želi bitno promijeniti ponašanje osobe ili imaju učinak kojim se bitno mijenja ponašanje osobe na način koji uzrokuje ili bi mogao uzrokovati znatnu štetu toj ili nekoj drugoj osobi ili skupinama osoba, uključujući štetu koja se može akumulirati tijekom vremena . Ta se namjera mijenjanja ponašanja ne može pretpostaviti ako mijenjanje proizlazi iz čimbenika koji su izvan UI sustava i kontrole dobavljača ili korisnika , kao što su čimbenici koje dobavljač UI sustava ili subjekt koji primjenjuje UI sustav ne može razumno predvidjeti i ublažiti. U svakom slučaju, nije nužno da dobavljač UI sustava ili subjekt koji primjenjuje UI sustav ima namjeru prouzročiti znatnu štetu sve dok ta šteta proizlazi iz manipulativne ili izrabljivačke prakse omogućene umjetnom inteligencijom. Zabranama takve prakse UI-ja dopunjuju se odredbe sadržane u Direktivi 2005/29/EC, prema kojima su zabranjene nepoštene poslovne prakse, neovisno o tome provode li se UI sustavima ili na drugi način. U takvom kontekstu, zakonite poslovne prakse, primjerice u području oglašavanja, koje su u skladu s pravom Unije ne bi se same po sebi trebale smatrati kršenjem zabrane. Zabrana ne bi trebala kočiti istraživanja u zakonite svrhe koja se odnose na takve UI sustave ako ta istraživanja ne uključuju uporabu UI sustava u odnosima između ljudi i strojeva koji bi mogli naštetiti pojedincima i ako se provode u skladu s priznatim etičkim standardima za znanstvena istraživanja te na temelju posebnog informiranog pristanka pojedinaca koji su im izloženi ili, ako je primjenjivo, njihova zakonskog skrbnika .

(16 a)

UI sustavi koji kategoriziraju pojedince tako što ih razvrstavaju u određene kategorije prema poznatim ili izvedenim osjetljivim ili zaštićenim obilježjima posebno su nametljivi, krše ljudsko dostojanstvo i sa sobom nose velik rizik od diskriminacije. Takva obilježja uključuju rod, rodni identitet, rasu, etničko podrijetlo, migracijski status ili državljanstvo, političku orijentaciju, seksualnu orijentaciju, vjeroispovijest, invaliditet ili bilo koju drugu osnovu na temelju koje je diskriminacija zabranjena člankom 21. Povelje Europske unije o temeljnim pravima te člankom 9. Uredbe (EU)2016/769. Stoga bi takve sustave trebalo zabraniti.

(17)

UI sustavi koji omogućuju društveno vrednovanje pojedinaca u opće svrhe koje provode tijela javne vlasti ili koje se provodi u njihovo ime mogu prouzročiti diskriminatorne krajnje ishode i isključivanje određenih skupina. Njima se može prekršiti pravo na dostojanstvo i nediskriminaciju te vrijednosti kao što su ravnopravnost i pravda. Takvi UI sustavi evaluiraju ili klasificiraju vjerodostojnost pojedinaca na temelju njihova društvenog ponašanja u različitim kontekstima ili poznatih ili predviđenih osobnih obilježja ili obilježja osobnosti. Društveni rejting dobiven takvim UI sustavima može uzrokovati štetno ili nepovoljno postupanje prema pojedincima ili cijelim skupinama pojedinaca u društvenim kontekstima koji nisu povezani s kontekstom u kojima su podaci izvorno generirani ili prikupljeni ili štetno postupanje koje je nerazmjerno ili neopravdano u odnosu na težinu posljedica njihova društvenog ponašanja. Stoga bi takve UI sustave trebalo zabraniti.

(17)

UI sustavi koji omogućuju društveno vrednovanje pojedinaca u opće svrhe mogu prouzročiti diskriminatorne krajnje ishode i isključivanje određenih skupina. Njima se krši pravo na dostojanstvo i nediskriminaciju te vrijednosti kao što su ravnopravnost i pravda. Takvi UI sustavi evaluiraju ili klasificiraju pojedince ili skupine na temelju višestrukih podataka i vremenske učestalosti u pogledu njihova društvenog ponašanja u različitim kontekstima ili poznatih , izvedenih ili predviđenih osobnih obilježja ili obilježja osobnosti. Društveni rejting dobiven takvim UI sustavima može uzrokovati štetno ili nepovoljno postupanje prema pojedincima ili cijelim skupinama pojedinaca u društvenim kontekstima koji nisu povezani s kontekstom u kojima su podaci izvorno generirani ili prikupljeni ili štetno postupanje koje je nerazmjerno ili neopravdano u odnosu na težinu posljedica njihova društvenog ponašanja. Stoga bi takve UI sustave trebalo zabraniti.

(18)

Uporaba UI sustava za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona smatra se znatnim kršenjem prava i sloboda uključenih osoba u onoj mjeri u  kojoj može utjecati na privatni život velikog dijela stanovništva, pobuditi doživljaj stalnog nadzora i neizravno odvratiti od ostvarenja slobode okupljanja i drugih temeljnih prava. Osim toga, neposrednost učinka i ograničene mogućnosti za dodatne provjere ili ispravke uporabe takvih sustava koji funkcioniraju u „stvarnom vremenu” nose povećane rizike za prava i slobode osoba koje su obuhvaćene aktivnostima kaznenog progona.

(18)

Uporaba UI sustava za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima znatno je kršenje prava i sloboda uključenih osoba i u  konačnici može utjecati na privatni život velikog dijela stanovništva, pobuditi doživljaj stalnog nadzora , stranke koje primjenjuju biometrijsku identifikaciju na javnim mjestima dovesti u položaj moći koja se ne može kontrolirati i neizravno odvratiti pojedince od ostvarenja slobode okupljanja i drugih temeljnih prava na kojima se temelji vladavina prava. Tehničke netočnosti UI sustava namijenjenih za daljinsku biometrijsku identifikaciju fizičkih osoba mogu dovesti do pristranih rezultata i imati diskriminacijske učinke. To je posebno relevantno kad je riječ o dobi, etničkom podrijetlu, spolu ili invaliditetu . Osim toga, neposrednost učinka i ograničene mogućnosti za dodatne provjere ili ispravke uporabe takvih sustava koji funkcioniraju u „stvarnom vremenu” nose povećane rizike za prava i slobode osoba koje su obuhvaćene aktivnostima kaznenog progona. Stoga bi trebalo zabraniti uporabu tih sustava na javnim mjestima. Slično tome, trebalo bi zabraniti i UI sustave koji se upotrebljavaju za analizu snimaka javnih mjesta putem sustava za naknadnu daljinsku biometrijsku identifikaciju, osim ako postoji prethodno sudsko odobrenje za uporabu u kontekstu kaznenog progona, ako je to nužno za ciljano pretraživanje povezano s već počinjenim određenim teškim kaznenim djelom i samo podložno prethodnom sudskom odobrenju.

(19)

Stoga bi trebalo zabraniti uporabu tih sustava za potrebe kaznenog progona, osim u trima iscrpno navedenima i usko definiranim situacijama u kojima je ta uporaba nužna za ostvarenje znatnog javnog interesa čija važnost premašuje rizike. Te situacije uključuju potragu za potencijalnim žrtvama kaznenih djela, uključujući nestalu djecu, određene prijetnje životu ili tjelesnoj sigurnosti pojedinaca ili prijetnje terorističkog napada te otkrivanje, lociranje, identifikaciju ili progon počinitelja kaznenih djela ili osumnjičenika za kaznena djela iz Okvirne odluke Vijeća 2002/584/PUP  (38) ako su ta kaznena djela u državi članici kažnjiva najvišom kaznom zatvora ili oduzimanjem slobode od najmanje tri godine i kako su utvrđena pravom te države članice. Takvim pragom za kaznu zatvora ili oduzimanje slobode u skladu s nacionalnim pravom pomaže se osigurati da bi ta djela trebala biti dovoljno teška da se potencijalno opravda uporaba sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu. Nadalje, od 32 kaznena djela navedena u Okvirnoj odluci Vijeća 2002/584/PUP neka će u praksi vjerojatno biti relevantniji od drugih, u smislu da će da će primjena daljinske biometrijske identifikacije u stvarnom vremenu biti predvidljivo potrebna i razmjerna u veoma različitoj mjeri za otkrivanje, lociranje, identifikaciju ili progon počinitelja različitih navedenih kaznenih djela ili osumnjičenika za ta kaznena djela te s obzirom na vjerojatne razlike u težini, vjerojatnosti i razmjeru štete ili mogućih negativnih posljedica.

(20)

Kako bi se osigurala odgovorna i proporcionalna uporaba tih sustava, važno je i utvrditi da bi u svakoj od tih triju iscrpno navedenih i usko definiranih situacija trebalo uzeti u obzir određene elemente, osobito u pogledu prirode situacije zbog koje zahtijeva njihova uporaba i posljedica uporabe za prava i slobode svih uključenih osoba te na zaštitne mjere i uvjete propisane za tu uporabu. Osim toga, za uporabu sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebala bi vrijediti odgovarajuća vremenska i prostorna ograničenja, osobito s obzirom na dokaze ili indikacije koji se odnose na prijetnje, žrtve ili počinitelje. Referentna baza podataka osoba trebala bi biti prikladna za svaki slučaj primjene u svakoj od triju prethodno navedenih situacija.

(21)

Za svaku uporabu sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona trebalo bi pribaviti izričito i posebno odobrenje pravosudnog tijela ili neovisnog upravnog tijela države članice. Takvo bi se odobrenje u načelu trebalo pribaviti prije uporabe, osim u propisno opravdanim hitnim situacijama, odnosno situacijama u kojima je potreba za uporabom tih sustava takva da je praktično i objektivno nemoguće dobiti odobrenje prije početka uporabe. U takvim hitnim situacijama uporaba bi trebala biti ograničena na apsolutno nužni minimum te podlijegati odgovarajućim zaštitnim mjerama i uvjetima, kako je utvrđeno u nacionalnom pravu i kako je odredilo samo tijelo kaznenog progona u kontekstu svakog pojedinačnog hitnog primjera uporabe. Osim toga, tijelo kaznenog progona u takvim bi situacijama trebalo tražiti pribavljanje odobrenja što prije, uz navođenje razloga zbog kojih se ono nije moglo zatražiti ranije.

(22)

Nadalje, primjereno je u kontekstu iscrpnog okvira utvrđenog ovom Uredbom propisati da bi takva uporaba na državnom području države članice u skladu s ovom Uredbom trebala biti moguća samo ako i u mjeri u kojoj je ta država članica odlučila izričito predvidjeti mogućnost odobrenja takve uporabe u svojim podrobnim pravilima nacionalnog prava. Stoga države članice u skladu s ovom Uredbom i dalje mogu slobodno odlučiti da neće uopće predvidjeti takvu mogućnost ili mogu predvidjeti takvu mogućnost samo u odnosu na neke od ciljeva kojima se može opravdati odobrena uporaba utvrđena u ovoj Uredbi.

(23)

Uporaba UI sustavâ za daljinsku biometrijsku identifikaciju pojedinaca u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona nužno uključuje obradu biometrijskih podataka. Pravila ove Uredbe kojima se, uz određene iznimke, zabranjuje takva uporaba, koja se temelje na članku 16. UFEU-a, trebala bi se primjenjivati kao lex specialis u odnosu na pravila o obradi biometrijskih podataka iz članka 10. Direktive (EU) 2016/680, čime se na iscrpan način uređuje takva uporaba i obrada biometrijskih podataka. Stoga bi takva uporaba i obrada trebala biti moguća samo u onoj mjeri u kojoj je u skladu s okvirom utvrđenim ovom Uredbom, pri čemu ne bi trebao postojati prostor, izvan tog okvira, da nadležna tijela koja djeluju za potrebe kaznenog progona upotrebljavaju takve sustave i obrađuju takve povezane podatke na temelju razloga navedenih u članku 10. Direktive (EU) 2016/680. U tom kontekstu svrha ove Uredbe nije pružanje pravne osnove za obradu osobnih podataka iz članka 8. Direktive (EU) 2016/680. Međutim, uporaba sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima u druge svrhe osim kaznenog progona, i kad ih upotrebljavaju nadležna tijela, ne bi trebala biti obuhvaćena posebnim okvirom o takvoj uporabi za potrebe kaznenog progona utvrđenim ovom Uredbom. Takva uporaba u druge svrhe osim kaznenog progona stoga ne bi trebala podlijegati zahtjevu za odobrenje u skladu s ovom Uredbom te važećim podrobnim pravilima nacionalnog prava kojima se može provoditi.

(24)

Svaka obrada biometrijskih podataka i drugih osobnih podataka povezana s uporabom UI sustavâ za biometrijsku identifikaciju, osim obrade povezane s uporabom sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima za potrebe kaznenog progona kako je uređeno ovom Uredbom , uključujući slučajeve kad te sustave upotrebljavaju nadležna tijela na javnim mjestima u druge svrhe osim kaznenog progona, i dalje bi trebala ispunjavati sve zahtjeve koji proizlaze iz članka 9. stavka 1. Uredbe (EU) 2016/679, članka 10. stavka 1. Uredbe (EU) 2018/1725 i članka 10. Direktive (EU) 2016/680, ovisno o slučaju.

(24)

Svaka obrada biometrijskih podataka i drugih osobnih podataka povezana s uporabom UI sustavâ za biometrijsku identifikaciju, osim obrade povezane s uporabom sustavâ za daljinsku biometrijsku identifikaciju u stvarnom vremenu na javnim mjestima kako je uređeno ovom Uredbom i dalje bi trebala ispunjavati sve zahtjeve koji proizlaze iz članka 9. stavka 1. Uredbe (EU) 2016/679, članka 10. stavka 1. Uredbe (EU) 2018/1725 i članka 10. Direktive (EU) 2016/680, ovisno o slučaju.

(25)

U skladu s člankom 6.a Protokola br. 21 o stajalištu Ujedinjene Kraljevine i Irske s obzirom na područje slobode, sigurnosti i pravde, priloženog UEU-u i UFEU-u, Irsku ne obvezuju pravila utvrđena člankom 5. stavkom 1. točkom (d) i člankom 5. stavcima 2. i 3. ove Uredbe donesene na temelju članka 16. UFEU-a koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a ako Irsku ne obvezuju pravila koja uređuju oblike pravosudne suradnje u kaznenim stvarima ili policijske suradnje za koja se traži usklađenost s odredbama utvrđenima na temelju članka 16. UFEU-a.

(25)

U skladu s člankom 6.a Protokola br. 21 o stajalištu Ujedinjene Kraljevine i Irske s obzirom na područje slobode, sigurnosti i pravde, priloženog UEU-u i UFEU-u, Irsku ne obvezuju pravila utvrđena člankom 5. stavkom 1. točkom (d) ove Uredbe donesene na temelju članka 16. UFEU-a koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5. UFEU-a ako Irsku ne obvezuju pravila koja uređuju oblike pravosudne suradnje u kaznenim stvarima ili policijske suradnje za koja se traži usklađenost s odredbama utvrđenima na temelju članka 16. UFEU-a.

(26)

U skladu s člancima 2. i 2.a Protokola br. 22 o stajalištu Danske, priloženog UEU-u i UFEU-u, Dansku ne obvezuju pravila utvrđena člankom 5. stavkom 1. točkom (d) i člankom 5. stavcima 2. i 3. ove Uredbe donesene na temelju članka 16. UFEU-a niti ona podliježe primjeni tih pravila koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5.

(26)

U skladu s člancima 2. i 2.a Protokola br. 22 o stajalištu Danske, priloženog UEU-u i UFEU-u, Dansku ne obvezuju pravila utvrđena člankom 5. stavkom 1. točkom (d) ove Uredbe donesene na temelju članka 16. UFEU-a niti ona podliježe primjeni tih pravila koja se odnose na obradu osobnih podataka koju vrše države članice pri obavljanju aktivnosti koje su obuhvaćene dijelom trećim glavom V. poglavljem 4. ili poglavljem 5.

(26 a)

UI sustavi koje upotrebljavaju tijela kaznenog progona ili koji se upotrebljavaju u njihovo ime za izradu predviđanja, profila ili procjena rizika na temelju izrade profila pojedinaca ili analize podataka na temelju karakteristika ili obilježja osobnosti, uključujući lokaciju osobe, ili kriminalnog ponašanja pojedinaca ili skupina osoba u prošlosti u svrhu predviđanja počinjenja ili ponovnog počinjenja stvarnog ili mogućeg kaznenog djela ili više njih ili drugog kriminaliziranog društvenog ponašanja ili upravnih prekršaja predstavljaju poseban rizik od diskriminacije određenih osoba ili skupina osoba jer se njima krši ljudsko dostojanstvo i ključno pravno načelo pretpostavke nedužnosti. Stoga bi takve UI sustave trebalo zabraniti.

(26 b)

Neselektivno i neciljano prikupljanje biometrijskih podataka s društvenih medija ili snimaka CCTV-a radi stvaranja ili širenja baza podataka za prepoznavanje lica pridonosi osjećaju masovnog nadzora i može dovesti do teških kršenja temeljnih prava, uključujući pravo na privatnost. Stoga bi trebalo zabraniti uporabu UI sustava s takvom namjenom.

(26 c)

Postoji ozbiljna zabrinutost u pogledu znanstvene osnove UI sustava namijenjenih za detekciju emocija te fizičkih ili fizioloških obilježja kao što su izraz lica, pokreti, srčani ritam ili glas. Emocije ili izrazi emocija i njihova percepcija znatno se razlikuju ovisno o kulturi i situaciji, pa čak i kod određenog pojedinca. Ključni nedostaci tih tehnologija uključuju ograničenu pouzdanost (kategorije emocija ne mogu se pouzdano izraziti ni nedvosmisleno povezati sa zajedničkim skupom fizičkih ili fizioloških pokreta), nedovoljnu određenost (fizički ili fiziološki izrazi ne odgovaraju savršeno određenim kategorijama emocija) i ograničenu mogućnost generaliziranja (učinci konteksta i kulture nisu dovoljno uzeti u obzir). Problemi s pouzdanošću, a time i veliki rizici od zlouporabe, mogu se posebno pojaviti pri primjeni sustava u stvarnim situacijama povezanima s kaznenim progonom, upravljanjem granicama, radnim mjestima i obrazovnim ustanovama. Stoga bi trebalo zabraniti stavljanje na tržište, stavljanje u uporabu ili uporabu UI sustava koji se namjeravaju upotrebljavati u tim kontekstima za detekciju emocionalnog stanja pojedinaca.

(26 d)

Ova Uredba ne bi trebala utjecati na prakse koje su zabranjene zakonodavstvom Unije, među ostalim u okviru prava o zaštiti podataka, nediskriminacijskog prava, prava o zaštiti potrošača i prava tržišnog natjecanja.

(27)

Visokorizični UI sustavi trebali bi se stavljati na tržište Unije ili u uporabu samo ako ispunjavaju određene obvezne zahtjeve. Tim bi se zahtjevima trebalo osigurati da visokorizični UI sustavi koji su dostupni u Uniji ili čiji se izlazni rezultati na drugi način upotrebljavaju u Uniji ne predstavljaju neprihvatljiv rizik za važne javne interese Unije koji su priznati i zaštićeni pravom Unije. UI sustavi utvrđeni kao visokorizični trebali bi biti ograničeni samo na one koji imaju znatan štetan učinak na zdravlje, sigurnost i temeljna prava osoba u Uniji i takvim bi se ograničenje trebalo minimizirati bilo kakvo potencijalno ograničenje u pogledu međunarodne trgovine.

(27)

Visokorizični UI sustavi trebali bi se stavljati na tržište Unije ili u uporabu ili se upotrebljavati samo ako ispunjavaju određene obvezne zahtjeve. Tim bi se zahtjevima trebalo osigurati da visokorizični UI sustavi koji su dostupni u Uniji ili čiji se izlazni rezultati na drugi način upotrebljavaju u Uniji ne predstavljaju neprihvatljiv rizik za važne javne interese Unije koji su priznati i zaštićeni pravom Unije , uključujući temeljna prava, demokraciju, vladavinu prava i okoliš. Da bi se osigurala usklađenost sa sektorskim zakonodavstvom i izbjeglo udvostručavanje, zahtjevima za visokorizične UI sustave trebalo bi se u obzir uzeti sektorsko zakonodavstvo kojim se utvrđuju zahtjevi za visokorizične UI sustave obuhvaćene područjem primjene ove Uredbe, kao što su Uredba (EU) 2017/745 o medicinskim proizvodima i Uredba (EU) 2017/746 o in vitro dijagnostičkim medicinskim proizvodima te Direktiva 2006/42/EZ o strojevima . UI sustavi utvrđeni kao visokorizični trebali bi biti ograničeni samo na one koji imaju znatan štetan učinak na zdravlje, sigurnost i temeljna prava osoba u Uniji i takvim bi se ograničenje trebalo minimizirati bilo kakvo potencijalno ograničenje u pogledu međunarodne trgovine. S obzirom na brz tehnološki razvoj i moguće promjene u uporabi UI sustava, popis visokorizičnih područja i slučajeva primjene iz Priloga III. ipak bi trebao podlijegati stalnom preispitivanju u okviru redovitog ocjenjivanja.

(28)

Krajnji ishodi uporabe UI sustava mogli bi nepovoljno utjecati na zdravlje i sigurnost osoba, osobito ako su ti sustavi sastavni dio proizvodâ. U skladu s ciljevima zakonodavstva Unije o usklađivanju, kako bi se olakšalo slobodno kretanje proizvoda na unutarnjem tržištu i kako bi se osiguralo da se na tržište stavljaju samo sigurni i sukladni proizvodi, važno je da se propisno spriječe i smanje mogući sigurnosni rizici od proizvoda kao cjeline zbog njegovih digitalnih sastavnih dijelova, uključujući UI sustave. Na primjer, sve autonomniji roboti, bilo u kontekstu proizvodnje ili osobne skrbi i njege, trebali bi moći funkcionirati na siguran način i obavljati svoje zadaće u složenim okruženjima. Slično tome, u zdravstvenom sektoru u kojem su rizici za život i zdravlje posebno visoki, sve sofisticiraniji dijagnostički sustavi i sustavi koji pomažu ljudima u odlučivanju trebali bi biti pouzdani i točni. Razmjer nepovoljnog utjecaja UI sustava na temeljna prava zaštićena Poveljom posebno je važan pri klasificiranju UI sustava kao visokorizičnog. Ta prava uključuju pravo na ljudsko dostojanstvo, poštovanje privatnog i obiteljskog života, zaštitu osobnih podataka, slobodu izražavanja i informiranja, slobodu okupljanja i udruživanja te nediskriminaciju, zaštitu potrošača, prava radnika, prava osoba s invaliditetom, pravo na djelotvoran pravni lijek i na pošteno suđenje, pravo na obranu i pretpostavku nedužnosti te pravo na dobru upravu. Povrh tih prava, važno je naglasiti da djeca imaju posebna prava utvrđena člankom 24. Povelje EU-a i Konvencijom Ujedinjenih naroda o pravima djeteta (podrobnije razrađena u Općoj napomeni br. 25 Odbora UN-a za prava djeteta o digitalnom okruženju), kojima se zahtijeva da se vodi računa o ranjivosti djece te da se osiguraju zaštita i skrb potrebni za njihovu dobrobit. Pri procjeni ozbiljnosti štete koju UI sustav može prouzročiti, među ostalim u pogledu zdravlja i sigurnosti osoba, trebalo bi uzeti u obzir i temeljno pravo na visoku razinu zaštite okoliša koje je utvrđeno Poveljom i provodi se u politikama Unije.

(28)

UI sustavi mogli bi nepovoljno utjecati na zdravlje i sigurnost osoba, osobito ako su ti sustavi sastavni sigurnosni dio proizvodâ. U skladu s ciljevima zakonodavstva Unije o usklađivanju, kako bi se olakšalo slobodno kretanje proizvoda na unutarnjem tržištu i kako bi se osiguralo da se na tržište stavljaju samo sigurni i sukladni proizvodi, važno je da se propisno spriječe i smanje mogući sigurnosni rizici od proizvoda kao cjeline zbog njegovih digitalnih sastavnih dijelova, uključujući UI sustave. Na primjer, sve autonomniji roboti, bilo u kontekstu proizvodnje ili osobne skrbi i njege, trebali bi moći funkcionirati na siguran način i obavljati svoje zadaće u složenim okruženjima. Slično tome, u zdravstvenom sektoru u kojem su rizici za život i zdravlje posebno visoki, sve sofisticiraniji dijagnostički sustavi i sustavi koji pomažu ljudima u odlučivanju trebali bi biti pouzdani i točni.

(28 a)

Razmjer nepovoljnog utjecaja UI sustava na temeljna prava zaštićena Poveljom posebno je važan pri klasificiranju UI sustava kao visokorizičnog. Ta prava uključuju pravo na ljudsko dostojanstvo, poštovanje privatnog i obiteljskog života, zaštitu osobnih podataka, slobodu izražavanja i informiranja, slobodu okupljanja i udruživanja te nediskriminaciju, pravo na obrazovanje, zaštitu potrošača, prava radnika, prava osoba s invaliditetom, rodnu ravnopravnost, prava intelektualnog vlasništva, pravo na djelotvoran pravni lijek i na pošteno suđenje, pravo na obranu i pretpostavku nedužnosti te pravo na dobru upravu. Povrh tih prava, važno je naglasiti da djeca imaju posebna prava utvrđena člankom 24. Povelje EU-a i Konvencijom Ujedinjenih naroda o pravima djeteta (podrobnije razrađena u Općoj napomeni br. 25 Odbora UN-a za prava djeteta o digitalnom okruženju), kojima se zahtijeva da se vodi računa o ranjivosti djece te da se osiguraju zaštita i skrb potrebni za njihovu dobrobit. Pri procjeni ozbiljnosti štete koju UI sustav može prouzročiti, među ostalim u pogledu zdravlja i sigurnosti osoba ili okoliša, trebalo bi uzeti u obzir i temeljno pravo na visoku razinu zaštite okoliša koje je utvrđeno Poveljom i provodi se u politikama Unije.

(29)

Kad je riječ o visokorizičnim UI sustavima koji su sigurnosni sastavni dijelovi proizvodâ ili sustavâ ili koji su sami proizvodi ili sustavi obuhvaćeni područjem primjene Uredbe (EZ) br. 300/2008 Europskog parlamenta i Vijeća (39), Uredbe (EU) br. 167/2013 Europskog parlamenta i Vijeća (40), Uredbe (EU) br. 168/2013 Europskog parlamenta i Vijeća (41), Direktive 2014/90/EU Europskog parlamenta i Vijeća (42), Direktive (EU) 2016/797 Europskog parlamenta i Vijeća (43), Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća (44), Uredbe (EU) 2018/1139 Europskog parlamenta i Vijeća (45) i Uredbe (EU) 2019/2144 Europskog parlamenta i Vijeća (46), primjereno je izmijeniti te akte kako bi se osiguralo da Komisija, na temelju tehničkih i regulatornih posebnosti svakog sektora te bez uplitanja u postojeće mehanizme upravljanja, ocjenjivanja sukladnosti i provedbe te rad tijela koja su njima utvrđena, pri donošenju svih relevantnih budućih delegiranih ili provedbenih akata na temelju tih akata uzima u obzir obvezne zahtjeve za visokorizične UI sustave utvrđene u ovoj Uredbi.

(29)

Kad je riječ o visokorizičnim UI sustavima koji su sigurnosni sastavni dijelovi proizvodâ ili sustavâ ili koji su sami proizvodi ili sustavi obuhvaćeni područjem primjene Uredbe (EZ) br. 300/2008 Europskog parlamenta i Vijeća (39), Uredbe (EU) br. 167/2013 Europskog parlamenta i Vijeća (40), Uredbe (EU) br. 168/2013 Europskog parlamenta i Vijeća (41), Direktive 2014/90/EU Europskog parlamenta i Vijeća (42), Direktive (EU) 2016/797 Europskog parlamenta i Vijeća (43), Uredbe (EU) 2018/858 Europskog parlamenta i Vijeća (44), Uredbe (EU) 2018/1139 Europskog parlamenta i Vijeća (45) i Uredbe (EU) 2019/2144 Europskog parlamenta i Vijeća (46), primjereno je izmijeniti te akte kako bi se osiguralo da Komisija, na temelju tehničkih i regulatornih posebnosti svakog sektora te bez uplitanja u postojeće mehanizme upravljanja, ocjenjivanja sukladnosti , nadzora tržišta i provedbe te rad tijela koja su njima utvrđena, pri donošenju svih relevantnih budućih delegiranih ili provedbenih akata na temelju tih akata uzima u obzir obvezne zahtjeve za visokorizične UI sustave utvrđene u ovoj Uredbi.

(30)

Kad je riječ o UI sustavima koji su sigurnosni sastavni dijelovi proizvodâ ili su sami proizvodi, a obuhvaćeni su područjem primjene određenog zakonodavstva Unije o usklađivanju, primjereno ih je klasificirati među visokorizične na temelju ove Uredbe ako se za predmetni proizvod provodi postupak ocjenjivanja sukladnosti koji provodi tijelo za ocjenjivanje sukladnosti kao treća strana u skladu s relevantnim zakonodavstvom Unije o usklađivanju. Konkretno, takvi su proizvodi strojevi, igračke, dizala, oprema i zaštitni sustavi za uporabu u potencijalno eksplozivnim atmosferama, radijska oprema, tlačna oprema, oprema za rekreacijska plovila, žičare, aparati na plinovita goriva, medicinski proizvodi i in vitro dijagnostički medicinski proizvodi.

(30)

Kad je riječ o UI sustavima koji su sigurnosni sastavni dijelovi proizvodâ ili su sami proizvodi, a obuhvaćeni su područjem primjene određenog prava Unije o usklađivanju navedenog u Prilogu II. , primjereno ih je klasificirati među visokorizične na temelju ove Uredbe ako se za predmetni proizvod provodi postupak ocjenjivanja sukladnosti radi osiguravanja usklađenosti s ključnim sigurnosnim zahtjevima koji provodi tijelo za ocjenjivanje sukladnosti kao treća strana u skladu s relevantnim pravom Unije o usklađivanju. Konkretno, takvi su proizvodi strojevi, igračke, dizala, oprema i zaštitni sustavi za uporabu u potencijalno eksplozivnim atmosferama, radijska oprema, tlačna oprema, oprema za rekreacijska plovila, žičare, aparati na plinovita goriva, medicinski proizvodi i in vitro dijagnostički medicinski proizvodi.

(31)

Klasifikacija UI sustava kao visokorizičnog u skladu s ovom Uredbom ne bi nužno trebala značiti da se proizvod čiji je sigurnosni sastavni dio UI sustav ili pak sam UI sustav kao proizvod smatra „visokorizičnim” na temelju kriterija utvrđenih u relevantnom zakonodavstvu Unije o usklađivanju koje se primjenjuje na taj proizvod. To se posebno odnosi na Uredbu (EU) 2017/745 Europskog parlamenta i Vijeća (47) i Uredbu (EU) 2017/746 Europskog parlamenta i Vijeća (48) ako ocjenjivanje sukladnosti srednjerizičnih i visokorizičnih proizvoda provodi treća strana.

(31)

Klasifikacija UI sustava kao visokorizičnog u skladu s ovom Uredbom ne bi trebala značiti da se proizvod čiji je sigurnosni sastavni dio UI sustav ili pak sam UI sustav kao proizvod smatra „visokorizičnim” na temelju kriterija utvrđenih u relevantnom pravu Unije o usklađivanju koje se primjenjuje na taj proizvod. To se posebno odnosi na Uredbu (EU) 2017/745 Europskog parlamenta i Vijeća (47) i Uredbu (EU) 2017/746 Europskog parlamenta i Vijeća (48) ako ocjenjivanje sukladnosti srednjerizičnih i visokorizičnih proizvoda provodi treća strana.

(32)

Kad je riječ o samostalnim UI sustavima, odnosno visokorizičnim UI sustavima koji nisu sigurnosni sastavni dijelovi proizvoda ili koji su sami proizvodi, primjereno ih je klasificirati kao visokorizične ako, s obzirom na njihovu namjenu, kod njih postoji velik rizik od štete za zdravlje i sigurnost ili temeljna prava osoba, uzimajući u obzir i ozbiljnost moguće štete i njezinu vjerojatnost pojavljivanja, te ako se upotrebljavaju u nekoliko posebnih unaprijed definiranih područja navedenih u Uredbi . Identifikacija tih sustava temelji se na istoj metodologiji i kriterijima predviđenima i za sve buduće izmjene popisa visokorizičnih UI sustava.

(32)

Kad je riječ o samostalnim UI sustavima, odnosno visokorizičnim UI sustavima koji nisu sigurnosni sastavni dijelovi proizvoda ili koji su sami proizvodi i koji su uvršteni u jedno od područja i slučajeva primjene iz Priloga III. , primjereno ih je klasificirati kao visokorizične ako, s obzirom na njihovu namjenu, kod njih postoji znatan rizik od štete za zdravlje i sigurnost ili temeljna prava osoba te , ako se UI sustav upotrebljava kao sigurnosni dio kritične infrastrukture, štete za okoliš. Takav znatan rizik od štete trebalo bi utvrditi procjenom utjecaja takvog rizika s obzirom na kombinaciju njegove razine ozbiljnosti, intenziteta, vjerojatnosti pojavljivanja i trajanja, s jedne strane , te procjenom toga može li rizik utjecati na pojedinca, više osoba ili određenu skupinu osoba, s druge strane. Takva kombinacija mogla bi, na primjer, dovesti do visoke ozbiljnosti, ali male vjerojatnosti da će utjecati na pojedinca ili do velike vjerojatnosti da će utjecati na skupinu osoba, ali će biti niskog intenziteta tijekom dugog razdoblja, ovisno o kontekstu . Identifikacija tih sustava temelji se na istoj metodologiji i kriterijima predviđenima i za sve buduće izmjene popisa visokorizičnih UI sustava.

(32 a)

Dobavljači čiji UI sustavi pripadaju u jedno od područja i slučajeva primjene navedenih u Prilogu III. i koji smatraju da njihov sustav ne predstavlja znatan rizik od štete za zdravlje, sigurnost, temeljna prava ili okoliš trebali bi o tome obavijestiti nacionalna nadzorna tijela podnošenjem obrazložene obavijesti. Obavijest bi mogla biti u obliku sažetka, duljine jedne stranice, relevantnih informacija o predmetnom UI sustavu, uključujući njegovu namjenu i obrazloženje zašto ne bi predstavljao znatan rizik od štete za zdravlje, sigurnost, temeljna prava ili okoliš. Komisija bi trebala utvrditi kriterije kako bi poduzećima omogućila da procijene bi li njihov sustav predstavljao takve rizike te izraditi jednostavan i standardizirani obrazac za obavijest. Dobavljači bi trebali dostaviti obavijest što je prije moguće, a u svakom slučaju prije stavljanja UI sustava na tržište ili u uporabu, po mogućnosti u fazi razvoja, te bi ga trebali moći staviti na tržište u bilo kojem trenutku nakon dostavljanja obavijesti. Međutim, ako nadležno tijelo procijeni da je predmetni UI sustav pogrešno klasificiran, trebalo bi uložiti prigovor na obavijest u roku od tri mjeseca. Prigovor bi trebalo potkrijepiti i propisno objasniti zašto je UI sustav pogrešno klasificiran. Dobavljač bi trebao zadržati pravo na žalbu iznošenjem dodatnih argumenata. Ako nakon tri mjeseca nije bilo prigovora na obavijest, nacionalna nadzorna tijela i dalje bi mogla intervenirati ako UI sustav predstavlja rizik na nacionalnoj razini, kao i za bilo koji drugi UI sustav na tržištu. Nacionalna nadzorna tijela trebala bi Uredu za umjetnu inteligenciju podnositi godišnja izvješća s pojedinostima o primljenim obavijestima i donesenim odlukama.

(33)

Tehničke netočnosti UI sustava namijenjenih daljinskoj biometrijskoj identifikaciji fizičkih osoba mogu dovesti do pristranih rezultata i imati diskriminacijske učinke. To je posebno relevantno kad je riječ o dobi, etničkom podrijetlu, spolu ili invaliditetu. Stoga bi sustave za daljinsku biometrijsku identifikaciju u stvarnom vremenu i sustave za naknadnu daljinsku biometrijsku identifikaciju trebalo klasificirati kao visokorizične. S obzirom na rizike koje predstavljaju, na obje vrste sustava za daljinsku biometrijsku identifikaciju trebali bi se primjenjivati posebni zahtjevi u pogledu funkcija bilježenja događaja i ljudskog nadzora.

(33 a)

Budući da su biometrijski podaci posebna kategorija osjetljivih osobnih podataka u skladu s Uredbom 2016/679, primjereno je klasificirati kao visokorizične nekoliko kritičnih slučajeva primjene biometrijskih sustava i sustava koji se temelje na biometriji. UI sustavi namijenjeni za biometrijsku identifikaciju pojedinaca i UI sustavi namijenjeni za izvođenje zaključaka o osobnim obilježjima pojedinaca na temelju biometrijskih podataka ili podataka koji se temelje na biometriji, uključujući sustave za prepoznavanje emocija, osim onih koji su zabranjeni ovom Uredbom, stoga bi trebali biti klasificirani kao visokorizični. To ne bi trebalo uključivati UI sustave namijenjene za biometrijsku provjeru, što uključuje autentifikaciju, čija je jedina svrha potvrditi da je određeni pojedinac doista osoba kojom se predstavlja i potvrditi identitet pojedinca isključivo u svrhu pristupa usluzi, uređaju ili prostorijama (provjera usporedbom dvaju uzoraka). Ne bi se trebalo smatrati da biometrijski sustavi i sustavi koji se temelje na biometriji koji su predviđeni pravom Unije kako bi se omogućile mjere kibersigurnosti i zaštite osobnih podataka predstavljaju znatan rizik od štete za zdravlje, sigurnost i temeljna prava.

(34)

Kad je riječ o upravljanju kritičnom infrastrukturom i njezinu radu, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni uporabi kao sigurnosni sastavni dijelovi u  cestovnom prometu i  upravljanju njime te opskrbi vodom, plinom, grijanjem i električnom energijom jer bi njihov kvar ili neispravnost mogli ugroziti život i zdravlje osoba u velikim razmjerima te znatno poremetiti uobičajeno odvijanje društvenih i gospodarskih aktivnosti.

(34)

Kad je riječ o upravljanju kritičnom infrastrukturom i njezinu radu, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni uporabi kao sigurnosni sastavni dijelovi u  upravljanju i  radu opskrbe vodom, plinom, grijanjem, električnom energijom i kritičnom digitalnom infrastrukturom jer bi njihov kvar ili neispravnost mogli narušiti sigurnost i integritet takve kritične infrastrukture ili ugroziti život i zdravlje osoba u velikim razmjerima te znatno poremetiti uobičajeno odvijanje društvenih i gospodarskih aktivnosti. Sigurnosni sastavni dijelovi kritične infrastrukture, uključujući kritičnu digitalnu infrastrukturu, sustavi su koji se upotrebljavaju za izravnu zaštitu fizičkog integriteta kritične infrastrukture ili zdravlja i sigurnosti osoba i imovine. Kvar ili neispravnost takvih sastavnih dijelova može izravno dovesti do rizika za fizički integritet kritične infrastrukture, a time i do rizika za zdravlje i sigurnost osoba i imovine. Sastavne dijelove namijenjene isključivo uporabi u kibersigurnosne svrhe ne bi trebalo smatrati sigurnosnim sastavnim dijelovima. Primjeri takvih sigurnosnih sastavnih dijelova mogu uključivati sustave za praćenje tlaka vode ili sustave za kontrolu protupožarnog alarma u centrima za računalstvo u oblaku.

(35)

UI sustavi koji se upotrebljavaju u obrazovanju ili strukovnom osposobljavanju, posebno za razvrstavanje osoba u ustanove za obrazovanje i strukovno osposobljavanje ili za određivanje pristupa tim ustanovama ili pak za ocjenjivanje osoba na testiranjima tijekom obrazovanja ili kao preduvjet za obrazovanje , trebaju se smatrati visokorizičnima jer mogu odrediti obrazovni i profesionalni tijek života osobe i stoga utjecati na njezinu mogućnost da osigura vlastita sredstva za život. Ako se projektiraju i upotrebljavaju na nepravilan način, takvi sustavi mogu kršiti pravo na obrazovanje i osposobljavanje i pravo na nediskriminaciju te mogu održati povijesne diskriminacijske uzorke.

(35)

Uvođenje UI sustava u obrazovanje važno je za potporu modernizaciji cijelih obrazovnih sustava i povećanje kvalitete obrazovanja, na internetu i izvan njega, te za ubrzavanje uvođenja digitalnog obrazovanja, koje bi tako postalo dostupno široj javnosti. UI sustavi koji se upotrebljavaju u obrazovanju ili strukovnom osposobljavanju, posebno za razvrstavanje osoba u ustanove za obrazovanje i strukovno osposobljavanje ili za određivanje pristupa tim ustanovama ili za bitno utjecanje na odluke o pristupu tim ustanovama ili pak za ocjenjivanje osoba na testiranjima tijekom obrazovanja ili kao preduvjet za obrazovanje ili za procjenu odgovarajuće razine obrazovanja pojedinca i bitnog utjecaja na razinu obrazovanja i osposobljavanja koju će pojedinci primiti ili kojoj će moći pristupiti ili za nadziranje i otkrivanje zabranjenog postupanja učenika tijekom testiranja trebali bi se klasificirati kao visokorizični UI sustavi jer mogu odrediti obrazovni i profesionalni tijek života osobe i stoga utjecati na njezinu mogućnost da osigura vlastita sredstva za život. Ako se projektiraju i upotrebljavaju na nepravilan način, takvi sustavi mogu biti posebno invazivni i mogu kršiti pravo na obrazovanje i osposobljavanje i pravo na nediskriminaciju te mogu održati povijesne diskriminacijske uzorke , na primjer kad je riječ o ženama, određenim dobnim skupinama, osobama s invaliditetom odnosno osobama određenog rasnog ili etničkog podrijetla ili seksualne orijentacije .

(36)

UI sustavi koji se upotrebljavaju za zapošljavanje, kadrovsko upravljanje i pristup samozapošljavanju, posebno za pronalaženje i odabir osoba, za donošenje odluka o promaknućima i otkazima te za dodjeljivanje zadataka, praćenje ili evaluaciju osoba u ugovornim odnosima povezanima s poslom, isto bi tako trebali biti klasificirani kao visokorizični jer bi mogli znatno utjecati na buduće mogućnosti za razvoj karijere i  životne uvjete tih osoba. Relevantni radni ugovorni odnosi trebali bi uključivati zaposlenike i osobe koje pružaju usluge posredstvom platformi kako je navedeno u programu rada Komisije za 2021. Takve se osobe u načelu ne bi trebale smatrati korisnicima u smislu ove Uredbe. U procesu zapošljavanja i pri evaluaciji, promicanju ili zadržavanju osoba u radnim ugovornim odnosima takvi sustavi mogu održati povijesne uzorke diskriminacije, primjerice žena, određenih dobnih skupina, osoba s invaliditetom ili osoba određenog rasnog ili etničkog podrijetla ili spolne orijentacije. UI sustavi koji se upotrebljavaju za praćenje uspješnosti i ponašanja tih osoba mogu utjecati i  na njihova prava na zaštitu osobnih podataka i privatnost.

(36)

UI sustavi koji se upotrebljavaju za zapošljavanje, kadrovsko upravljanje i pristup samozapošljavanju, posebno za pronalaženje i odabir osoba, za donošenje odluka ili bitno utjecanje na odluke o  zapošljavanju, promaknućima i otkazima te za personalizirano dodjeljivanje zadataka na temelju ponašanja, osobnih obilježja ili biometrijskih podataka pojedinca , praćenje ili evaluaciju osoba u ugovornim odnosima povezanima s poslom, isto bi tako trebali biti klasificirani kao visokorizični jer bi mogli znatno utjecati na buduće mogućnosti za razvoj karijere , životne uvjete i  radnička prava tih osoba. Relevantni radni ugovorni odnosi trebali bi smisleno uključivati zaposlenike i osobe koje pružaju usluge posredstvom platformi kako je navedeno u programu rada Komisije za 2021. U procesu zapošljavanja i pri evaluaciji, promicanju ili zadržavanju osoba u radnim ugovornim odnosima takvi sustavi mogu održati povijesne uzorke diskriminacije, primjerice žena, određenih dobnih skupina, osoba s invaliditetom ili osoba određenog rasnog ili etničkog podrijetla ili spolne orijentacije. UI sustavi koji se upotrebljavaju za praćenje uspješnosti i ponašanja tih osoba mogu i  ugroziti bit njihovih temeljnih prava na zaštitu osobnih podataka i privatnost. Ova se Uredba primjenjuje ne dovodeći u pitanje nadležnosti Unije i država članica za utvrđivanje konkretnijih pravila za uporabu UI sustava u kontekstu zapošljavanja.

(37)

Još jedno područje u kojem UI sustavima treba posvetiti posebnu pozornost jest korištenje i dostupnost određenih privatnih i javnih usluga i pogodnosti nužnih za potpuno sudjelovanje u društvu ili poboljšanje životnog standarda osoba. Točnije, UI sustave koji se upotrebljavaju za ocjenu kreditnog rejtinga ili kreditne sposobnosti pojedinaca trebalo bi klasificirati kao visokorizične UI sustave jer određuju pristup tih osoba financijskim sredstvima ili osnovnim uslugama kao što su stanovanje, električna energija i telekomunikacijske usluge. UI sustavi koji se upotrebljavaju u tu svrhu mogu prouzročiti diskriminaciju osoba ili skupina te nastaviti povijesne uzorke diskriminacije, primjerice na temelju rasnog ili etničkog podrijetla, invaliditeta, dobi, spolne orijentacije, ili mogu stvoriti nove oblike diskriminacije. Uzimajući u obzir vrlo ograničenu razinu utjecaja i dostupne alternative na tržištu, primjereno je izuzeti UI sustave za potrebe ocjene kreditne sposobnosti i kreditnog rejtinga kad ih u  uporabu stavljaju mali dobavljači za vlastite potrebe . Pojedinci koji tijelima javne vlasti podnose zahtjev za naknade i usluge javne pomoći ili ih primaju obično ovise o tim naknadama i uslugama te su u ranjivu položaju u odnosu na nadležna tijela. Ako nadležna tijela upotrebljavaju UI sustave za određivanje treba li takve naknade i usluge odbiti, smanjiti, ukinuti ili treba li tražiti njihov povrat, ti sustavi mogu znatno utjecati na životne uvjete tih osoba i mogu kršiti njihova temeljna prava, kao što su pravo na socijalnu zaštitu, nediskriminaciju, ljudsko dostojanstvo ili djelotvoran pravni lijek. Te bi sustave stoga trebalo klasificirati kao visokorizične. Međutim, ova Uredba ne bi trebala otežavati razvoj i primjenu inovativnih pristupa u javnoj upravi, koja bi imala izravnu korist od šire uporabe usklađenih i sigurnih UI sustava, pod uvjetom da ti sustavi ne podrazumijevaju velik rizik za pravne i fizičke osobe. Naposljetku, UI sustavi koji se upotrebljavaju za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi isto bi se trebali smatrati visokorizičnima jer donose odluke u situacijama koje su kritične za život i zdravlje osoba te za njihovu imovinu.

(37)

Još jedno područje u kojem UI sustavima treba posvetiti posebnu pozornost jest korištenje i dostupnost određenih privatnih i javnih usluga , uključujući usluge zdravstvene skrbi, te osnovnih usluga, uključujući, ali ne ograničavajući se na stanovanje, električnu energiju, grijanje/hlađenje i internet, i pogodnosti nužnih za potpuno sudjelovanje u društvu ili poboljšanje životnog standarda osoba. Točnije, UI sustave koji se upotrebljavaju za ocjenu kreditnog rejtinga ili kreditne sposobnosti pojedinaca trebalo bi klasificirati kao visokorizične UI sustave jer određuju pristup tih osoba financijskim sredstvima ili osnovnim uslugama kao što su stanovanje, električna energija i telekomunikacijske usluge. UI sustavi koji se upotrebljavaju u tu svrhu mogu prouzročiti diskriminaciju osoba ili skupina te nastaviti povijesne uzorke diskriminacije, primjerice na temelju rasnog ili etničkog podrijetla, roda, invaliditeta, dobi, spolne orijentacije, ili mogu stvoriti nove oblike diskriminacije. Međutim, UI sustavi predviđeni pravom Unije u svrhu otkrivanja prijevara u ponudi financijskih usluga ne bi se trebali smatrati visokorizičnima u skladu s ovom Uredbom. Pojedinci koji tijelima javne vlasti podnose zahtjev za naknade i usluge javne pomoći , među ostalim usluge zdravstvene skrbi i osnovne usluge, uključujući, ali ne ograničavajući se na stanovanje, električnu energiju, grijanje/hlađenje i internet, ili ih primaju obično ovise o tim naknadama i uslugama te su u ranjivu položaju u odnosu na nadležna tijela. Ako nadležna tijela upotrebljavaju UI sustave za određivanje treba li takve naknade i usluge odbiti, smanjiti, ukinuti ili treba li tražiti njihov povrat, ti sustavi mogu znatno utjecati na životne uvjete tih osoba i mogu kršiti njihova temeljna prava, kao što su pravo na socijalnu zaštitu, nediskriminaciju, ljudsko dostojanstvo ili djelotvoran pravni lijek. Slično tome, UI sustavi namijenjeni za donošenje odluka ili bitno utjecanje na odluke o prihvatljivosti pojedinaca za zdravstveno i životno osiguranje također mogu znatno utjecati na životne uvjete osoba i mogu kršiti njihova temeljna prava, primjerice ograničavanjem pristupa zdravstvenoj skrbi ili nastavljanjem diskriminacije na temelju osobnih obilježja. Te bi sustave stoga trebalo klasificirati kao visokorizične. Međutim, ova Uredba ne bi trebala otežavati razvoj i primjenu inovativnih pristupa u javnoj upravi, koja bi imala izravnu korist od šire uporabe usklađenih i sigurnih UI sustava, pod uvjetom da ti sustavi ne podrazumijevaju velik rizik za pravne i fizičke osobe. Naposljetku, UI sustavi koji se upotrebljavaju za evaluaciju i klasfikaciju hitnih poziva pojedinaca ili za dispečiranje ili određivanje prioriteta pri dispečiranju hitnih službi isto bi se trebali smatrati visokorizičnima jer donose odluke u situacijama koje su kritične za život i zdravlje osoba te za njihovu imovinu.

(37 a)

S obzirom na ulogu i odgovornost policije i pravosudnih tijela te utjecaj odluka koje oni donose u svrhe sprečavanja, istrage, otkrivanja ili kaznenog progona kaznenih djela ili izvršavanja kaznenopravnih sankcija, uporaba UI aplikacija u nekim posebnim slučajevima primjene u kaznenom progonu mora se kategorizirati kao visokorizična, osobito u slučajevima u kojima postoji mogućnost znatnog utjecaja na živote ili temeljna prava pojedinaca.

(38)

Postupcima tijelâ kaznenog progona koji uključuju određene uporabe UI sustavâ svojstvena je znatna neravnoteža moći, pa mogu dovesti do nadzora, uhićenja ili oduzimanja slobode pojedinaca, kao i do drugih nepovoljnih utjecaja na temeljna prava zajamčena Poveljom. Naime, ako UI sustav nije učen visokokvalitetnim podacima, ne ispunjava odgovarajuće zahtjeve u pogledu točnosti ili otpornosti ili nije pravilno projektiran i testiran prije stavljanja na tržište ili u uporabu, on može izdvajati ljude na diskriminatoran ili na drukčije netočan ili nepravedan način. Nadalje, ostvarivanje važnih postupovnih temeljnih prava, kao što su pravo na djelotvoran pravni lijek i na pošteno suđenje te pravo na obranu i pretpostavku nedužnosti, moglo bi biti otežano, osobito ako takvi UI sustavi nisu dovoljno transparentni i objašnjivi te kad o njima ne postoji dovoljno dokumentacije. Stoga je primjereno klasificirati kao visokorizične one UI sustave koji su namijenjeni uporabi u kontekstu kaznenog progona kad su točnost, pouzdanost i transparentnost posebno važne kako bi se izbjegli nepovoljni utjecaji, zadržalo povjerenje javnosti te osigurala odgovornost i učinkovita pravna zaštita. S obzirom na prirodu tih postupaka i s njima povezane rizike, među visokorizične UI sustave trebalo bi osobito klasificirati UI sustave namijenjene tijelima kaznenog progona za pojedinačne procjene rizika , poligrafe i slične alate ili za utvrđivanje emocionalnog stanja pojedinca , za otkrivanje „deep fake” sadržaja, za procjenu pouzdanosti dokaza u kaznenim postupcima , za predviđanje počinjenja ili ponavljanja stvarnog ili potencijalnog kaznenog djela na temelju izrade profila pojedinaca ili procjenu osobina ličnosti i karakteristika ili prijašnjeg kriminalnog ponašanja pojedinaca ili skupina , za izradu profila tijekom otkrivanja, istrage ili progona kaznenih djela, kao i za analitiku kaznenih djela koja se odnosi na pojedince. UI sustavi posebno namijenjeni za upravne postupke poreznih i carinskih tijela ne bi se trebali smatrati visokorizičnim UI sustavima koje tijela kaznenog progona upotrebljavaju u svrhu sprečavanja, otkrivanja, istrage i progona kaznenih djela.

(38)

Postupcima tijelâ kaznenog progona koji uključuju određene uporabe UI sustavâ svojstvena je znatna neravnoteža moći, pa mogu dovesti do nadzora, uhićenja ili oduzimanja slobode pojedinaca, kao i do drugih nepovoljnih utjecaja na temeljna prava zajamčena Poveljom. Naime, ako UI sustav nije učen visokokvalitetnim podacima, ne ispunjava odgovarajuće zahtjeve u pogledu svoje sposobnosti, točnosti ili otpornosti ili nije pravilno projektiran i testiran prije stavljanja na tržište ili u uporabu, on može izdvajati ljude na diskriminatoran ili na drukčije netočan ili nepravedan način. Nadalje, ostvarivanje važnih postupovnih temeljnih prava, kao što su pravo na djelotvoran pravni lijek i na pošteno suđenje te pravo na obranu i pretpostavku nedužnosti, moglo bi biti otežano, osobito ako takvi UI sustavi nisu dovoljno transparentni i objašnjivi te kad o njima ne postoji dovoljno dokumentacije. Stoga je primjereno klasificirati kao visokorizične one UI sustave koji su namijenjeni uporabi u kontekstu kaznenog progona kad su točnost, pouzdanost i transparentnost posebno važne kako bi se izbjegli nepovoljni utjecaji, zadržalo povjerenje javnosti te osigurala odgovornost i učinkovita pravna zaštita. S obzirom na prirodu tih postupaka i s njima povezane rizike, među visokorizične UI sustave trebalo bi osobito klasificirati UI sustave namijenjene tijelima kaznenog progona, ili za upotrebu u njihovo ime , ili pak agencijama, uredima ili tijelima Unije radi potpore tijelima kaznenog progona , kao što su poligrafi i slični alati u mjeri u kojoj je njihova upotreba dopuštena u okviru relevantnog prava Unije ili nacionalnog prava za procjenu pouzdanosti dokaza u kaznenim postupcima , za izradu profila tijekom otkrivanja, istrage ili progona kaznenih djela, kao i za analitiku kaznenih djela koja se odnosi na pojedince. UI sustavi posebno namijenjeni za upravne postupke poreznih i carinskih tijela ne bi se trebali klasificirati kao visokorizični UI sustavi koje tijela kaznenog progona upotrebljavaju u svrhu sprečavanja, otkrivanja, istrage i progona kaznenih djela. Uporaba UI alata u tijelima kaznenog progona i pravosudnim tijelima ne bi smjela postati čimbenik nejednakosti, društvenog raslojavanja ili isključenosti. Ne bi se smio zanemariti utjecaj uporabe UI alata na prava osumnjičenika na obranu, osobito s obzirom na poteškoće u dobivanju smislenih informacija o njihovu funkcioniranju i posljedični problem osporavanja njihovih rezultata na sudu, osobito za pojedince pod istragom.

(39)

UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, posebno njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je primjereno klasificirati kao visokorizične one UI sustave namijenjene tijelima javne vlasti nadležnima za zadaće u području upravljanja migracijama, azilom i granicama, kao što su poligrafi i slični alati ili sustavi za utvrđivanje emocionalnog stanja pojedinca, za procjenu određenih rizika koje predstavljaju pojedinci koji ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za provjeru vjerodostojnosti relevantnih dokumenata pojedinaca, za pomaganje nadležnim tijelima javne vlasti pri razmatranju zahtjeva za azil, vize i  boravišne dozvole te s tim povezanih pritužbi s obzirom na cilj da se utvrdi prihvatljivost pojedinca koji podnosi zahtjev za taj status. UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Direktivom 2013/32/EU Europskog parlamenta i Vijeća (49), Uredbom (EZ) br. 810/2009 Europskog parlamenta i Vijeća (50) i drugim relevantnim propisima.

(39)

UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama utječu na osobe koje su često u osobito ranjivu položaju i koje ovise o ishodu postupaka nadležnih tijela javne vlasti. Točnost, nediskriminacija i transparentnost UI sustava koji se upotrebljavaju u tim kontekstima stoga su posebno važne kako bi se zajamčilo poštovanje temeljnih prava zahvaćenih osoba, posebno njihovih prava na slobodno kretanje, nediskriminaciju, zaštitu privatnog života i osobnih podataka, međunarodnu zaštitu i dobru upravu. Stoga je primjereno klasificirati kao visokorizične one UI sustave namijenjene tijelima javne vlasti ili za uporabu u njihovo ime ili agencijama, uredima i tijelima Unije nadležnima za zadaće u području upravljanja migracijama, azilom i granicama, kao što su poligrafi i slični alati u mjeri u kojoj je njihova upotreba dopuštena u sklopu relevantnog prava Unije i nacionalnog prava za procjenu određenih rizika koje predstavljaju pojedinci koji ulaze na državno područje države članice ili podnose zahtjev za vizu ili azil, za provjeru vjerodostojnosti relevantnih dokumenata pojedinaca, za pomaganje nadležnim tijelima javne vlasti pri razmatranju i procjeni vjerodostojnosti dokaza u pogledu zahtjeva za azil, viza i  boravišnih dozvola te s tim povezanih pritužbi s obzirom na cilj da se utvrdi prihvatljivost pojedinca koji podnosi zahtjev za taj status , za praćenje, nadziranje ili obradu osobnih podataka u kontekstu aktivnosti upravljanja granicama u svrhu otkrivanja, prepoznavanja ili identifikacije pojedinaca te za prognoziranje ili predviđanje trendova povezanih s migracijskim tokovima i graničnim prijelazima . UI sustavi koji se upotrebljavaju u upravljanju migracijama, azilom i granicama obuhvaćeni ovom Uredbom trebali bi biti u skladu s relevantnim postupovnim zahtjevima utvrđenima Direktivom 2013/32/EU Europskog parlamenta i Vijeća (49), Uredbom (EZ) br. 810/2009 Europskog parlamenta i Vijeća (50) i drugim relevantnim propisima. Države članice ili institucije, agencije ili tijela Unije ni u kojem slučaju ne bi smjeli upotrebljavati UI sustave u upravljanju migracijama, azilom i nadzorom granica kao sredstvo za izbjegavanje svojih međunarodnih obveza u skladu s Konvencijom od 28. srpnja 1951. o statusu izbjeglica kako je izmijenjena Protokolom od 31. siječnja 1967. niti bi se ti sustavi smjeli upotrebljavati za kršenje načela zabrane prisilnog udaljenja ili vraćanja ili za uskraćivanje sigurnih i učinkovitih zakonitih mogućnosti za dolazak u Uniju, uključujući pravo na međunarodnu zaštitu.

(40)

Određene UI sustave namijenjene pravosuđu i demokratskim procesima trebalo bi klasificirati kao visokorizične s obzirom na njihov potencijalno velik utjecaj na demokraciju, vladavinu prava, osobne slobode te pravo na djelotvoran pravni lijek i na pošteno suđenje. Točnije, radi smanjenja rizika od mogućih pristranosti, pogrešaka i netransparentnosti, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni za pomoć pravosudnim tijelima u istraživanju i tumačenju činjenica i prava te primjeni prava na konkretan skup činjenica. Međutim, takva se kvalifikacija ne bi se trebala odnositi na UI sustave namijenjene isključivo pomoćnim administrativnim aktivnostima koje ne utječu na stvarno sudovanje u pojedinačnim slučajevima, kao što su anonimizacija ili pseudonimizacija sudskih odluka, dokumenata ili podataka, komunikacija među osobljem, administrativne zadaće ili raspodjela resursa.

(40)

Određene UI sustave namijenjene pravosuđu i demokratskim procesima trebalo bi klasificirati kao visokorizične s obzirom na njihov potencijalno velik utjecaj na demokraciju, vladavinu prava, osobne slobode te pravo na djelotvoran pravni lijek i na pošteno suđenje. Točnije, radi smanjenja rizika od mogućih pristranosti, pogrešaka i netransparentnosti, primjereno je klasificirati kao visokorizične one UI sustave koji su namijenjeni za upotrebu u pravosudnom ili upravnom tijelu ili u njihovo ime za pomoć pravosudnim ili upravnim tijelima u istraživanju i tumačenju činjenica i prava te primjeni prava na konkretan skup činjenica ili koji se upotrebljavaju na sličan način u alternativnom rješavanju sporova. Alati umjetne inteligencije mogu se koristiti kao pomoć u donošenju odluka, ali oni ne bi smjeli zamijeniti ovlast sudaca za donošenje odluka ili neovisnost sudstva s obzirom na to da konačno donošenje odluka mora ostati pod kontrolom ljudi . Međutim, takva se kvalifikacija ne bi se trebala odnositi na UI sustave namijenjene isključivo pomoćnim administrativnim aktivnostima koje ne utječu na stvarno sudovanje u pojedinačnim slučajevima, kao što su anonimizacija ili pseudonimizacija sudskih odluka, dokumenata ili podataka, komunikacija među osobljem, administrativne zadaće ili raspodjela resursa.

(40 a)

Kako bi se uklonili rizici od neopravdanog vanjskog uplitanja u pravo glasa utvrđeno u članku 39. Povelje i nerazmjernih učinaka na demokratske procese, demokraciju i vladavinu prava, UI sustavi koji su namijenjeni za upotrebu u utjecanju na ishod izbora ili referenduma ili na ponašanje pojedinaca pri glasovanju na izborima ili referendumima trebali bi se klasificirati kao visokorizični UI sustavi, izuzevši UI sustave čijim izlaznim rezultatima pojedinci nisu izravno izloženi, kao što su alati koji se koriste za organizaciju, optimizaciju i strukturiranje političkih kampanja s administrativnog i logističkog stajališta.

(40 b)

S obzirom na razmjere u kojima se pojedinci koriste uslugama platformi društvenih mreža koje su određene kao vrlo velike internetske platforme, takve internetske platforme mogu se upotrebljavati na način koji snažno utječe na sigurnost na internetu, oblikovanje javnog mnijenja i diskursa, izborne i demokratske procese te društvena pitanja. Stoga je primjereno da UI sustavi koje te internetske platforme upotrebljavaju u svojim sustavima za preporučivanje podliježu ovoj Uredbi kako bi se osiguralo da UI sustavi ispunjavaju zahtjeve utvrđene u ovoj Uredbi, uključujući tehničke zahtjeve u pogledu upravljanja podacima, tehničke dokumentacije i sljedivosti, transparentnosti, ljudskog nadzora, točnosti i otpornosti. Usklađenost s ovom Uredbom trebala bi jako velikim internetskim platformama omogućiti da poštuju svoje šire obveze u pogledu procjene rizika i smanjenja rizika iz članaka 34. i 35. Uredbe (EU) 2022/2065. Obvezama iz ove Uredbe ne dovodi se u pitanje Uredba (EU) 2022/2065 te bi one trebale dopuniti obveze propisane Uredbom (EU) 2022/2065 ako je platforma društvenih medija određena kao vrlo vrlo velika internetska platforma. S obzirom na to da platforme društvenih medija koje su određene kao vrlo velike internetske platforme imaju utjecaj na razini cijele Europe, tijela imenovana na temelju Uredbe (EU) 2022/2065 trebala bi djelovati kao provedbena tijela za potrebe provedbe te odredbe.

(41)

Činjenica da je UI sustav klasificiran kao visokorizičan na temelju ove Uredbe ne bi se trebala tumačiti kao indikator da je uporaba sustava nužno zakonita na temelju drugih pravnih akata Unije ili nacionalnog prava koje je usklađeno s pravom Unije, primjerice o zaštiti osobnih podataka , o uporabi poligrafa i sličnih alata ili drugih sustava kojima se utvrđuje emocionalno stanje pojedinaca . Svaka takva uporaba trebala bi se i dalje ostvarivati samo u skladu s primjenjivim zahtjevima koji proizlaze iz Povelje te primjenjivih akata sekundarnog prava Unije i nacionalnog prava. Ovu Uredbu ne bi trebalo tumačiti kao pružanje pravne osnove za obradu osobnih podataka, uključujući, ovisno o slučaju, posebne kategorije osobnih podataka.

(41)

Činjenica da je UI sustav klasificiran kao visokorizičan UI sustav na temelju ove Uredbe ne bi se trebala tumačiti kao indikator da je uporaba sustava nužno zakonita ili nezakonita na temelju drugih pravnih akata Unije ili nacionalnog prava koje je usklađeno s pravom Unije, primjerice o zaštiti osobnih podataka. Svaka takva uporaba trebala bi se i dalje ostvarivati samo u skladu s primjenjivim zahtjevima koji proizlaze iz Povelje te primjenjivih akata sekundarnog prava Unije i nacionalnog prava.

(41 a)

Nekoliko pravno obvezujućih pravila na europskoj, nacionalnoj i međunarodnoj razini već se primjenjuje ili je relevantno za današnje UI sustave, uključujući, ali ne isključivo, primarno pravo EU-a (Ugovori Europske unije i Povelja EU-a o temeljnim pravima), sekundarno pravo EU-a (kao što su Opća uredba o zaštiti podataka, Direktiva o odgovornosti za proizvode, Uredba o slobodnom protoku neosobnih podataka, direktive o suzbijanju diskriminacije, direktive o zaštiti potrošača i o sigurnosti i zdravlju na radu), ugovore UN-a o ljudskim pravima i konvencije Vijeća Europe (kao što je Europska konvencija o ljudskim pravima) te nacionalno pravo. Osim horizontalno primjenjivih pravila, postoje i različita pravila specifična za pojedina područja koja su mjerodavna za određene primjene umjetne inteligencije (kao što je, primjerice, Uredba o medicinskim proizvodima u zdravstvenom sektoru).

(42)

Kako bi se smanjili rizici visokorizičnih UI sustava koji su stavljeni na tržište Unije ili na drugi način stavljeni u uporabu na tržištu Unije za korisnike i zahvaćene osobe, trebali bi se primjenjivati određeni obvezni zahtjevi s obzirom na namjenu sustava i sustav upravljanja rizikom koji uspostavlja dobavljač.

(42)

Kako bi se smanjili rizici visokorizičnih UI sustava koji su stavljeni na tržište Unije ili na drugi način stavljeni u uporabu na tržištu Unije za subjekte koji primjenjuju UI sustave i zahvaćene osobe, trebali bi se primjenjivati određeni obvezni zahtjevi s obzirom na namjenu , razumno predvidljivu krivu uporabu sustava i sustav upravljanja rizikom koji uspostavlja dobavljač. Ti bi zahtjevi trebali biti objektivni, primjereni svrsi, razumni i učinkoviti, bez stvaranja nepotrebnih regulatornih opterećenja ili troškova za operatere.

(43)

Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu kvalitete korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija korisnicima , ljudskog nadzora te otpornosti, točnosti i kibersigurnosti. Ti su zahtjevi potrebni kako bi se uspješno smanjili rizici za zdravlje, sigurnost i temeljna prava, ovisno o namjeni sustava, a druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne, čime se izbjegavaju neopravdana ograničenja u području trgovine.

(43)

Zahtjevi bi se trebali primjenjivati na visokorizične UI sustave u pogledu kvalitete i relevantnosti korištenih skupova podataka, tehničke dokumentacije i vođenja evidencije, transparentnosti i pružanja informacija subjektima koji primjenjuju UI sustave , ljudskog nadzora te otpornosti, točnosti i kibersigurnosti. Ti su zahtjevi potrebni kako bi se uspješno smanjili rizici za zdravlje, sigurnost i temeljna prava, kao i za okoliš, demokraciju i vladavinu prava, ovisno o namjeni ili razumno predvidljivoj krivoj uporabi sustava, a druge mjere kojima se manje ograničava trgovina nisu u razumnoj mjeri dostupne, čime se izbjegavaju neopravdana ograničenja u području trgovine.

(44)

Visokokvalitetni podaci ključni su za sposobnost mnogih UI sustava, posebno kad se upotrebljavaju tehnike s učenjem modelâ, s ciljem da visokorizični UI sustav funkcionira kako je predviđeno i sigurno te da ne postane izvor diskriminacije koja je zabranjena pravom Unije. Za vrlo kvalitetne skupove podataka za učenje, validaciju i testiranje potrebna je primjena odgovarajuće prakse upravljanja podacima. Skupovi podataka za učenje, validaciju i testiranje trebali bi biti dovoljno relevantni, reprezentativni i bez pogrešaka te bi trebali biti potpuni s obzirom na namjenu sustava. Trebali bi imati i odgovarajuća statistička obilježja, među ostalim u odnosu na osobe ili skupine osoba za koje se visokorizični UI sustav namjerava rabiti. Naročito bi u skupovima podataka za učenje, validaciju i testiranje trebalo uzeti u obzir, u mjeri u kojoj to iziskuje njihova namjena, obilježja, karakteristike ili elemente specifične za zemljopisno, bihevioralno ili radno okruženje ili kontekst u kojem je previđena uporaba UI sustava. Kako bi se prava drugih osoba zaštitila od moguće diskriminacije zbog pristranosti UI sustavâ, dobavljači bi trebali moći obrađivati i posebne kategorije osobnih podataka, kao pitanje od znatnog javnog interesa, kako bi se osiguralo praćenje, otkrivanje i ispravljanje pristranosti povezanih s visokorizičnim UI sustavima.

(44)

Pristup visokokvalitetnim podacima ima ključnu ulogu u pružanju strukture i osiguravanju sposobnosti mnogih UI sustava, posebno kad se upotrebljavaju tehnike s učenjem modelâ, s ciljem da visokorizični UI sustav funkcionira kako je predviđeno i sigurno te da ne postane izvor diskriminacije koja je zabranjena pravom Unije. Za vrlo kvalitetne skupove podataka za učenje, validaciju i testiranje potrebna je primjena odgovarajuće prakse upravljanja podacima. Skupovi podataka za učenje i, gdje je to primjenjivo , validaciju i testiranje , uključujući oznake, trebali bi biti dovoljno relevantni, reprezentativni , primjereno provjereni u pogledu pogrešaka te bi trebali biti što je moguće potpuniji s obzirom na namjenu sustava. Trebali bi imati i odgovarajuća statistička obilježja, među ostalim u odnosu na osobe ili skupine osoba u vezi s kojima se visokorizični UI sustav namjerava rabiti , uz pridavanje posebne pozornosti ublažavanju mogućih pristranosti u skupovima podataka koje mogu dovesti do rizika za temeljna prava ili do diskriminirajućih ishoda za osobe zahvaćene visokorizičnim UI sustavom. Pristranosti mogu primjerice biti svojstvene temeljnim skupovima podataka, osobito kad se upotrebljavaju povijesni podaci koje su unijeli programeri algoritama ili koji se generiraju kad se sustavi implementiraju u okruženju stvarnog svijeta. Na rezultate koje pružaju UI sustavi utječu takve inherentne pristranosti koje su sklone postupnom povećanju, čime se nastavlja i povećava postojeća diskriminacija, posebno za osobe koje pripadaju određenim ranjivim ili etničkim skupinama ili zajednicama koje se definira na temelju rase. Naročito bi u skupovima podataka za učenje, validaciju i testiranje trebalo uzeti u obzir, u mjeri u kojoj to iziskuje njihova namjena, obilježja, karakteristike ili elemente specifične za zemljopisno, kontekstualno, bihevioralno ili radno okruženje ili kontekst u kojem je previđena uporaba UI sustava. Kako bi se prava drugih osoba zaštitila od moguće diskriminacije zbog pristranosti UI sustavâ, dobavljači bi iznimno i nakon primjene svih primjenjivih uvjeta utvrđenih u ovoj Uredbi te Uredbi (EU) 2016/679, Direktivi (EU) 2016/680 i Uredbi (EU) 2018/1725 trebali moći obrađivati i posebne kategorije osobnih podataka, kao pitanje od znatnog javnog interesa, kako bi se osiguralo otkrivanje i ispravljanje pristranosti povezanih s visokorizičnim UI sustavima. Negativnu pristranost trebalo bi tumačiti kao pristranost koja stvara izravan ili neizravan diskriminacijski učinak na pojedinca. Zahtjevi povezani s upravljanjem podacima mogu se ispuniti korištenjem usluga trećih strana koje nude certificirane usluge usklađivanja, uključujući provjeru upravljanja podacima, cjelovitost skupa podataka te prakse u pogledu učenja na temelju podataka te validacije i ispitivanja podataka.

(45)

Kad je riječ o razvoju visokorizičnih UI sustava, određeni dionici, kao što su dobavljači, prijavljena tijela i drugi relevantni subjekti, na primjer centri za digitalne inovacije, centri za testiranje i eksperimentiranje te istraživači, trebali bi imati pristup visokokvalitetnim skupovima podataka i upotrebljavati ih u okviru svojih područja aktivnosti povezanih s ovom Uredbom. Zajednički europski podatkovni prostori koje je uspostavila Komisija te olakšavanje razmjene podataka među poduzećima i s državnim upravama u javnom interesu bit će važni za osiguravanje pouzdanog, odgovornog i nediskriminirajućeg pristupa visokokvalitetnim podacima za učenje, validaciju i testiranje UI sustavâ. Na primjer, u području zdravstva zajednički europski prostor za zdravstvene podatke olakšat će nediskriminirajući pristup zdravstvenim podacima i učenje algoritama umjetne inteligencije tim skupovima podataka tako da se očuvaju privatnost, sigurnost, pravovremenost, transparentnost i pouzdanost uz odgovarajuće institucijsko upravljanje. Relevantna nadležna tijela, uključujući sektorska, koja pružaju ili olakšavaju pristup podacima, mogu olakšati i pružanje visokokvalitetnih podataka za učenje, validaciju i testiranje UI sustava.

(45)

Kad je riječ o razvoju i ocjenjivanju visokorizičnih UI sustava, određeni dionici, kao što su dobavljači, prijavljena tijela i drugi relevantni subjekti, na primjer centri za digitalne inovacije, centri za testiranje i eksperimentiranje te istraživači, trebali bi imati pristup visokokvalitetnim skupovima podataka i upotrebljavati ih u okviru svojih područja aktivnosti povezanih s ovom Uredbom. Zajednički europski podatkovni prostori koje je uspostavila Komisija te olakšavanje razmjene podataka među poduzećima i s državnim upravama u javnom interesu bit će važni za osiguravanje pouzdanog, odgovornog i nediskriminirajućeg pristupa visokokvalitetnim podacima za učenje, validaciju i testiranje UI sustavâ. Na primjer, u području zdravstva zajednički europski prostor za zdravstvene podatke olakšat će nediskriminirajući pristup zdravstvenim podacima i učenje algoritama umjetne inteligencije tim skupovima podataka tako da se očuvaju privatnost, sigurnost, pravovremenost, transparentnost i pouzdanost uz odgovarajuće institucijsko upravljanje. Relevantna nadležna tijela, uključujući sektorska, koja pružaju ili olakšavaju pristup podacima, mogu olakšati i pružanje visokokvalitetnih podataka za učenje, validaciju i testiranje UI sustava.

(45 a)

Pravo na privatnost i zaštitu osobnih podataka mora biti zajamčeno tijekom cijelog životnog ciklusa UI sustava. U tom su pogledu načela smanjenja količine podataka te tehničke i integrirane zaštite podataka, kako su utvrđena u pravu Unije o zaštiti podataka, ključna ako obrada podataka uključuje znatne rizike za temeljna prava pojedinaca. Dobavljači i korisnici UI sustava trebali bi provesti najsuvremenije tehničke i organizacijske mjere kako bi zaštitili ta prava. Takve mjere trebale bi uključivati ne samo anonimizaciju i šifriranje, već i upotrebu sve dostupnije tehnologije kojom se omogućuje da se algoritmi primijene na podatke i omogućuje dobivanje vrijednih uvida bez prijenosa među stranama ili nepotrebnog kopiranja samih neobrađenih ili strukturiranih podataka.

(46)

Informacije o tome kako su visokorizični UI sustavi razvijeni te kakav im je radni učinak tijekom cijelog životnog vijeka ključne su za provjeru usklađenosti sa zahtjevima iz ove Uredbe. Za to je potrebno vođenje evidencije i dostupnost tehničke dokumentacije koja sadržava informacije potrebne za procjenu usklađenosti UI sustava s relevantnim zahtjevima. Te bi informacije trebale uključivati opće karakteristike, mogućnosti i ograničenja sustava, algoritme, podatke, postupke učenja, testiranja i validacije koji su upotrijebljeni, kao i dokumentaciju o relevantnom sustavu upravljanja rizikom. Tehnička dokumentacija trebala bi se redovito ažurirati.

(46)

Razumljive informacije o tome kako su visokorizični UI sustavi razvijeni te kakav im je radni učinak tijekom cijelog životnog vijeka ključne su za provjeru usklađenosti sa zahtjevima iz ove Uredbe. Za to je potrebno vođenje evidencije i dostupnost tehničke dokumentacije koja sadržava informacije potrebne za procjenu usklađenosti UI sustava s relevantnim zahtjevima. Te bi informacije trebale uključivati opće karakteristike, mogućnosti i ograničenja sustava, algoritme, podatke, postupke učenja, testiranja i validacije koji su upotrijebljeni, kao i dokumentaciju o relevantnom sustavu upravljanja rizikom. Tehnička dokumentacija trebala bi se redovito ažurirati na odgovarajući način tijekom cijelog životnog vijeka UI sustava . UI sustavi tijekom svojeg životnog vijeka mogu imati velik i važan utjecaj na okoliš te visoku potrošnju energije. Kako bi se bolje shvatio utjecaj UI sustava na okoliš, tehnička dokumentacija koju sastavljaju dobavljači trebala bi sadržavati informacije o potrošnji energije UI sustava, uključujući potrošnju tijekom razvoja i očekivanu potrošnju tijekom uporabe. Kad je riječ o tim informacijama, u obzir bi trebalo bi uzeti relevantno zakonodavstvo Unije i nacionalno zakonodavstvo. Te bi dostavljene informacije trebale biti razumljive, usporedive i provjerljive te bi u tu svrhu Komisija trebala izraditi smjernice o usklađenoj metodologiji za izračun tih informacija i izvješćivanje o njima. Kako bi se osigurala mogućnost jedinstvene dokumentacije, termini i definicije povezani s potrebnom dokumentacijom i svom potrebnom dokumentacijom iz relevantnog zakonodavstva Unije trebali bi biti usklađeni što je više moguće.

(46 a)

UI sustavima u obzir bi se trebale uzeti najsuvremenije metode i relevantne primjenjive norme za smanjenje potrošnje energije, potrošnje resursa i stvaranja otpada, kao i za povećanje njihove energetske učinkovitosti i ukupne učinkovitosti sustava. Okolišni aspekti UI sustava koji su važni za potrebe ove Uredbe jesu potrošnja energije UI sustava u fazi razvoja, učenja i primjene, kao i bilježenje i pohrana tih podataka te izvješćivanje o njima. Projektiranjem UI sustava trebalo bi omogućiti mjerenje i bilježenje potrošnje energije i resursa u svakoj fazi razvoja, učenja i primjene. Praćenje emisija UI sustava i izvješćivanje o njima mora biti pouzdano, transparentno, dosljedno i točno. Kako bi se osigurala ujednačena primjena ove Uredbe i stabilan pravni ekosustav za dobavljače i subjekte koji primjenjuju UI sustave na jedinstvenom tržištu, Komisija bi trebala izraditi zajedničku specifikaciju za metodologiju za ispunjavanje zahtjeva u pogledu izvješćivanja i dokumentacije o potrošnji energije i resursa tijekom razvoja, učenja i primjene. Takvim zajedničkim specifikacijama u pogledu metodologije mjerenja može se razviti polazište na temelju kojega Komisija može bolje odlučiti jesu li potrebne buduće regulatorne intervencije nakon provedbe procjene učinka kojom se uzima u obzir postojeće pravo.

(46 b)

Kako bi se ostvarili ciljevi ove Uredbe i pridonijelo okolišnim ciljevima Unije uz istodobno osiguravanje neometanog funkcioniranja unutarnjeg tržišta, moglo bi biti potrebno utvrditi preporuke i smjernice te, u konačnici, ciljne vrijednosti za održivost. U tu svrhu Komisija ima pravo razviti metodologiju kojom će doprinijeti uspostavi ključnih pokazatelja uspješnosti i referencu za ciljeve održivog razvoja. Cilj bi u prvom redu trebao biti da se omogući pravedna usporedba odabira u pogledu primjene umjetne inteligencije, uz pružanje poticaja za promicanje upotrebe učinkovitijih UI tehnologija kojima se uzima u obzir zabrinutost povezana s energijom i resursima. Kako bi se taj cilj postigao, ovom bi se Uredbom trebala osigurati sredstva za utvrđivanje referentnog prikupljanja prijavljenih podataka o emisijama u fazama razvoja, učenja i primjene.

(47a)

Takvi zahtjevi u pogledu transparentnosti i mogućnosti obrazloženja odluka povezanih s umjetnom inteligencijom trebali bi pomoći i u suzbijanju odvraćajućih učinaka digitalne asimetrije i „tamnih obrazaca” usmjerenih na pojedince i njihov informirani pristanak.

(49)

Visokorizični UI sustavi trebali bi imati ujednačen učinak u cijelom životnom vijeku te imati odgovarajuću razinu točnosti, otpornosti i kibersigurnosti u skladu s općepriznatim najnovijim dostignućima. Korisnici bi trebali biti obaviješteni o razini i parametrima točnosti .

(49)

Visokorizični UI sustavi trebali bi imati ujednačen učinak u cijelom životnom vijeku te imati odgovarajuću razinu točnosti, otpornosti i kibersigurnosti u skladu s općepriznatim najnovijim dostignućima. Glavni cilj definiranja parametara uspješnosti i njihove očekivane razine treba biti smanjenje rizika i negativnog učinka UI sustava. Subjekti koji primjenjuju UI sustave bi trebali na jasan, transparentan, lako razumljiv i shvatljiv način biti obaviješteni o  očekivanoj razini parametara uspješnosti. Izjava o parametrima uspješnosti ne može se smatrati dokazom budućih razina, ali potrebno je primijeniti relevantne metode kako bi se osigurale dosljedne razine tijekom uporabe. Iako organizacije za normizaciju postoje radi utvrđivanja normi, potrebna je koordinacija ocjenjivanja prema referentnim vrijednostima kako bi se utvrdilo kako bi trebalo mjeriti te standardizirane zahtjeve i karakteristike UI sustava. Europski ured za umjetnu inteligenciju trebao bi okupiti nacionalna i međunarodna tijela za mjeriteljstvo i ocjenjivanje prema referentnim vrijednostima te pružiti neobvezujuće smjernice za rješavanje tehničkih aspekata načina mjerenja odgovarajućih razina uspješnosti i otpornosti.

(50)

Tehnička otpornost ključni je zahtjev za visokorizične UI sustave. Trebali bi biti otporni na rizike povezane s ograničenjima sustava (npr. pogreške, kvarovi, nedosljednosti, neočekivane situacije), kao i na zlonamjerne radnje koje mogu ugroziti sigurnost UI sustava i dovesti do štetnog ili na neki drugi način nepoželjnog ponašanja. Nedostatna zaštita od tih rizika mogla uzrokovati posljedice za sigurnost ili negativno utjecati na temeljna prava, primjerice zbog pogrešnih odluka ili krivih ili pristranih izlaznih rezultata UI sustava.

(50)

Tehnička otpornost ključni je zahtjev za visokorizične UI sustave. Trebali bi biti otporni na rizike povezane s ograničenjima sustava (npr. pogreške, kvarovi, nedosljednosti, neočekivane situacije), kao i na zlonamjerne radnje koje mogu ugroziti sigurnost UI sustava i dovesti do štetnog ili na neki drugi način nepoželjnog ponašanja. Nedostatna zaštita od tih rizika mogla uzrokovati posljedice za sigurnost ili negativno utjecati na temeljna prava, primjerice zbog pogrešnih odluka ili krivih ili pristranih izlaznih rezultata UI sustava. Korisnici UI sustava trebali bi poduzeti korake kako bi osigurali da mogući kompromis između pouzdanosti i točnosti ne dovede do diskriminirajućih ili negativnih ishoda za manjinske podskupine.

(51)

Kibersigurnost je ključna za otpornost UI sustavâ na pokušaje zlonamjernih trećih strana koje iskorištavaju slabe točke sustava da bi im izmijenili način uporabe, ponašanje, sposobnost ili da bi ugrozili njihove sigurnosne mehanizme. Kibernapadima na UI sustave moguće je iskoristiti resurse svojstvene umjetnoj inteligenciji, kao što su skupovi podataka za učenje (npr. trovanje podataka) ili poučeni modeli (npr. neprijateljski napadi) ili iskoristiti slabe točke digitalnih resursa UI sustava ili osnovne IKT infrastrukture. Kako bi se osigurala razina kibersigurnosti koja odgovara rizicima, dobavljači visokorizičnih UI sustava trebali bi poduzeti odgovarajuće mjere, prema potrebi uzimajući u obzir i osnovnu infrastrukturu IKT-a.

(51)

Kibersigurnost je ključna za otpornost UI sustavâ na pokušaje zlonamjernih trećih strana koje iskorištavaju slabe točke sustava da bi im izmijenili način uporabe, ponašanje, sposobnost ili da bi ugrozili njihove sigurnosne mehanizme. Kibernapadima na UI sustave moguće je iskoristiti resurse svojstvene umjetnoj inteligenciji, kao što su skupovi podataka za učenje (npr. trovanje podataka) ili poučeni modeli (npr. neprijateljski napadi ili napadi na povjerljivost ) ili iskoristiti slabe točke digitalnih resursa UI sustava ili osnovne IKT infrastrukture. Kako bi se osigurala razina kibersigurnosti koja odgovara rizicima, dobavljači visokorizičnih UI sustava , kao i prijavljena tijela, nadležna nacionalna tijela i tijela za nadzor tržišta, trebali bi poduzeti odgovarajuće mjere, prema potrebi uzimajući u obzir i osnovnu infrastrukturu IKT-a. Visokorizična umjetna inteligencija treba biti popraćena sigurnosnim rješenjima i zakrpama tijekom životnog vijeka proizvoda ili, u slučaju nepostojanja ovisnosti o određenom proizvodu, tijekom razdoblja koje mora navesti proizvođač.

(53 a)

Kao potpisnice Konvencije Ujedinjenih naroda o pravima osoba s invaliditetom Unija i države članice imaju pravnu obvezu štititi osobe s invaliditetom od diskriminacije i promicati njihovu ravnopravnost, osigurati da osobe s invaliditetom imaju pristup informacijskim i komunikacijskim tehnologijama i sustavima na ravnopravnoj osnovi te zajamčiti poštovanje privatnosti osoba s invaliditetom. S obzirom na sve veću važnost i uporabu UI sustava, primjenom univerzalnih načela projektiranja na sve nove tehnologije i usluge trebao bi se osigurati cjelovit, ravnopravan i neograničen pristup za sve osobe na koje bi mogle utjecati tehnologije umjetne inteligencije ili koje upotrebljavaju te tehnologije, uključujući osobe s invaliditetom, na način kojim se u cijelosti poštuju njihovo inherentno dostojanstvo i raznolikost. Stoga je ključno da dobavljači osiguraju potpunu usklađenost sa zahtjevima u pogledu pristupačnosti, uključujući Direktivu (EU) 2016/2102 i Direktivu (EU) 2019/882. Dobavljači bi trebali osigurati ugrađenu usklađenost s tim zahtjevima. Stoga bi potrebne mjere trebalo što je više moguće uključiti u projektiranje visokorizičnog UI sustava.

(54)

Dobavljač bi trebao uspostaviti pouzdan sustav upravljanja kvalitetom, osigurati realizaciju obveznog postupka ocjenjivanja sukladnosti, sastaviti relevantnu dokumentaciju i uspostaviti pouzdan sustav praćenja nakon stavljanja na tržište. Tijela javne vlasti koja stavljaju visokorizične UI sustave u uporabu za vlastite potrebe mogu donijeti i primjenjivati pravila za sustav upravljanja kvalitetom u okviru sustava upravljanja kvalitetom donesenog na nacionalnoj ili regionalnoj razini, prema potrebi, uzimajući u obzir posebnosti sektora te nadležnosti i organizaciju predmetnog tijela javne vlasti.

(54)

Dobavljač bi trebao uspostaviti pouzdan sustav upravljanja kvalitetom, osigurati realizaciju obveznog postupka ocjenjivanja sukladnosti, sastaviti relevantnu dokumentaciju i uspostaviti pouzdan sustav praćenja nakon stavljanja na tržište. Za dobavljače koji već imaju uspostavljene sustave upravljanja kvalitetom koji se temelje na normama kao što su ISO 9001 ili druge relevantne norme ne bi se trebao očekivati dvostruki sustav upravljanja kvalitetom u cijelosti, već bi se trebala očekivati prilagodba njihovih postojećih sustava određenim aspektima u pogledu usklađenosti s posebnim zahtjevima ove Uredbe. To bi se trebalo odražavati i u budućim aktivnostima normizacije ili smjernicama koje Komisija donese u tom pogledu. Tijela javne vlasti koja stavljaju visokorizične UI sustave u uporabu za vlastite potrebe mogu donijeti i primjenjivati pravila za sustav upravljanja kvalitetom u okviru sustava upravljanja kvalitetom donesenog na nacionalnoj ili regionalnoj razini, prema potrebi, uzimajući u obzir posebnosti sektora te nadležnosti i organizaciju predmetnog tijela javne vlasti.

(56)

Kako bi se omogućilo izvršenje ove Uredbe i osigurali jednaki uvjeti za operatere te uzimajući u obzir različite oblike stavljanja digitalnih proizvoda na raspolaganje, važno je osigurati da osoba s poslovnim nastanom u Uniji u svim okolnostima može nadležnim tijelima pružiti sve potrebne informacije o usklađenosti UI sustava. Stoga , ako se uvoznik ne može identificirati, dobavljači s poslovnim nastanom izvan Unije pisanim ovlaštenjem imenuju ovlaštenog zastupnika s poslovnim nastanom u Uniji prije stavljanja svojih UI sustava na raspolaganje u Uniji.

(56)

Kako bi se omogućilo izvršenje ove Uredbe i osigurali jednaki uvjeti za operatere te uzimajući u obzir različite oblike stavljanja digitalnih proizvoda na raspolaganje, važno je osigurati da osoba s poslovnim nastanom u Uniji u svim okolnostima može nadležnim tijelima pružiti sve potrebne informacije o usklađenosti UI sustava. Stoga dobavljači s poslovnim nastanom izvan Unije pisanim ovlaštenjem imenuju ovlaštenog zastupnika s poslovnim nastanom u Uniji prije stavljanja svojih UI sustava na raspolaganje u Uniji.

(58)

S obzirom na prirodu UI sustavâ i rizike za sigurnost i temeljna prava koji se potencijalno mogu povezati s njihovom uporabom, među ostalim u pogledu potrebe da se osigura propisno praćenje sposobnosti UI sustava u stvarnim uvjetima, primjereno je utvrditi posebne odgovornosti za korisnike . Korisnici bi ponajprije visokorizične UI sustave trebali upotrebljavati u skladu s uputama za uporabu te bi, prema potrebi, trebalo propisati određene druge obveze u pogledu praćenja funkcioniranja UI sustavâ i vođenja evidencije.

(58)

S obzirom na prirodu UI sustavâ i rizike za sigurnost i temeljna prava koji se potencijalno mogu povezati s njihovom uporabom, među ostalim u pogledu potrebe da se osigura propisno praćenje sposobnosti UI sustava u stvarnim uvjetima, primjereno je utvrditi posebne odgovornosti za subjekte koji primjenjuju UI sustave . Subjekti koji primjenjuju UI sustave ponajprije bi visokorizične UI sustave trebali upotrebljavati u skladu s uputama za uporabu te bi, prema potrebi, trebalo propisati određene druge obveze u pogledu praćenja funkcioniranja UI sustavâ i vođenja evidencije.

(58 a)

Iako rizici povezani s UI sustavima mogu proizlaziti iz načina na koji su ti sustavi projektirani, mogu biti uzrokovani i načinom na koji se upotrebljavaju. Subjekti koji primjenjuju visokorizične UI sustave stoga imaju ključnu ulogu u osiguravanju zaštite temeljnih prava, čime se dopunjuju obveze dobavljača pri razvoju UI sustava. Subjekti koji primjenjuju UI sustave u najboljem su položaju da razumiju kako će se visokorizični UI sustav konkretno upotrebljavati te stoga mogu utvrditi potencijalne znatne rizike koji nisu predviđeni u fazi razvoja, zahvaljujući boljem poznavanju konteksta uporabe te osoba ili skupina osoba koje bi mogle biti zahvaćene, uključujući marginalizirane i ranjive skupine. Subjekti koji primjenjuju UI sustave trebali bi utvrditi odgovarajuće upravljačke strukture u tom specifičnom kontekstu upotrebe, kao što su mehanizmi za ljudski nadzor, postupci rješavanja pritužbi i postupci pravne zaštite, jer odluke u upravljačkim strukturama mogu biti ključne za smanjenje rizika za temeljna prava u konkretnim slučajevima primjene. Kako bi se učinkovito osigurala zaštita temeljnih prava, subjekt koji primjenjuje visokorizične UI sustave trebao bi stoga prije stavljanja sustava u uporabu provesti procjenu njihova učinka na temeljna prava. Procjena učinka trebala bi biti popraćena detaljnim planom u kojem se opisuju mjere ili alati koji će pomoći u smanjenju utvrđenih rizika za temeljna prava najkasnije od trenutka stavljanja tih sustava u uporabu. Ako se takav plan ne može utvrditi, subjekt koji primjenjuje UI sustav trebao bi se suzdržati od stavljanja sustava u uporabu. Pri provedbi te procjene učinka subjekt koji primjenjuje UI sustav trebao bi obavijestiti nacionalno nadzorno tijelo i, u najvećoj mogućoj mjeri, relevantne dionike, kao i predstavnike skupina osoba na koje bi UI sustav mogao utjecati kako bi prikupio relevantne informacije koje se smatraju potrebnima za provedbu procjene učinka te se potiče da sažetak svoje procjene učinka na temeljna prava objavi na svojim internetskim stranicama. Te se obveze ne bi trebale primjenjivati na MSP-ove, kojima bi s obzirom na manjak resursa moglo biti teško provesti takvo savjetovanje. Međutim, oni bi trebali također nastojati uključiti takve predstavnike u svoju provedbu procjene učinka na temeljna prava. Osim toga, s obzirom na mogući učinak i potrebu za demokratskim nadzorom i kontrolom, subjekti koji primjenjuju visokorizične UI sustave, a koji su javna tijela ili institucije, tijela, uredi i agencije Unije, kao i subjekti koji primjenjuju UI sustave, a koji su poduzetnici određeni kao nadzornici pristupa na temelju Uredbe (EU) 2022/1925 trebali bi biti obvezni registrirati uporabu svakog visokorizičnih UI sustava u javnoj bazi podataka. Ostali subjekti koji primjenjuju UI sustave mogu se dobrovoljno registrirati.

(59)

Primjereno je predvidjeti da bi korisnik UI sustava trebao biti fizička ili pravna osoba, tijelo javne vlasti, agencija ili drugo tijelo u okviru čije se nadležnosti koristi UI sustav, osim ako se koristi u osobnoj neprofesionalnoj djelatnosti.

(59)

Primjereno je predvidjeti da bi subjekt koji primjenjuje UI sustav trebao biti fizička ili pravna osoba, tijelo javne vlasti, agencija ili drugo tijelo u okviru čije se nadležnosti koristi UI sustav, osim ako se koristi u osobnoj neprofesionalnoj djelatnosti.

(60)

S obzirom na složenost lanca vrijednosti umjetne inteligencije, relevantne treće strane, posebno one uključene u prodaju i nabavu softvera, softverskih alata i sastavnih dijelova, prethodno poučenih modela i podataka ili pružatelji mrežnih usluga, trebali bi prema potrebi surađivati s dobavljačima i korisnicima kako bi im omogućili da ispune obveze iz ove Uredbe te s nadležnim tijelima uspostavljenima na temelju ove Uredbe .

(60)

U vrijednosnom lancu umjetne inteligencije više subjekata često dobavlja alate i usluge, ali i sastavne dijelove ili procese koje je dobavljač potom ugrađuje u UI sustav, među ostalim u vezi s prikupljanjem i predobradom, učenjem modela, ponovnim učenjem modela, ispitivanjem i evaluacijom modela, ugradnjom u softver ili drugim aspektima razvoja modela. Uključeni subjekti mogu svoju ponudu učiniti komercijalno dostupnom izravno ili neizravno, putem sučelja, kao što su aplikacijska programska sučelja (API), i distribuirati je na temelju besplatnih licencija otvorenog koda, ali i sve više putem platformi za radnu snagu koje se temelje na umjetnoj inteligenciji, preprodaje poučenih parametara, kompleta za izradu modela ili nuđenja plaćanja pristupa modelu koji služi arhitekturi za razvoj i učenje modela. S obzirom na tu složenost lanca vrijednosti umjetne inteligencije, sve relevantne treće strane, posebno one uključene u  razvoj, prodaju i  komercijalnu nabavu softverskih alata, sastavnih dijelova, prethodno poučenih modela ili podataka ugrađenih u UI sustav, ili pružatelji mrežnih usluga, trebali bi bez ugrožavanja svojih prava intelektualnog vlasništva ili poslovnih tajni staviti na raspolaganje potrebne informacije, osposobljavanje ili stručno znanje i prema potrebi surađivati s dobavljačima kako bi im omogućili kontrolu nad svim aspektima koji su relevantni za usklađenost UI sustava obuhvaćenog ovom Uredbom. Kako bi se omogućilo troškovno učinkovito upravljanje vrijednosnim lancem umjetne inteligencije, svaka treća strana koja dobavljaču isporučuje alat, uslugu, sastavni dio ili proces koji dobavljač potom ugrađuje u UI sustav mora izričito navesti razinu kontrole.

(60 a)

Ako je jedna strana u snažnijem pregovaračkom položaju, postoji rizik da bi ta strana mogla iskoristiti taj položaj na štetu druge ugovorne strane pri pregovaranju o nabavi alata, usluga, sastavnih dijelova ili procesa koji se upotrebljavaju ili ugrađuju u visokorizični UI sustav ili pravnim lijekovima za kršenje ili prekid povezanih obveza. Takve ugovorne neravnoteže posebno štete mikropoduzećima, malim i srednjim poduzećima te start-up poduzećima, osim ako su u vlasništvu ili podugovoru poduzeća koje može primjereno nadoknaditi štetu podugovaratelju jer nemaju bitnu sposobnost pregovaranja o uvjetima ugovornog sporazuma i možda nemaju drugog izbora nego prihvatiti ugovorne uvjete po načelu „uzmi ili ostavi”. Stoga, nepoštene ugovorne odredbe kojima se uređuje nabava alata, usluga, sastavnih dijelova ili procesa koji se upotrebljavaju u visokorizičnom UI sustavu ili su u njega ugrađeni ili pak pravni lijekovi u pogledu kršenja ili prekida povezanih obveza ne bi trebale biti obvezujuće za takva mikropoduzeća, mala ili srednja poduzeća i start-up poduzeća ako su im takve odredbe jednostrano nametnute.

(60 b)

U pravilima o ugovornim odredbama trebalo bi uzeti u obzir načelo ugovorne slobode kao ključni koncept u odnosima među poduzećima. Stoga se test za utvrđivanje nepoštenih odredbi ne bi trebao primjenjivati na sve ugovorne odredbe, nego samo na one odredbe koje su jednostrano nametnute mikropoduzećima, malim i srednjim poduzećima te start-up poduzećima. To se odnosi na situacije „uzmi ili ostavi” u kojima jedna strana postavlja određenu ugovornu odredbu, a mikropoduzeće, malo ili srednje poduzeće ili start-up poduzeće ne može utjecati na sadržaj te odredbe unatoč pokušaju da se o njemu pregovara. Ugovorna odredba koju jednostavno postavlja jedna strana i koju mikropoduzeće, malo ili srednje poduzeće ili start-up poduzeće prihvati odnosno odredba o kojoj su ugovorne strane pregovarale i naknadno postigle dogovor uz izmjene ne bi se trebala smatrati jednostrano nametnutom.

(60 c)

Nadalje, pravila o nepoštenim ugovornim odredbama trebala bi se primjenjivati samo na one elemente ugovora koji se odnose na nabavu alata, usluga, sastavnih dijelova ili procesa koji se upotrebljavaju ili ugrađuju u visokorizični UI sustav ili pravne lijekove za kršenje ili prekid povezanih obveza. Ostali dijelovi istog ugovora koji nisu povezani s tim elementima ne bi trebali podlijegati testu za ispitivanje nepoštenih ugovornih odredbi utvrđenom u ovoj Uredbi.

(60 d)

Kriteriji za utvrđivanje nepoštenih ugovornih odredbi trebali bi se primjenjivati samo na pretjerane ugovorne odredbe kojima se zloupotrebljava snažniji pregovarački položaj. Velika većina ugovornih odredbi koje su komercijalno povoljnije za jednu stranu u odnosu na drugu, uključujući one koje su uobičajene u ugovorima među poduzećima, uobičajen su izraz načela ugovorne slobode te se i dalje primjenjuju. Ako se ugovorna odredba ne nalazi na popisu odredaba koje se uvijek smatraju nepoštenima, primjenjuje se opća odredba o nepoštenosti. U tom pogledu, odredbe navedene kao nepoštene trebale bi služiti kao mjerilo pri tumačenju opće odredbe o nepoštenosti.

(60 e)

Temeljni modeli relativno su novo postignuće, u kojem se UI modeli razvijaju iz algoritama projektiranih radi optimizacije općenitosti i raznovrsnosti izlaznih rezultata. Ti modeli često uče na širokom rasponu izvora podataka i velikim količinama podataka kako bi se izvršio širok raspon zadaća dalje u lancu, uključujući neke za koje nisu posebno razvijeni i osposobljeni. Temeljni model može biti unimodalan ili multimodalan te poučen na temelju raznih metoda kao što su nadzirano učenje ili pojačano učenje. UI sustavi sa specifičnom namjenom ili UI sustavi opće namjene mogu biti provedba temeljnog modela, što znači da se svaki temeljni model može ponovno upotrijebiti u brojnim UI sustavima koji se nalaze niže u lancu ili UI sustavima opće namjene. Ti modeli imaju sve veću važnost za mnoge aplikacije i sustave dalje u lancu.

(60 f)

U slučaju temeljnih modela koji se pružaju kao usluga, kao što je pristup API-ju, suradnja s pružateljima usluga niže u lancu trebala bi se proširiti tijekom razdoblja u kojem se ta usluga pruža i podupire kako bi se omogućilo odgovarajuće smanjenje rizika, osim ako dobavljač temeljnog modela ne prenese model za učenje te opširne i odgovarajuće informacije o skupovima podataka i procesu razvoja sustava ili ograniči uslugu, kao što je pristup API-ju, na način da dobavljač niže u lancu može u potpunosti poštovati ovu Uredbu bez daljnje potpore izvornog dobavljača temeljnog modela.

(60 g)

S obzirom na prirodu i složenost lanca vrijednosti UI sustava, ključno je pojasniti ulogu aktera koji doprinose razvoju UI sustava. Postoji znatna nesigurnost u pogledu načina na koji će se razvijati temeljni modeli, kako u smislu tipologije modela tako i u smislu samoupravljanja. Stoga je ključno pojasniti pravnu situaciju dobavljača temeljnih modela. U kombinaciji s njihovom složenošću i neočekivanim učinkom, nedostatkom kontrole dobavljača umjetne inteligencije na kraju proizvodnog lanca nad razvojem temeljnog modela i posljedičnom neravnotežom moći te kako bi se osigurala pravedna podjela odgovornosti duž vrijednosnog lanca umjetne inteligencije, takvi bi modeli trebali podlijegati razmjernim i konkretnijim zahtjevima i obvezama u skladu s ovom Uredbom, odnosno temeljni modeli trebali bi procjenjivati i smanjivati moguće rizike i štete odgovarajućim projektiranjem, ispitivanjem i analizom, trebali bi provoditi mjere upravljanja podacima, uključujući procjenu pristranosti, te bi trebali biti u skladu s tehničkim zahtjevima u pogledu projektiranja kako bi se osigurale odgovarajuće razine učinkovitosti, predvidljivosti, mogućnosti tumačenja, mogućnosti ispravka, sigurnosti i kibersigurnosti te bi trebali biti u skladu s okolišnim normama. Te bi obveze trebale biti popraćene normama. Osim toga, temeljni modeli trebali bi imati obvezu informiranja i pripremiti svu potrebnu tehničku dokumentaciju kako bi potencijalni dobavljači niže u lancu mogli ispuniti svoje obveze na temelju ove Uredbe. Generativni temeljni modeli trebali bi osigurati transparentnost u pogledu činjenice da sadržaj generira UI sustav, a ne čovjek. Ti konkretni zahtjevi i obveze ne dovode do toga da se temeljni modeli smatraju visokorizičnim UI sustavima, ali bi se njima trebalo jamčiti postizanje ciljeva ove Uredbe radi osiguranja visoke razine zaštite temeljnih prava, zdravlja i sigurnosti, okoliša, demokracije i vladavine prava. Prethodno poučeni modeli razvijeni za uži, manje općenit i ograničeniji skup primjena koji se ne mogu prilagoditi za širok raspon zadaća kao što su jednostavni višenamjenski UI sustavi ne bi se trebali smatrati temeljnim modelima za potrebe ove Uredbe, zbog njihove veće mogućnosti tumačenja koja njihovo ponašanje čini manje nepredvidivim.

(60 h)

S obzirom na prirodu temeljnih modela, stručno znanje u ocjenjivanju sukladnosti nepotpuno je, a revizijske metode trećih strana još uvijek su u fazi razvoja. Stoga sam sektor razvija nove načine za ocjenjivanje temeljnih modela kojima se djelomično ispunjava cilj revizije (kao što su evaluacija modela, „simulacija napada” (eng. red-teaming) ili tehnike provjere i vrednovanja strojnog učenja). To interno ocjenjivanje temeljnih modela trebalo bi biti široko primjenjivo (npr. neovisno o distribucijskim kanalima, modalitetu, metodama razvoja) kako bi se riješili rizici specifični za takve modele, uzimajući u obzir najsuvremenije prakse u industriji, te bi trebalo biti usmjereno na razvoj dostatnog tehničkog razumijevanja i kontrole nad modelom, upravljanje razumno predvidljivim rizicima te opsežnu analizu i ispitivanje modela s pomoću odgovarajućih mjera, primjerice uključivanjem neovisnih ocjenjivača. Budući da su temeljni modeli novo dostignuće u području umjetne inteligencije koje se brzo razvija, primjereno je da Komisija i Ured za umjetnu inteligenciju prate i periodično procjenjuju zakonodavni i upravljački okvir takvih modela, a posebno generativnih UI sustava koji se temelje na takvim modelima, koji sa sobom povlače bitna pitanja povezana s generiranjem sadržaja kojim se krši pravo Unije, pravilima o autorskim pravima i potencijalnom zlouporabom. Trebalo bi pojasniti da se ovom Uredbom ne bi trebalo dovoditi u pitanje pravo Unije o autorskom pravu i povezanim pravima, uključujući direktive 2001/29/EZ, 2004/48/EZ i (EU) 2019/790 Europskog parlamenta i Vijeća.

(61)

Normizacija bi trebala imati ključnu ulogu u pružanju tehničkih rješenja dobavljačima kako bi se osigurala usklađenost s ovom Uredbom. Sukladnost s usklađenim normama kako je utvrđeno u Uredbi (EU) br. 1025/2012 Europskog parlamenta i  Vijeća  (54) trebala bi biti sredstvo kojim će dobavljači dokazivati sukladnost sa zahtjevima iz ove Uredbe. Međutim, Komisija bi mogla donijeti zajedničke tehničke specifikacije za područja u  kojima ne postoje usklađene norme ili u  kojima one nisu dovoljne .

(61)

Normizacija bi trebala imati ključnu ulogu u pružanju tehničkih rješenja dobavljačima kako bi se osigurala usklađenost s ovom Uredbom. Sukladnost s usklađenim normama kako je utvrđeno u Uredbi (EU) br. 1025/2012 Europskog parlamenta i  Vijeća  (54) trebala bi biti sredstvo kojim će dobavljači dokazivati sukladnost sa zahtjevima iz ove Uredbe. Kako bi se osigurala učinkovitost normi kao alata politike za Uniju te uzimajući u  obzir važnost normi za osiguravanje usklađenosti sa zahtjevima ove Uredbe i za konkurentnost poduzeća, potrebno je osigurati uravnoteženu zastupljenost interesa uključivanjem svih relevantnih dionika u  razvoj normi. Proces normizacije trebao bi biti transparentan u pogledu pravnih i fizičkih osoba koje sudjeluju u normizacijskim aktivnostima.

(61 a)

Kako bi se olakšala usklađenost, Komisija bi trebala izdati prve zahtjeve za normizaciju najkasnije dva mjeseca nakon stupanja na snagu ove Uredbe. Time bi se trebala poboljšati pravna sigurnost, čime bi se promicala ulaganja i inovacije u području umjetne inteligencije, kao i konkurentnost i rast tržišta Unije, uz istodobno jačanje upravljanja s više dionika koje predstavlja sve relevantne europske dionike, kao što su Ured za umjetnu inteligenciju, europske organizacije i tijela za normizaciju ili skupine stručnjaka uspostavljene u skladu s relevantnim sektorskim pravom Unije te industrija, MSP-ovi, start-up poduzeća, civilno društvo, istraživači i socijalni partneri, te bi se u konačnici trebala olakšati globalna suradnja kad je riječ o normizaciji u području umjetne inteligencije na način koji je u skladu s vrijednostima Unije. Pri pripremi zahtjeva za normizaciju Komisija bi se trebala savjetovati s Uredom za umjetnu inteligenciju i Savjetodavnim forumom za umjetnu inteligenciju kako bi prikupila relevantno stručno znanje.

(61 b)

Ako su UI sustavi namijenjeni uporabi na radnome mjestu, usklađene norme trebale bi biti ograničene na tehničke specifikacije i postupke.

(61 c)

Komisija bi trebala moći donijeti zajedničke specifikacije pod određenim uvjetima ako ne postoji relevantna usklađena norma ili kako bi se riješila konkretna pitanja u vezi s temeljnim pravima. Tijekom cijelog postupka izrade nacrta, Komisija bi se trebala redovito savjetovati s Uredom za umjetnu inteligenciju i njegovim savjetodavnim forumom, europskim organizacijama i tijelima za normizaciju ili stručnim skupinama osnovanima u skladu s relevantnim pravom Unije te relevantnim dionicima, kao što su industrija, MSP-ovi, start-up poduzeća, civilno društvo, istraživači i socijalni partneri.

(61 d)

Pri donošenju zajedničkih specifikacija Komisija bi trebala težiti regulatornom usklađivanju umjetne inteligencije s globalnim partnerima sličnih stavova, što je ključno za poticanje inovacija i prekograničnih partnerstava u području umjetne inteligencije, s obzirom na to da je koordinacija s partnerima sličnih stavova u međunarodnim tijelima za normizaciju od velike važnosti.

(62)

Kako bi se osigurala visoka razina pouzdanosti visokorizičnih UI sustava, ti bi sustavi trebali podlijegati ocjenjivanju sukladnosti prije njihova stavljanja na tržište ili u uporabu.

(62)

Kako bi se osigurala visoka razina pouzdanosti visokorizičnih UI sustava, ti bi sustavi trebali podlijegati ocjenjivanju sukladnosti prije njihova stavljanja na tržište ili u uporabu. Kako bi se povećalo povjerenje u lanac vrijednosti i pružila sigurnost poduzećima u pogledu sposobnosti njihovih sustava, treće strane koje dobavljaju UI komponente mogu se dobrovoljno prijaviti za ocjenjivanje sukladnosti koje provodi treća strana.

(64)

S obzirom na bogato iskustvo profesionalnih certifikatora proizvoda prije stavljanja na tržište u području sigurnosti proizvoda i različitu prirodu uključenih rizika, primjereno je, barem u početnoj fazi primjene ove Uredbe, ograničiti područje primjene ocjenjivanja sukladnosti visokorizičnih UI sustava koje provodi treća strana, osim za one sustave koji su povezani s proizvodima. Stoga bi ocjenjivanje sukladnosti takvih sustava u pravilu trebali provoditi dobavljači na vlastitu odgovornost, osim u slučaju kad su UI sustavi namijenjeni za daljinsku biometrijsku identifikaciju osoba, za što je potrebno predvidjeti sudjelovanje prijavljenog tijela u ocjenjivanju sukladnosti, pod uvjetom da ti sustavi nisu zabranjeni.

(64)

S obzirom na složenost visokorizičnih UI sustava i s njima povezane rizike, ključno je razviti primjerenije kapacitete za primjenu ocjenjivanja sukladnosti visokorizičnih UI sustava koje provodi treća strana. Međutim, obzirom na trenutačno iskustvo profesionalnih certifikatora proizvoda prije stavljanja na tržište u području sigurnosti proizvoda i različitu prirodu uključenih rizika, primjereno je, barem u početnoj fazi primjene ove Uredbe, ograničiti područje primjene ocjenjivanja sukladnosti visokorizičnih UI sustava koje provodi treća strana, osim za one sustave koji su povezani s proizvodima. Stoga bi ocjenjivanje sukladnosti takvih sustava u pravilu trebali provoditi dobavljači na vlastitu odgovornost, osim u slučaju kad su UI sustavi namijenjeni za daljinsku biometrijsku identifikaciju osoba ili u slučaju UI sustava koji su namijenjeni za izvođenje zaključaka o osobnim obilježjima pojedinaca na temelju biometrijskih podataka ili podataka koji se temelje na biometriji, uključujući sustave za prepoznavanje emocija , za što je potrebno predvidjeti sudjelovanje prijavljenog tijela u ocjenjivanju sukladnosti, pod uvjetom da ti sustavi nisu zabranjeni.

(65)

Za ocjenjivanja sukladnosti UI sustava namijenjenih za daljinsku biometrijsku identifikaciju osoba koje provodi treća strana nacionalna nadležna tijela trebala bi na temelju ove Uredbe imenovati prijavljena tijela, pod uvjetom da ispunjavaju niz zahtjeva, ponajprije u pogledu neovisnosti, sposobnosti i nepostojanja sukoba interesa.

(65)

Za ocjenjivanja sukladnosti koje provodi treća strana kada je to potrebno, nacionalna nadležna tijela trebala bi na temelju ove Uredbe imenovati prijavljena tijela, pod uvjetom da ispunjavaju niz zahtjeva, ponajprije u pogledu neovisnosti, sposobnosti, nepostojanja sukoba interesa i minimalnih kibersigurnosnih zahtjeva . Države članice trebale bi poticati imenovanje dovoljnog broja tijela za ocjenjivanje sukladnosti kako bi certifikacija postala pravovremeno izvediva. Postupci ocjenjivanja, imenovanja, prijavljivanja i nadzora tijela za ocjenjivanje sukladnosti trebali bi se što ujednačenije provoditi u državama članicama s ciljem uklanjanja administrativnih prekograničnih prepreka i ostvarenja potencijala unutarnjeg tržišta.

(65 a)

U skladu s obvezama Unije u okviru Sporazuma Svjetske trgovinske organizacije o tehničkim preprekama u trgovini, primjereno je u najvećoj mogućoj mjeri povećati prihvaćanje dobivenih rezultata ispitivanja koje su proizvela nadležna tijela za ocjenjivanje sukladnosti, bez obzira na to na kojem području imaju poslovni nastan, kad je potrebno dokazati sukladnost s primjenjivim zahtjevima Uredbe. Komisija bi trebala aktivno istražiti moguće međunarodne instrumente u tu svrhu te posebno nastojati uspostaviti sporazume o uzajamnom priznavanju sa zemljama koje su na usporedivoj razini tehničkog razvoja i koje imaju kompatibilan pristup u pogledu umjetne inteligencije i ocjenjivanja sukladnosti.

(66)

U skladu s uvriježenim pojmom bitne izmjene za proizvode uređene zakonodavstvom Unije o usklađivanju, primjereno je da se za UI sustav provede novi postupak ocjenjivanja sukladnosti kad god nastupi promjena koja bi mogla utjecati na usklađenost sustava s ovom Uredbom ili promjena namjene sustava. Usto, kad je riječ o UI sustavima koji „uče” i nakon što su stavljeni na tržište ili u uporabu (tj. automatski prilagođavaju način obavljanja funkcija), potrebno je propisati pravila kojima se utvrđuje da se izmjene algoritma i njegovih sposobnosti koje je dobavljač unaprijed odredio i koje se ocjenjuju u trenutku ocjenjivanja sukladnosti ne bi trebale smatrati bitnom izmjenom.

(66)

U skladu s uvriježenim pojmom bitne izmjene za proizvode uređene zakonodavstvom Unije o usklađivanju, primjereno je da se za visokorizični UI sustav provede novi postupak ocjenjivanja sukladnosti kad god nastupi neplanirana promjena koja nadilazi kontrolirane ili predviđene promjene od strane dobavljača, uključujući kontinuirano učenje, i koja bi mogla dovesti do novog neprihvatljivog rizika i znatno utjecati na usklađenost visokorizičnog UI sustava s ovom Uredbom ili promjena namjene sustava. Usto, kad je riječ o UI sustavima koji „uče” i nakon što su stavljeni na tržište ili u uporabu (tj. automatski prilagođavaju način obavljanja funkcija), potrebno je propisati pravila kojima se utvrđuje da se izmjene algoritma i njegovih sposobnosti koje je dobavljač unaprijed odredio i koje se ocjenjuju u trenutku ocjenjivanja sukladnosti ne bi trebale smatrati bitnom izmjenom. Isto bi se trebalo primjenjivati na ažuriranja UI sustava općenito iz sigurnosnih razloga i radi zaštite od rastućih prijetnji manipulacijom sustava, pod uvjetom da ona ne dovode do bitnih izmjena.

(67)

Visokorizični UI sustavi trebali bi nositi oznaku CE koja upućuje na njihovu sukladnost s ovom Uredbom kako bi se mogli slobodno kretati na unutarnjem tržištu. Države članice ne bi trebale stvarati neopravdane zapreke stavljanju na tržište ili u uporabu visokorizičnih UI sustava koji ispunjavaju zahtjeve utvrđene ovom Uredbom i nose oznaku CE.

(67)

Visokorizični UI sustavi trebali bi nositi oznaku CE koja upućuje na njihovu sukladnost s ovom Uredbom kako bi se mogli slobodno kretati na unutarnjem tržištu. Kad je riječ o fizičkim visokorizičnim UI sustavima, fizička oznaka CE trebala bi biti pričvršćena na njih te se može dopuniti digitalnom oznakom CE. Za isključivo digitalne visokorizične UI sustave trebalo bi upotrebljavati digitalnu oznaku CE. Države članice ne bi trebale stvarati neopravdane zapreke stavljanju na tržište ili u uporabu visokorizičnih UI sustava koji ispunjavaju zahtjeve utvrđene ovom Uredbom i nose oznaku CE.

(68)

U određenim okolnostima brza dostupnost inovativnih tehnologija može biti ključna za zdravlje i sigurnost osoba te za društvo u cjelini. Stoga je primjereno da u iznimnim okolnostima povezanima s javnom sigurnošću ili zaštitom života i zdravlja pojedinaca te zaštitom industrijskog i trgovačkog vlasništva države članice mogu odobriti stavljanje na tržište ili u uporabu UI sustava za koje nije proveden postupak ocjenjivanja sukladnosti.

(68)

U određenim okolnostima brza dostupnost inovativnih tehnologija može biti ključna za zdravlje i sigurnost osoba , okoliš i klimatske promjene te za društvo u cjelini. Stoga je primjereno da u iznimnim okolnostima povezanima sa zaštitom života i zdravlja pojedinaca , zaštitom okoliša te zaštitom kritične infrastrukture države članice mogu odobriti stavljanje na tržište ili u uporabu UI sustava za koje nije proveden postupak ocjenjivanja sukladnosti.

(69)

Kako bi se olakšao rad Komisije i država članica u području umjetne inteligencije te povećala transparentnost prema javnosti, od dobavljača visokorizičnih UI sustava koji nisu povezani s proizvodima obuhvaćenima relevantnim postojećim zakonodavstvom Unije o usklađivanju trebalo bi zahtijevati da registriraju svoj visokorizični UI sustav u bazi podataka EU-a, koju će uspostaviti i voditi Komisija. Komisija bi trebala biti voditelj obrade za tu bazu podataka, u skladu s Uredbom (EU) 2018/1725 Europskog parlamenta i Vijeća (55). Kako bi ta baza bila posve funkcionalna od puštanja u rad, postupak njezina uspostavljanja trebao bi uključivati razradu funkcionalnih specifikacija, što je Komisijina zadaća, te neovisno revizorsko izvješće.

(69)

Kako bi se olakšao rad Komisije i država članica u području umjetne inteligencije te povećala transparentnost prema javnosti, od dobavljača visokorizičnih UI sustava koji nisu povezani s proizvodima obuhvaćenima relevantnim postojećim zakonodavstvom Unije o usklađivanju trebalo bi zahtijevati da registriraju svoj visokorizični UI sustav i temeljne modele u bazi podataka EU-a, koju će uspostaviti i voditi Komisija. Ta bi baza podataka trebala biti besplatno i javno dostupna, lako razumljiva i strojno čitljiva. Baza podataka također bi trebala biti prilagođena korisnicima i jednostavna za snalaženje, s funkcijama pretraživanja koje bi barem trebale široj javnosti omogućiti pretraživanje baze podataka s obzirom na posebne visokorizične sustave, lokacije, kategorije rizika u skladu s Prilogom IV. i ključne riječi. Subjekti koji primjenjuju UI sustave, a koji su javna tijela ili institucije, tijela, uredi i agencije Unije ili subjekti koji primjenjuju UI sustave, a koji djeluju u njihovo ime i subjekti koji primjenjuju UI sustave, a koji su poduzetnici određeni kao nadzornici pristupa na temelju Uredbe (EU) 2022/1925 trebali bi se također registrirati u bazi podataka EU-a prije stavljanja u uporabu ili prije prve uporabe visokorizičnog UI sustava te nakon svake bitne izmjene. Ostali subjekti koji primjenjuju UI sustave trebali bi imati pravo to učiniti dobrovoljno. Svaka bitna izmjena visokorizičnih UI sustava također se registrira u bazi podataka EU-a. Komisija bi trebala biti voditelj obrade za tu bazu podataka, u skladu s Uredbom (EU) 2018/1725 Europskog parlamenta i Vijeća (55). Kako bi ta baza bila posve funkcionalna od puštanja u rad, postupak njezina uspostavljanja trebao bi uključivati razradu funkcionalnih specifikacija, što je Komisijina zadaća, te neovisno revizorsko izvješće. Komisija bi pri obavljanju svojih zadaća voditelja obrade podataka u bazi podataka EU-a trebala uzeti u obzir rizike povezane s kibersigurnošću i opasnostima. Kako bi se maksimalno povećale dostupnost i uporaba baze podataka u javnosti, baza podataka, uključujući podatke koji su u njoj dostupni, trebala bi ispunjavati zahtjeve iz Direktive 2019/882.

(71)

Umjetna inteligencija skup je tehnologija koje se vrlo brzo razvijaju, što zahtijeva nove oblike regulatornog nadzora i  siguran prostor za eksperimentiranje, a da se pritom inovacije razvijaju na odgovoran način te da se integriraju odgovarajuće zaštitne mjere i mjere za smanjenje rizika. Kako bi se osigurao pravni okvir koji je otvoren prema inovacijama, spreman za buduće promjene i otporan na poremećaje, nacionalna nadležna tijela jedne ili više država članica trebalo bi poticati da uspostave regulatorno izolirano okruženje za umjetnu inteligenciju radi lakšeg razvoja i testiranja inovativnih UI sustava pod strogim regulatornim nadzorom prije stavljanja tih sustava na tržište ili u uporabu.

(71)

Umjetna inteligencija skup je tehnologija koje se vrlo brzo razvijaju, što zahtijeva regulatorni nadzor i siguran i  kontroliran prostor za eksperimentiranje, a da se pritom inovacije razvijaju na odgovoran način te da se integriraju odgovarajuće zaštitne mjere i mjere za smanjenje rizika. Kako bi se osigurao pravni okvir kojim se promiču inovacije te koji je spreman za buduće promjene i otporan na poremećaje, države članice trebale bi uspostaviti barem jedno regulatorno izolirano okruženje za umjetnu inteligenciju radi lakšeg razvoja i testiranja inovativnih UI sustava pod strogim regulatornim nadzorom prije stavljanja tih sustava na tržište ili u uporabu. Poželjno je da, kao sljedeći korak, uspostava regulatornih izoliranih okruženja, koja je trenutačno prepuštena na izbor državama članicama, postane obvezna s utvrđenim kriterijima. To bi se obvezno izolirano okruženje moglo uspostaviti i zajedno s jednom ili više drugih država članica, pod uvjetom da se tim izoliranim okruženjem obuhvati odgovarajuća nacionalna razina uključenih država članica. Dodatna izolirana okruženja mogu se uspostaviti i na različitim razinama, uključujući među državama članicama, kako bi se olakšala prekogranična suradnja i sinergije. Uz iznimku obveznog izoliranog okruženja na nacionalnoj razini, države članice trebale bi moći uspostaviti i virtualna ili hibridna izolirana okruženja. Sva regulatorna izolirana okruženja trebala bi moći prihvatiti i fizičke i virtualne proizvode. Tijela nadležna za uspostavu trebala bi osigurati i da regulatorna izolirana okruženja imaju odgovarajuće financijske i ljudske resurse kako bi mogla funkcionirati.

(72)

Ciljevi regulatornih izoliranih okruženja trebali bi biti poticanje inovacija u području umjetne inteligencije uspostavom kontroliranog okruženja za eksperimentiranje i testiranje u fazi razvoja i  prije stavljanja na tržište s ciljem da se: osigura usklađenost inovativnih UI sustava s ovom Uredbom i drugim relevantnim zakonodavstvom Unije i država članica, poveća pravna sigurnost za inovatore, poboljša nadzor nadležnih tijela i  njihovo razumijevanje mogućnosti, novih rizika i  učinaka uporabe umjetne inteligencije te ubrza pristup tržištima, među ostalim uklanjanjem zapreka za mala i srednja poduzeća (MSP-ovi) te novoosnovana (start-up) poduzeća. Radi ujednačene provedbe u cijeloj Uniji i ekonomije razmjera, primjereno je uspostaviti zajednička pravila za primjenu regulatornih izoliranih okruženja i okvir za suradnju relevantnih tijela uključenih u  nadzor izoliranih okruženja . Ovom bi se Uredbom trebala dati pravna osnova za uporabu osobnih podataka prikupljenih u druge svrhe za razvoj određenih UI sustava u javnom interesu u regulatornom izoliranom okruženju za umjetnu inteligenciju, u skladu s člankom 6. stavkom 4. Uredbe (EU) 2016/679 i člankom 6. Uredbe (EU) 2018/1725, i  ne dovodeći u pitanje članak 4. stavak 2. Direktive (EU) 2016/680. Sudionici u izoliranom okruženju trebali bi osigurati odgovarajuće zaštitne mjere i surađivati s nadležnim tijelima, među ostalim tako da slijede njihove smjernice, postupaju žurno i u dobroj vjeri kako bi se smanjili bilo kakvi veliki rizici za sigurnost i temeljna prava mogući tijekom razvoja i eksperimentiranja u izoliranom okruženju. Nadležna tijela trebala bi uzeti u obzir ponašanje sudionika u izoliranom okruženju kad odlučuju o izricanju upravne novčane kazne na temelju članka 83. stavka 2. Uredbe 2016/679 i članka 57. Direktive (EU) 2016/680.

(72)

Ciljevi regulatornih izoliranih okruženja trebali bi biti sljedeći: povećati razumijevanje tehničkog razvoja unutar tijela nadležnih za uspostavu, poboljšati njihove metode nadzora i  omogućiti im da pruže smjernice programerima i dobavljačima UI sustava za postizanje regulatorne usklađenosti s ovom Uredbom ili, prema potrebi, s drugim zakonodavstvom Unije i država članica, kao i Poveljom o temeljnim pravima; potencijalnim dobavljačima omogućiti i  olakšati testiranje i  razvoj inovativnih rješenja povezanih s UI sustavima u fazi prije stavljanja na tržište kako bi se povećala pravna sigurnost; tijelima nadležnim za uspostavu omogućiti više regulatornog učenja u kontroliranom okruženju kako bi se razvile bolje smjernice i kako bi se utvrdila moguća buduća poboljšanja pravnog okvira u  sklopu redovnog zakonodavnog postupka . Ako se tijekom razvoja i testiranja takvih UI sustava uoče znatni rizici, ti bi se rizici trebali odmah smanjiti, a ako to nije moguće, treba se prekinuti postupak razvoja i testiranja sve dok se oni ne smanje. Radi ujednačene provedbe u cijeloj Uniji i  ekonomije razmjera, primjereno je uspostaviti zajednička pravila za primjenu regulatornih izoliranih okruženja i okvir za suradnju relevantnih tijela uključenih u nadzor izoliranih okruženja. Države članice trebale bi osigurati široku dostupnost regulatornih izoliranih okruženja diljem Unije, a sudjelovanje bi trebalo ostati dobrovoljno. Posebno je važno osigurati da MSP-ovi i start-up poduzeća kao mogu lako pristupiti tim izoliranim okruženjima te da su aktivno uključeni i da sudjeluju u  razvoju i testiranju inovativnih UI sustava kako bi mogli doprinijeti svojim znanjem i  iskustvom .

(72 a)

Ova bi Uredba trebala poslužiti kao pravna osnova za uporabu osobnih podataka prikupljenih u druge svrhe za razvoj određenih UI sustava u javnom interesu u regulatornom izoliranom okruženju za umjetnu inteligenciju, samo pod određenim uvjetima u skladu s člankom 6. stavkom 4. Uredbe (EU) 2016/679 i člankom 6. Uredbe (EU) 2018/1725, i ne dovodeći u pitanje članak 4. stavak 2. Direktive (EU) 2016/680. Potencijalni dobavljači u izoliranom okruženju trebali bi osigurati odgovarajuće zaštitne mjere i surađivati s nadležnim tijelima, među ostalim tako da slijede njihove smjernice, postupaju žurno i u dobroj vjeri kako bi se smanjili bilo kakvi veliki rizici za sigurnost, zdravlje, okoliš i temeljna prava koji se mogu pojaviti tijekom razvoja i eksperimentiranja u izoliranom okruženju. Nadležna tijela trebala bi uzeti u obzir ponašanje potencijalnih dobavljača u izoliranom okruženju kad odlučuju o privremenoj ili stalnoj suspenziji njihova sudjelovanja u izoliranom okruženju ili izricanju upravne novčane kazne na temelju članka 83. stavka 2. Uredbe 2016/679 i članka 57. Direktive (EU) 2016/680.

(72 b)

Kako bi se osiguralo da umjetna inteligencija dovodi do društveno i okolišno korisnih rezultata, države članice trebale bi podupirati i promicati istraživanje i razvoj umjetne inteligencije radi potpore takvim rezultatima dodjelom dostatnih sredstava, uključujući javno financiranje i financiranje Unije, te davanjem prednosti projektima pod vodstvom civilnog društva u pristupu regulatornim izoliranim okruženjima. Takvi bi se projekti trebali temeljiti na načelu interdisciplinarne suradnje među programerima umjetne inteligencije, stručnjacima za nejednakost i nediskriminaciju, prava pristupa i potrošačka, okolišna i digitalna prava te akademskom zajednicom.

(73)

Kako bi se promicale i štitile inovacije, posebno je važno uzeti u obzir interese malih dobavljača i korisnika UI sustava. Radi toga bi države članice trebale osmisliti inicijative usmjerene na te operatere, među ostalim u pogledu širenja svijesti i informiranja. Usto, prijavljena tijela trebala bi uzeti u obzir posebne interese i potrebe malih dobavljača kad određuju naknade za ocjenjivanje sukladnosti. Dobavljači i drugi operateri, posebno oni manje , mogu imati znatne troškove prijevoda obvezne dokumentacije i komunikacije s tijelima. Države članice trebale bi možda osigurati da jedan od jezika koji odrede i prihvaćaju za relevantnu dokumentaciju dobavljača i komunikaciju s operaterima bude jedan od jezika koji općenito razumije najveći mogući broj prekograničnih korisnika.

(73)

Kako bi se promicale i štitile inovacije, posebno je važno uzeti u obzir interese malih dobavljača i korisnika UI sustava. Radi toga bi države članice trebale osmisliti inicijative usmjerene na te operatere, među ostalim u pogledu pismenosti u području umjetne inteligencije, širenja svijesti i informiranja. Države članice koriste postojeće kanale i, prema potrebi, uspostavljaju nove namjenske kanale za komunikaciju s MSP-ovima, start-up poduzećima, korisnicima i drugim inovatorima radi pružanja smjernica i odgovaranja na upite o provedbi ove Uredbe. Ti postojeći kanali mogli bi uključivati, ali nisu ograničeni na, timove za odgovor na računalne sigurnosne incidente ENISA-e, nacionalne agencije za zaštitu podataka, platformu za umjetnu inteligenciju na zahtjev, europske centre za digitalne inovacije i druge relevantne instrumente koji se financiraju iz programâ EU-a te centre za testiranje i eksperimentiranje koje su Komisija i države članice uspostavile na nacionalnoj razini ili razini Unije. Prema potrebi, kanali surađuju kako bi se stvorile sinergije i osigurala homogenost smjernica za start-up poduzeća, MSP-ove i korisnike. Usto, prijavljena tijela trebala bi uzeti u obzir posebne interese i potrebe malih dobavljača kad određuju naknade za ocjenjivanje sukladnosti. Komisija redovito ocjenjuje troškove certifikacije i usklađivanja za MSP-ove i start-up poduzeća, među ostalim transparentnim savjetovanjem s MSP-ovima, start-up poduzećima i korisnicima, te surađuje s državama članicama radi smanjenja takvih troškova. Na primjer, dobavljači i drugi operateri, posebno oni manji , mogu imati znatne troškove prijevoda obvezne dokumentacije i komunikacije s tijelima. Države članice trebale bi možda osigurati da jedan od jezika koji odrede i prihvaćaju za relevantnu dokumentaciju dobavljača i komunikaciju s operaterima bude jedan od jezika koji općenito razumije najveći mogući broj prekograničnih korisnika. Poduzeća koja su nedavno prešla iz kategorije malih u kategoriju srednjih poduzeća u skladu s Prilogom Preporuci 2003/361/EZ (članak 16.) trebala bi imati pristup tim inicijativama i smjernicama tijekom vremenskog razdoblja koje države članice smatraju primjerenim jer bi tim novim srednjim poduzećima ponekad mogli nedostajati pravni resursi i znanje potrebni za jamčenje pravilnog razumijevanja i ispunjavanja odredbi.

(74)

Kako bi se rizici za provedbu koji proizlaze iz nedostatka znanja i iskustva na tržištu sveli na najmanju moguću mjeru te kako bi se dobavljačima i prijavljenim tijelima olakšalo ispunjavanje obveza iz ove Uredbe, Komisija i države članice trebale bi pridonijeti njezinoj provedbi uspostavom platforme za umjetnu inteligenciju na zahtjev, europskih centara za digitalne inovacije te centara za testiranje i eksperimentiranje na nacionalnoj razini ili razini EU-a. U okviru svojih misija i područja kompetentnosti ponajprije mogu pružati tehničku i znanstvenu potporu dobavljačima i prijavljenim tijelima.

(76)

Kako bi se olakšala nesmetana , učinkovita i usklađena provedba ove Uredbe, trebalo bi uspostaviti Europski odbor za umjetnu inteligenciju. Odbor bi trebao biti odgovoran za niz savjetodavnih zadaća, uključujući davanje mišljenja, preporuka, savjeta ili smjernica o pitanjima povezanima s provedbom ove Uredbe , među ostalim o tehničkim specifikacijama ili postojećim normama povezanima sa zahtjevima iz ove Uredbe , te za davanje savjeta i  pomaganje Komisiji u  vezi sa specifičnim pitanjima koja se odnose na umjetnu inteligenciju.

(76)

Kako bi se izbjegla rascjepkanost, osiguralo optimalno funkcioniranje jedinstvenog tržišta , osigurala učinkovita i usklađena provedba ove Uredbe, postigla visoka razina vjerodostojnosti i zaštite zdravlja, sigurnosti, temeljnih prava, okoliša, demokracije i vladavine prava diljem Unije u pogledu UI sustava, aktivno pružila potpora nacionalnim nadzornim tijelima te institucijama, tijelima, uredima i agencijama Unije u pitanjima koja se odnose na ovu Uredbu te smanjila fragmentacija unutarnjeg tržišta i povećalo prihvaćanje umjetne inteligencije u cijeloj Uniji, trebalo bi uspostaviti Ured Europske unije za umjetnu inteligenciju. Ured za umjetnu inteligenciju trebao bi imati pravnu osobnost, djelovati potpuno neovisno, biti odgovoran za niz savjetodavnih i koordinacijskih zadaća, uključujući davanje mišljenja, preporuka, savjeta ili smjernica o pitanjima povezanima s provedbom ove Uredbe te bi trebao raspolagati odgovarajućim financijskim sredstvima i osobljem. Države članice trebale bi osigurati strateško usmjeravanje i kontrolu Ureda za umjetnu inteligenciju putem upravnog odbora Ureda za umjetnu inteligenciju, zajedno s Komisijom, Europskim nadzornikom za zaštitu podataka, Agencijom za temeljna prava i ENISA-om. Izvršni direktor trebao bi biti odgovoran za upravljanje aktivnostima tajništva Ureda za umjetnu inteligenciju i za njegovo zastupanje. Dionici bi trebali formalno sudjelovati u radu Ureda za umjetnu inteligenciju putem savjetodavnog foruma koji bi trebao osigurati raznoliku i uravnoteženu zastupljenost dionika i savjetovati Ured za umjetnu inteligenciju o pitanjima koja se odnose na ovu Uredbu. U slučaju da se pokaže da osnivanje Ureda za umjetnu inteligenciju nije dovoljno za osiguravanje potpuno dosljedne primjene ove Uredbe na razini Unije i učinkovitih prekograničnih provedbenih mjera, trebalo bi razmotriti osnivanje agencije za umjetnu inteligenciju.

(77)

Države članice imaju ključnu ulogu u primjeni i provedbi ove Uredbe. Svaka bi država članica zato trebala odrediti jedno ili više nacionalnih nadležnih tijela za potrebe nadziranja primjene i provedbe ove Uredbe . Kako bi se povećala učinkovitost organizacije u državama članicama i uspostavila službena kontaktna točka za javne i druge partnere na razini država članica i Unije , u svakoj bi državi članici jedno nacionalno tijelo trebalo imenovati kao nacionalno nadzorno tijelo .

(77)

Svaka bi država članica trebala odrediti nacionalno nadzorno tijelo za potrebe nadziranja primjene i provedbe ove Uredbe. Ono bi također trebalo predstavljati svoju državu članicu u upravnom odboru Ureda za umjetnu inteligenciju . Kako bi se povećala učinkovitost organizacije u državama članicama i uspostavila službena kontaktna točka za javne i druge partnere na razini država članica i Unije . Svako nacionalno nadzorno tijelo trebalo bi djelovati potpuno neovisno pri obavljanju svojih dužnosti i izvršavanju svojih ovlasti u skladu s ovom Uredbom .

(77 a)

Nacionalna nadzorna tijela trebala bi pratiti primjenu odredaba u skladu s ovom Uredbom i pridonositi njezinoj dosljednoj primjeni u cijeloj Uniji. U tu bi svrhu nacionalna nadzorna tijela trebala surađivati međusobno, s relevantnim nacionalnim nadležnim tijelima, Komisijom i Uredom za umjetnu inteligenciju.

(77 b)

Član ili osoblje svakog nacionalnog nadzornog tijela trebali bi, u skladu s pravom Unije ili nacionalnim pravom, podlijegati obvezi čuvanja profesionalne tajne i za vrijeme svojeg mandata i nakon njegova završetka, s obzirom na sve povjerljive informacije koje doznaju tijekom obavljanja svojih dužnosti ili izvršavanja svojih ovlasti. Tijekom njihovog mandata ta bi se dužnost čuvanja profesionalne tajne trebala posebno primjenjivati na izvješćivanje od strane pojedinaca o kršenjima ove Uredbe.

(78)

Kako bi dobavljači visokorizičnih UI sustava mogli uzeti u obzir iskustvo stečeno uporabom visokorizičnih UI sustava za poboljšanje svojih sustava te za projektiranje i razvoj ili kako bi mogli pravovremeno poduzeti korektivne mjere, svi bi dobavljači trebali uspostaviti sustav praćenja nakon stavljanja na tržište. Taj je sustav ključan i za učinkovitije i pravodobnije poduzimanje mjera povezanih s mogućim rizicima od UI sustava koji „uče” i nakon što su stavljeni na tržište ili u uporabu. U tom bi kontekstu od dobavljača trebalo zahtijevati i da uspostave sustav za prijavljivanje relevantnim tijelima svih ozbiljnih incidenata ili povreda nacionalnog prava i prava Unije kojima se štite temeljna prava koji su posljedica uporabe njihovih UI sustava.

(78)

Kako bi dobavljači visokorizičnih UI sustava mogli uzeti u obzir iskustvo stečeno uporabom visokorizičnih UI sustava za poboljšanje svojih sustava te za projektiranje i razvoj ili kako bi mogli pravovremeno poduzeti korektivne mjere, svi bi dobavljači trebali uspostaviti sustav praćenja nakon stavljanja na tržište. Taj je sustav ključan i za učinkovitije i pravodobnije poduzimanje mjera povezanih s mogućim rizicima od UI sustava koji „uče” ili se razvijaju i nakon što su stavljeni na tržište ili u uporabu. U tom bi kontekstu od dobavljača trebalo zahtijevati i da uspostave sustav za prijavljivanje relevantnim tijelima svih ozbiljnih incidenata ili povreda nacionalnog prava i prava Unije , uključujući prav kojim se štite temeljna prava i prava potrošača, koji su posljedica uporabe njihovih UI sustava, te da poduzmu odgovarajuće korektivne mjere . Subjekti koji primjenjuju te sustave također bi trebali izvješćivati relevantna tijela o svim ozbiljnim incidentima ili povredama nacionalnog prava i prava Unije koji su posljedica uporabe njihovog UI sustava kada saznaju za takve ozbiljne incidente ili povrede.

(79)

Kako bi se osigurala odgovarajuća i učinkovita provedba zahtjeva i obveza utvrđenih ovom Uredbom, odnosno zakonodavstvom Unije o usklađivanju, u cijelosti bi se trebao primjenjivati sustav nadzora tržišta i sukladnosti proizvoda uspostavljen Uredbom (EU) 2019/1020. Ako je to potrebno za njihov mandat, pristup svoj dokumentaciji izrađenoj na temelju ove Uredbe trebala bi imati i nacionalna tijela javne vlasti ili javnopravna tijela koja nadziru primjenu prava Unije o zaštiti temeljnih prava, uključujući tijela za ravnopravnost.

(79)

Kako bi se osigurala odgovarajuća i učinkovita provedba zahtjeva i obveza utvrđenih ovom Uredbom, odnosno zakonodavstvom Unije o usklađivanju, u cijelosti bi se trebao primjenjivati sustav nadzora tržišta i sukladnosti proizvoda uspostavljen Uredbom (EU) 2019/1020. Za potrebe ove Uredbe nacionalna nadzorna tijela trebala bi djelovati kao tijela za nadzor tržišta za UI sustave obuhvaćene ovom Uredbom, osim za UI sustave obuhvaćene Prilogom II. ovoj Uredbi. Za UI sustave obuhvaćene pravnim aktima navedenima u Prilogu II. nadležna tijela utvrđena na temelju tih pravnih akata trebala bi ostati vodeća tijela. Nacionalna nadzorna tijela i nadležna tijela iz pravnih akata navedenih u Prilogu II. trebala bi surađivati kad god je to potrebno. Prema potrebi, nadležna tijela iz pravnih akata navedenih u Prilogu II. trebala bi nacionalnom nadzornom tijelu poslati kvalificirano osoblje kako bi mu pomoglo u obavljanju njegovih zadaća. Za potrebe ove Uredbe nacionalna nadzorna tijela trebala bi imati iste ovlasti i obveze kao i tijela za nadzor tržišta na temelju Uredbe (EU) 2019/1020. Ako je to potrebno za njihov mandat, pristup svoj dokumentaciji izrađenoj na temelju ove Uredbe trebala bi imati i nacionalna tijela javne vlasti ili javnopravna tijela koja nadziru primjenu prava Unije o zaštiti temeljnih prava, uključujući tijela za ravnopravnost. Nakon što iscrpi sve druge razumne načine ocjenjivanja/provjere sukladnosti te na temelju obrazloženog zahtjeva, nacionalnom nadzornom tijelu trebalo bi odobriti pristup skupovima podataka za učenje, validaciju i testiranje, poučenom modelu i modelu za učenje visokorizičnog UI sustava, uključujući njegove relevantne parametre modela i njihovo okruženje za funkcioniranje/rad. U slučajevima jednostavnijih softverskih sustava obuhvaćenih ovom Uredbom koji se ne temelje na poučenim modelima, te ako su iscrpljeni svi drugi načini provjere sukladnosti, nacionalno nadzorno tijelo iznimno može, na temelju obrazloženog zahtjeva, dobiti pristup izvornom kodu. Ako je nacionalnom nadzornom tijelu odobren pristup skupovima podataka za učenje, validaciju i testiranje u skladu s ovom Uredbom, takav bi se pristup trebao ostvariti odgovarajućim tehničkim sredstvima i alatima, uključujući pristup na licu mjesta te, u iznimnim okolnostima, daljinski pristup. Nacionalno nadzorno tijelo trebalo bi sa svim informacijama, uključujući izvorni kod, softver i, ako je primjenjivo, podatke, postupati kao s povjerljivim informacijama i poštovati relevantno pravo Unije o zaštiti intelektualnog vlasništva i poslovnih tajni. Nacionalno nadzorno tijelo trebalo bi po završetku istrage izbrisati sve pribavljene informacije.

(80)

Zakonodavstvo Unije o financijskim uslugama uključuje pravila i zahtjeve o internom upravljanju i upravljanju rizikom koji se primjenjuju na regulirane financijske institucije pri pružanju tih usluga, među ostalim kad upotrebljavaju UI sustave. Kako bi se osigurala dosljedna primjena i provedba obveza iz ove Uredbe te relevantnih pravila i zahtjeva iz zakonodavstva Unije o financijskim uslugama, tijela odgovorna za nadzor i provedbu zakonodavstva o financijskim uslugama, uključujući prema potrebi Europsku središnju banku, trebala bi biti imenovana nadležnim tijelima za potrebe nadziranja provedbe ove Uredbe, uključujući aktivnosti nadzora tržišta, kad je riječ o UI sustavima koje pružaju ili upotrebljavaju financijske institucije koje su regulirane i pod nadzorom. Kako bi se dodatno poboljšala usklađenost ove Uredbe i pravila koja se primjenjuju na kreditne institucije regulirane na temelju Direktive 2013/36/EU Europskog parlamenta i Vijeća (56), primjereno je i integrirati postupak ocjenjivanja sukladnosti i neke od postupovnih obveza dobavljača povezanih s upravljanjem rizikom, praćenjem nakon stavljanja na tržište i vođenjem dokumentacije u postojeće obveze i postupke na temelju Direktive 2013/36/EU. Kako bi se izbjegla preklapanja, trebalo bi predvidjeti i ograničena odstupanja u pogledu dobavljačkih sustava upravljanja kvalitetom i obveze praćenja za korisnike visokorizičnih UI sustava u mjeri u kojoj se primjenjuju na kreditne institucije uređene Direktivom 2013/36/EU.

(80)

Pravo Unije o financijskim uslugama uključuje pravila i zahtjeve o internom upravljanju i upravljanju rizikom koji se primjenjuju na regulirane financijske institucije pri pružanju tih usluga, među ostalim kad upotrebljavaju UI sustave. Kako bi se osigurala dosljedna primjena i provedba obveza iz ove Uredbe te relevantnih pravila i zahtjeva iz prava Unije o financijskim uslugama, nadležna tijela odgovorna za nadzor i provedbu prava o financijskim uslugama, uključujući prema potrebi Europsku središnju banku, trebala bi biti imenovana nadležnim tijelima za potrebe nadziranja provedbe ove Uredbe, uključujući aktivnosti nadzora tržišta, kad je riječ o UI sustavima koje pružaju ili upotrebljavaju financijske institucije koje su regulirane i pod nadzorom. Kako bi se dodatno poboljšala usklađenost ove Uredbe i pravila koja se primjenjuju na kreditne institucije regulirane na temelju Direktive 2013/36/EU Europskog parlamenta i Vijeća (56), primjereno je i integrirati postupak ocjenjivanja sukladnosti i neke od postupovnih obveza dobavljača povezanih s upravljanjem rizikom, praćenjem nakon stavljanja na tržište i vođenjem dokumentacije u postojeće obveze i postupke na temelju Direktive 2013/36/EU. Kako bi se izbjegla preklapanja, trebalo bi predvidjeti i ograničena odstupanja u pogledu dobavljačkih sustava upravljanja kvalitetom i obveze praćenja za subjekte koji primjenjuju visokorizične UI sustave u mjeri u kojoj se primjenjuju na kreditne institucije uređene Direktivom 2013/36/EU.

(80 a)

S obzirom na ciljeve ove Uredbe, odnosno osiguravanje jednakovrijedne razine zaštite zdravlja, sigurnosti i temeljnih prava pojedinaca, osiguravanje zaštite vladavine prava i demokracije, te uzimajući u obzir da se ublažavanje rizika koje UI sustavi predstavljaju za takva prava možda ne može u dovoljnoj mjeri ostvariti na nacionalnoj razini ili bi moglo biti podložno različitim tumačenjima, što bi u konačnici moglo dovesti do neujednačene razine zaštite pojedinaca i dovesti do fragmentacije tržišta, nacionalna nadzorna tijela trebalo bi ovlastiti za provođenje zajedničkih istraga ili oslanjanje na zaštitni postupak Unije predviđen ovom Uredbom u svrhu učinkovite provedbe. Zajedničke istrage trebalo bi pokrenuti ako nacionalna nadzorna tijela imaju dovoljno razloga da smatraju da povreda ove Uredbe predstavlja raširenu povredu ili raširenu povredu s dimenzijom Unije ili ako UI sustav ili temeljni model predstavlja rizik koji utječe ili je vjerojatno da će utjecati na najmanje 45 milijuna pojedinaca u više od jedne države članice.

(82)

Važno je da UI sustavi povezani s proizvodima koji nisu visokorizični prema ovoj Uredbi, pa ne moraju ispunjavati njezine zahtjeve , ipak budu sigurni kad se stavljaju na tržište ili u uporabu. Kako bi se pridonijelo tom cilju, Direktiva 2001/95/EZ Europskog parlamenta i Vijeća (57) primjenjivala bi se kao sigurnosni mehanizam.

(82)

Važno je da UI sustavi povezani s proizvodima koji nisu visokorizični prema ovoj Uredbi, pa ne moraju ispunjavati zahtjeve za visokorizične UI sustave , ipak budu sigurni kad se stavljaju na tržište ili u uporabu. Kako bi se pridonijelo tom cilju, Direktiva 2001/95/EZ Europskog parlamenta i Vijeća (57) primjenjivala bi se kao sigurnosni mehanizam.

(83)

Kako bi se osigurala pouzdana i konstruktivna suradnja nadležnih tijela na razini Unije i na nacionalnoj razini, sve strane uključene u primjenu ove Uredbe trebale bi poštovati povjerljivost informacija i podataka prikupljenih pri obavljanju svojih zadaća.

(83)

Kako bi se osigurala pouzdana i konstruktivna suradnja nadležnih tijela na razini Unije i na nacionalnoj razini, sve strane uključene u primjenu ove Uredbe trebale bi težiti transparentnosti i otvorenosti, poštujući pritom povjerljivost informacija i podataka prikupljenih pri obavljanju svojih zadaća i to na način da uspostave tehničke i organizacijske mjere za zaštitu sigurnosti i povjerljivosti informacija dobivenih u okviru svojih aktivnosti, među ostalim u pogledu prava intelektualnog vlasništva te javnih i nacionalnih sigurnosnih interesa. Ako aktivnosti Komisije, nacionalnih nadležnih tijela i prijavljenih tijela u skladu s ovom Uredbom rezultiraju kršenjem prava intelektualnog vlasništva, države članice trebale bi predvidjeti adekvatne mjere i pravne lijekove kako bi se osigurala provedba prava intelektualnog vlasništva primjenom Direktive 2004/48/EZ.

(84)

Države članice trebale bi poduzeti sve potrebne mjere za provedbu odredaba ove Uredbe, među ostalim određivanjem učinkovitih, proporcionalnih i odvraćajućih sankcija za povrede tih odredaba. Za određene specifične povrede države članice trebale bi uzeti u obzir odstupanja i  kriterije utvrđene u ovoj Uredbi . Europski nadzornik za zaštitu podataka trebao bi imati ovlast izreći novčane kazne institucijama, agencijama i tijelima Unije obuhvaćenima područjem primjene ove Uredbe.

(84)

Usklađenost s ovom Uredbom trebala bi biti izvršiva izricanjem novčanih kazni od strane nacionalnog nadzornog tijela pri provođenju postupaka u skladu s postupkom utvrđenim u ovoj Uredbi. Države članice trebale bi poduzeti sve potrebne mjere za provedbu odredaba ove Uredbe, među ostalim određivanjem učinkovitih, proporcionalnih i odvraćajućih sankcija za povrede tih odredaba. Kako bi se postrožile i uskladile upravne sankcije za povrede ove Uredbe, trebalo bi utvrditi gornje granice za određivanje upravnih novčanih kazni za određene specifične povrede . Pri procjeni iznosa novčanih kazni nacionalna nadležna tijela trebala bi u svakom pojedinačnom slučaju uzeti u obzir sve relevantne okolnosti specifične situacije, posebno uzimajući u obzir prirodu, težinu i  trajanje povrede i njezine posljedice te veličinu pružatelja, posebno ako je dobavljač MSP ili start-up poduzeće . Europski nadzornik za zaštitu podataka trebao bi imati ovlast izreći novčane kazne institucijama, agencijama i tijelima Unije obuhvaćenima područjem primjene ove Uredbe. Sankcije i troškovi sudskog postupka u skladu s ovom Uredbom ne bi smjeli biti podložni ugovornim obvezama niti bilo kojim drugim aranžmanima.

(84 a)

Budući da UI sustavi mogu ozbiljno ugroziti prava i slobode pojedinaca i pravnih osoba i skupina pojedinaca, ključno je da pojedinci i pravne osobe ili skupine pojedinaca imaju smislen pristup mehanizmima prijavljivanja i pravne zaštite te da imaju pravo na pristup razmjernim i djelotvornim pravnim lijekovima. Trebali bi moći prijaviti povrede ove Uredbe svojem nacionalnom nadzornom tijelu te imati pravo podnijeti pritužbu protiv dobavljača ili subjekata koji primjenjuju UI sustave. Ako je primjenjivo, subjekti koji primjenjuju te sustave trebali bi osigurati interne mehanizme za podnošenje pritužbi kojima će se koristiti pojedinci i pravne osobe ili skupine pojedinaca. Ne dovodeći u pitanje nijedan drugi upravni ili izvansudski pravni lijek, pojedinci i pravne osobe te skupine pojedinaca također bi trebali imati pravo na djelotvoran pravni lijek u odnosu na pravno obvezujuću odluku nacionalnog nadzornog tijela koja se na njih odnosi ili ako nacionalno nadzorno tijelo ne obradi pritužbu, ne obavijesti podnositelja pritužbe o napretku ili preliminarnom ishodu podnesene pritužbe ili ne poštuje svoju obvezu donošenja konačne odluke o pritužbi.

(84 b)

Zahvaćene osobe uvijek bi trebale biti obaviještene o tome da se na njima primjenjuje visokorizični UI sustav ako subjekti koji ga primjenjuju upotrebljavaju taj visokorizični UI sustav za pomoć u donošenju odluka ili za donošenje odluka povezanih s pojedincima. Te informacije zahvaćenim osobama mogu poslužiti kao osnova za ostvarivanje prava na objašnjenje u skladu s ovom Uredbom. Kada subjekti koji primjenjuju te sustave pružaju objašnjenje zahvaćenim osobama u skladu s ovom Uredbom, trebali bi uzeti u obzir razinu stručnosti i znanja prosječnog potrošača ili pojedinca.

(84 c)

Pravo Unije o zaštiti zviždača (Direktiva (EU) 2019/1937) u potpunosti se primjenjuje na članove akademske zajednice, projektante, razvojne programere, sudionike u projektima, revizore, upravitelje proizvoda, inženjere i gospodarske subjekte koji prikupljaju informacije o povredama prava Unije koje je počinio dobavljač UI sustava ili njegov UI sustav.

(85)

Kako bi se regulatorni okvir mogao prilagođavati prema potrebi, Komisiji bi trebalo delegirati ovlast za donošenje akata u skladu s člankom 290. UFEU-a radi izmjene tehnika i pristupa iz Priloga I. za definiranje UI sustava, zakonodavstva Unije o usklađivanju iz Priloga II., visokorizičnih UI sustava iz Priloga III., odredaba o tehničkoj dokumentaciji iz Priloga IV., sadržaja EU izjave o sukladnosti iz Priloga V., odredaba o postupku ocjenjivanja sukladnosti iz priloga VI. i VII. te odredaba kojima se utvrđuju visokorizični UI sustavi na koje bi se trebao primjenjivati postupak ocjenjivanja sukladnosti na temelju ocjene sustava upravljanja kvalitetom i ocjene tehničke dokumentacije. Posebno je važno da Komisija u pripremnom radu provede odgovarajuća savjetovanja, među ostalim na stručnoj razini, te da se ta savjetovanja provedu u skladu s načelima utvrđenima u Međuinstitucijskom sporazumu od 13. travnja 2016. o boljoj izradi zakonodavstva (58). Konkretno, s ciljem osiguravanja ravnopravnog sudjelovanja u pripremi delegiranih akata, Europski parlament i Vijeće primaju sve dokumente istodobno kad i stručnjaci iz država članica te njihovi stručnjaci sustavno imaju pristup sastancima stručnih skupina Komisije koji se odnose na pripremu delegiranih akata.

(85)

Kako bi se regulatorni okvir mogao prilagođavati kada je to potrebno, Komisiji bi trebalo delegirati ovlast za donošenje akata u skladu s člankom 290. UFEU-a radi izmjene zakonodavstva Unije o usklađivanju iz Priloga II., visokorizičnih UI sustava iz Priloga III., odredaba o tehničkoj dokumentaciji iz Priloga IV., sadržaja EU izjave o sukladnosti iz Priloga V., odredaba o postupku ocjenjivanja sukladnosti iz priloga VI. i VII. te odredaba kojima se utvrđuju visokorizični UI sustavi na koje bi se trebao primjenjivati postupak ocjenjivanja sukladnosti na temelju ocjene sustava upravljanja kvalitetom i ocjene tehničke dokumentacije. Posebno je važno da Komisija u pripremnom radu provede odgovarajuća savjetovanja, među ostalim na stručnoj razini, te da se ta savjetovanja provedu u skladu s načelima utvrđenima u Međuinstitucijskom sporazumu od 13. travnja 2016. o boljoj izradi zakonodavstva (58) . U tim bi savjetovanjima trebao sudjelovati uravnotežen udio dionika, uključujući organizacije potrošača, civilno društvo, udruženja koja predstavljaju zahvaćene osobe, predstavnike poduzeća iz različitih sektora i različitih veličina te istraživače i znanstvenike . Konkretno, s ciljem osiguravanja ravnopravnog sudjelovanja u pripremi delegiranih akata, Europski parlament i Vijeće primaju sve dokumente istodobno kad i stručnjaci iz država članica te njihovi stručnjaci sustavno imaju pristup sastancima stručnih skupina Komisije koji se odnose na pripremu delegiranih akata.

(85 a)

S obzirom na brz tehnološki razvoj i potrebno tehničko stručno znanje za provedbu procjene visokorizičnih UI sustava, Komisija bi trebala redovito, barem svake godine, preispitivati provedbu ove Uredbe, a posebno zabranjene UI sustave, obveze transparentnosti te popis visokorizičnih područja i slučajeva primjene, savjetujući se pritom s Uredom za umjetnu inteligenciju i relevantnim dionicima.

(87 a)

Budući da su pouzdane informacije o uporabi resursa i energije, proizvodnji otpada i drugim učincima na okoliš UI sustava i povezanih IKT tehnologija, uključujući softver, hardver, a posebno podatkovne centre, ograničene, Komisija bi trebala uvesti odgovarajuću metodologiju za mjerenje utjecaja na okoliš i učinkovitosti ove Uredbe s obzirom na okolišne i klimatske ciljeve Unije.

(89)

Provedeno je savjetovanje s Europskim nadzornikom za zaštitu podataka i Europskim odborom za zaštitu podataka u skladu s člankom 42. stavkom 2. Uredbe (EU) 2018/1725 te su oni dali mišljenje o […],

(89)

Provedeno je savjetovanje s Europskim nadzornikom za zaštitu podataka i Europskim odborom za zaštitu podataka u skladu s člankom 42. stavkom 2. Uredbe (EU) 2018/1725 te su oni 18. lipnja 2021. dali mišljenje.

1.

(d)

usklađena pravila o transparentnosti za UI sustave namijenjene za interakciju s pojedincima, sustave za prepoznavanje emocija i sustave za biometrijsku kategorizaciju te UI sustave za generiranje slikovnog sadržaja, audiosadržaja i videosadržaja te manipuliranje njime ;

(d)

usklađena pravila o transparentnosti za određene UI sustave;

(e)

pravila o praćenju i  nadzoru tržišta.

(e)

pravila o praćenju tržišta, nadzoru tržišta, upravljanju i  provedbi;

(e a)

mjere za potporu inovacijama, s posebnim naglaskom na MSP-ovima i start-up poduzećima, uključujući o uspostavi regulatornih izoliranih okruženja i ciljanih mjera za smanjenje regulatornog opterećenja za MSP-ove i start-up poduzeća;

(e b)

pravila za osnivanje i funkcioniranje Ureda Unije za umjetnu inteligenciju (Ured za umjetnu inteligenciju);

(b)

korisnike UI sustava koji se nalaze u Uniji;

(b)

subjekte koji primjenjuju UI sustave, a koji imaju poslovni nastan u Uniji ili se nalaze u Uniji;

(c)

dobavljače i  korisnike UI sustava koji se nalaze u trećoj zemlji ako se izlazni rezultati sustava upotrebljavaju u Uniji.

(c)

dobavljače i  subjekte koji primjenjuju UI sustave, a koji imaju poslovni nastan ili se nalaze u trećoj zemlji, ako se ili na temelju međunarodnog javnog prava primjenjuje pravo države članice ili su izlazni rezultati sustava namijenjeni uporabi u Uniji;

(c a)

dobavljače koji stavljaju na tržište ili u uporabu UI sustave iz članka 5. izvan Unije, pri čemu se dobavljač ili distributer takvih sustava nalazi unutar Unije;

(c b)

uvoznike i distributere UI sustava te ovlaštene zastupnike dobavljača UI sustava, ako takvi uvoznici, distributeri ili ovlašteni zastupnici imaju poslovni nastan u Uniji ili se nalaze u Uniji;

(c c)

zahvaćene osobe kako su definirane u članku 3. stavku 8.a koje se nalaze u Uniji i na čije zdravlje, sigurnost ili temeljna prava negativno utječe uporaba UI sustava koji se stavlja na tržište ili u uporabu unutar Unije.

(a)

Uredba (EZ) br. 300/2008;

(b)

Uredba (EU) br. 167/2013;

(c)

Uredba (EU) br. 168/2013;

(d)

Direktiva 2014/90/EU;