(1)

Namen te uredbe je izboljšati delovanje notranjega trga z določitvijo enotnega pravnega okvira , zlasti za razvoj , trženje in uporabo umetne inteligence v  skladu z vrednotami Unije . Ta uredba uresničuje številne nujne razloge javnega interesa , kot so visoka raven varovanja zdravja, varnosti in temeljnih pravic , ter zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo.

(1)

Namen te uredbe je spodbujati uvajanje na človeka osredotočene in zaupanja vredne umetne inteligence ter zagotoviti visoko raven varovanja zdravja , varnosti, temeljnih pravic , demokracije in pravne države ter okolja pred škodljivimi učinki umetnointeligenčnih sistemov umetne inteligence v  Uniji, obenem pa izboljšati delovanje notranjega trga . Ta uredba določa enoten pravni okvir, zlasti za razvoj , dajanje na trg ali v storitev in za uporabo umetne inteligence v skladu z vrednotami Unije , s čimer zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo umetnointeligenčnih sistemov, razen če je to izrecno dovoljeno s to uredbo. Nekateri umetnointeligenčni sistemi lahko vplivajo tudi na demokracijo, pravno državo in okolje. Ti pomisleki so posebej obravnavani v kritičnih sektorjih in primerih uporabe iz prilog k tej uredbi.

(1a)

Ta uredba bi morala ohranjati vrednote Unije, prispevati k temu, da bo umetna inteligenca koristila vsej družbi, zaščititi posameznike, podjetja, demokracijo, pravno državo in okolje pred tveganji, hkrati pa spodbujati inovacije in zaposlovanje ter zagotoviti, da Evropa postane vodilna na tem področju.

(2)

Umetnointeligenčne sisteme je mogoče zlahka uporabljati v več gospodarskih in družbenih sektorjih, tudi čezmejno, in lahko krožijo po vsej Uniji. Nekatere države članice so že preučile možnost sprejetja nacionalnih predpisov, s katerimi bi zagotovile, da je umetna inteligenca varna ter da se razvija in uporablja v skladu z obveznostmi glede temeljnih pravic. Različna nacionalna pravila lahko povzročijo razdrobljenost notranjega trga in zmanjšajo pravno varnost za operaterje, ki razvijajo ali uporabljajo umetnointeligenčne sisteme. Zato bi bilo treba zagotoviti dosledno in visoko raven varstva po vsej Uniji, hkrati pa preprečiti razlike, ki ovirajo prost pretok umetnointeligenčnih sistemov ter z njimi povezanih proizvodov in storitev na notranjem trgu, in sicer z določitvijo enotnih obveznosti za operaterje ter zagotovitvijo enotnega varstva prevladujočih razlogov javnega interesa in pravic oseb na notranjem trgu na podlagi člena 114 Pogodbe o delovanju Evropske unije (v nadaljnjem besedilu: PDEU). Ker ta uredba vsebuje nekatera posebna pravila o varstvu posameznikov pri obdelavi osebnih podatkov v zvezi z omejitvami uporabe umetnointeligenčnih sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, je primerno, da se ta uredba, kar zadeva navedena posebna pravila, opira na člen 16 PDEU. Glede na ta posebna pravila in uporabo člena 16 PDEU se je primerno posvetovati z Evropskim odborom za varstvo podatkov.

(2)

Umetnointeligenčne sisteme je mogoče zlahka uporabljati v več gospodarskih in družbenih sektorjih, tudi čezmejno, in lahko krožijo po vsej Uniji. Nekatere države članice so že preučile možnost sprejetja nacionalnih predpisov, s katerimi bi zagotovile, da je umetna inteligenca zaupanja vredna in varna ter da se razvija in uporablja v skladu z obveznostmi glede temeljnih pravic. Različna nacionalna pravila lahko povzročijo razdrobljenost notranjega trga in zmanjšajo pravno varnost za operaterje, ki razvijajo ali uporabljajo umetnointeligenčne sisteme. Zato bi bilo treba zagotoviti dosledno in visoko raven varstva po vsej Uniji, da bi dosegli zaupanja vredno umetno inteligenco, hkrati pa preprečiti razlike, ki ovirajo prost pretok , inovacije, uvajanje in uporabo umetnointeligenčnih sistemov ter z njimi povezanih proizvodov in storitev na notranjem trgu, in sicer z določitvijo enotnih obveznosti za operaterje ter zagotovitvijo enotnega varstva prevladujočih razlogov javnega interesa in pravic oseb na notranjem trgu na podlagi člena 114 Pogodbe o delovanju Evropske unije (v nadaljnjem besedilu: PDEU).

(2a)

Ker je umetna inteligenca pogosto odvisna od obdelave velikih količin podatkov, številni umetnointeligenčni sistemi in aplikacije pa tudi od obdelave osebnih podatkov, je primerno, da ta uredba temelji na členu 16 PDEU, ki določa varstvo za fizične osebe pri obdelavi osebnih podatkov, in predpisuje sprejetje pravil o varstvu posameznikov pri obdelavi osebnih podatkov.

(2b)

Temeljna pravica do varstva osebnih podatkov je zaščitena zlasti z uredbama (EU) 2016/679 in (EU) 2018/1725 ter Direktivo 2016/680. Direktiva 2002/58/ES poleg tega varuje zasebno življenje in zaupnost komunikacij, vključno z zagotavljanjem pogojev za shranjevanje osebnih in neosebnih podatkov na terminalski opremi in dostop z njih. Navedeni pravni akti so podlaga za vzdržno in odgovorno obdelavo podatkov, tudi kadar nabori podatkov vključujejo kombinacijo osebnih in neosebnih podatkov. Namen te uredbe ni vplivati na uporabo veljavnega prava Unije, ki ureja obdelavo osebnih podatkov, vključno z nalogami in pooblastili neodvisnih nadzornih organov, pristojnih za spremljanje skladnosti s temi instrumenti. Ta uredba ne vpliva na temeljni pravici do zasebnega življenja in varstva podatkov, kot sta določeni v pravu Unije o varstvu podatkov in zasebnosti ter zapisani v Listini Evropske unije o temeljnih pravicah (v nadaljnjem besedilu: Listina).

(2c)

Za sisteme umetne inteligence v Uniji velja ustrezna zakonodaja o varnosti proizvodov, ki zagotavlja okvir za zaščito potrošnikov pred nevarnimi proizvodi na splošno in bi se morala še naprej uporabljati. Ta uredba prav tako ne posega v določbe drugih pravnih aktov Unije, ki urejajo varstvo potrošnikov in varnost proizvodov, vključno z Uredbo (EU) 2017/2394, Uredbo (EU) 2019/1020, Direktivo 2001/95/ES o splošni varnosti proizvodov in Direktivo 2013/11/EU.

(2d)

V skladu s členom 114(2) PDEU ta uredba dopolnjuje in nikakor ne ogroža pravic in interesov zaposlenih oseb. Ta uredba torej ne bi smela vplivati na zakonodajo Unije o socialni politiki ter nacionalno delovno pravo in prakso, to je na nobeno pravno ali pogodbeno določbo v zvezi s pogoji zaposlovanja, delovnimi pogoji, vključno z zdravjem in varnostjo pri delu, ter razmerje med delodajalci in delavci, vključno z obveščanjem, posvetovanjem in udeležbo. Ne bi smela vplivati niti na uveljavljanje temeljnih pravic, ki so priznane v državah članicah in na ravni Unije, vključno s pravico do stavke ali drugih ukrepov, zajetih v specifičnih sistemih odnosov med delodajalci in delojemalci v posameznih državah članicah v skladu z nacionalnim pravom in/ali prakso. Prav tako ne bi smela vplivati na prakse usklajevanja, pravico do pogajanja o kolektivnih pogodbah, njihovega sklepanja in izvrševanja ali na pravico do sprejemanja kolektivnih ukrepov v skladu z nacionalnim pravom in/ali prakso. V nobenem primeru ne bi smela preprečiti Komisiji, da predlaga posebno zakonodajo o pravicah in svoboščinah delavcev, na katere vplivajo umetnointeligenčni sistemi.

(2e)

Ta uredba ne bi smela posegati v določbe, katerih namen je izboljšanje delovnih pogojev za platformno delo, iz Direktive… [COD 2021/414/ES].

(2f)

Ta uredba bi morala pomagati pri podpiranju raziskav in inovacij ter ne bi smela ogrožati raziskovalnih in razvojnih dejavnosti, hkrati pa bi morala spoštovati svobodo znanstvenih raziskav. Zato je treba iz njenega področja uporabe izključiti vse umetnointeligenčne sisteme, ki se razvijajo izključno za namene znanstvenih raziskav in razvoja, ter poskrbeti, da uredba ne bo kakor koli drugače vplivala na dejavnost znanstvenih raziskav in razvoja umetnointeligenčnih sistemov. V vsakem primeru je treba vsakršno raziskovalno in razvojno dejavnost izvajati v skladu z Listino, pravom Unije in nacionalnim pravom.

(3)

Umetna inteligenca je hitro razvijajoča se skupina tehnologij, ki lahko prispevajo k številnim gospodarskim in družbenim koristim v celotnem spektru panog in družbenih dejavnosti. Uporaba umetne inteligence lahko z izboljšanjem napovedi, optimizacijo delovanja in dodeljevanja virov ter po meri prilagojenimi digitalnimi rešitvami, ki so na voljo za posameznike in organizacije, zagotavlja ključne konkurenčne prednosti za podjetja ter podpira družbeno in okoljsko koristne rezultate, na primer na področju zdravstvenega varstva, kmetijstva, izobraževanja in usposabljanja, upravljanja infrastrukture, energije, prometa in logistike, javnih storitev, varnosti, pravosodja, učinkovite rabe virov in energije ter ublažitve podnebnih sprememb in prilagajanja nanje.

(3)

Umetna inteligenca je hitro razvijajoča se skupina tehnologij, ki lahko prispevajo oziroma že prispevajo k številnim gospodarskim , okoljskim in družbenim koristim v celotnem spektru panog in družbenih dejavnosti , če se razvijajo v skladu z ustreznimi splošnimi načeli, z Listino in z vrednotami, na katerih temelji Unija . Uporaba umetne inteligence lahko z izboljšanjem napovedi, optimizacijo delovanja in dodeljevanja virov ter po meri prilagojenimi digitalnimi rešitvami, ki so na voljo za posameznike in organizacije, zagotavlja ključne konkurenčne prednosti za podjetja ter podpira družbeno in okoljsko koristne rezultate, na primer na področju zdravstvenega varstva, kmetijstva, varnosti hrane, izobraževanja in usposabljanja, medijev, športa in kulture, upravljanja infrastrukture, energije, prometa in logistike , kriznega upravljanja , javnih storitev, varnosti, pravosodja, učinkovite rabe virov in energije , okoljskega spremljanja, ohranjanja in obnovitve biotske raznovrstnosti in ekosistemov ter ublažitve podnebnih sprememb in prilagajanja nanje.

(3a)

Da bi dosegla cilje ogljične nevtralnosti, bi si morala evropska podjetja prizadevati, da bi izkoristila vse razpoložljive napredne tehnološke rešitve, ki jim pri tem lahko pomagajo. Umetna inteligenca je tehnologija, ki ima zmogljivosti za obdelavo vedno večje količine podatkov, ki nastajajo med industrijskimi, okoljskimi, zdravstvenimi in drugimi postopki. Za lažje naložbe v rešitve za analizo in orodja za optimizacijo na podlagi umetne inteligence bi morala uredba zagotoviti predvidljivo in sorazmerno okolje za industrijske rešitve z majhnim tveganjem.

(4)

Hkrati lahko umetna inteligenca glede na okoliščine v zvezi z njenim posebnim namenom uporabe povzroča tveganja ter škoduje javnim interesom in pravicam, ki jih varuje pravo Unije. Ta škoda je lahko materialna ali nematerialna.

(4)

Hkrati lahko umetna inteligenca glede na okoliščine v zvezi z njenim posebnim namenom uporabe , kot tudi stopnjo tehnološkega razvoja, povzroča tveganja ter škoduje javnim ali zasebnim interesom in temeljnim pravicam fizičnih oseb , ki jih varuje pravo Unije. Ta škoda je lahko materialna ali nematerialna , vključno s fizično, psihično, družbeno ali ekonomsko škodo .

(4a)

Glede na velik vpliv umetne inteligence na družbo in potrebo po vzpostavitvi zaupanja je bistveno, da se umetna inteligenca in njen regulativni okvir razvijata v skladu z vrednotami Unije iz člena 2 PEU, temeljnimi pravicami in svoboščinami, ki so zapisane v Pogodbah, Listini in mednarodnem pravu o človekovih pravicah. Osnovni pogoj za umetno inteligenco bi moral biti, da je to tehnologija, osredotočena na človeka. Ne bi smela nadomestiti človekove avtonomije ali pomeniti izgubo osebne svobode in bi morala služiti predvsem potrebam družbe in skupnemu dobremu. Uvesti bi bilo treba zaščitne ukrepe, s katerimi bi zagotovili razvoj in uporabo umetne inteligence z vgrajeno etičnostjo, ki bi spoštovala vrednote Unije in Listino.

(5)

Zato je potreben pravni okvir Unije, ki bo določal harmonizirana pravila o umetni inteligenci, da bi spodbudil razvoj, uporabo in uvajanje umetne inteligence na notranjem trgu, ki bo hkrati zagotavljal visoko raven zaščite javnih interesov, kot so zdravje in varnost ter varstvo temeljnih pravic, kot jih priznava in varuje pravo Unije. Za dosego tega cilja bi bilo treba določiti pravila, ki urejajo dajanje na trg in v uporabo nekaterih umetnointeligenčnih sistemov, s čimer bi zagotovili nemoteno delovanje notranjega trga in omogočili, da ti sistemi izkoristijo načelo prostega pretoka blaga in storitev. Z določitvijo teh pravil ta uredba podpira cilj, da Unija postane vodilna v svetu pri razvoju varne, zaupanja vredne in etične umetne inteligence, kot je navedel Evropski svet (33), ter zagotavlja zaščito etičnih načel, kot je izrecno zahteval Evropski parlament (34) .

(5)

Zato je potreben pravni okvir Unije, ki bo določal harmonizirana pravila o umetni inteligenci, da bi spodbudil razvoj, uporabo in uvajanje umetne inteligence na notranjem trgu, ki bo hkrati zagotavljal visoko raven zaščite javnih interesov, kot so zdravje in varnost, varstvo temeljnih pravic , demokracija in pravna država ter okolje , kot jih priznava in varuje pravo Unije. Za dosego tega cilja bi bilo treba določiti pravila, ki urejajo dajanje na trg in v  obratovanje ter uporabo nekaterih umetnointeligenčnih sistemov, s čimer bi zagotovili nemoteno delovanje notranjega trga in omogočili, da ti sistemi izkoristijo načelo prostega pretoka blaga in storitev. Ta pravila bi morala biti jasna in dosledna pri varstvu temeljnih pravic, podpori novim inovativnim rešitvam in omogočanju delovanja evropskega ekosistema javnih in zasebnih akterjev, ki ustvarjajo umetnointeligenčne sisteme v skladu z vrednotami Unije. Z določitvijo teh pravil , pa tudi ukrepov v podporo inovacijam s posebnim poudarkom na malih in srednjih ter zagonskih podjetjih, ta uredba podpira cilj, da podpira umetno inteligenco, pridobljeno v Uniji, da Unija postane vodilna v svetu pri razvoju varne, zaupanja vredne in etične umetne inteligence, kot je navedel Evropski svet (33), ter zagotavlja zaščito etičnih načel, kot je izrecno zahteval Evropski parlament (34).

(5a)

Poleg tega mora EU, da bi spodbujala razvoj umetne inteligence v skladu z vrednotami Unije, obravnavati glavne vrzeli in prepreke, ki ovirajo potencial za digitalno preobrazbo, vključno s pomanjkanjem digitalno usposobljenih delavcev, pomisleki glede kibernetske varnosti, pomanjkanjem naložb in slabim dostopom do njih ter obstoječimi in potencialnimi razlikami med velikimi podjetji, malimi in srednjimi podjetji ter zagonskimi podjetji. Posebno pozornost bi bilo treba nameniti zagotavljanju, da bodo umetna inteligenca in inovacije pri novih tehnologijah koristile vsem regijam Unije ter da se bodo ustrezne naložbe in viri namenili zlasti regijam, ki pri nekaterih digitalnih kazalnikih morda zaostajajo.

(6)

Pojem umetnointeligenčnega sistema bi moral biti jasno opredeljen, da se zagotovita pravna varnost in hkrati prožnost, ki bo omogočala prilagajanje prihodnjemu tehnološkemu razvoju. Opredelitev bi morala temeljiti na ključnih funkcionalnih značilnostih programske opreme , zlasti na zmožnosti , da za določen sklop ciljev, ki jih opredeli človek, ustvarja izhodne podatke, kot so vsebine, napovedi , priporočila ali odločitve, ki vplivajo na okolje , s katerim je sistem v interakciji, bodisi v fizični bodisi v digitalni razsežnosti . Umetnointeligenčni sistemi so lahko zasnovani tako , da delujejo z različnimi stopnjami avtonomije in se uporabljajo samostojno ali kot komponenta proizvoda , ne glede na to , ali je sistem fizično integriran v  proizvod (vgrajen) ali služi funkcionalnosti proizvoda , ne da bi bil vanj integriran (nevgrajen). Opredelitev umetnointeligenčnega sistema bi bilo treba dopolniti s seznamom posebnih tehnik in pristopov , ki se uporabljajo za njegov razvoj , ta seznam pa bi bilo treba posodabljati glede na tržni in tehnološki razvoj , tako da Komisija sprejme delegirane akte za spremembo tega seznama .

(6)

Pojem umetnointeligenčnega sistema v tej uredbi bi moral biti jasno opredeljen in tesno usklajen z delom mednarodnih organizacij, ki se ukvarjajo z umetno inteligenco , da se zagotovijo pravna varnost , harmonizacija in široko sprejemanje, ter hkrati prožnost, ki bo omogočala prilagajanje hitremu tehnološkemu razvoju na tem področju . Poleg tega bi morala predelitev temeljiti na ključnih funkcionalnih značilnostih umetne inteligence, kot so njene zmogljivosti učenja , sklepanja ali modeliranja , da bi jo lahko razlikovali od enostavnejših sistemov programske opreme in programskih pristopov. Umetnointeligenčni sistemi so zasnovani tako , da delujejo z različnimi stopnjami avtonomije, kar pomeni , da so vsaj do neke mere neodvisni od človeškega nadzora in zmogljivosti za delovanje brez človeškega posredovanja . Izraz „na strojni podlagi“ se nanaša na dejstvo, da sistemi umetne inteligence delujejo na strojih. Sklicevanje na eksplicitne ali implicitne cilje poudarja, da lahko umetnointeligenčni sistemi delujejo v skladu z eksplicitnimi cilji, ki so jih določili ljudje, ali implicitnimi cilji. Cilji umetnointeligenčnega sistema se lahko v  posebnih okoliščinah razlikujejo od predvidenega namena umetnointeligenčnega sistema. Sklicevanje na napovedi vključuje vsebino , ki se v tej uredbi šteje za obliko napovedi kot enega od možnih proizvodov umetnointeligenčnega sistema . Za namene te uredbe bi bilo treba okolja razumeti kot kontekste, v katerih delujejo umetnointeligenčni sistemi, medtem ko izhodni podatki , ki jih ustvari umetnointeligenčni sistem, tj. napovedi, priporočila ali odločitve , ustrezajo ciljem sistema na podlagi vhodnih podatkov iz navedenega okolja. Ti rezultati dodatno vplivajo na navedeno okolje, tudi tako, da vanj zgolj uvajajo nove informacije.

(6a)

Umetnointeligenčni sistemi imajo pogosto sposobnost strojnega učenja, zaradi česar se lahko prilagajajo novim nalogam in jih samostojno izvajajo. Strojno učenje se nanaša na računalniški proces, pri katerem se na podlagi podatkov optimizirajo parametri modela, ki je matematični konstrukt in ustvarja izhodne podatke na podlagi vhodnih podatkov. Pristopi k strojnemu učenju, vključno z nadzorovanim, nenadzorovanim in spodbujevanim učenjem, pri katerih se uporabljajo najrazličnejše metode, vključno z globokim učenjem; Namen te uredbe je obravnavati nova morebitna tveganja, ki bi se lahko pojavila zaradi prenosa nadzora na umetnointeligenčne sisteme, zlasti na tiste umetnointeligenčne sisteme, ki se lahko razvijejo po uvedbi. Delovanje in rezultati številnih od teh umetnointeligenčnih sistemov temeljijo na abstraktnih matematičnih razmerjih, ki jih ljudje težko razumejo, spremljajo in sledijo posameznim vložkom. Te zapletene in nepregledne značilnosti (element črne skrinjice) vplivajo na odgovornost in razložljivost. Primerljivo preprostejše tehnologije, kot so pristopi, ki temeljijo na znanju, Bayesovo ocenjevanje ali drevesa odločanja, lahko prav tako povzročijo pravne vrzeli, ki jih je treba obravnavati s to uredbo, zlasti kadar se uporabljajo v kombinaciji s pristopi strojnega učenja v hibridnih sistemih.

(6b)

Umetnointeligenčni sistemi se uporabljajo v samostojnem programskem sistemu, so integrirani v fizični izdelek (vgrajeni), se uporabljajo za funkcionalnost fizičnega proizvoda, ne da bi bili vanj integrirani (nevgrajeni) ali se uporabljajo kot umetnointeligenčne komponente večjega sistema. Če ta večji sistem ne bi deloval brez zadevne komponente umetne inteligence, bi bilo treba celoten večji sistem v skladu s to uredbo šteti za en sam umetnointeligenčni sistem.

(7)

Pojem biometričnih podatkov, uporabljen v tej uredbi, je skladen s pojmom biometričnih podatkov, kot je opredeljen v členu 4(14) Uredbe (EU) 2016/679 Evropskega parlamenta in Sveta (35), členu 3(18) Uredbe (EU) 2018/1725 Evropskega parlamenta in Sveta  (36) ter členu 3(13) Direktive (EU) 2016/680 Evropskega parlamenta in Sveta  (37) , ter bi ga bilo treba razlagati dosledno .

(7)

Pojem biometričnih podatkov, uporabljen v tej uredbi, je skladen s pojmom biometričnih podatkov, kot je opredeljen v členu 4(14) Uredbe (EU) 2016/679 Evropskega parlamenta in Sveta (35) . Podatki , ki temeljijo na biometriji so dodatni podatki, ki so rezultat posebne tehnične obdelave v zvezi s fizičnimi , fiziološkimi ali vedenjskimi znaki fizične osebe, kot so obrazni izrazi, gibi, frekvenca srčnega utripa, glas, način tipkanja ali hoje, ki omogočajo ali potrjujejo edinstveno identifikacijo fizične osebe oziroma je ne omogočajo ali je ne potrjujejo .

(7a)

Pojem biometrične identifikacije, kot se uporablja v tej uredbi, je treba opredeliti kot avtomatizirano prepoznavanje fizičnih, fizioloških, vedenjskih in psiholoških človeških značilnosti, kot so obraz, gibanje oči, izrazi obraza, oblika telesa, glas, govor, hoja, drža, srčni utrip, krvni tlak, vonj, tipkanje, psihološke reakcije (jeza, stiska, žalost itd.), za namene preverjanja identitete posameznika s primerjavo biometričnih podatkov tega posameznika s shranjenimi biometričnimi podatki posameznikov v podatkovni zbirki (identifikacija z več vzorci) ne glede na to, ali je posameznik v to privolil ali ne;

(7b)

Pojem biometrične identifikacije, kot se uporablja v tej uredbi, je treba opredeliti kot umetnointeligenčni sistem za razvrščanje fizičnih oseb v posebne kategorije ali sklepanje o njihovih značilnostih in lastnostih, kot so družbeni in biološki spol, starost, barva las, barva oči, tetovaže, etnično ali socialno poreklo, zdravstveno stanje, umske ali fizične sposobnosti, vedenjske ali osebnostne lastnosti, jezik, vera ali pripadnost narodnostni manjšini ali spolna ali politična usmerjenost, na podlagi njihovih biometričnih podatkov ali podatkov, ki temeljijo na biometriji, ali o katerih je mogoče sklepati iz teh podatkov.

(8)

Pojem sistema za biometrično identifikacijo na daljavo, kot se uporablja v tej uredbi, bi bilo treba opredeliti funkcionalno kot umetnointeligenčni sistem, namenjen identifikaciji fizičnih oseb na daljavo s primerjavo biometričnih podatkov osebe z biometričnimi podatki iz referenčne podatkovne zbirke in ne da bi bilo vnaprej znano, ali bo ciljna oseba prisotna in ali jo bo mogoče identificirati, ne glede na uporabljeno tehnologijo, procese ali vrste biometričnih podatkov. Glede na različne značilnosti in načine uporabe ter različna tveganja je treba razlikovati med sistemi za biometrično identifikacijo na daljavo v realnem času in sistemi za naknadno biometrično identifikacijo na daljavo. Pri sistemih „v realnem času“ se zajemanje biometričnih podatkov, primerjava in identifikacija izvedejo takoj, skoraj trenutno ali v vsakem primeru brez večje zamude. V zvezi s tem ne bi smelo biti prostora za izogibanje pravilom te uredbe o uporabi zadevnih umetnointeligenčnih sistemov v realnem času s tem, da bi poskrbeli za manjše zamude. Sistemi „v realnem času“ vključujejo uporabo gradiva „v živo“ ali „skoraj v živo“, kot je videoposnetek, ki ga ustvari kamera ali druga naprava s podobno funkcionalnostjo. Pri „naknadnih“ sistemih so bili biometrični podatki že zajeti, primerjava in identifikacija pa se izvedeta šele po daljšem času. To vključuje gradivo, kot so slike ali videoposnetki, ki jih ustvarjajo kamere televizije zaprtega kroga ali zasebne naprave, ki je bilo ustvarjeno pred uporabo sistema v zvezi z zadevnimi fizičnimi osebami.

(8)

Pojem sistema za biometrično identifikacijo na daljavo, kot se uporablja v tej uredbi, bi bilo treba opredeliti funkcionalno kot umetnointeligenčni sistem, namenjen identifikaciji fizičnih oseb na daljavo s primerjavo biometričnih podatkov osebe z biometričnimi podatki iz referenčne podatkovne zbirke in ne da bi bilo vnaprej znano, ali bo ciljna oseba prisotna in ali jo bo mogoče identificirati, ne glede na uporabljeno tehnologijo, procese ali vrste biometričnih podatkov , pri čemer je treba izključiti sistemov preverjanja, ki samo primerjajo biometrične podatke posameznika z njegovimi predhodno zbranimi podatki ((preverjanje „ena proti ena“) . Glede na različne značilnosti in načine uporabe ter različna tveganja je treba razlikovati med sistemi za biometrično identifikacijo na daljavo v realnem času in sistemi za naknadno biometrično identifikacijo na daljavo. Pri sistemih „v realnem času“ se zajemanje biometričnih podatkov, primerjava in identifikacija izvedejo takoj, skoraj trenutno ali v vsakem primeru brez večje zamude. V zvezi s tem ne bi smelo biti prostora za izogibanje pravilom te uredbe o uporabi zadevnih umetnointeligenčnih sistemov v realnem času s tem, da bi poskrbeli za manjše zamude. Sistemi „v realnem času“ vključujejo uporabo gradiva „v živo“ ali „skoraj v živo“, kot je videoposnetek, ki ga ustvari kamera ali druga naprava s podobno funkcionalnostjo. Pri „naknadnih“ sistemih so bili biometrični podatki že zajeti, primerjava in identifikacija pa se izvedeta šele po daljšem času. To vključuje gradivo, kot so slike ali videoposnetki, ki jih ustvarjajo kamere televizije zaprtega kroga ali zasebne naprave, ki je bilo ustvarjeno pred uporabo sistema v zvezi z zadevnimi fizičnimi osebami. Ker biometrična identifikacija ni odvisna od tega, ali je posameznik privolil vanjo, se ta opredelitev uporablja tudi, kadar so na lokaciji, ki je pod nadzorom sistema za biometrično identifikacijo na daljavo, nameščena opozorila, in predhodni vpis ne pomeni, da dejansko ne velja.

(8a)

Identifikacija fizičnih oseb na daljavo se razume tako, da se sistemi za biometrično identifikacijo na daljavo razlikujejo od individualnih sistemov preverjanja v neposredni bližini, ki uporabljajo sredstva za biometrično identifikacijo, katerih edini namen je potrditi, ali ima določena fizična oseba, ki se prijavi za identifikacijo, dovoljenje ali ne, na primer za pridobitev dostopa do storitve, naprave ali prostorov.

(9)

V tej uredbi je treba pojem javno dostopnega prostora razumeti tako, da se nanaša na vsak fizični prostor, dostopen javnosti, ne glede na to, ali je ta prostor v zasebni ali javni lasti. Zato pojem ne zajema prostorov, ki so zasebne narave in običajno niso prosto dostopni tretjim osebam, vključno z organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, razen če so bile te osebe posebej povabljene ali pooblaščene, kot so domovi, zasebni klubi, pisarne, skladišča in tovarne. Spletni prostori prav tako niso zajeti, saj niso fizični prostori. Vendar pa zgolj dejstvo, da lahko za dostop do določenega prostora veljajo določeni pogoji, kot so vstopnice ali starostne omejitve, ne pomeni, da prostor ni javno dostopen v smislu te uredbe. Zato so poleg javnih prostorov, kot so ulice, ustrezni deli vladnih stavb in večina prometne infrastrukture, običajno javno dostopni tudi prostori, kot so kinodvorane, gledališča, trgovine in nakupovalna središča. Vendar je za vsak primer posebej treba ugotoviti, ali je določen prostor dostopen javnosti, ob upoštevanju posebnosti posamezne situacije.

(9)

V tej uredbi je treba pojem javno dostopnega prostora razumeti tako, da se nanaša na vsak fizični prostor, dostopen javnosti, ne glede na to, ali je ta prostor v zasebni ali javni lasti in ne glede na morebitne omejitve kapacitet . Zato pojem ne zajema prostorov, ki so zasebne narave in običajno niso prosto dostopni tretjim osebam, vključno z organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, razen če so bile te osebe posebej povabljene ali pooblaščene, kot so domovi, zasebni klubi, pisarne, skladišča in tovarne. Spletni prostori prav tako niso zajeti, saj niso fizični prostori. Vendar pa zgolj dejstvo, da lahko za dostop do določenega prostora veljajo določeni pogoji, kot so vstopnice ali starostne omejitve, ne pomeni, da prostor ni javno dostopen v smislu te uredbe. Zato so poleg javnih prostorov, kot so ulice, ustrezni deli vladnih stavb in večina prometne infrastrukture, običajno javno dostopni tudi prostori, kot so kinodvorane, gledališča, športna igrišča, šole, univerze, ustrezni deli bolnišnic in bank, zabaviščni parki, festivali, trgovine in nakupovalna središča. Vendar je za vsak primer posebej treba ugotoviti, ali je določen prostor dostopen javnosti, ob upoštevanju posebnosti posamezne situacije.

(9a)

Treba je opozoriti, da bi morali sistemi umetne inteligence spoštovati splošna načela, ki vzpostavljajo okvir na visoki ravni, ki spodbuja skladen in na človeka osredotočen pristop k etični in zaupanja vredni umetni inteligenci v skladu z Listino Evropske unije o temeljnih pravicah in vrednotami, na katerih temelji Unija, vključno z varstvom temeljnih pravic, človekovega delovanja in nadzora, tehnične odpornosti in varnosti, zasebnosti in upravljanja podatkov, preglednosti, nediskriminacije in pravičnosti ter družbene in okoljske blaginje.

(9b)

Pismenost na področju umetne inteligence se navezuje na spretnosti, znanje in razumevanje, ki operaterjem, uporabnikom in zadevnim osebam, ob upoštevanju njihovih pravic in obveznosti v okviru obveznosti iz te uredbe, da omogočajo informirano uvajanje umetnointeligenčnih sistemov, hkrati pa se seznanijo s priložnostmi in tveganji na področju umetne inteligence, s čimer se spodbudi njen demokratični nadzor. Pismenost na področju umetne inteligence ne bi smela biti omejena na učenje o orodjih in tehnologijah, ampak bi morala zagotoviti, da bodo ponudniki in uporabniki poznali pojme in imeli znanje za zagotavljanje skladnosti s to uredbo in njenega izvrševanja. Zato morajo Komisija, države članice ter ponudniki in uporabniki umetnointeligenčnih sistemov, v sodelovanju z vsemi zadevnimi deležniki, spodbujajo razvoj zadostne stopnje pismenosti v zvezi z umetno inteligenco v vseh segmentih družbe, za osebe vseh starosti, tudi ženske in dekleta, poleg tega pa je treba pozorno spremljati napredek v zvezi s tem.

(10)

Za zagotovitev enakih konkurenčnih pogojev ter učinkovitega varstva pravic in svoboščin posameznikov po vsej Uniji bi se morala pravila iz te uredbe uporabljati za ponudnike umetnointeligenčnih sistemov na nediskriminatoren način, ne glede na to, ali imajo sedež v Uniji ali v tretji državi, in za uporabnike umetnointeligenčnih sistemov s sedežem v Uniji.

(10)

Za zagotovitev enakih konkurenčnih pogojev ter učinkovitega varstva pravic in svoboščin posameznikov po vsej Uniji in na mednarodni ravni bi se morala pravila iz te uredbe uporabljati za ponudnike umetnointeligenčnih sistemov na nediskriminatoren način, ne glede na to, ali imajo sedež v Uniji ali v tretji državi, in za uvajalce umetnointeligenčnih sistemov s sedežem v Uniji. Da bi Unija lahko spoštovala svoje temeljne vrednote, bi bilo treba umetnointeligenčne sisteme, namenjene za prakse, ki se v tej uredbi štejejo za nesprejemljive, prav tako šteti za nesprejemljive zunaj Unije zaradi njihovega posebno škodljivega učinka na temeljne pravice, kot so določene v Listini. Zato je primerno ponudnikom, ki prebivajo v Uniji, prepovedati izvoz takih umetnointeligenčnih sistemov v tretje države.

(11)

Zaradi svoje digitalne narave bi morali nekateri umetnointeligenčni sistemi spadati na področje uporabe te uredbe, tudi če niso dani na trg, v obratovanje ali uporabo v Uniji. To velja na primer za operaterja s sedežem v Uniji, ki določene storitve naroča pri operaterju s sedežem zunaj Unije v zvezi z dejavnostjo, ki jo bo izvajal umetnointeligenčni sistem, ki bi bil opredeljen kot sistem velikega tveganja in katerega učinki vplivajo na fizične osebe s sedežem v Uniji. V teh okoliščinah bi lahko umetnointeligenčni sistem, ki ga uporablja operater zunaj Unije, obdeloval podatke, ki se zakonito zbirajo v Uniji in prenašajo iz nje, ter naročniku v Uniji zagotovil izhodne podatke navedenega umetnointeligenčnega sistema, ki izhajajo iz te obdelave, ne da bi bil ta umetnointeligenčni sistem dan na trg, v obratovanje ali uporabo v Uniji. Da bi preprečili izogibanje določbam te uredbe in zagotovili učinkovito varstvo fizičnih oseb v Uniji, bi se morala ta uredba uporabljati tudi za ponudnike in uporabnike umetnointeligenčnih sistemov s sedežem v tretji državi, če se izhodni podatki, ki jih ti sistemi ustvarijo, uporabljajo v Uniji. Kljub temu se zaradi upoštevanja obstoječih ureditev in posebnih potreb po sodelovanju s tujimi partnerji, s katerimi se izmenjujejo informacije in dokazi, ta uredba ne bi smela uporabljati za javne organe tretje države in mednarodne organizacije, kadar delujejo v okviru mednarodnih sporazumov, sklenjenih na nacionalni ali evropski ravni za sodelovanje na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter pravosodja z Unijo ali njenimi državami članicami. Taki sporazumi so bili sklenjeni dvostransko med državami članicami in tretjimi državami ali med Evropsko unijo, Europolom in drugimi agencijami EU ter tretjimi državami in mednarodnimi organizacijami.

(11)

Zaradi svoje digitalne narave bi morali nekateri umetnointeligenčni sistemi spadati na področje uporabe te uredbe, tudi če niso dani na trg, v obratovanje ali uporabo v Uniji. To velja na primer za operaterja s sedežem v Uniji, ki določene storitve naroča pri operaterju s sedežem zunaj Unije v zvezi z dejavnostjo, ki jo bo izvajal umetnointeligenčni sistem, ki bi bil opredeljen kot sistem velikega tveganja in katerega učinki vplivajo na fizične osebe s sedežem v Uniji. V teh okoliščinah bi lahko umetnointeligenčni sistem, ki ga uporablja operater zunaj Unije, obdeloval podatke, ki se zakonito zbirajo v Uniji in prenašajo iz nje, ter naročniku v Uniji zagotovil izhodne podatke navedenega umetnointeligenčnega sistema, ki izhajajo iz te obdelave, ne da bi bil ta umetnointeligenčni sistem dan na trg, v obratovanje ali uporabo v Uniji. Da bi preprečili izogibanje določbam te uredbe in zagotovili učinkovito varstvo fizičnih oseb v Uniji, bi se morala ta uredba uporabljati tudi za ponudnike in uporabnike uvajalce umetnointeligenčnih sistemov s sedežem v tretji državi, če so izhodni podatki, ki jih ti sistemi ustvarijo, namenjeni uporabi v Uniji. Kljub temu se zaradi upoštevanja obstoječih ureditev in posebnih potreb po sodelovanju s tujimi partnerji, s katerimi se izmenjujejo informacije in dokazi, ta uredba ne bi smela uporabljati za javne organe tretje države in mednarodne organizacije, kadar delujejo v okviru mednarodnih sporazumov, sklenjenih na nacionalni ali evropski ravni za sodelovanje na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter pravosodja z Unijo ali njenimi državami članicami. Taki sporazumi so bili sklenjeni dvostransko med državami članicami in tretjimi državami ali med Evropsko unijo, Europolom in drugimi agencijami EU ter tretjimi državami in mednarodnimi organizacijami. Kljub temu bi morala ta izjema biti omejena na zaupanja vredne države in mednarodne organizacije, ki gojijo enake vrednote kot Unija.

(12)

Ta uredba bi se morala uporabljati tudi za institucije, urade, organe in agencije Unije, kadar delujejo kot ponudniki ali uporabniki umetnointeligenčnega sistema. Umetnointeligenčne sisteme, ki se razvijajo ali uporabljajo izključno v vojaške namene, bi bilo treba izključiti iz področja uporabe te uredbe, če ta uporaba spada v izključno pristojnost skupne zunanje in varnostne politike, ki jo ureja naslov V Pogodbe o Evropski uniji (v nadaljnjem besedilu: PEU). Ta uredba ne bi smela posegati v določbe o odgovornosti posrednih ponudnikov storitev iz Direktive 2000/31/ES Evropskega parlamenta in Sveta [kakor je bila spremenjena z aktom o digitalnih storitvah].

(12)

Ta uredba bi se morala uporabljati tudi za institucije, urade, organe in agencije Unije, kadar delujejo kot ponudniki ali uvajalci umetnointeligenčnega sistema. Umetnointeligenčne sisteme, ki se razvijajo ali uporabljajo izključno v vojaške namene, bi bilo treba izključiti iz področja uporabe te uredbe, če ta uporaba spada v izključno pristojnost skupne zunanje in varnostne politike, ki jo ureja naslov V Pogodbe o Evropski uniji (v nadaljnjem besedilu: PEU). Ta uredba ne bi smela posegati v določbe o odgovornosti posrednih ponudnikov storitev iz Direktive 2000/31/ES Evropskega parlamenta in Sveta [kakor je bila spremenjena z aktom o digitalnih storitvah].

(12a)

Programska oprema in podatki, ki se prosto izmenjujejo in pri katerih lahko uporabniki prosto dostopajo do njih ali njihovih spremenjenih različic, jih uporabljajo, spreminjajo in ponovno distribuirajo, lahko prispevajo k raziskavam in inovacijam na trgu. Raziskava Komisije tudi kaže, da lahko brezplačna in odprtokodna programska oprema prispeva med 65 in 95 milijard EUR k BDP Evropske unije in da lahko zagotovi pomembne priložnosti za rast evropskega gospodarstva. Uporabnikom je z brezplačnimi in odprtokodnimi licencami dovoljeno uporabljati, kopirati, distribuirati, preučevati, spreminjati in izboljševati programsko opremo in podatke, vključno z modeli. Da bi spodbudili razvoj in uvajanje umetne inteligence, zlasti pri srednjih in malih podjetjih, zagonskih podjetjih, akademskih raziskavah, pa tudi posameznikih, se ta uredba ne uporablja za brezplačne in odprtokodne komponente umetne inteligence, razen če jih ponudnik da na trg ali v uporabo kot del umetnointeligenčnega sistema velikega tveganja ali umetnointeligenčnega sistema, ki spada pod naslov II ali IV.

(12b)

Niti skupen razvoj brezplačnih in odprtokodnih umetnointeligenčnih komponent niti njihova dostopnost v odprtih repozitorijih ne bi smela pomeniti dajanja na trg ali v uporabo. Za gospodarsko dejavnost v smislu omogočanja dostopnosti na trgu pa je lahko značilno zaračunavanje cene, razen pri prenosih med mikro podjetji, za sestavne dele proste in odprtokodne umetnointeligenčne komponente, pa tudi za tehnično podporo, zagotavljanje platforme programske opreme, prek katere ponudnik monetizira druge storitve, ali za uporabo osebnih podatkov za druge namene kot izključno za izboljšanje varnosti, združljivosti ali interoperabilnosti programske opreme.

(12c)

Razvijalci prostih in odprtokodnih umetnointeligenčnih komponent v skladu s to uredbo ne bi smeli imeti obveznosti, da izpolnjujejo zahteve, ki so usmerjene v vrednostno verigo umetne inteligence, in zlasti ne v odnosu do proizvajalca, ki je to umetnointeligenčno komponento uporabil. Razvijalce brezplačnih in odprtokodnih umetnointeligenčnih komponent umetne inteligence pa bi bilo treba spodbujati k izvajanju splošno sprejetih dokumentacijskih praks, kot so modeli in podatkovne kartice, da bi pospešili izmenjavo informacij v vrednostni verigi umetne inteligence, kar bi omogočilo spodbujanje zaupanja vrednih umetnointeligenčnih sistemov v Uniji.

(13)

Da bi zagotovili dosledno in visoko raven zaščite javnih interesov v zvezi z zdravjem, varnostjo in temeljnimi pravicami, bi bilo treba določiti skupne normativne standarde za vse umetnointeligenčne sisteme velikega tveganja. Ti standardi bi morali biti skladni z Listino Evropske unije o  temeljnih pravicah (v nadaljnjem besedilu: Listina) ter nediskriminatorni in v skladu z mednarodnimi trgovinskimi zavezami Unije.

(13)

Da bi zagotovili dosledno in visoko raven zaščite javnih interesov v zvezi z zdravjem, varnostjo in temeljnimi pravicami, pa tudi demokracijo, pravno državo in okoljem, bi bilo treba določiti skupne normativne standarde za vse umetnointeligenčne sisteme velikega tveganja. Ti standardi bi morali biti skladni z Listino , evropskim zelenim dogovorom, skupno izjavo o  digitalnih pravicah Unije in etičnimi smernicami strokovne skupine na visoki ravni za umetno inteligenco o zaupanja vredni umetni inteligenci,  ter nediskriminatorni in v skladu z mednarodnimi zavezami Unije.

(14)

Za uvedbo sorazmernega in učinkovitega sklopa zavezujočih pravil za umetnointeligenčne sisteme bi bilo treba uporabiti jasno opredeljen pristop, ki temelji na tveganju. Ta pristop bi moral vrsto in vsebino takih pravil prilagoditi intenzivnosti in obsegu tveganj, ki jih lahko ustvarijo umetnointeligenčni sistemi. Zato je treba prepovedati nekatere prakse umetne inteligence, določiti zahteve za umetnointeligenčne sisteme velikega tveganja in obveznosti za zadevne operaterje ter določiti obveznosti glede preglednosti za nekatere umetnointeligenčne sisteme.

(14)

Za uvedbo sorazmernega in učinkovitega sklopa zavezujočih pravil za umetnointeligenčne sisteme bi bilo treba uporabiti jasno opredeljen pristop, ki temelji na tveganju. Ta pristop bi moral vrsto in vsebino takih pravil prilagoditi intenzivnosti in obsegu tveganj, ki jih lahko ustvarijo umetnointeligenčni sistemi. Zato je treba prepovedati nekatere nesprejemljive prakse umetne inteligence, določiti zahteve za umetnointeligenčne sisteme velikega tveganja in obveznosti za zadevne operaterje ter določiti obveznosti glede preglednosti za nekatere umetnointeligenčne sisteme.

(15)

Poleg številnih koristnih uporab umetne inteligence je mogoče to tehnologijo tudi zlorabiti, tako da bi nastala nova in močna orodja za prakse manipulacije, izkoriščanja in družbenega nadzora. Take prakse so še posebej škodljive in bi jih bilo treba prepovedati, ker so v nasprotju z vrednotami Unije glede spoštovanja človekovega dostojanstva, svobode, enakosti, demokracije in pravne države ter temeljnimi pravicami Unije, vključno s pravico do nediskriminacije, varstva podatkov in zasebnosti ter pravicami otroka.

(15)

Poleg številnih koristnih uporab umetne inteligence je mogoče to tehnologijo tudi zlorabiti, tako da bi nastala nova in močna orodja za prakse manipulacije, izkoriščanja in družbenega nadzora. Take prakse so še posebej škodljive in zlonamerne in bi jih bilo treba prepovedati, ker so v nasprotju z vrednotami Unije glede spoštovanja človekovega dostojanstva, svobode, enakosti, demokracije in pravne države ter temeljnimi pravicami Unije, vključno s pravico do nediskriminacije, varstva podatkov in zasebnosti ter pravicami otroka.

(16)

Prepovedati bi bilo treba dajanje na trg, v obratovanje ali uporabo nekaterih umetnointeligenčnih sistemov, namenjenih izkrivljanju človekovega vedenja, pri katerem obstaja verjetnost pojava fizične ali psihične škode. Taki umetnointeligenčni sistemi uporabljajo subliminalne komponente, ki jih posamezniki ne morejo zaznati, ali izkoriščajo šibke točke otrok in ljudi zaradi njihove starosti, telesne ali duševne nezmožnosti. To počnejo z namenom , da bi bistveno izkrivili vedenje osebe, in na način, ki tej ali drugi osebi povzroči ali bi ji lahko povzročil škodo. Namena ni mogoče predpostavljati, če je izkrivljanje človekovega vedenja posledica dejavnikov zunaj umetnointeligenčnega sistema in na katere ponudnik ali uporabnik ne more vplivati. Prepoved ne bi smela ovirati raziskav za zakonite namene v zvezi s takimi umetnointeligenčnimi sistemi, če take raziskave ne pomenijo uporabe umetnointeligenčnega sistema v odnosih med človekom in strojem, ki bi fizične osebe izpostavila škodi, ter če se take raziskave izvajajo v skladu s priznanimi etičnimi standardi za znanstvene raziskave.

(16)

Prepovedati bi bilo treba dajanje na trg, v obratovanje ali uporabo nekaterih umetnointeligenčnih sistemov, ki so namenjeni dejanskem izkrivljanju človekovega vedenja, pri katerem obstaja verjetnost pojava fizične ali psihične škode ali je to njihov učinek. To omejitev bi bilo treba razumeti tako, da vključuje nevrotehnologije, ki se opirajo na umetnointeligenčne sisteme, ki se uporabljajo za spremljanje, uporabo ali vplivanje na nevronske podatke, zbrane prek vmesnikov možganskih računalnikov, če bistveno izkrivljajo vedenje fizične osebe na način, ki tej osebi ali drugi osebi povzroča ali bi lahko povzročil znatno škodo. Taki umetnointeligenčni sistemi uporabljajo subliminalne komponente, ki jih posamezniki ne morejo zaznati, ali izkoriščajo šibke točke posameznikov in določenih skupin ljudi zaradi njihovih znanih ali predvidenih osebnostnih lastnosti, njihove starosti, fizične ali duševne nezmožnosti ter socialnega ali ekonomskega položaja . Uporabljajo se s ciljem , da bi bistveno izkrivili vedenje osebe, in na način, ki tej ali drugi osebi oziroma skupinam oseb povzroči ali bi jim lahko povzročil znatno škodo , tudi tako, ki se lahko sčasoma nakopiči, ali je njihov učinek tako škodljiv . Namena izkrivljanja vedenja ni mogoče predpostavljati, če je izkrivljanje človekovega vedenja posledica dejavnikov zunaj umetnointeligenčnega sistema in na katere ponudnik ali uporabnik ne more vplivati , na primer dejavnikov, ki jih ponudnik ali uvajalec umetnointeligenčnih sistemov ne more razumno predvideti in ublažiti. V vsakem primeru ni potrebno, da ima ponudnik ali uvajalec namen povzročiti znatno škodo, če takšna škoda izhaja iz manipulativnih ali izkoriščevalskih praks, ki jih omogoča umetna inteligenca. Prepovedi takih praks umetne inteligence dopolnjujejo določbe iz Direktive 2005/29/ES, v skladu s katerimi so nepoštene poslovne prakse prepovedane, ne glede na to, ali se izvajajo z uporabo umetnointeligenčnih sistemov ali drugače. V takem okviru se zakonite poslovne prakse, na primer na področju oglaševanja, ki so skladne s pravom Unije, same po sebi ne bi smele šteti za kršitve prepovedi. Prepoved ne bi smela ovirati raziskav za zakonite namene v zvezi s takimi umetnointeligenčnimi sistemi, če take raziskave ne pomenijo uporabe umetnointeligenčnega sistema v odnosih med človekom in strojem, ki bi fizične osebe izpostavila škodi, ter če se take raziskave izvajajo v skladu s priznanimi etičnimi standardi za znanstvene raziskave in temeljijo na izrecni informirani privolitvi posameznikov, ki so ji izpostavljeni, ali po potrebi njihovih skrbnikov .

(16a)

Umetnointeligenčni sistemi, ki fizične osebe razvrščajo v posebne kategorije glede na znane ali domnevne občutljive ali zaščitene značilnosti, so še posebej vsiljivi, kršijo človekovo dostojanstvo in predstavljajo veliko tveganje za diskriminacijo. Te lastnosti med drugim zajemajo spol in spolno identiteto, raso, narodnost, migracijski ali državljanski status, politično usmerjenost, spolno usmerjenost, vero, invalidnost ali kateri koli drug razlog, zaradi katerega je diskriminacija prepovedana v skladu s členom 21 Listine EU o temeljnih pravicah in členom 9 Uredbe (EU) 2016/769. Take sisteme bi bilo zato treba prepovedati.

(17)

Umetnointeligenčni sistemi, ki zagotavljajo družbeno točkovanje fizičnih oseb za splošne namene s strani javnih organov ali v njihovem imenu, lahko vodijo do diskriminatornih rezultatov in izključitve nekaterih skupin. Lahko kršijo pravico do dostojanstva in nediskriminacije ter vrednote enakosti in pravičnosti. Taki umetnointeligenčni sistemi ocenjujejo ali razvrščajo zanesljivost fizičnih oseb na podlagi njihovega družbenega vedenja v več kontekstih ali znanih ali predvidenih osebnih ali osebnostnih značilnostih. Število družbenih točk, pridobljenih s takimi umetnointeligenčni sistemi, lahko vodi do škodljivega ali neugodnega obravnavanja fizičnih oseb ali njihovih celotnih skupin v družbenih kontekstih, ki niso povezani s kontekstom, v katerem so bili podatki prvotno ustvarjeni ali zbrani, ali do škodljivega obravnavanja, ki je nesorazmerno ali neupravičeno glede na resnost njihovega družbenega vedenja. Take umetnointeligenčne sisteme bi bilo zato treba prepovedati.

(17)

Umetnointeligenčni sistemi, ki zagotavljajo družbeno točkovanje fizičnih oseb za splošne namene lahko vodijo do diskriminatornih rezultatov in izključitve nekaterih skupin. Kršijo pravico do dostojanstva in nediskriminacije ter vrednote enakosti in pravičnosti. Taki umetnointeligenčni sistemi ocenjujejo ali razvrščajo zanesljivost ali družbeni položaj fizičnih oseb ali skupin na podlagi več podatkovnih točk in časovnih dogodkov, povezanih z njihovim družbenim vedenjem v več kontekstih ali znanih , predpostavljenih ali predvidenih osebnih ali osebnostnih značilnostih. Število družbenih točk, pridobljenih s takimi umetnointeligenčni sistemi, lahko vodi do škodljivega ali neugodnega obravnavanja fizičnih oseb ali njihovih celotnih skupin v družbenih kontekstih, ki niso povezani s kontekstom, v katerem so bili podatki prvotno ustvarjeni ali zbrani, ali do škodljivega obravnavanja, ki je nesorazmerno ali neupravičeno glede na resnost njihovega družbenega vedenja. Take umetnointeligenčne sisteme bi bilo zato treba prepovedati.

(18)

Uporaba umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj velja za posebno hudo poseganje v pravice in svoboščine zadevnih oseb, če lahko vpliva na zasebno življenje velikega dela prebivalstva, vzbuja občutek stalnega nadzora ter posredno odvrača od uresničevanja svobode zbiranja in drugih temeljnih pravic. Poleg tega se zaradi takojšnjega učinka in omejenih možnosti za nadaljnja preverjanja ali popravke v zvezi z uporabo takih sistemov, ki delujejo v „realnem času“, povečujejo tveganja za pravice in svoboščine oseb, ki jih zadevajo dejavnosti preprečevanja, odkrivanja in preiskovanja kaznivih dejanj.

(18)

Uporaba umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb v javno dostopnih prostorih še posebno vdira v pravice in svoboščine zadevnih oseb, in lahko na koncu vpliva na zasebno življenje velikega dela prebivalstva, vzbuja v družbi občutek stalnega nadzora , daje subjektom, ki uvajajo biometrično identifikacijo v javno dostopnih prostorih, položaj nenadzorovane moči ter posredno odvrača posameznike od uresničevanja svobode zbiranja in drugih temeljnih pravic , ki so v samem bistvu pravne države. Tehnične netočnosti umetnointeligenčnih sistemov, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, lahko vodijo do pristranskih rezultatov in diskriminatornih učinkov. To velja zlasti za starost, etnično pripadnost, spol ali invalidnost . Poleg tega se zaradi takojšnjega učinka in omejenih možnosti za nadaljnja preverjanja ali popravke v zvezi z uporabo takih sistemov, ki delujejo v „realnem času“, povečujejo tveganja za pravice in svoboščine oseb, ki jih zadevajo dejavnosti preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Zato bi bilo treba uporabo teh sistemov v javno dostopnih prostorih prepovedati. Podobno bi bilo treba prepovedati tudi umetnointeligenčne sisteme, ki se uporabljajo za analizo evidentiranih posnetkov javno dostopnih prostorov prek sistemov za naknadno biometrično identifikacijo na daljavo, razen če obstaja predhodno dovoljenje za uporabo v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, kadar je to nujno potrebno za ciljno iskanje, povezano z določenim hudim kaznivim dejanjem, ki je že bilo storjeno, in le na podlagi predhodnega dovoljenja.

(19)

Zato bi bilo treba prepovedati uporabo teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen v treh izčrpno naštetih in ozko opredeljenih primerih, ko je uporaba nujno potrebna za dosego pomembnega javnega interesa, katerega pomen prevlada nad tveganji. V teh primerih gre za iskanje morebitnih žrtev kaznivih dejanj, vključno s pogrešanimi otroki; nekatere nevarnosti za življenje ali fizično varnost oseb ali varnost pred terorističnim napadom ter odkrivanje, lokalizacijo, identifikacijo ali pregon storilcev ali osumljencev kaznivih dejanj iz Okvirnega sklepa Sveta 2002/584/PNZ  (38) , če se ta kazniva dejanja v zadevni državi članici kaznujejo z zaporno kaznijo ali ukrepom, vezanim na odvzem prostosti najmanj treh let, in so opredeljena v zakonodaji te države članice. Tak prag za zaporno kazen ali ukrep, vezan na odvzem prostosti, v skladu z nacionalnim pravom prispeva k zagotavljanju, da je kaznivo dejanje dovolj hudo, da bi lahko upravičilo uporabo sistemov za biometrično identifikacijo na daljavo v realnem času. Poleg tega bodo nekatera od 32 kaznivih dejanj, navedenih v Okvirnem sklepu Sveta 2002/584/PNZ, v praksi verjetno pomembnejša od drugih, saj bo uporaba biometrične identifikacije na daljavo v realnem času predvidoma potrebna in sorazmerna v zelo različnem obsegu za praktično odkrivanje, lokalizacijo, identifikacijo ali pregon storilca ali osumljenca različnih navedenih kaznivih dejanj ter ob upoštevanju verjetnih razlik v resnosti, verjetnosti in obsegu škode ali možnih negativnih posledic.

(20)

Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh treh izčrpno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, zlasti glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Poleg tega bi bilo treba za uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj določiti ustrezne časovne in prostorske omejitve, zlasti ob upoštevanju dokazov ali znamenj glede groženj, žrtev ali storilca. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od treh zgoraj navedenih primerov.

(21)

Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje pravosodnega organa ali neodvisnega upravnega organa države članice. Tako dovoljenje bi bilo treba načeloma pridobiti pred uporabo, razen v ustrezno utemeljenih nujnih primerih, tj. primerih, ko je potreba po uporabi zadevnih sistemov taka, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe. V takih nujnih primerih bi bilo treba uporabo omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo ter kot jih v okviru vsakega posameznega primera nujne uporabe določi organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj. Poleg tega bi si moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj v takih primerih prizadevati za čimprejšnjo pridobitev dovoljenja in hkrati podati razloge, zakaj ga ni mogel zahtevati prej.

(22)

Poleg tega je v izčrpnem okviru, določenem s to uredbo, primerno določiti, da bi morala biti taka uporaba na ozemlju države članice v skladu s to uredbo mogoča le, kadar in v kolikor se je zadevna država članica odločila izrecno predvideti možnost odobritve take uporabe v svojih podrobnih pravilih nacionalnega prava. Zato imajo države članice v skladu s to uredbo še naprej možnost, da take možnosti sploh ne predvidijo ali da jo predvidijo le za nekatere cilje, ki lahko upravičijo dovoljeno uporabo, opredeljeno v tej uredbi.

(23)

Uporaba umetnointeligenčnih sistemov za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj nujno vključuje obdelavo biometričnih podatkov. Pravila te uredbe, ki ob upoštevanju nekaterih izjem prepovedujejo tako uporabo, ki temelji na členu 16 PDEU, bi se morala uporabljati kot lex specialis v zvezi s pravili o obdelavi biometričnih podatkov iz člena 10 Direktive (EU) 2016/680, tako da bi izčrpno urejala tako uporabo in obdelavo zadevnih biometričnih podatkov. Zato bi morali biti taki uporaba in obdelava mogoči le, če sta združljivi z okvirom iz te uredbe, ne da bi zunaj tega okvira obstajalo področje uporabe za pristojne organe, kadar delujejo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, za uporabo takih sistemov in obdelavo takih podatkov v zvezi z njimi na podlagi razlogov iz člena 10 Direktive (EU) 2016/680. V tem smislu ta uredba ni namenjena zagotavljanju pravne podlage za obdelavo osebnih podatkov v skladu s členom 8 Direktive (EU) 2016/680. Vendar uporaba sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, tudi s strani pristojnih organov, ne bi smela biti zajeta v posebni okvir v zvezi s tako uporabo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, določene s to uredbo. Za tako uporabo za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, zato ne bi smela veljati zahteva po dovoljenju v skladu s to uredbo in veljavnimi podrobnimi pravili nacionalnega prava, ki jo lahko uveljavljajo.

(24)

Pri vsaki obdelavi biometričnih podatkov in drugih osebnih podatkov, povezanih z uporabo umetnointeligenčnih sistemov za biometrično identifikacijo, razen v povezavi z uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj , kot jo ureja ta uredba , tudi kadar te sisteme uporabljajo pristojni organi v javno dostopnih prostorih za druge namene kot za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj , bi morale biti še naprej izpolnjene vse zahteve, ki izhajajo iz člena 9(1) Uredbe (EU) 2016/679, člena 10(1) Uredbe (EU) 2018/1725 in člena 10 Direktive (EU) 2016/680, kot je ustrezno.

(24)

Pri vsaki obdelavi biometričnih podatkov in drugih osebnih podatkov, povezanih z uporabo umetnointeligenčnih sistemov za biometrično identifikacijo, razen v povezavi z uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih, kot jo ureja ta uredba, bi morale biti še naprej izpolnjene vse zahteve, ki izhajajo iz člena 9(1) Uredbe (EU) 2016/679, člena 10(1) Uredbe (EU) 2018/1725 in člena 10 Direktive (EU) 2016/680, kot je ustrezno.

(25)

V skladu s členom 6a Protokola št. 21 o stališču Združenega kraljestva in Irske v zvezi z območjem svobode, varnosti in pravice, ki je priložen k PEU in k PDEU, pravila iz člena 5(1), točke (d) , (2) in (3) te uredbe, sprejeta na podlagi člena 16 PDEU, ki se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU, za Irsko niso zavezujoča, če je ne zavezujejo pravila, ki urejajo oblike pravosodnega sodelovanja v kazenskih zadevah ali policijskega sodelovanja, v okviru katerih je treba upoštevati določbe predpisov, sprejetih na podlagi člena 16 PDEU.

(25)

V skladu s členom 6a Protokola št. 21 o stališču Združenega kraljestva in Irske v zvezi z območjem svobode, varnosti in pravice, ki je priložen k PEU in k PDEU, pravila iz člena 5(1), točke (d) te uredbe, sprejeta na podlagi člena 16 PDEU, ki se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU, za Irsko niso zavezujoča, če je ne zavezujejo pravila, ki urejajo oblike pravosodnega sodelovanja v kazenskih zadevah ali policijskega sodelovanja, v okviru katerih je treba upoštevati določbe predpisov, sprejetih na podlagi člena 16 PDEU.

(26)

V skladu s členoma 2 in 2a Protokola št. 22 o stališču Danske, ki je priložen PEU in PDEU, Danske ne zavezujejo in se zanjo ne uporabljajo pravila, ki so določena v členu 5(1), točki (d) , (2) in (3) te uredbe, sprejeta na podlagi člena 16 PDEU in se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU.

(26)

V skladu s členoma 2 in 2a Protokola št. 22 o stališču Danske, ki je priložen PEU in PDEU, Danske ne zavezujejo in se zanjo ne uporabljajo pravila, ki so določena v členu 5(1), točki (d) te uredbe, sprejeta na podlagi člena 16 PDEU in se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU.

(26a)

Umetnointeligenčni sistemi, ki jih uporabljajo organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ali se uporabljajo v njihovem imenu za napovedovanje, izdelavo profilov ali ocen tveganja na podlagi analize podatkov ali profiliranja skupin fizičnih oseb, vključno z lokacijo teh oseb, ali preteklih kaznivih dejanj fizičnih oseb ali skupin fizičnih oseb z namenom napovedovanja verjetnosti storitve ali ponovitve dejanskega ali morebitnega kaznivega dejanja ali dejanj ali drugega kriminaliziranega družbenega vedenja ali prekrškov, vključno s sistemi napovedovanja goljufij, predstavljajo posebno tveganje diskriminacije določenih oseb ali skupin oseb, saj kršijo človekovo dostojanstvo in ključno pravno načelo domneve nedolžnosti. Takšne umetnointeligenčne sisteme bi bilo zato treba prepovedati.

(26b)

Neselektivno in neciljno pridobivanje biometričnih podatkov z družbenih medijev ali posnetkov kamer CCTV za vzpostavitev ali razširitev podatkovnih zbirk za prepoznavanje obrazov povečuje občutek množičnega nadzora in lahko privede do hudih kršitev temeljnih pravic, vključno s pravico do zasebnosti. Zato bi bilo treba uporabo umetnointeligenčnih sistemov za te namene prepovedati.

(26c)

Obstajajo resni pomisleki glede znanstvene podlage umetnointeligenčnih sistemov, namenjenih ugotavljanju čustev, fizičnih ali fizioloških značilnosti, kot so obrazni izrazi, gibi, frekvenca utripa ali glas. Čustva ali izrazi čustev in njihovo dojemanje se zelo razlikujejo v različnih kulturah, situacijah in celo pri isti osebi. Med glavnimi pomanjkljivostmi tovrstnih tehnologij so omejena zanesljivost (kategorije čustev se ne izražajo zanesljivo skozi enoten nabor fizičnih ali fizioloških gibov, niti se z njimi nedvoumno ne povezujejo), premajhna specifičnost (fizični ali fiziološki izrazi se ne skladajo popolnoma s kategorijami čustev) in omejena možnost posplošitve (vplivi konteksta in kulture niso dovolj upoštevani). Težave z zanesljivostjo in posledično velika tveganja za zlorabe se lahko pojavijo zlasti pri uporabi sistema v resničnih situacijah, povezanih s preprečevanjem, odkrivanjem in preiskovanjem kaznivih dejanj, upravljanjem meja, delovnimi mesti in izobraževalnimi ustanovami. Zato bi bilo treba dajanje na trg ali v obratovanje in uporabo umetnointeligenčnih sistemov, ki naj bi se uporabljali za odkrivanje čustvenih stanj posameznikov, prepovedati.

(26d)

Ta uredba ne bi smela vplivati na prakse, ki jih zakonodaja Unije prepoveduje, vključno s pravom o varstvu podatkov, pravom o nediskriminaciji, pravom o varstvu potrošnikov in konkurenčnim pravom.

(27)

Umetnointeligenčne sisteme velikega tveganja bi bilo treba dati na trg Unije ali v uporabo le, če izpolnjujejo nekatere obvezne zahteve. Navedene zahteve bi morale zagotoviti, da umetnointeligenčni sistemi velikega tveganja, ki so na voljo v Uniji ali katerih izhodni podatki se drugače uporabljajo v Uniji, ne predstavljajo nesprejemljivega tveganja za pomembne javne interese Unije, kot jih priznava in varuje pravo Unije. Umetnointeligenčni sistemi, določeni za sisteme velikega tveganja, bi morali biti omejeni na tiste, ki imajo znaten škodljiv vpliv na zdravje, varnost in temeljne pravice oseb v Uniji, taka omejitev pa bi morala čim bolj zmanjšati morebitno omejevanje mednarodne trgovine.

(27)

Umetnointeligenčne sisteme velikega tveganja bi bilo treba dati na trg Unije , v obratovanje ali v uporabo le, če izpolnjujejo nekatere obvezne zahteve. Navedene zahteve bi morale zagotoviti, da umetnointeligenčni sistemi velikega tveganja, ki so na voljo v Uniji ali katerih izhodni podatki se drugače uporabljajo v Uniji, ne predstavljajo nesprejemljivega tveganja za pomembne javne interese Unije, kot jih priznava in varuje pravo Unije , vključno s temeljnimi pravicami, demokracijo, pravno državo ali okoljem. Zaradi skladnosti s sektorsko zakonodajo in v izogib podvajanju bi bilo treba pri zahtevah za umetnointeligenčne sisteme velikega tveganja upoštevati sektorsko zakonodajo, ki določa zahteve za umetnointeligenčne sisteme velikega tveganja, vključene v področje uporabe te uredbe, kot so Uredba (EU) 2017/745 o medicinskih pripomočkih, Uredba (EU) 2017/746 o in vitro diagnostičnih medicinskih pripomočkih ali Direktiva 2006/42/ES o strojih . Umetnointeligenčni sistemi, določeni za sisteme velikega tveganja, bi morali biti omejeni na tiste, ki imajo znaten škodljiv vpliv na zdravje, varnost in temeljne pravice oseb v Uniji, taka omejitev pa bi morala čim bolj zmanjšati morebitno omejevanje mednarodne trgovine. Zaradi hitrega tehnološkega razvoja in morebitnih sprememb pri uporabi umetnointeligenčnih sistemov bi bilo treba seznam področij z visokim tveganjem in primerov uporabe iz Priloge III kljub temu stalno pregledovati z rednim ocenjevanjem.

(28)

Umetnointeligenčni sistemi bi lahko imeli škodljiv učinek na zdravje in varnost ljudi, zlasti kadar taki sistemi delujejo kot komponente proizvodov. V skladu s cilji harmonizacijske zakonodaje Unije, da se olajša prosti pretok proizvodov na notranjem trgu ter zagotovi, da na trg pridejo le varni in skladni proizvodi, je pomembno, da se ustrezno preprečijo in zmanjšajo varnostna tveganja, ki jih lahko povzroči proizvod kot celota zaradi svojih digitalnih komponent, vključno z umetnointeligenčnimi sistemi. Na primer vse bolj avtonomni roboti, ki se uporabljajo v proizvodnji ali za osebno pomoč in oskrbo, bi morali biti sposobni varno delovati in opravljati svoje funkcije v zapletenih okoljih. Podobno bi morali biti v zdravstvenem sektorju, v katerem je tveganje za življenje in zdravje še posebej veliko, vse bolj izpopolnjeni diagnostični sistemi in sistemi, ki podpirajo človeške odločitve, zanesljivi in točni. Pri razvrstitvi umetnointeligenčnega sistema kot sistema velikega tveganja je zlasti pomemben obseg škodljivega vpliva umetnointeligenčnega sistema na temeljne pravice, varovane z listino. Te pravice vključujejo pravico do človekovega dostojanstva, spoštovanja zasebnega in družinskega življenja, varstva osebnih podatkov, svobode izražanja in obveščanja, svobode zbiranja in združevanja ter nediskriminacije, varstva potrošnikov, pravic delavcev, pravic invalidov, pravice do učinkovitega pravnega sredstva in nepristranskega sodišča, pravice do obrambe in domneve nedolžnosti ter pravice do dobrega upravljanja. Poleg teh pravic je treba poudariti, da imajo otroci posebne pravice, zapisane v členu 24 Listine EU in Konvenciji Združenih narodov o otrokovih pravicah (v zvezi z digitalnim okoljem so podrobneje opredeljene v splošni pripombi št. 25 KOP), ki zahtevata upoštevanje šibkih točk otrok ter zagotavljanje zaščite in varstva, ki sta potrebna za njihovo dobro počutje. Pri ocenjevanju resnosti škode, ki jo lahko povzroči umetnointeligenčni sistem, je treba upoštevati tudi temeljno pravico do visoke ravni varstva okolja, ki je zapisana v Listini in se izvaja v politikah Unije, tudi v zvezi z zdravjem in varnostjo oseb.

(28)

Umetnointeligenčni sistemi bi lahko imeli škodljiv učinek na zdravje in varnost ljudi, zlasti kadar taki sistemi delujejo kot varnostne komponente proizvodov. V skladu s cilji harmonizacijske zakonodaje Unije, da se olajša prosti pretok proizvodov na notranjem trgu ter zagotovi, da na trg pridejo le varni in skladni proizvodi, je pomembno, da se ustrezno preprečijo in zmanjšajo varnostna tveganja, ki jih lahko povzroči proizvod kot celota zaradi svojih digitalnih komponent, vključno z umetnointeligenčnimi sistemi. Na primer vse bolj avtonomni roboti, ki se uporabljajo v proizvodnji ali za osebno pomoč in oskrbo, bi morali biti sposobni varno delovati in opravljati svoje funkcije v zapletenih okoljih. Podobno bi morali biti v zdravstvenem sektorju, v katerem je tveganje za življenje in zdravje še posebej veliko, vse bolj izpopolnjeni diagnostični sistemi in sistemi, ki podpirajo človeške odločitve, zanesljivi in točni.

(28a)

Pri razvrstitvi umetnointeligenčnega sistema kot sistema velikega tveganja je zlasti pomemben obseg škodljivega vpliva umetnointeligenčnega sistema na temeljne pravice, varovane z Listino. Te pravice vključujejo pravico do človekovega dostojanstva, spoštovanja zasebnega in družinskega življenja, varstva osebnih podatkov, svobode izražanja in obveščanja, svobode zbiranja in združevanja ter nediskriminacije, izobraževanja, varstva potrošnikov, pravice delavcev, pravice invalidov, enakost spolov, pravice intelektualne lastnine, pravico do učinkovitega pravnega sredstva in nepristranskega sodišča, pravico do obrambe in domneve nedolžnosti ter dobrega upravljanja. Poleg teh pravic je treba poudariti, da imajo otroci posebne pravice, zapisane v členu 24 Listine EU in Konvenciji Združenih narodov o otrokovih pravicah (v zvezi z digitalnim okoljem so podrobneje opredeljene v splošni pripombi št. 25 KOP), ki zahtevata upoštevanje šibkih točk otrok ter zagotavljanje zaščite in varstva, ki sta potrebna za njihovo dobro počutje. Pri ocenjevanju resnosti škode, ki jo lahko povzroči umetnointeligenčni sistem, je treba upoštevati tudi temeljno pravico do visoke ravni varstva okolja, ki je zapisana v Listini in se izvaja v politikah Unije, tudi v zvezi z zdravjem in varnostjo oseb ali okoljem.

(29)

Kar zadeva umetnointeligenčne sisteme velikega tveganja, ki so varnostne komponente proizvodov ali sistemov ali ki so sami proizvodi ali sistemi s področja uporabe Uredbe (ES) št. 300/2008 Evropskega parlamenta in Sveta (39), Uredbe (EU) št. 167/2013 Evropskega parlamenta in Sveta (40), Uredbe (EU) št. 168/2013 Evropskega parlamenta in Sveta (41), Direktive 2014/90/EU Evropskega parlamenta in Sveta (42), Direktive (EU) 2016/797 Evropskega parlamenta in Sveta (43), Uredbe (EU) 2018/858 Evropskega parlamenta in Sveta (44), Uredbe (EU) 2018/1139 Evropskega parlamenta in Sveta (45) in Uredbe (EU) 2019/2144 Evropskega parlamenta in Sveta (46), je primerno navedene akte spremeniti, da se zagotovi, da Komisija na podlagi tehničnih in regulativnih posebnosti vsakega sektorja ter brez poseganja v obstoječe mehanizme in organe upravljanja, ugotavljanja skladnosti in izvrševanja, vzpostavljene v teh sektorjih, pri sprejemanju vseh ustreznih prihodnjih delegiranih ali izvedbenih aktov na podlagi navedenih aktov upošteva obvezne zahteve za umetnointeligenčne sisteme velikega tveganja, določene v tej uredbi.

(29)

Kar zadeva umetnointeligenčne sisteme velikega tveganja, ki so varnostne komponente proizvodov ali sistemov ali ki so sami proizvodi ali sistemi s področja uporabe Uredbe (ES) št. 300/2008 Evropskega parlamenta in Sveta (39), Uredbe (EU) št. 167/2013 Evropskega parlamenta in Sveta (40), Uredbe (EU) št. 168/2013 Evropskega parlamenta in Sveta (41), Direktive 2014/90/EU Evropskega parlamenta in Sveta (42), Direktive (EU) 2016/797 Evropskega parlamenta in Sveta (43), Uredbe (EU) 2018/858 Evropskega parlamenta in Sveta (44), Uredbe (EU) 2018/1139 Evropskega parlamenta in Sveta (45) in Uredbe (EU) 2019/2144 Evropskega parlamenta in Sveta (46), je primerno navedene akte spremeniti, da se zagotovi, da Komisija na podlagi tehničnih in regulativnih posebnosti vsakega sektorja ter brez poseganja v obstoječe mehanizme in organe upravljanja, ugotavljanja skladnosti , tržnega nadzora in izvrševanja, vzpostavljene v teh sektorjih, pri sprejemanju vseh ustreznih prihodnjih delegiranih ali izvedbenih aktov na podlagi navedenih aktov upošteva obvezne zahteve za umetnointeligenčne sisteme velikega tveganja, določene v tej uredbi.

(30)

Kar zadeva umetnointeligenčne sisteme, ki so varnostne komponente proizvodov ali ki so sami proizvodi s področja uporabe določene harmonizacijske zakonodaje Unije, jih je primerno v skladu s to uredbo razvrstiti kot sisteme velikega tveganja, če je zadevni proizvod v postopku ugotavljanja skladnosti pri organu, ki kot tretja stran izvaja ugotavljanje skladnosti v skladu z ustrezno harmonizacijsko zakonodajo Unije. Taki proizvodi so zlasti stroji, igrače, dvigala, oprema in zaščitni sistemi za uporabo v potencialno eksplozivnih atmosferah, radijska oprema, tlačna oprema, oprema za plovila za rekreacijo, žičniške naprave, naprave, v katerih zgoreva plinasto gorivo, medicinski pripomočki ter in vitro diagnostični medicinski pripomočki.

(30)

Kar zadeva umetnointeligenčne sisteme, ki so varnostne komponente proizvodov ali ki so sami proizvodi s področja uporabe določene harmonizacijske zakonodaje Unije iz Priloge II , jih je primerno v skladu s to uredbo razvrstiti kot sisteme velikega tveganja, če je zadevni proizvod v postopku ugotavljanja skladnosti pri organu, ki kot tretja stran izvaja ugotavljanje skladnosti v skladu z ustrezno harmonizacijsko zakonodajo Unije , da bi se zagotovilo izpolnjevanje bistvenih varnostnih zahtev . Taki proizvodi so zlasti stroji, igrače, dvigala, oprema in zaščitni sistemi za uporabo v potencialno eksplozivnih atmosferah, radijska oprema, tlačna oprema, oprema za plovila za rekreacijo, žičniške naprave, naprave, v katerih zgoreva plinasto gorivo, medicinski pripomočki ter in vitro diagnostični medicinski pripomočki.

(31)

Razvrstitev umetnointeligenčnega sistema kot sistema velikega tveganja v skladu s to uredbo ne bi smela nujno pomeniti, da se proizvod, katerega varnostna komponenta je umetnointeligenčni sistem, ali sam umetnointeligenčni sistem kot proizvod šteje za „sistem velikega tveganja“ v skladu z merili iz ustrezne harmonizacijske zakonodaje Unije, ki se uporablja za proizvod. To velja zlasti za Uredbo (EU) 2017/745 Evropskega parlamenta in Sveta (47) ter Uredbo (EU) 2017/746 Evropskega parlamenta in Sveta (48) , kadar je za proizvode srednjega in velikega tveganja predvideno ugotavljanje skladnosti s strani tretjih oseb.

(31)

Razvrstitev umetnointeligenčnega sistema kot sistema velikega tveganja v skladu s to uredbo ne bi smela pomeniti, da se proizvod, katerega varnostna komponenta je umetnointeligenčni sistem, ali sam umetnointeligenčni sistem kot proizvod šteje za „sistem velikega tveganja“ v skladu z merili iz ustrezne harmonizacijske zakonodaje Unije, ki se uporablja za proizvod. To velja zlasti za Uredbo (EU) 2017/745 Evropskega parlamenta in Sveta (47) ter Uredbo (EU) 2017/746 Evropskega parlamenta in Sveta (48), kadar je za proizvode srednjega in velikega tveganja predvideno ugotavljanje skladnosti s strani tretjih oseb.

(32)

Kar zadeva samostojne umetnointeligenčne sisteme, tj. umetnointeligenčne sisteme velikega tveganja, razen tistih, ki so varnostne komponente proizvodov ali ki so sami proizvodi, jih je primerno razvrstiti kot sisteme velikega tveganja, če glede na svoj predvideni namen predstavljajo veliko tveganje škode za zdravje in varnost ali temeljne pravice oseb, ob upoštevanju resnosti možne škode in verjetnosti njenega nastanka , ter se uporabljajo na več posebej vnaprej opredeljenih področjih , določenih v  Uredbi . Določitev teh sistemov temelji na enaki metodologiji in merilih, predvidenih tudi za morebitne prihodnje spremembe seznama umetnointeligenčnih sistemov velikega tveganja.

(32)

Kar zadeva samostojne umetnointeligenčne sisteme, tj. umetnointeligenčne sisteme velikega tveganja, razen tistih, ki so varnostne komponente proizvodov ali ki so sami proizvodi in so našteti med področji in primeri uporabe v Prilogi III , jih je primerno razvrstiti kot sisteme velikega tveganja, če glede na svoj namen predstavljajo znatno tveganje škode za zdravje in varnost ali temeljne pravice oseb, v primeru, da se umetnointeligenčni sistem uporablja kot varnostna komponenta kritične infrastrukture, pa tudi za okolje. Tako znatno tveganje škode bi bilo treba opredeliti tako, da se na eni strani oceni njegov učinek glede na kombinacijo njegove stopnje resnosti , intenzivnosti, verjetnosti nastanka in trajanja, na drugi strani pa , ali lahko tveganje vpliva na posameznika, več oseb ali določeno skupino oseb. Pri taki kombinaciji dejavnikov bi se lahko na primer pokazala visoka stopnja resnosti, a majhna verjetnost vpliva na fizično osebo , ali pa velika verjetnost vpliva na skupino oseb z nizko intenzivnostjo v  daljšem časovnem obdobju, odvisno od okoliščin . Določitev teh sistemov temelji na enaki metodologiji in merilih, predvidenih tudi za morebitne prihodnje spremembe seznama umetnointeligenčnih sistemov velikega tveganja.

(32a)

Ponudniki, katerih umetnointeligenčni sistemi spadajo v eno od področij in primerov uporabe iz Priloge III in ki menijo, da njihov sistem ne predstavlja znatnega tveganja za zdravje, varnost, temeljne pravice ali okolje, bi morali o tem obvestiti nacionalne nadzorne organe s predložitvijo utemeljene priglasitve. Ta priglasitev bi lahko bila v obliki povzetka, dolgega eno stran, z ustreznimi informacijami o umetnointeligenčnem sistemu, vključno z njegovim predvidenim namenom in razlogi, zakaj naj ne bi pomenil znatnega tveganja za zdravje, varnost, temeljne pravice ali okolje. Komisija bi morala določiti merila, na podlagi katerih bi podjetja lahko ocenila, ali bi njihov sistem lahko prinesel taka tveganja, ter pripraviti standardizirano predlogo za priglasitev, ki bi bila enostavna za uporabo. Ponudniki bi morali priglasitev predložiti čim prej, v vsakem primeru pa pred dajanjem umetnointeligenčnega sistema na trg ali v uporabo, po možnosti že v razvojni fazi, in bi morali imeti možnost, da ga dajo na trg kadar koli po priglasitvi. Če pa organ oceni, da je bil umetnointeligenčni sistem napačno razvrščen, bi moral v treh mesecih ugovarjati priglasitvi. Ugovor bi bilo treba utemeljiti in ustrezno pojasniti, zakaj je bil umetnointeligenčni sistem napačno razvrščen. Ponudnik bi moral ohraniti pravico do pritožbe s predložitvijo dodatnih argumentov. Tudi če nacionalni nadzorni organi po treh mesecih niso ugovarjali priglasitvi, lahko še vedno posredujejo, če umetnointeligenčni sistem predstavlja tveganje na nacionalni ravni, tako kot pri katerem koli drugem umetnointeligenčnem sistemu na trgu. Nacionalni nadzorni organi bi morali uradu za umetno inteligenco predložiti letna poročila, v katerih bi podrobno opisali prejete priglasitve in sprejete odločitve.

(33)

Tehnične netočnosti umetnointeligenčnih sistemov, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, lahko vodijo do pristranskih rezultatov in diskriminatornih učinkov. To velja zlasti za starost, etnično pripadnost, spol ali invalidnost. Zato bi bilo treba sisteme za biometrično identifikacijo na daljavo v realnem času in sisteme za naknadno biometrično identifikacijo na daljavo razvrstiti med sisteme velikega tveganja. Zaradi tveganj, ki jih predstavljata, bi morale za obe vrsti sistemov za biometrično identifikacijo na daljavo veljati posebne zahteve glede zmogljivosti vodenja dnevnikov in človekovega nadzora.

(33a)

Ker so biometrični podatki posebna kategorija občutljivih osebnih podatkov v skladu z Uredbo 2016/679, je primerno več kritičnih primerov uporabe biometričnih in na biometriji temelječih sistemov razvrstiti kot sisteme velikega tveganja. Umetnointeligenčne sisteme, namenjene biometrični identifikaciji fizičnih oseb, in umetnointeligenčne sisteme, namenjene sklepanju o osebnih značilnostih fizičnih oseb na podlagi biometričnih podatkov ali podatkov, ki temeljijo na biometriji, vključno s sistemi za prepoznavanje čustev, razen tistih, ki so prepovedani s to uredbo, bi bilo treba razvrstiti kot sisteme visokega tveganja. To ne bi smelo vključevati umetnointeligenčnih sistemov za biometrično preverjanje, tudi avtentikacijo, katerih edini namen je potrditi, da je določena fizična oseba res ta, za katero se izdaja, in potrditi identiteto fizične osebe izključno z namenom dostopa do storitve, naprave ali prostorov (preverjanje „ena proti ena“). Za biometrične in na biometriji temelječe sisteme, ki so v pravu Unije določeni za omogočanje kibernetske varnosti in ukrepov za varstvo osebnih podatkov, se ne bi smelo šteti, da predstavljajo znatno tveganje za zdravje, varnost in temeljne pravice.

(34)

V zvezi z upravljanjem in delovanjem kritične infrastrukture je primerno, da se umetnointeligenčni sistemi, namenjeni uporabi kot varnostne komponente pri upravljanju in delovanju cestnega prometa ter oskrbi z vodo, plinom, ogrevanjem in električno energijo, razvrstijo kot sistemi velikega tveganja, saj lahko njihovo nedelovanje ali okvara delovanja ogrozijo življenje in zdravje ljudi v velikem obsegu ter povzročijo občutne motnje v rednem izvajanju družbenih in gospodarskih dejavnosti.

(34)

V zvezi z upravljanjem in delovanjem kritične infrastrukture je primerno, da se umetnointeligenčni sistemi, namenjeni uporabi kot varnostne komponente pri upravljanju in delovanju oskrbe z vodo, plinom, ogrevanjem, električno energijo in kritično digitalno infrastrukturo , razvrstijo kot sistemi velikega tveganja, saj lahko njihovo nedelovanje ali okvara delovanja krši varnost in integriteto take kritične infrastrukture ali ogrozi življenje in zdravje ljudi v velikem obsegu ter povzroči občutne motnje v rednem izvajanju družbenih in gospodarskih dejavnosti. Varnostne komponente kritične infrastrukture, vključno s kritično digitalno infrastrukturo, so sistemi, ki se uporabljajo za neposredno zaščito fizične celovitosti kritične infrastrukture ali zdravja in varnosti oseb in premoženja. Nedelovanje ali napačno delovanje takih komponent bi lahko ustvarilo neposredno tveganje za fizično celovitost kritične infrastrukture in posledično tveganje za zdravje in varnost oseb in premoženja. Komponente, namenjene izključno za uporabo v namene kibernetske varnosti, se ne bi smele šteti kot varnostne komponente. Primeri takih varnostnih komponent lahko vključujejo sisteme za spremljanje vodnega tlaka ali sisteme za nadzor požarnega alarma v centrih za računalništvo v oblaku.

(35)

Umetnointeligenčne sisteme, ki se uporabljajo v izobraževanju ali poklicnem usposabljanju, zlasti za določanje dostopa ali razvrščanje oseb v izobraževalne ustanove in ustanove za poklicno usposabljanje ali za ocenjevanje oseb na testih, ki so del izobraževanja ali predpogoj zanj, bi bilo treba obravnavati kot sisteme velikega tveganja, saj lahko določajo izobraževalni in poklicni potek življenja osebe ter tako vplivajo na sposobnost zagotavljanja preživetja te osebe. Če se taki sistemi neustrezno zasnujejo in uporabljajo , lahko kršijo pravico do izobraževanja in usposabljanja ter pravico do nediskriminacije in ohranjajo vzorce diskriminacije iz preteklosti.

(35)

Uvedba umetnointeligenčnih sistemov v izobraževanju je pomembna za posodobitev izobraževalnih sistemov in izboljšanje kakovosti izobraževanja, tako zunaj spleta kot na njem, ter za pospešitev digitalnega izobraževanja, s čimer bo na voljo tudi širši javnosti. Umetnointeligenčne sisteme, ki se uporabljajo v izobraževanju ali poklicnem usposabljanju, zlasti za določanje dostopa ali bistveno vplivanje na odločitve o sprejemu ali razvrščanju oseb v izobraževalne ustanove in ustanove za poklicno usposabljanje ali za ocenjevanje oseb na testih, ki so del izobraževanja ali predpogoj zanj, ali za ocenjevanje ustrezne ravni izobraževanja za posameznika in bistveno vplivanje na raven izobraževanja in usposabljanja, ki ga bodo prejeli posamezniki ali bodo lahko do njega dostopali, ali za spremljanje in ugotavljanje prepovedanega vedenja študentov med opravljanjem preizkusov znanja, bi bilo treba razvrstiti med sisteme velikega tveganja, saj lahko določajo izobraževalni in poklicni potek življenja osebe ter tako vplivajo na sposobnost zagotavljanja preživetja te osebe. Če so takšni sistemi neustrezno zasnovani in uporabljeni , lahko posebno hudo posegajo v pravico do izobraževanja in usposabljanja ter pravico do nediskriminacije in jih lahko kršijo ter ohranjajo vzorce diskriminacije iz preteklosti , na primer žensk, nekaterih starostnih skupin, invalidov ali oseb določenega rasnega ali etničnega porekla ali spolne usmerjenosti .

(36)

Umetnointeligenčne sisteme, ki se uporabljajo pri zaposlovanju, upravljanju delavcev in dostopu do samozaposlitve, zlasti za zaposlovanje in izbiro oseb, za sprejemanje odločitev o napredovanju in prenehanju zaposlitve ter za dodeljevanje nalog, spremljanje ali ocenjevanje oseb v pogodbenih delovnih razmerjih, bi bilo treba prav tako razvrstiti med sisteme velikega tveganja, saj lahko ti sistemi občutno vplivajo na prihodnje poklicne možnosti in možnosti preživljanja teh oseb. Ustrezna pogodbena delovna razmerja bi morala vključevati zaposlene in osebe, ki zagotavljajo storitve preko platform, kot so navedene v delovnem programu Komisije za leto 2021. Take osebe se načeloma ne bi smele šteti za uporabnike v smislu te uredbe.  V celotnem postopku zaposlovanja in pri ocenjevanju, napredovanju ali ohranjanju oseb v pogodbenih delovnih razmerjih lahko taki sistemi ohranjajo vzorce diskriminacije iz preteklosti, na primer nad ženskami, določenimi starostnimi skupinami, invalidi ali osebami določenega rasnega ali etničnega porekla ali spolne usmerjenosti. Tudi umetnointeligenčni sistemi, ki se uporabljajo za spremljanje zmogljivosti in vedenja teh oseb, lahko vplivajo na njihove pravice do varstva podatkov in zasebnosti.

(36)

Umetnointeligenčne sisteme, ki se uporabljajo pri zaposlovanju, upravljanju delavcev in dostopu do samozaposlitve, zlasti za zaposlovanje in izbiro oseb, za sprejemanje odločitev ali bistveno vplivanje na odločitve o  začetku, napredovanju in prenehanju zaposlitve ter za prilagojeno dodeljevanje nalog na podlagi vedenja, osebnih lastnosti ali biometričnih podatkov , spremljanje ali ocenjevanje oseb v pogodbenih delovnih razmerjih, bi bilo treba prav tako razvrstiti med sisteme velikega tveganja, saj lahko ti sistemi občutno vplivajo na prihodnje poklicne možnosti, možnosti preživljanja teh oseb in pravice delavcev . Ustrezna pogodbena delovna razmerja bi morala smiselno vključevati zaposlene in osebe, ki zagotavljajo storitve preko platform, kot so navedene v delovnem programu Komisije za leto 2021. V celotnem postopku zaposlovanja in pri ocenjevanju, napredovanju ali ohranjanju oseb v pogodbenih delovnih razmerjih lahko taki sistemi ohranjajo vzorce diskriminacije iz preteklosti, na primer nad ženskami, določenimi starostnimi skupinami, invalidi ali osebami določenega rasnega ali etničnega porekla ali spolne usmerjenosti. Tudi umetnointeligenčni sistemi, ki se uporabljajo za spremljanje zmogljivosti in vedenja teh oseb, lahko ogrožajo bistvo njihovih temeljnih pravic do varstva podatkov in zasebnosti. Ta uredba se uporablja brez poseganja v pristojnosti Unije in držav članic, da določijo bolj specifična pravila za uporabo umetnointeligenčnih sistemov v okviru zaposlovanja.

(37)

Drugo področje, na katerem je treba posebno pozornost nameniti uporabi umetnointeligenčnih sistemov, je dostop do nekaterih bistvenih zasebnih in javnih storitev ter koristi, ki jih ljudje potrebujejo za polno udeležbo v družbi ali izboljšanje življenjskega standarda. Zlasti umetnointeligenčne sisteme, ki se uporabljajo za ocenjevanje kreditne ocene ali kreditne sposobnosti fizičnih oseb, bi bilo treba uvrstiti med umetnointeligenčne sisteme velikega tveganja, saj določajo dostop teh oseb do finančnih sredstev ali bistvenih storitev, kot so stanovanje, električna energija in telekomunikacijske storitve. Umetnointeligenčni sistemi, ki se uporabljajo v ta namen, lahko pripeljejo do diskriminacije oseb ali skupin in ohranijo vzorce diskriminacije iz preteklosti, na primer na podlagi rasnega ali etničnega porekla, invalidnosti, starosti, spolne usmerjenosti, ali ustvarijo nove oblike diskriminatornih vplivov. Glede na zelo omejen obseg vpliva in razpoložljivih alternativ na trgu je primerno izvzeti umetnointeligenčne sisteme za namene ocenjevanja kreditne sposobnosti in kreditnega točkovanja, kadar jih v  uporabo dajejo mali ponudniki za lastno uporabo . Fizične osebe, ki zaprosijo za ugodnosti in storitve javne pomoči ali jih prejemajo od javnih organov, so po navadi odvisne od teh ugodnosti in storitev ter so v ranljivem položaju v odnosu do odgovornih organov. Če se umetnointeligenčni sistemi uporabljajo za določanje, ali naj organi take ugodnosti in storitve zavrnejo, zmanjšajo, prekličejo ali zahtevajo povračilo, lahko pomembno vplivajo na preživljanje oseb in kršijo njihove temeljne pravice, kot so pravica do socialne zaščite, nediskriminacije, človekovega dostojanstva ali učinkovitega pravnega sredstva. Zato bi bilo treba te sisteme uvrstiti med sisteme velikega tveganja. Kljub temu ta uredba ne bi smela ovirati razvoja in uporabe inovativnih pristopov v javni upravi, ki bi imela koristi od širše uporabe skladnih in varnih umetnointeligenčnih sistemov, če ti sistemi ne pomenijo velikega tveganja za pravne in fizične osebe. Nazadnje bi bilo treba tudi umetnointeligenčne sisteme, ki se uporabljajo za pošiljanje ali določanje prednosti pri napotitvi služb za ukrepanje ob nesrečah, razvrstiti med sisteme velikega tveganja, saj sprejemajo odločitve v zelo kritičnih razmerah za življenje in zdravje oseb ter njihovo premoženje.

(37)

Drugo področje, na katerem je treba posebno pozornost nameniti uporabi umetnointeligenčnih sistemov, je dostop do nekaterih bistvenih zasebnih in javnih storitev , vključno z zdravstvenim varstvom in bistvenimi storitvami, kamor med drugim sodijo tudi stanovanja, električna energija, ogrevanje/hlajenje in internet, ter koristi, ki jih ljudje potrebujejo za polno udeležbo v družbi ali izboljšanje življenjskega standarda. Zlasti umetnointeligenčne sisteme, ki se uporabljajo za ocenjevanje kreditne ocene ali kreditne sposobnosti fizičnih oseb, bi bilo treba uvrstiti med umetnointeligenčne sisteme velikega tveganja, saj določajo dostop teh oseb do finančnih sredstev ali bistvenih storitev, kot so stanovanje, električna energija in telekomunikacijske storitve. Umetnointeligenčni sistemi, ki se uporabljajo v ta namen, lahko pripeljejo do diskriminacije oseb ali skupin in ohranijo vzorce diskriminacije iz preteklosti, na primer na podlagi rasnega ali etničnega porekla, spola, invalidnosti, starosti, spolne usmerjenosti, ali ustvarijo nove oblike diskriminatornih vplivov. Vendar umetnointeligenčni sistemi, določeni v pravu Unije za odkrivanje goljufij pri ponujanju finančnih storitev, ne bi smeli šteti za sisteme velikega tveganja v skladu s to uredbo. Fizične osebe, ki zaprosijo za ugodnosti in storitve javne pomoči ali jih prejemajo od javnih organov, vključno z zdravstvenimi storitvami in bistvenimi storitvami, kamor med drugim sodijo tudi stanovanja, električna energija, ogrevanje/hlajenje in internet, so po navadi odvisne od teh ugodnosti in storitev ter so v ranljivem položaju v odnosu do odgovornih organov. Če se umetnointeligenčni sistemi uporabljajo za določanje, ali naj organi take ugodnosti in storitve zavrnejo, zmanjšajo, prekličejo ali zahtevajo povračilo, lahko pomembno vplivajo na preživljanje oseb in kršijo njihove temeljne pravice, kot so pravica do socialne zaščite, nediskriminacije, človekovega dostojanstva ali učinkovitega pravnega sredstva. Podobno lahko umetnointeligenčni sistemi, namenjeni sprejemanju odločitev ali bistvenemu vplivanju na odločitve o upravičenosti fizičnih oseb do zdravstvenega in življenjskega zavarovanja, znatno vplivajo na možnosti preživljanja oseb in lahko kršijo njihove temeljne pravice, na primer z omejevanjem dostopa do zdravstvenega varstva ali nadaljevanjem diskriminacije na podlagi osebnih značilnosti. Zato bi bilo treba te sisteme uvrstiti med sisteme velikega tveganja. Kljub temu ta uredba ne bi smela ovirati razvoja in uporabe inovativnih pristopov v javni upravi, ki bi imela koristi od širše uporabe skladnih in varnih umetnointeligenčnih sistemov, če ti sistemi ne pomenijo velikega tveganja za pravne in fizične osebe. Nazadnje bi bilo treba tudi umetnointeligenčne sisteme, ki se uporabljajo za ocenjevanje in razvrščanje klicev v sili fizičnih oseb ali za pošiljanje ali določanje prednosti pri napotitvi služb za ukrepanje ob nesrečah, razvrstiti med sisteme velikega tveganja, saj sprejemajo odločitve v zelo kritičnih razmerah za življenje in zdravje oseb ter njihovo premoženje.

(37a)

Glede na vlogo in pristojnost policijskih in pravosodnih organov ter posledice odločitev, ki jih sprejmejo za preprečevanje, preiskovanje, odkrivanje ali pregon kaznivih dejanj ali izvršitev kazenskih sankcij, je treba nekatere specifične primere uporabe umetne inteligence na področju preprečevanja, preiskovanja in odkrivanja kaznivih dejanj, zlasti v primerih, ko te močno vplivajo na življenje ali temeljne pravice posameznikov, opredeliti kot zelo tvegane.

(38)

Za ukrepe organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, ki vključujejo nekatere uporabe umetnointeligenčnih sistemov, je značilna precejšnja stopnja neravnovesja moči, kar lahko vodi do nadzora, prijetja ali odvzema prostosti fizične osebe ter drugih škodljivih učinkov na temeljne pravice, ki jih zagotavlja Listina. Zlasti če se umetnointeligenčni sistem ne uči z visokokakovostnimi podatki, ne izpolnjuje ustreznih zahtev glede točnosti ali robustnosti ali ni ustrezno zasnovan in testiran, preden je dan na trg ali na kakšen drug način v uporabo, lahko ljudi izloči na diskriminatoren ali kako drugače napačen ali nepravičen način. Poleg tega bi lahko bilo ovirano uveljavljanje pomembnih procesnih temeljnih pravic, kot so pravica do učinkovitega pravnega sredstva in nepristranskega sodišča ter pravica do obrambe in domneve nedolžnosti, zlasti, kadar taki umetnointeligenčni sistemi niso dovolj pregledni, obrazložljivi in dokumentirani. Zato je primerno, da se številni umetnointeligenčni sistemi, namenjeni uporabi v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razvrstijo kot sistemi velikega tveganja, kjer so točnost, zanesljivost in preglednost zlasti pomembni, da se preprečijo škodljivi učinki, ohrani zaupanje javnosti ter zagotovita odgovornost in učinkovito sodno varstvo. Glede na naravo zadevnih dejavnosti in z njimi povezanih tveganj bi morali ti umetnointeligenčni sistemi velikega tveganja vključevati zlasti umetnointeligenčne sisteme, namenjene uporabi s strani organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za individualne ocene tveganja, poligrafe in podobna orodja ali za zaznavanje čustvenega stanja fizične osebe , za odkrivanje „globokih ponaredkov“ , za oceno zanesljivosti dokazov v postopkih preprečevanja , odkrivanja in preiskovanja kaznivih dejanj, za napovedovanje nastanka ali ponovitve dejanskega ali potencialnega kaznivega dejanja na podlagi profiliranja fizičnih oseb ali ocenjevanja osebnostnih lastnosti in značilnosti ali preteklih kaznivih dejanj fizičnih oseb ali skupin , za profiliranje pri odkrivanju, preiskovanju ali pregonu kaznivih dejanj ter za analize kaznivih dejanj v zvezi s fizičnimi osebami. Umetnointeligenčni sistemi, posebej namenjeni uporabi v upravnih postopkih s strani davčnih in carinskih organov, se ne bi smeli šteti za umetnointeligenčne sisteme velikega tveganja, ki jih uporabljajo organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za namene preprečevanja, odkrivanja, preiskovanja in pregona kaznivih dejanj.

(38)

Za ukrepe organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, ki vključujejo nekatere uporabe umetnointeligenčnih sistemov, je značilna precejšnja stopnja neravnovesja moči, kar lahko vodi do nadzora, prijetja ali odvzema prostosti fizične osebe ter drugih škodljivih učinkov na temeljne pravice, ki jih zagotavlja Listina. Zlasti če se umetnointeligenčni sistem ne uči z visokokakovostnimi podatki, ne izpolnjuje ustreznih zahtev glede uspešnosti, točnosti ali robustnosti ali ni ustrezno zasnovan in testiran, preden je dan na trg ali na kakšen drug način v uporabo, lahko ljudi izloči na diskriminatoren ali kako drugače napačen ali nepravičen način. Poleg tega bi lahko bilo ovirano uveljavljanje pomembnih procesnih temeljnih pravic, kot so pravica do učinkovitega pravnega sredstva in nepristranskega sodišča ter pravica do obrambe in domneve nedolžnosti, zlasti, kadar taki umetnointeligenčni sistemi niso dovolj pregledni, obrazložljivi in dokumentirani. Zato je primerno, da se številni umetnointeligenčni sistemi, namenjeni uporabi v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razvrstijo kot sistemi velikega tveganja, kjer so točnost, zanesljivost in preglednost zlasti pomembni, da se preprečijo škodljivi učinki, ohrani zaupanje javnosti ter zagotovita odgovornost in učinkovito sodno varstvo. Glede na naravo zadevnih dejavnosti in z njimi povezanih tveganj bi morali ti umetnointeligenčni sistemi velikega tveganja vključevati zlasti umetnointeligenčne sisteme, namenjene uporabi s strani organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ali v njihovem imenu ali s strani agencij , uradov ali teles Unije , ki podpirajo organe za preprečevanje , odkrivanje in preiskovanje kaznivih dejanj, za poligrafe in podobna orodja, če je njihova uporaba dovoljena v skladu z ustrezno zakonodajo Unije ali nacionalno zakonodajo, za oceno zanesljivosti dokazov v postopkih preprečevanja, odkrivanja in preiskovanja kaznivih dejanj , za profiliranje pri odkrivanju, preiskovanju ali pregonu kaznivih dejanj ter za analize kaznivih dejanj v zvezi s fizičnimi osebami. Umetnointeligenčni sistemi, posebej namenjeni uporabi v upravnih postopkih s strani davčnih in carinskih organov, ne bi smeli biti uvrščeni kot umetnointeligenčni sistemi velikega tveganja, ki jih uporabljajo organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za namene preprečevanja, odkrivanja, preiskovanja in pregona kaznivih dejanj. Organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ter pravosodni organi orodij umetne inteligence ne bi smeli uporabljati tako, da bi postala dejavnik pri neenakosti, socialnih napetostih ali izključenosti. Vpliva uporabe orodij umetne inteligence na pravice osumljencev do obrambe ne bi smeli zanemariti, pri čemer je zlasti težko pridobiti tehtne informacije o njihovem delovanju in posledično izpodbijati njihove rezultate na sodišču, zlasti za preiskovane posameznike.

(39)

Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je primerno, da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, kot so poligrafi in podobna orodja, ali za zaznavanje čustvenega stanja fizične osebe, uvrstijo med sisteme velikega tveganja; za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi prošenj za azil, vizume in dovoljenja za prebivanje ter s tem povezanih pritožb , da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status. Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta (49), Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta (50) in druge ustrezne zakonodaje.

(39)

Umetnointeligenčni sistemi, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na ljudi, ki so pogosto v posebej ranljivem položaju ter so odvisni od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatorna narava in preglednost umetnointeligenčnih sistemov, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic izpostavljenih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je primerno, da se umetnointeligenčni sistemi za uporabo s strani pristojnih javnih organov, zadolženih za naloge na področju upravljanja migracij, azila in nadzora mej, ali v njihovem imenu ali s strani agencij, uradov ali teles Unije, kot so poligrafi in podobna orodja, če je njihova uporaba dovoljena v skladu z ustrezno zakonodajo Unije ali nacionalno zakonodajo, za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil; za preverjanje verodostojnosti ustreznih dokumentov fizičnih oseb; za pomoč pristojnim javnim organom pri obravnavi in oceni verodostojnosti dokazil, povezanih s prošnjami za azil, vizumi in dovoljenji za prebivanje ter s tem povezanimi pritožbami , da se ugotovi upravičenost fizičnih oseb, ki zaprosijo za status ; za spremljanje, nadzor ali obdelavo osebnih podatkov v okviru dejavnosti upravljanja meja za namene odkrivanja, prepoznavanja ali identifikacije fizičnih oseb; za napovedovanje trendov, povezanih z migracijskimi gibanji in prehodi meje . Umetnointeligenčni sistemi na področju upravljanja migracij, azila in nadzora mej, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Direktive 2013/32/EU Evropskega parlamenta in Sveta (49), Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta (50) in druge ustrezne zakonodaje. Države članice ali institucije, agencije ali telesa Unije umetnointeligenčnih sistemov pri upravljanju migracij, azila in nadzora meje ne bi smele uporabljati za izogibanje svojim mednarodnim obveznostim v skladu s Konvencijo z dne 28. julija 1951 o statusu beguncev, kakor je bila spremenjena s Protokolom z dne 31. januarja 1967, niti se ti sistemi ne bi smeli uporabljati tako, da je kršeno načelo nevračanja ali da se odreka varna in učinkovita možnost zakonitega vstopa na ozemlje Unije, vključno s pravico do mednarodne zaščite.

(40)

Nekatere umetnointeligenčne sisteme, namenjene upravljanju pravosodja in demokratičnih procesov, bi bilo treba uvrstiti med sisteme velikega tveganja ob upoštevanju njihovega potencialno pomembnega vpliva na demokracijo, pravno državo, osebne svoboščine ter pravico do učinkovitega pravnega sredstva in nepristranskega sodišča. Zlasti za obravnavanje tveganj morebitnih pristranskosti, napak in neprepustnosti je primerno, da se umetnointeligenčni sistemi, namenjeni pomoči pravosodnim organom pri raziskovanju in razlagi dejstev in prava ter pri uporabi prava za konkreten sklop dejstev , opredelijo kot sistemi velikega tveganja. Take kvalifikacije pa se ne bi smele razširiti na umetnointeligenčne sisteme, namenjene izključno pomožnim upravnim dejavnostim, ki ne vplivajo na dejansko pravosodje v posameznih primerih, kot so anonimizacija ali psevdonimizacija sodnih odločb, dokumentov ali podatkov, komunikacija med osebjem, upravne naloge ali dodeljevanje virov.

(40)

Nekatere umetnointeligenčne sisteme, namenjene upravljanju pravosodja in demokratičnih procesov, bi bilo treba uvrstiti med sisteme velikega tveganja ob upoštevanju njihovega potencialno pomembnega vpliva na demokracijo, pravno državo, osebne svoboščine ter pravico do učinkovitega pravnega sredstva in nepristranskega sodišča. Zlasti za obravnavanje tveganj morebitnih pristranskosti, napak in neprepustnosti je primerno, da se umetnointeligenčni sistemi, ki naj bi jih uporabljal pravosodni ali upravni organ ali naj bi se uporabljali v njegovem imenu za pomoč pravosodnemu ali upravnemu organu pri raziskovanju in razlagi dejstev in zakona ter pri uporabi zakona v konkretnih okoliščinah ali ki naj bi se uporabljali na podoben način pri alternativnem reševanju sporov , razvrstijo kot sistemi visokega tveganja. Umetnointeligenčna orodja se lahko uporabljajo kot podpora pooblastilom sodnikov za odločanje ali podpora neodvisnosti sodstva, vendar jih ne bi smela nadomeščati, saj mora pri končni odločitvi imeti besedo človek, prav tako jo mora človek tudi sprejeti . Take kvalifikacije pa se ne bi smele razširiti na umetnointeligenčne sisteme, namenjene izključno pomožnim upravnim dejavnostim, ki ne vplivajo na dejansko pravosodje v posameznih primerih, kot so anonimizacija ali psevdonimizacija sodnih odločb, dokumentov ali podatkov, komunikacija med osebjem, upravne naloge ali dodeljevanje virov.

(40a)

Za obravnavanje tveganj neupravičenega zunanjega poseganja v volilno pravico iz člena 39 Listine in nesorazmernih učinkov na demokratične procese, demokracijo in pravno državo bi bilo treba umetnointeligenčne sisteme, namenjene vplivanju na izid volitev ali referenduma ali na volilno vedenje fizičnih oseb pri glasovanju na volitvah ali referendumih, razvrstiti kot umetnointeligenčne sisteme velikega tveganja, razen kadar gre za umetnointeligenčne sisteme, pri katerih fizične osebe niso neposredno izpostavljene njihovim rezultatom, kot so orodja, ki se uporabljajo za organizacijo, optimizacijo in strukturiranje političnih kampanj z upravnega in logističnega vidika.

(40b)

Glede na število fizičnih oseb, ki uporabljajo storitve, ki jih zagotavljajo platforme družbenih medijev, opredeljene kot zelo velike spletne platforme, se lahko te platforme uporabljajo na način, ki močno vpliva na varnost na spletu, oblikovanje javnega mnenja in razprave, volitve in demokratične procese ter družbeno problematiko. Zato je primerno, da se ta uredba uporablja za umetnointeligenčne sisteme, ki jih te spletne platforme uporabljajo v svojih priporočilnih sistemih, da se zagotovi, da umetnointeligenčni sistemi izpolnjujejo zahteve iz te uredbe, vključno s tehničnimi zahtevami glede upravljanja podatkov, tehnične dokumentacije in sledljivosti, preglednosti, človeškega nadzora, točnosti in robustnosti. Skladnost s to uredbo bi takšnim zelo velikim spletnim platformam omogočila, da izpolnjujejo svoje širše obveznosti glede ocenjevanja in zmanjševanja tveganja iz členov 34 in 35 Uredbe (EU) 2022/2065. Obveznosti iz te uredbe ne posegajo v Uredbo (EU) 2022/2065 in bi morale dopolnjevati obveznosti iz omenjene uredbe, ko je bila platforma družbenih medijev opredeljena kot zelo velika spletna platforma. Glede na vseevropski učinek platform družbenih medijev, opredeljenih kot zelo velike spletne platforme, bi morali organi, imenovani v skladu z Uredbo (EU) 2022/2065, delovati kot izvršilni organi za namene izvrševanja te določbe.

(41)

Dejstvo, da je umetnointeligenčni sistem v skladu s to uredbo razvrščen kot sistem velikega tveganja, ne bi smelo pomeniti, da je uporaba sistema nujno zakonita v skladu z drugimi akti prava Unije ali v skladu z nacionalnim pravom, združljivim s pravom Unije, kot so varstvo osebnih podatkov , uporaba poligrafov in podobnih orodij ali drugih sistemov za zaznavanje čustvenega stanja fizičnih oseb . Vsaka taka uporaba bi se morala še naprej izvajati izključno v skladu z veljavnimi zahtevami, ki izhajajo iz Listine ter iz veljavnih aktov sekundarnega prava Unije in nacionalnega prava. Te uredbe ne bi smeli razumeti kot pravne podlage za obdelavo osebnih podatkov, vključno s posebnimi vrstami osebnih podatkov, kadar je to ustrezno.

(41)

Dejstvo, da je umetnointeligenčni sistem v skladu s to uredbo razvrščen kot umetnointeligenčni sistem velikega tveganja, ne bi smelo pomeniti, da je uporaba sistema nujno zakonita ali nezakonita v skladu z drugimi akti prava Unije ali v skladu z nacionalnim pravom, združljivim s pravom Unije, kot so varstvo osebnih podatkov. Vsaka taka uporaba bi se morala še naprej izvajati izključno v skladu z veljavnimi zahtevami, ki izhajajo iz Listine ter iz veljavnih aktov sekundarnega prava Unije in nacionalnega prava.

(41a)

Za umetnointeligenčne sisteme se že uporabljajo oziroma se nanje nanašajo številni pravno zavezujoči predpisi na evropski, nacionalni in mednarodni ravni, ki vključujejo, vendar niso omejeni na primarno pravo EU (Pogodbi Evropske unije in njena Listina o temeljnih pravicah), sekundarno pravo EU (kot so splošna uredba o varstvu podatkov, direktiva o odgovornosti za proizvode, uredba o prostem pretoku neosebnih podatkov, protidiskriminacijske direktive, potrošniško pravo ter direktive o varnosti in zdravju pri delu), pogodbe OZN o človekovih pravicah in konvencije Sveta Evrope (kot je Evropska konvencija o človekovih pravicah) ter nacionalno pravo. Poleg pravil, ki se uporabljajo horizontalno, obstajajo različna pravila za posamezna področja, ki se uporabljajo za posamezne uporabe umetne inteligence (kot je na primer uredba o medicinskih pripomočkih v zdravstvenem sektorju).

(42)

Za zmanjševanje tveganj, ki jih za uporabnike in izpostavljene osebe predstavljajo umetnointeligenčni sistemi velikega tveganja, ki so dani na trg ali kako drugače dani v uporabo na trgu Unije, bi bilo treba uporabljati nekatere obvezne zahteve ob upoštevanju predvidenega namena uporabe sistema in v skladu s sistemom obvladovanja tveganja, ki ga vzpostavi ponudnik.

(42)

Za zmanjševanje tveganj, ki jih za uvajalce in izpostavljene osebe predstavljajo umetnointeligenčni sistemi velikega tveganja, ki so dani na trg ali kako drugače dani v uporabo na trgu Unije, bi bilo treba uporabljati nekatere obvezne zahteve ob upoštevanju predvidenega namena , razumno predvidljive nepravilne uporabe sistema in v skladu s sistemom obvladovanja tveganja, ki ga vzpostavi ponudnik. Te zahteve bi morale biti ciljno usmerjene, primerne namenu, razumne in učinkovite ter ne bi smele povzročati dodatnega nepotrebnega regulativnega bremena ali stroškov za operaterje.

(43)

Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uporabnikom , človekovega nadzora ter robustnosti, točnosti in kibernetske varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost in temeljne pravice, kot se uporabljajo glede na predvideni namen sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine.

(43)

Za umetnointeligenčne sisteme velikega tveganja bi morale veljati zahteve glede kakovosti in relevantnosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uvajalcem , človekovega nadzora ter robustnosti, točnosti in varnosti. Navedene zahteve so potrebne za učinkovito zmanjševanje tveganj za zdravje, varnost in temeljne pravice, pa tudi za okolje, demokracijo in pravno državo, kot se uporabljajo glede na predvideni namen ali razumno predvidljivo nepravilno uporabo sistema, in ni drugih manj omejevalnih ukrepov za trgovino, ki bi bili razumno na voljo, s čimer bi se izognili neupravičenim omejitvam trgovine.

(44)

Visoka kakovost podatkov je bistvena za zmogljivost številnih umetnointeligenčnih sistemov, zlasti kadar se uporabljajo tehnike, ki vključujejo učenje modelov, s katerim bi zagotovili, da bo umetnointeligenčni sistem velikega tveganja deloval, kot je predvideno, in varno ter da ne bo postane vir diskriminacije, ki je prepovedana s pravom Unije. Za visokokakovostne nabore učnih in testnih podatkov ter podatkov za potrditev je treba izvajati ustrezne prakse vodenja in upravljanja podatkov. Nabori učnih in testnih podatkov ter podatkov za potrditev bi morali biti dovolj ustrezni, reprezentativni in brez napak ter popolni glede na predvideni namen sistema. Imeti bi morali tudi ustrezne statistične lastnosti, tudi v zvezi z osebami ali skupinami oseb, na katerih naj bi se uporabljal umetnointeligenčni sistem velikega tveganja. Nabori učnih in testnih podatkov ter podatkov za potrditev bi morali v obsegu, ki se zahteva glede na njihov predvideni namen, upoštevati zlasti lastnosti, značilnosti ali elemente, ki so značilni za konkretno geografsko, vedenjsko ali funkcionalno okolje ali kontekst, v katerem naj bi se uporabljal umetnointeligenčni sistem. Da bi zaščitili pravico drugih pred diskriminacijo, ki bi lahko bila posledica pristranskosti v sistemih umetne inteligence , bi morali ponudniki imeti možnost, da zaradi pomembnega javnega interesa obdelujejo tudi posebne kategorije osebnih podatkov, da se zagotovijo spremljanje, odkrivanje in odpravljanje pristranskosti v zvezi z umetnointeligenčnimi sistemi velikega tveganja.

(44)

Dostop do visokokakovostnih podatkov je bistvenega pomena za zagotavljanje strukture in zmogljivosti številnih umetnointeligenčnih sistemov, zlasti kadar se uporabljajo tehnike, ki vključujejo učenje modelov, s katerim bi zagotovili, da bo umetnointeligenčni sistem velikega tveganja deloval, kot je predvideno, in varno ter da ne bo postal vir diskriminacije, ki je prepovedana s pravom Unije. Za visokokakovostne nabore učnih in testnih podatkov ter podatkov za potrditev je treba izvajati ustrezne prakse vodenja in upravljanja podatkov. Nabori učnih in po potrebi testnih podatkov ter podatkov za potrditev , vključno z oznakami, bi morali biti dovolj ustrezni, reprezentativni , ustrezno preverjeni, da ne vsebujejo napak, ter čim bolj popolni glede na predvideni namen sistema. Imeti bi morali tudi ustrezne statistične lastnosti, tudi v zvezi z osebami ali skupinami oseb, v zvezi s katerimi naj bi se uporabljal umetnointeligenčni sistem velikega tveganja , s posebnim poudarkom na zmanjševanju možnih pristranskosti v naborih podatkov, ki bi lahko ogrozile temeljne pravice ali vodile do diskriminatornih rezultatov za osebe, na katere vpliva umetnointeligenčni sistem velikega tveganja. Na primer, pristranskost je lahko inherentno prisotna v osnovnih naborih podatkov, zlasti kadar se uporabljajo pretekli podatki, ki jih uvedejo razvijalci algoritmov, ali se ustvari, ko se sistemi izvajajo v realnih okoliščinah. Taka inherentna pristranskost vpliva na rezultate umetnointeligenčnih sistemov in se tudi običajno postopoma povečuje, zaradi česar se ohranja in povečuje tudi obstoječa diskriminacija, zlasti diskriminacija pripadnikov nekaterih ranljivih etničnih skupin ali rasnih skupnosti. Nabori učnih in testnih podatkov ter podatkov za potrditev bi morali v obsegu, ki se zahteva glede na njihov predvideni namen, upoštevati zlasti lastnosti, značilnosti ali elemente, ki so značilni za konkretno geografsko, kontekstno, vedenjsko ali funkcionalno okolje ali kontekst, v katerem naj bi se uporabljal umetnointeligenčni sistem. Da bi zaščitili pravico drugih pred diskriminacijo, ki bi lahko bila posledica pristranskosti v  umetnointeligenčnih sistemih, bi morali ponudniki izjemoma in potem, ko so izpolnili vse ustrezne pogoje iz te uredbe in Uredbe (EU) 2016/679, Direktive (EU) 2016/680 in Uredbe (EU) 2018/1725, imeti možnost, da zaradi pomembnega javnega interesa obdelujejo tudi posebne kategorije osebnih podatkov, da se zagotovijo spremljanje, odkrivanje in odpravljanje pristranskosti v zvezi z umetnointeligenčnimi sistemi velikega tveganja. Pristranskost bi bilo treba razumeti kot da ustvarja neposreden ali posreden diskriminatorni učinek na fizično osebo. Zahteve v zvezi z upravljanjem podatkov je mogoče izpolniti prek tretjih oseb, ki ponujajo certificirane storitve zagotavljanja skladnosti, vključno s preverjanjem upravljanja podatkov, celovitosti nabora podatkov ter praks učenja, potrjevanja in testiranja podatkov.

(45)

Za razvoj umetnointeligenčnih sistemov velikega tveganja bi morali imeti nekateri akterji, kot so ponudniki, priglašeni organi in drugi ustrezni subjekti, kot so vozlišča digitalnih inovacij, centri za testiranje in eksperimentiranje in raziskovalci, možnost dostopa do visokokakovostnih naborov podatkov in njihove uporabe na ustreznih področjih dejavnosti, povezanih s to uredbo. Evropski skupni podatkovni prostori, ki jih je vzpostavila Komisija, ter olajšanje souporabe podatkov med podjetji in z vlado v javnem interesu bodo bistveni za zagotavljanje zaupanja vrednega, odgovornega in nediskriminatornega dostopa do visokokakovostnih podatkov za učenje, potrjevanje in testiranje umetnointeligenčnih sistemov. Evropski zdravstveni podatkovni prostor bo na primer na področju zdravja olajšal nediskriminatoren dostop do zdravstvenih podatkov in učenje algoritmov umetne inteligence na teh naborih podatkov na varen, pravočasen, pregleden in zaupanja vreden način ter z ustreznim institucionalnim upravljanjem. Ustrezni pristojni organi, vključno s sektorskimi, ki zagotavljajo ali podpirajo dostop do podatkov, lahko podpirajo tudi zagotavljanje visokokakovostnih podatkov za učenje, potrditev in testiranje umetnointeligenčnih sistemov.

(45)

Za razvoj in ocenjevanje umetnointeligenčnih sistemov velikega tveganja bi morali imeti nekateri akterji, kot so ponudniki, priglašeni organi in drugi ustrezni subjekti, kot so vozlišča digitalnih inovacij, centri za testiranje in eksperimentiranje in raziskovalci, možnost dostopa do visokokakovostnih naborov podatkov in njihove uporabe na ustreznih področjih dejavnosti, povezanih s to uredbo. Evropski skupni podatkovni prostori, ki jih je vzpostavila Komisija, ter olajšanje souporabe podatkov med podjetji in z vlado v javnem interesu bodo bistveni za zagotavljanje zaupanja vrednega, odgovornega in nediskriminatornega dostopa do visokokakovostnih podatkov za učenje, potrjevanje in testiranje umetnointeligenčnih sistemov. Evropski zdravstveni podatkovni prostor bo na primer na področju zdravja olajšal nediskriminatoren dostop do zdravstvenih podatkov in učenje algoritmov umetne inteligence na teh naborih podatkov na varen, pravočasen, pregleden in zaupanja vreden način ter z ustreznim institucionalnim upravljanjem. Ustrezni pristojni organi, vključno s sektorskimi, ki zagotavljajo ali podpirajo dostop do podatkov, lahko podpirajo tudi zagotavljanje visokokakovostnih podatkov za učenje, potrditev in testiranje umetnointeligenčnih sistemov.

(45a)

Pravica do zasebnosti in varstva osebnih podatkov mora biti zagotovljena v celotni življenjski dobi umetnointeligenčnega sistema. V zvezi s tem sta načeli najmanjšega obsega podatkov ter vgrajenega in privzetega varstva podatkov, kot sta določeni v zakonodaji Unije o varstvu podatkov, bistveni, kadar obdelava podatkov prinaša znatna tveganja za temeljne pravice posameznikov. Ponudniki in uporabniki umetnointeligenčnih sistemov bi morali izvajati najsodobnejše tehnične in organizacijske ukrepe za varovanje teh pravic. Ti ukrepi bi morali vključevati ne le anonimizacijo in šifriranje, temveč tudi uporabo vse bolj dostopne tehnologije, ki omogoča dostop algoritmov do podatkov in pridobivanje koristnih spoznanj brez prenosa med strankami ali nepotrebnega kopiranja neobdelanih ali strukturiranih podatkov.

(46)

Informacije o tem, kako so bili umetnointeligenčni sistemi velikega tveganja razviti in kako delujejo v  svojem življenjskem ciklu , so bistvene za preverjanje skladnosti z zahtevami iz te uredbe. To zahteva vodenje evidenc in razpoložljivost tehnične dokumentacije, ki vsebuje informacije, potrebne za oceno skladnosti umetnointeligenčnega sistema z ustreznimi zahtevami. Take informacije bi morale vključevati splošne značilnosti, zmogljivosti in omejitve sistema, uporabljene algoritme, podatke, postopke učenja, testiranja in potrjevanja ter dokumentacijo o ustreznem sistemu obvladovanja tveganja. Tehnično dokumentacijo je treba posodabljati.

(46)

Razumljive informacije o tem, kako so bili umetnointeligenčni sistemi velikega tveganja razviti in kako delujejo v  svoji življenjski dobi , so bistvene za preverjanje skladnosti z zahtevami iz te uredbe. To zahteva vodenje evidenc in razpoložljivost tehnične dokumentacije, ki vsebuje informacije, potrebne za oceno skladnosti umetnointeligenčnega sistema z ustreznimi zahtevami. Take informacije bi morale vključevati splošne značilnosti, zmogljivosti in omejitve sistema, uporabljene algoritme, podatke, postopke učenja, testiranja in potrjevanja ter dokumentacijo o ustreznem sistemu obvladovanja tveganja. Tehnično dokumentacijo bi bilo treba ustrezno posodabljati skozi celoten življenjski cikel umetnointeligenčnega sistema . Umetnointeligenčni sistemi imajo lahko v svojem življenjskem ciklu velik vpliv na okolje in visoko porabo energije. Da bi bolje razumeli vpliv umetnointeligenčnih sistemov na okolje, bi morala tehnična dokumentacija, ki jo pripravijo ponudniki, vključevati informacije o porabi energije umetnointeligenčnega sistema, vključno s porabo med razvojem in pričakovano porabo med uporabo. Take informacije bi morale upoštevati ustrezno zakonodajo Unije in nacionalno zakonodajo. Te sporočene informacije bi morale biti razumljive, primerljive in preverljive, zato bi morala Komisija pripraviti smernice za usklajeno metodologijo za njihov izračun in sporočanje. Da se zagotovi izvedljivost enotne tehnične dokumentacije, bi bilo treba izraze in opredelitve v zvezi s to zahtevano dokumentacijo in vso zahtevano dokumentacijo v ustrezni sektorski zakonodaji Unije čim bolj uskladiti.

(46a)

Umetnointeligenčni sistemi bi morali upoštevati najsodobnejše metode in ustrezne standarde, ki se uporabljajo, za zmanjšanje rabe energije, rabe virov in količine odpadkov, pa tudi za povečanje energijske učinkovitosti in splošne učinkovitosti sistema. Okoljski vidiki umetnointeligenčnih sistemov, ki so pomembni za namene te uredbe, so poraba energije umetnointeligenčnega sistema v fazi razvoja, učenja in uvajanja ter beleženje, sporočanje in shranjevanje teh podatkov. Zasnova umetnointeligenčnih sistemov bi morala omogočati merjenje in beleženje porabe energije in virov v vseh fazah razvoja, učenja in uvajanja. Spremljanje emisij umetnointeligenčnih sistemov in poročanje o njih morata biti zanesljiva, pregledna, dosledna in točna. Za zagotovitev enotne uporabe te uredbe in stabilnega pravnega ekosistema za ponudnike in uvajalce na enotnem trgu bi morala Komisija razviti skupno specifikacijo za metodologijo, s katero bi se izpolnjevale zahteve glede poročanja in dokumentacije o porabi energije in virov med razvojem, učenjem in uvajanjem. S takimi skupnimi specifikacijami za metodologijo merjenja se lahko oblikuje izhodišče, na podlagi katerega se lahko Komisija po izvedbi ocene učinka, ki upošteva obstoječo zakonodajo, bolje odloči, ali so potrebni prihodnji regulativni ukrepi.

(46b)

Za doseganje ciljev te uredbe in prispevanje k okoljskim ciljem Unije, obenem pa zagotavljanje nemotenega delovanja notranjega trga, bo morda treba določiti priporočila in smernice, sčasoma pa tudi cilje glede trajnosti. V ta namen ima Komisija pravico razviti metodologijo, s katero bi prispevala k določitvi ključnih kazalnikov uspešnosti in reference za cilje trajnostnega razvoja. Cilj bi moral biti predvsem omogočiti pošteno primerjavo med odločitvami glede izvajanje umetne inteligence in zagotavljanje spodbud za spodbujanje uporabe učinkovitejših tehnologij umetne inteligence, ki obravnavajo problematiko energije in virov. Za dosego tega cilja bi morala ta uredba zagotoviti sredstva za vzpostavitev osnovne zbirke sporočenih podatkov o emisijah pri razvoju in učenju ter uporabi.

(47a)

Takšne zahteve glede preglednosti in razložljivosti odločitev, sprejetih z umetno inteligenco, bi morale prispevati k odpravljanju škodljivih učinkov digitalne asimetrije in tako imenovanih temnih vzorcev, ki ciljajo na posameznike in njihovo informirano privolitev.

(49)

Umetnointeligenčni sistemi velikega tveganja bi morali v svojem celotnem življenjskem ciklu delovati dosledno ter izpolnjevati ustrezno raven točnosti, robustnosti in kibernetske varnosti v skladu s splošno priznanim stanjem tehnike. O ravni točnosti in metrikah točnosti bi bilo treba obvestiti uporabnike .

(49)

Umetnointeligenčni sistemi velikega tveganja bi morali v svojem celotnem življenjskem ciklu delovati dosledno ter izpolnjevati ustrezno raven točnosti, robustnosti in kibernetske varnosti v skladu s splošno priznanim stanjem tehnike. Metrike zmogljivosti in njihovo pričakovano raven je treba opredeliti z glavnim ciljem, da se zmanjšajo tveganja in negativni vpliv umetnointeligenčnega sistema. O pričakovani ravni metrike zmogljivosti bi bilo treba uvajalce obvestiti na jasen, pregleden in enostavno razumljiv način. Izjave o metriki zmogljivosti ni mogoče imeti za dokaz prihodnjih ravni, vendar je treba uporabiti ustrezne metode za zagotovitev doslednih ravni med uporabo. Medtem ko za določitev standardov obstajajo organizacije za standardizacijo, je potrebno usklajevanje primerjalnih analiz, da se določi, kako naj se merijo te standardizirane zahteve in značilnosti umetnointeligenčnih sistemov. Evropski urad za umetno inteligenco bi moral združevati nacionalne in mednarodne meroslovne organe in organe za primerjalno analizo in zagotavljati nezavezujoče smernice za obravnavo tehničnih vidikov, kako izmeriti ustrezne ravni zmogljivosti in robustnosti.

(50)

Tehnična robustnost je ključna zahteva za umetnointeligenčne sisteme velikega tveganja. Odporni morajo biti proti tveganjem, povezanim z omejitvami sistema (npr. napake, okvare, nedoslednosti, nepričakovane situacije), pa tudi proti zlonamernim dejanjem, ki lahko ogrozijo varnost umetnointeligenčnega sistema in povzročijo škodljivo ali drugače nezaželeno vedenje. Neuspešna zaščita pred temi tveganji bi lahko imela varnostne posledice ali negativno vplivala na temeljne pravice, na primer zaradi napačnih odločitev ali napačnih ali pristranskih izhodnih podatkov, ki jih ustvari umetnointeligenčni sistem.

(50)

Tehnična robustnost je ključna zahteva za umetnointeligenčne sisteme velikega tveganja. Odporni morajo biti proti tveganjem, povezanim z omejitvami sistema (npr. napake, okvare, nedoslednosti, nepričakovane situacije), pa tudi proti zlonamernim dejanjem, ki lahko ogrozijo varnost umetnointeligenčnega sistema in povzročijo škodljivo ali drugače nezaželeno vedenje. Neuspešna zaščita pred temi tveganji bi lahko imela varnostne posledice ali negativno vplivala na temeljne pravice, na primer zaradi napačnih odločitev ali napačnih ali pristranskih izhodnih podatkov, ki jih ustvari umetnointeligenčni sistem. Uporabniki umetnointeligenčnega sistema bi morali sprejeti ukrepe, da morebitni kompromis med robustnostjo in točnostjo ne bi privedel do diskriminatornih ali negativnih rezultatov za manjšinske podskupine.

(51)

Kibernetska varnost ima ključno vlogo pri zagotavljanju odpornosti umetnointeligenčnih sistemov proti poskusom spreminjanja njihove uporabe, vedenja, zmogljivosti ali ogrožanja njihovih varnostnih lastnosti s strani zlonamernih tretjih oseb, ki izkoriščajo šibke točke sistema. Kibernetski napadi na umetnointeligenčne sisteme lahko izkoristijo posebna sredstva umetne inteligence, kot so nabori učnih podatkov (npr. zastrupitev podatkov) ali naučeni modeli (npr. nasprotovalni napadi), ali pa izkoristijo šibke točke digitalnih sredstev umetnointeligenčnega sistema ali osnovne infrastrukture IKT. Da bi zagotovili raven kibernetske varnosti, ki ustreza tveganjem, bi morali ponudniki umetnointeligenčnih sistemov velikega tveganja sprejeti ustrezne ukrepe in pri tem ustrezno upoštevati tudi osnovno infrastrukturo IKT.

(51)

Kibernetska varnost ima ključno vlogo pri zagotavljanju odpornosti umetnointeligenčnih sistemov proti poskusom spreminjanja njihove uporabe, vedenja, zmogljivosti ali ogrožanja njihovih varnostnih lastnosti s strani zlonamernih tretjih oseb, ki izkoriščajo šibke točke sistema. Kibernetski napadi na umetnointeligenčne sisteme lahko izkoristijo posebna sredstva umetne inteligence, kot so nabori učnih podatkov (npr. zastrupitev podatkov) ali naučeni modeli (npr. nasprotovalni napadi ali napadi na zaupnost ), ali pa izkoristijo šibke točke digitalnih sredstev umetnointeligenčnega sistema ali osnovne infrastrukture IKT. Da bi zagotovili raven kibernetske varnosti, ki ustreza tveganjem, bi morali ponudniki umetnointeligenčnih sistemov velikega tveganja , pa tudi priglašeni organi, pristojni nacionalni organi in organi za nadzor trga, sprejeti ustrezne ukrepe in pri tem ustrezno upoštevati tudi osnovno infrastrukturo IKT. Umetno inteligenco velikega tveganja bi morale spremljati varnostne rešitve in popravki v življenjski dobi proizvoda, v primeru, da ne gre za odvisnost od določenega proizvoda, pa v obdobju, ki ga mora navesti proizvajalec.

(53a)

Kot podpisnice Konvencije Organizacije združenih narodov o pravicah invalidov so Unija in države članice pravno zavezane, da ščitijo invalide pred diskriminacijo in spodbujajo njihovo enakost, jim zagotovijo, da imajo enako kot drugi dostop do informacijskih in komunikacijskih tehnologij in sistemov, ter da se spoštuje njihova zasebnost. Ob vse večjem pomenu in uporabi umetnointeligenčnih sistemov bi morala uporaba načel univerzalnega oblikovanja pri vseh novih tehnologijah in storitvah zagotoviti popoln, enakopraven in neomejen dostop vsem, ki so lahko izpostavljeni tehnologijam umetne inteligence ali te tehnologije uporabljajo, tudi invalidom, na način, ki v celoti upošteva njihovo prirojeno dostojanstvo in raznolikost. Zato je bistvenega pomena, da ponudniki zagotavljajo popolno skladnost z zahtevami glede dostopnosti, tudi z Direktivo (EU) 2016/2102 in Direktivo 2019/882. Ponudniki bi morali zagotoviti skladnost s temi zahtevami že pri zasnovi. Zato bi bilo treba potrebne ukrepe v čim večji meri vključiti v zasnovo umetnointeligenčnega sistema velikega tveganja.

(54)

Ponudnik bi moral vzpostaviti zanesljiv sistem upravljanja kakovosti, zagotoviti izvedbo zahtevanega postopka ugotavljanja skladnosti, pripraviti ustrezno dokumentacijo in vzpostaviti robusten sistem spremljanja po dajanju na trg. Javni organi, ki umetnointeligenčne sisteme velikega tveganja dajejo v uporabo za lastno uporabo, lahko sprejmejo in izvajajo pravila za sistem upravljanja kakovosti kot del sistema upravljanja kakovosti, sprejetega na nacionalni oziroma regionalni ravni ob upoštevanju posebnosti sektorja ter pristojnosti in organizacije zadevnega javnega organa.

(54)

Ponudnik bi moral vzpostaviti zanesljiv sistem upravljanja kakovosti, zagotoviti izvedbo zahtevanega postopka ugotavljanja skladnosti, pripraviti ustrezno dokumentacijo in vzpostaviti robusten sistem spremljanja po dajanju na trg. Za ponudnike, ki že imajo vzpostavljene sisteme upravljanja kakovosti, ki temeljijo na standardih, kot je ISO 9001, ali drugih ustreznih standardih, se ne bi smelo pričakovati celotnih dvojnih sistemov upravljanja kakovosti, temveč da se obstoječi sistemi prilagodijo nekaterim vidikom v zvezi z izpolnjevanjem posebnih zahtev iz te uredbe. To bi se moralo odražati tudi v prihodnjih dejavnostih standardizacije ali smernicah, ki jih v zvezi s tem sprejme Komisija. Javni organi, ki umetnointeligenčne sisteme velikega tveganja dajejo v uporabo za lastno uporabo, lahko sprejmejo in izvajajo pravila za sistem upravljanja kakovosti kot del sistema upravljanja kakovosti, sprejetega na nacionalni oziroma regionalni ravni ob upoštevanju posebnosti sektorja ter pristojnosti in organizacije zadevnega javnega organa.

(56)

Da se omogoči izvajanje te uredbe in ustvarijo enaki konkurenčni pogoji za operaterje ter ob upoštevanju različnih oblik dajanja digitalnih proizvodov na voljo, je pomembno zagotoviti, da lahko oseba s sedežem v Uniji v vseh okoliščinah organom zagotovi vse potrebne informacije o skladnosti umetnointeligenčnega sistema. Zato ponudniki s sedežem zunaj Unije pred dajanjem svojih umetnointeligenčnih sistemov na voljo v Uniji, kadar ni mogoče ugotoviti, kdo je uvoznik, s pisnim pooblastilom imenujejo pooblaščenega zastopnika s sedežem v Uniji.

(56)

Da se omogoči izvajanje te uredbe in ustvarijo enaki konkurenčni pogoji za operaterje ter ob upoštevanju različnih oblik dajanja digitalnih proizvodov na voljo, je pomembno zagotoviti, da lahko oseba s sedežem v Uniji v vseh okoliščinah organom zagotovi vse potrebne informacije o skladnosti umetnointeligenčnega sistema. Zato ponudniki s sedežem zunaj Unije pred dajanjem svojih umetnointeligenčnih sistemov na voljo v Uniji, s pisnim pooblastilom imenujejo pooblaščenega zastopnika s sedežem v Uniji.

(58)

Glede na naravo umetnointeligenčnih sistemov ter tveganja za varnost in temeljne pravice, ki so morda povezana z njihovo uporabo, vključno s potrebo po zagotovitvi ustreznega spremljanja zmogljivosti umetnointeligenčnega sistema v realnem življenju, je primerno določiti posebne odgovornosti za uporabnike . Uporabniki bi morali umetnointeligenčne sisteme velikega tveganja uporabljati zlasti v skladu z navodili za uporabo, pri čemer bi bilo treba določiti nekatere druge obveznosti v zvezi s spremljanjem delovanja umetnointeligenčnih sistemov in po potrebi v zvezi z vodenjem evidenc.

(58)

Glede na naravo umetnointeligenčnih sistemov ter tveganja za varnost in temeljne pravice, ki so morda povezana z njihovo uporabo, vključno s potrebo po zagotovitvi ustreznega spremljanja zmogljivosti umetnointeligenčnega sistema v realnem življenju, je primerno določiti posebne odgovornosti za uvajalce . Uvajalci bi morali umetnointeligenčne sisteme velikega tveganja uporabljati zlasti v skladu z navodili za uporabo, pri čemer bi bilo treba določiti nekatere druge obveznosti v zvezi s spremljanjem delovanja umetnointeligenčnih sistemov in po potrebi v zvezi z vodenjem evidenc.

(58a)

Poleg tega, da lahko tveganja, povezana z umetnointeligenčnimi sistemi, nastanejo zaradi načina zasnove takih sistemov, lahko tveganja izvirajo tudi iz tega, kako se taki sistemi uporabljajo. Uvajalci umetnointeligenčnega sistema velikega tveganja imajo zato ključno vlogo pri skrbi za zaščito temeljnih pravic, kar dopolnjuje obveznosti ponudnika pri razvoju umetnointeligenčnega sistema. Uvajalci najbolje razumejo, kako se bo umetnointeligenčni sistem velikega tveganja dejansko uporabljal, in lahko tako opredelijo potencialna velika tveganja, ki niso bila predvidena v fazi razvoja, saj natančneje poznajo okoliščine uporabe, osebe ali skupine oseb, ki bodo verjetno izpostavljeni, vključno z marginaliziranimi in ranljivimi skupinami. Uvajalci bi morali opredeliti ustrezne strukture upravljanja v tem posebnem okviru uporabe, kot so ureditve za človeški nadzor, pritožbeni in odškodninski postopki, saj so lahko odločitve v strukturah upravljanja ključne za zmanjšanje tveganj za temeljne pravice v konkretnih primerih uporabe. Za učinkovito zaščito temeljnih pravic bi moral uvajalec umetnointeligenčnih sistemov velikega tveganja pred začetkom uporabe izvesti oceno učinka na temeljne pravice. Oceni učinka bi bilo treba priložiti podroben načrt, ki opisuje ukrepe ali orodja, ki bodo pomagali ublažiti tveganja za temeljne pravice, ki se ugotovijo najkasneje ob začetku uporabe. Če takega načrta ni mogoče opredeliti, uvajalec sistem ne bi smel začeti uporabljati. Pri izvajanju te ocene učinka bi moral uvajalec obvestiti nacionalni nadzorni organ in, kolikor je to mogoče, morebitne ustrezne deležnike ter predstavnike skupin oseb, ki bodo verjetno izpostavljene umetnointeligenčnemu sistemu, da bi zbrali ustrezne informacije, potrebne za izvedbo ocene učinka, hkrati pa se jih spodbuja, naj povzetek ocene učinka na temeljne pravice javno objavijo na svojem spletnem mestu. Te obveznosti se ne bi smele uporabljati za mala in srednja podjetja, ki bi lahko imela glede na pomanjkanje virov težave pri izvajanju takega posvetovanja. Vendar bi si morala prizadevati, da v pripravo ocene učinka na temeljne pravice vključijo take deležnike. Glede na potencialni učinek in potrebo po demokratičnem preverjanju in nadzoru bi morala za uvajalce umetnointeligenčnih sistemov velikega tveganja, ki so javni organi ali institucije, organi, uradi in agencije Unije, ter uvajalce, ki so podjetja, določena za vratarje v skladu z Uredbo (EU) 2022/1925, veljati obveznost, da registrirajo uporabo vseh umetnointeligenčnih sistemov velikega tveganja v javni podatkovni zbirki. Registracija za druge uvajalce je lahko prostovoljna.

(59)

Primerno je predvideti, da je uporabnik umetnointeligenčnega sistema fizična ali pravna oseba, javni organ, agencija ali drug organ, pod čigar nadzorom deluje umetnointeligenčni sistem, razen kadar se uporablja v okviru osebne nepoklicne dejavnosti.

(59)

Primerno je predvideti, da je uvajalec umetnointeligenčnega sistema fizična ali pravna oseba, javni organ, agencija ali drug organ, pod čigar nadzorom deluje umetnointeligenčni sistem, razen kadar se uporablja v okviru osebne nepoklicne dejavnosti.

(60)

Zaradi kompleksnosti vrednostne verige umetne inteligence bi morale ustrezne tretje osebe, zlasti tiste, ki so vključene v prodajo in dobavo programske opreme, programskih orodij in komponent, prednaučenih modelov in podatkov, ali ponudniki omrežnih storitev, po potrebi sodelovati s ponudniki in uporabniki , da jim omogočijo izpolnjevanje obveznosti iz te uredbe , ter s pristojnimi organi , ustanovljenimi na podlagi te uredbe .

(60)

V vrednostni verigi umetne inteligence pogosto več subjektov zagotavlja orodja in storitve, pa tudi komponente ali postopke, ki jih ponudnik nato vključi v umetnointeligenčni sistem, tudi v zvezi z zbiranjem in predobdelavo podatkov, učenjem in ponovnim učenjem modelov, njihovim testiranjem in ocenjevanjem, vključevanjem v programsko opremo ali drugimi vidiki razvoja modela. Sodelujoči subjekti lahko dajo svojo ponudbo neposredno ali posredno na voljo na trgu prek vmesnikov, kot so vmesniki za aplikacijsko programiranje (API), in jih razširjajo na podlagi brezplačnih in odprtokodnih licenc, pa tudi vse bolj prek platform delovne sile na področju umetne inteligence, preprodaje naučenih parametrov, kompletov za domačo izdelavo modelov ali ponujanja plačljivega dostopa do arhitekture modela za razvoj in učenje modelov. Zaradi te kompleksnosti vrednostne verige umetne inteligence bi morale vse ustrezne tretje osebe, zlasti tiste, ki so vključene v  razvoj, prodajo in komercialno dobavo programskih orodij, komponent, prednaučenih modelov ali podatkov, vključenih v umetnointeligenčni sistem, ali ponudniki omrežnih storitev, ne da bi ogrozili lastne pravice intelektualne lastnine ali poslovne skrivnosti, dati na voljo potrebne informacije, usposabljanje ali strokovno znanje ter po potrebi sodelovati s ponudniki, da jim omogočijo nadzor vseh vidikov v zvezi s skladnostjo umetnointeligenčnega sistema , za katerega velja ta uredba. Za stroškovno učinkovito upravljanje vrednostne verige umetne inteligence, vsaka tretja oseba, ki ponudniku zagotovi orodje, storitev, komponento ali postopek, ki ga ponudnik pozneje vključi v umetnointeligenčni sistem, izrecno razkrije raven nadzora.

(60a)

Kadar je ena stranka v močnejšem pogajalskem položaju, bi lahko ta stranka tak položaj lahko izkoristila v škodo druge pogodbene stranke pri pogajanjih o dobavi orodij, storitev, komponent ali postopkov, ki se uporabljajo ali vključujejo v umetnointeligenčni sistem velikega tveganja, ali o pravnih sredstvih za kršitev ali prenehanje povezanih obveznosti. Taka pogodbena neravnovesja zlasti škodujejo mikro, malim in srednjim podjetjem ter zagonskim podjetjem, razen če so v lasti ali podizvajalci podjetja, ki lahko podizvajalcu zagotovi ustrezno nadomestilo, saj ta podjetja nimajo prave možnosti za pogajanja o pogodbenih pogojih in morda nimajo druge izbire, kot da sprejmejo pogodbene pogoje po načelu „vzemi ali pusti“. Zato nepošteni pogodbeni pogoji, ki urejajo dobavo orodij, storitev, komponent ali postopkov, ki se uporabljajo ali so vključeni v umetnointeligenčni sistem velikega tveganja, ali pravna sredstva za kršitev ali prenehanje povezanih obveznosti ne bi smela biti zavezujoča za taka mikro, mala ali srednja podjetja in zagonska podjetja, če so jim bila enostransko naložena.

(60b)

Pravila o pogodbenih pogojih bi morala upoštevati načelo pogodbene svobode kot bistven koncept v odnosih med podjetji. Zato se preskus nepoštenosti ne bi smel uporabljati za vse pogodbene pogoje, temveč zgolj za tiste, ki se enostransko naložijo mikro, malim in srednjim podjetjem in zagonskim podjetjem. To zadeva primere „vzemi ali pusti“, kadar ena stranka postavi določen pogodbeni pogoj in mikro, malo ali srednje podjetje in zagonsko podjetje kljub poskusu pogajanj ne more vplivati na njegovo vsebino. Pogodbeni pogoj, ki ga ena stranka določi, mikro, malo ali srednje podjetje ali zagonsko podjetje pa sprejme, ali pogoj, o katerem se pogodbeni stranki najprej pogajata in nato dogovorita ob upoštevanju predlaganih sprememb, se ne bi smel šteti za enostransko naloženega.

(60c)

Zato bi se morala pravila o nepoštenih pogodbenih pogojih uporabljati samo za tiste elemente pogodbe, ki so povezani z dobavo orodij, storitev, komponent ali postopkov, ki se uporabljajo ali so vključeni v umetnointeligenčni sistem velikega tveganja, ali s pravnimi sredstvi za kršitev ali prenehanje povezanih obveznosti. Za druge dele iste pogodbe, ki niso povezani s temi elementi, se preskus nepoštenosti iz te uredbe ne uporablja.

(60d)

Merila za opredelitev nepoštenih pogodbenih pogojev bi se morala uporabljati zgolj za pretirane pogodbene pogoje, pri katerih gre za zlorabo močnejšega pogajalskega položaja. Pri veliki večini pogodbenih pogojev, ki so za eno stranko poslovno ugodnejši kot za drugo, vključno s tistimi, ki so običajni v pogodbah med podjetji, gre za običajen izraz načela pogodbene svobode in se še naprej uporabljajo. Če pogodbeni pogoj ni vključen na seznam pogojev, ki se vedno štejejo za nepoštene, se uporabi splošna določba o nepoštenosti. Pri tem bi se morali pogoji, navedeni kot nepošteni, uporabljati kot referenčna merila za razlago splošne določbe o nepoštenosti.

(60e)

Temeljni modeli so najnovejši razvoj, v katerem se umetnointeligenčni modeli razvijajo iz algoritmov, zasnovanih za optimizacijo splošnosti in vsestranskosti rezultatov. Ti modeli se pogosto učijo na širokem naboru virov podatkov in velikih količinah podatkov, da opravljajo najrazličnejše naloge nižje v verigi, vključno z nekaterimi, za katere niso bili posebej razviti in naučeni. Temeljni model je lahko enomodalen ali multimodalen ter se uči po različnih metodah, kot sta nadzorovano učenje ali spodbujevano učenje. Umetnointeligenčni sistemi z določenim predvidenim namenom ali umetnointeligenčni sistemi za splošne namene so lahko izvedba temeljnega modela, kar pomeni, da se lahko vsak temeljni model ponovno uporabi v številnih umetnointeligenčnih sistemih nižje v verigi ali umetnointeligenčnih sistemih za splošne namene. Ti modeli so vse bolj pomembni za vse aplikacije in sisteme nižje v verigi.

(60f)

V primeru temeljnih modelov, ki se zagotavljajo kot storitev, kot je dostop do vmesnikov za aplikacijsko programiranje, bi se moralo sodelovanje s ponudniki nižje v verigi razširiti na celotno obdobje, v katerem se ta storitev zagotavlja in podpira, da je mogoče ustrezno zmanjšati tveganje, razen če ponudnik temeljnega modela prenese učni model ter obsežne in ustrezne informacije o naborih podatkov in postopku razvoja sistema ali omeji storitev, kot je dostop do vmesnika za aplikacijsko programiranje, tako da lahko ponudnik, ki je nižje v verigi, dosledno ravna v skladu s to uredbo brez nadaljnje podpore prvotnega ponudnika temeljnega modela.

(60g)

Glede na naravo in kompleksnost vrednostne verige umetnointeligenčnih sistemov je bistveno pojasniti vlogo akterjev, ki sodelujejo pri razvoju teh sistemov. Pri razvoju temeljnih modelov obstaja precej negotovosti, tako glede tipologije modelov kot glede samoupravljanja. Zato je bistveno pojasniti pravni položaj ponudnikov temeljnih modelov. V povezavi z njihovo kompleksnostjo in nepričakovanim učinkom, pomanjkanjem nadzora ponudnika umetne inteligence nižje v verigi nad razvojem temeljnega modela in posledičnim neravnovesjem moči ter za zagotovitev pravične delitve odgovornosti vzdolž vrednostne verige umetne inteligence bi morale za take modele veljati sorazmerne in bolj specifične zahteve in obveznosti iz te uredbe, in sicer bi morali temeljni modeli oceniti in ublažiti morebitna tveganja in škodo z ustrezno zasnovo, preskušanjem in analizo, izvajati ukrepe za upravljanje podatkov, vključno z oceno pristranskosti, in izpolnjevati tehnične zahteve glede zasnove, da se zagotovijo ustrezne ravni učinkovitosti, predvidljivosti, razložljivosti, doslednosti, varnosti in kibernetske varnosti ter skladni z okoljskimi standardi. Te obveznosti bi morali spremljati standardi. Ravno tako bi morale za temeljne modele veljati obveznosti glede informacij in bi morala biti pripravljena vsa tehnična dokumentacija, da bodo lahko morebitni ponudniki nižje v verigi izpolnjevali svoje obveznosti v skladu s to uredbo. Generativni temeljni modeli bi morali zagotavljati preglednost, da je vsebino ustvaril umetnointeligenčni sistem in ne človek. Te posebne zahteve in obveznosti ne pomenijo, da se temeljni modeli obravnavajo kot umetnointeligenčni sistemi velikega tveganja, ampak bi morale zagotoviti, da se uresničujejo cilji te uredbe za visoko raven zaščite temeljnih pravic, zdravja in varnosti, okolja, demokracije ter pravne države. Prednaučeni modeli, razviti za ožji, manj splošen in bolj omejen nabor aplikacij, ki jih ni mogoče prilagoditi različnim nalogam, kot so enostavni večnamenski umetnointeligenčni sistemi, se za namene te uredbe ne bi smeli šteti za temeljne modele, saj je zaradi boljše razložljivosti njihovo vedenje manj predvidljivo.

(60h)

Glede na naravo temeljnih modelov ni strokovnega znanja na področju ugotavljanja skladnosti, revizijske metode tretjih strani pa se še razvijajo. Zato sektor razvija nove načine za ocenjevanje temeljnih modelov, ki delno izpolnjujejo cilj revizije (kot so ocenjevanje modelov, etični heking ali preverjanje strojnega učenja in tehnike potrjevanja). Te notranje ocene za temeljne modele bi morale biti splošno uporabne (npr. neodvisne od distribucijskih kanalov, načina, razvojnih metod), da se obravnavajo tveganja, značilna za take modele, ob upoštevanju najsodobnejših praks v industriji, ter da se osredotoči na pridobivanje zadostnega tehničnega znanja in nadzora nad modelom, obvladovanje razumno predvidljivih tveganj ter obsežno analizo in testiranje modela z ustreznimi ukrepi, na primer z vključitvijo neodvisnih ocenjevalcev. Ker so temeljni modeli hitro razvijajoča se novost na področju umetne inteligence, je primerno, da Komisija in urad za umetno inteligenco spremljata in redno ocenjujeta zakonodajni okvir in okvir upravljanja za take modele, zlasti generativne umetnointeligenčne sisteme, ki temeljijo na takih modelih, kjer se postavljajo pomembna vprašanja v zvezi z ustvarjanjem vsebin v nasprotju s pravom Unije, pravili o avtorskih pravicah in morebitno zlorabo. Pojasniti bi bilo treba, da ta uredba ne bi smela posegati v pravo Unije o avtorski in sorodnih pravicah, vključno z direktivami 2001/29/ES, 2004/48/ECR in (EU) 2019/790 Evropskega parlamenta in Sveta.

(61)

Standardizacija bi morala imeti ključno vlogo pri zagotavljanju tehničnih rešitev za ponudnike, da se zagotovi skladnost s to uredbo. Sredstvo, s katerim ponudniki dokazujejo skladnost z zahtevami iz te uredbe, bi morala biti skladnost s harmoniziranimi standardi, kot so opredeljeni v Uredbi (EU) št. 1025/2012 Evropskega parlamenta in Sveta (54). Vendar bi lahko Komisija sprejela skupne tehnične specifikacije na področjih, na katerih harmonizirani standardi ne obstajajo ali kjer so nezadostni.

(61)

Standardizacija bi morala imeti ključno vlogo pri zagotavljanju tehničnih rešitev za ponudnike, da se zagotovi skladnost s to uredbo. Sredstvo, s katerim ponudniki dokazujejo skladnost z zahtevami iz te uredbe, bi morala biti skladnost s harmoniziranimi standardi, kot so opredeljeni v Uredbi (EU) št. 1025/2012 Evropskega parlamenta in Sveta (54). Da se zagotovi učinkovitost standardov in standardizacije kot orodij politike Unije ter ob upoštevanju pomena standardov za konkurenčnost podjetij in zagotavljanje skladnosti z zahtevami te uredbe, je treba zagotoviti uravnoteženo zastopanost interesov, tako da se spodbuja sodelovanje vseh zadevnih deležnikov pri razvoju standardov. Postopek standardizacije bi moral biti pregleden, kar zadeva pravne in fizične osebe, ki sodelujejo pri dejavnostih standardizacije.

(61a)

Za lažje izpolnjevanje zahtev bi morala Komisija prve zahteve za standardizacijo izdati najpozneje dva meseca po začetku veljavnosti te uredbe. S tem bi izboljšali pravno varnost, s čimer bi spodbujali naložbe in inovacije na področju umetne inteligence ter konkurenčnost in rast trga Unije, hkrati pa bi okrepili večdeležniško upravljanje, ki zastopa vse ustrezne evropske deležnike, kot so urad za umetno inteligenco, evropske organizacije za standardizacijo in organi ali strokovne skupine, ustanovljene v skladu z ustreznim sektorskim pravom Unije, ter industrija, mala in srednja podjetja, zagonska podjetja, civilna družba, raziskovalci in socialni partnerji, nazadnje pa bi moralo olajšati globalno sodelovanje pri standardizaciji na področju umetne inteligence na način, ki je skladen z vrednotami Unije. Komisija se pri pripravi zahteve za standardizacijo posvetuje z uradom za umetno inteligenco in svetovalnim forumom za umetno inteligenco, da pridobi ustrezno strokovno znanje.

(61b)

Kadar naj bi se umetnointeligenčni sistemi uvedli na delovnem mestu, so harmonizirani standardi omejeni na tehnične specifikacije in postopke.

(61c)

Komisija bi morala imeti možnost, da pod določenimi pogoji sprejme skupne specifikacije, kadar ni ustreznega harmoniziranega standarda, ali da obravnava posebne pomisleke glede temeljnih pravic. Komisija se med celotnim postopkom priprave redno posvetuje z uradom za umetno inteligenco in svetovalnim forumom, evropskimi organizacijami in organi za standardizacijo ali strokovnimi skupinami, ustanovljenimi v skladu z ustreznim sektorskim pravom Unije, ter drugimi ustreznimi deležniki, kot so industrija, mala in srednja podjetja, zagonska podjetja, civilna družba, raziskovalci in socialni partnerji.

(61d)

Komisija bi si morala pri sprejemanju skupnih specifikacij prizadevati za regulativno uskladitev umetne inteligence s podobno mislečimi svetovnimi partnerji, kar je ključno za spodbujanje inovacij in čezmejnih partnerstev na področju umetne inteligence, saj je usklajevanje s podobno mislečimi partnerji v mednarodnih organih za standardizacijo zelo pomembno.

(62)

Da bi zagotovili visoko raven zaupanja v umetnointeligenčne sisteme velikega tveganja, bi bilo treba za te sisteme pred dajanjem na trg ali v uporabo opraviti ugotavljanje skladnosti.

(62)

Da bi zagotovili visoko raven zaupanja v umetnointeligenčne sisteme velikega tveganja, bi bilo treba za te sisteme pred dajanjem na trg ali v uporabo opraviti ugotavljanje skladnosti. Da bi povečali zaupanje v vrednostno verigo in podjetjem zagotovili gotovost glede zmogljivosti njihovih sistemov, lahko tretje osebe, ki dobavljajo umetnointeligenčne komponente, tretje osebe prostovoljno zaprosijo za oceno skladnosti s strani.

(64)

Glede na obsežnejše izkušnje poklicnih izdajateljev potrdil pred dajanjem na trg na področju varnosti proizvodov in različno naravo zadevnih tveganj je primerno, da se vsaj v začetni fazi uporabe te uredbe omeji področje uporabe ugotavljanja skladnosti s strani tretjih oseb za umetnointeligenčne sisteme velikega tveganja, ki niso povezani s proizvodi. Zato bi moral ugotavljanje skladnosti takih sistemov praviloma opraviti ponudnik na lastno odgovornost, z edino izjemo umetnointeligenčnih sistemov, namenjenih uporabi za biometrično identifikacijo oseb na daljavo, za katere bi bilo treba predvideti sodelovanje priglašenega organa pri ugotavljanju skladnosti, če to ni prepovedano.

(64)

Glede na kompleksnost umetnointeligenčnih sistemov velikega tveganja in z njimi povezana tveganja je bistveno, da se razvije ustreznejša zmogljivost za uporabo ugotavljanja skladnosti s strani tretjih oseb za umetnointeligenčne sisteme velikega tveganja. Vendar glede na sedanje izkušnje poklicnih izdajateljev potrdil pred dajanjem na trg na področju varnosti proizvodov in različno naravo zadevnih tveganj je primerno, da se vsaj v začetni fazi uporabe te uredbe omeji področje uporabe ugotavljanja skladnosti s strani tretjih oseb za umetnointeligenčne sisteme velikega tveganja, ki niso povezani s proizvodi. Zato bi moral ugotavljanje skladnosti takih sistemov praviloma opraviti ponudnik na lastno odgovornost, z edino izjemo umetnointeligenčnih sistemov, namenjenih uporabi za biometrično identifikacijo oseb na daljavo , ali umetnointeligenčnih sistemov, namenjenih sklepanju o osebnih značilnostih fizičnih oseb na podlagi biometričnih podatkov ali podatkov, ki temeljijo na biometriji, vključno s sistemi za prepoznavanje čustev , za katere bi bilo treba predvideti sodelovanje priglašenega organa pri ugotavljanju skladnosti, če to ni prepovedano.

(65)

Za izvajanje ugotavljanja skladnosti umetnointeligenčnih sistemov, namenjenih uporabi za biometrično identifikacijo oseb na daljavo , s strani tretjih oseb , bi morali pristojni nacionalni organi v skladu s to uredbo imenovati priglašene organe, če izpolnjujejo vrsto zahtev, zlasti glede neodvisnosti, pristojnosti in neobstoja navzkrižja interesov.

(65)

Za izvajanje ugotavljanja skladnosti s strani tretjih oseb, kadar se to zahteva , bi morali pristojni nacionalni organi v skladu s to uredbo imenovati priglašene organe, če izpolnjujejo vrsto zahtev, zlasti glede neodvisnosti, pristojnosti, neobstoja navzkrižja interesov in minimalnih zahtev glede kibernetske varnosti . Države članice bi morale spodbujati imenovanje zadostnega števila organov za ugotavljanje skladnosti, da bi bilo izdajanje potrdil pravočasno. Postopki ocenjevanja, imenovanja, priglasitve in spremljanja organov za ugotavljanje skladnosti se v državah članicah izvajajo čim bolj enotno, da bi odpravili upravne mejne ovire in uresničili potencial notranjega trga.

(65a)

V skladu z zavezami EU iz Sporazuma Svetovne trgovinske organizacije o tehničnih ovirah v trgovini je primerno čim bolj povečati sprejemljivost rezultatov testiranja, ki jih dobijo pristojni organi za ugotavljanje skladnosti, ne glede na ozemlje, na katerem imajo sedež, da bi se po potrebi dokazala skladnost z veljavnimi zahtevami iz Uredbe. Komisija bi morala v ta namen dejavno preučiti možne mednarodne instrumente in si zlasti prizadevati za morebitno sklenitev sporazumov o vzajemnem priznavanju z državami, ki so na primerljivi ravni tehničnega razvoja in imajo skladen pristop v zvezi z umetno inteligenco in ugotavljanjem skladnosti.

(66)

V skladu s skupno uveljavljenim pojmom bistvene spremembe za proizvode, ki jih ureja harmonizacijska zakonodaja Unije, je primerno, da se za umetnointeligenčni sistem ob vsaki spremembi, ki bi lahko vplivala na skladnost sistema s to uredbo ali ko se spremeni predvideni namen sistema, izvede novo ugotavljanje skladnosti. Poleg tega je treba v zvezi z umetnointeligenčnimi sistemi, ki se po dajanju na trg ali v uporabo še naprej „učijo“ (tj. samodejno prilagajajo način izvajanja funkcij), določiti pravila, ki določajo, da spremembe algoritma in njegove zmogljivosti, ki jih je ponudnik vnaprej določil in ocenil ob ugotavljanju skladnosti, ne bi smele pomeniti bistvene spremembe.

(66)

V skladu s skupno uveljavljenim pojmom bistvene spremembe za proizvode, ki jih ureja harmonizacijska zakonodaja Unije, je primerno, da se za umetnointeligenčni sistem velikega tveganja ob vsaki nenačrtovani spremembi, ki presega nadzorovane in vnaprej določene spremembe ponudnika, vključno s stalnim učenjem, in ki bi lahko povzročila novo nesprejemljivo tveganje ter pomembno vplivala na skladnost umetnointeligenčnega sistema velikega tveganja s to uredbo ali ko se spremeni predvideni namen sistema, izvede novo ugotavljanje skladnosti. Poleg tega je treba v zvezi z umetnointeligenčnimi sistemi, ki se po dajanju na trg ali v uporabo še naprej „učijo“ (tj. samodejno prilagajajo način izvajanja funkcij), določiti pravila, ki določajo, da spremembe algoritma in njegove zmogljivosti, ki jih je ponudnik vnaprej določil in ocenil ob ugotavljanju skladnosti, ne bi smele pomeniti bistvene spremembe. Enako bi moralo veljati za posodobitve umetnointeligenčnega sistema iz varnostnih razlogov na splošno in za zaščito pred spreminjajočimi se grožnjami za manipulacijo sistema, če te ne pomenijo bistvene spremembe.

(67)

Umetnointeligenčni sistemi velikega tveganja bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Države članice ne bi smele neupravičeno ovirati dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE.

(67)

Umetnointeligenčni sistemi velikega tveganja bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Za fizične umetnointeligenčne sisteme velikega tveganja bi bilo treba namestiti fizično oznako CE, ki jo lahko dopolnjuje digitalna oznaka CE. Za samo digitalne umetnointeligenčne sisteme velikega tveganja bi bilo treba uporabiti digitalno oznako CE. Države članice ne bi smele neupravičeno ovirati dajanja na trg ali v uporabo umetnointeligenčnih sistemov velikega tveganja, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE.

(68)

Pod določenimi pogoji je lahko hitra razpoložljivost inovativnih tehnologij ključnega pomena za zdravje in varnost ljudi ter za družbo kot celoto. Zato je primerno, da lahko države članice iz izjemnih razlogov javne varnosti ali varstva življenja in zdravja fizičnih oseb ter varstva industrijske in poslovne lastnine dovolijo dajanje na trg ali v uporabo umetnointeligenčnih sistemov, za katere ni bilo opravljeno ugotavljanje skladnosti.

(68)

Pod določenimi pogoji je lahko hitra razpoložljivost inovativnih tehnologij ključnega pomena za zdravje in varnost ljudi , okolje in podnebne spremembe ter za družbo kot celoto. Zato je primerno, da lahko države članice iz izjemnih razlogov varstva življenja in zdravja fizičnih oseb , varstva okolja ter varstva kritične infrastrukture dovolijo dajanje na trg ali v uporabo umetnointeligenčnih sistemov, za katere ni bilo opravljeno ugotavljanje skladnosti.

(69)

Za olajšanje dela Komisije in držav članic na področju umetne inteligence ter povečanje preglednosti za javnost bi bilo treba od ponudnikov umetnointeligenčnih sistemov velikega tveganja, razen tistih, povezanih s proizvodi, ki spadajo na področje uporabe ustrezne obstoječe harmonizacijske zakonodaje Unije, zahtevati, da svoje umetnointeligenčne sisteme velikega tveganja registrirajo v podatkovni zbirki EU, ki jo vzpostavi in upravlja Komisija. Komisija bi morala biti upravljavec navedene zbirke podatkov v skladu z Uredbo (EU) 2018/1725 Evropskega parlamenta in Sveta (55). Za zagotovitev popolne funkcionalnosti podatkovne zbirke ob njeni uvedbi bi moral postopek za vzpostavitev zbirke podatkov vključevati pripravo funkcionalnih specifikacij s strani Komisije in neodvisno revizijsko poročilo.

(69)

Za olajšanje dela Komisije in držav članic na področju umetne inteligence ter povečanje preglednosti za javnost bi bilo treba od ponudnikov umetnointeligenčnih sistemov velikega tveganja, razen tistih, povezanih s proizvodi, ki spadajo na področje uporabe ustrezne obstoječe harmonizacijske zakonodaje Unije, zahtevati, da svoje umetnointeligenčne sisteme velikega tveganja in temeljne modele registrirajo v podatkovni zbirki EU, ki jo vzpostavi in upravlja Komisija. Ta podatkovna zbirka bi morala biti prosto in javno dostopna, zlahka razumljiva in strojno berljiva. Podatkovna zbirka bi morala biti tudi uporabniku prijazna in enostavna za krmarjenje ter imeti iskalne funkcije, ki bi splošni javnosti v podatkovni zbirki omogočale vsaj iskanje določenih sistemov velikega tveganja, lokacije, kategorije tveganja iz Priloge IV in ključne besede. V podatkovni zbirki EU bi se morali prav tako registrirati uvajalci, ki so javni organi ali institucije, organi, uradi in agencije Unije, ali uvajalci, ki delujejo v njihovem imenu, in uvajalci, ki so podjetja, določena za vratarje v skladu z Uredbo (EU) 2022/1925, preden dajo v uporabo umetnointeligenčni sistem velikega tveganja, pred njegovo prvo uporabo ali po vsaki bistveni spremembi. Drugi uvajalci bi morali imeti pravico do prostovoljne registracije. V podatkovni zbirki EU bi bilo treba registrirati tudi pomembne spremembe umetnointeligenčnih sistemov velikega tveganja. Komisija bi morala biti upravljavec navedene zbirke podatkov v skladu z Uredbo (EU) 2018/1725 Evropskega parlamenta in Sveta (55). Za zagotovitev popolne funkcionalnosti podatkovne zbirke ob njeni uvedbi bi moral postopek za vzpostavitev zbirke podatkov vključevati pripravo funkcionalnih specifikacij s strani Komisije in neodvisno revizijsko poročilo. Komisija bi morala pri opravljanju nalog upravljavca podatkov v podatkovni zbirki EU upoštevati tveganja, povezana s kibernetsko varnostjo in nevarnostmi. Da bi bila podatkovna zbirka čim bolj nemoteno na voljo in bi jo javnost čim bolj uporabljala, bi morala zbirka, vključno z informacijami, ki so prek nje na voljo, izpolnjevati zahteve iz Direktive 2019/882.

(71)

Umetna inteligenca je hitro razvijajoča se skupina tehnologij, ki zahteva nove oblike regulativnega nadzora in varen prostor za eksperimentiranje, hkrati pa zagotavlja odgovorne inovacije ter vključevanje ustreznih zaščitnih ukrepov in ukrepov za zmanjševanje tveganja. Da bi zagotovili pravni okvir, ki je prijazen do inovacij, primeren za prihodnost in odporen na motnje, bi bilo treba pristojne nacionalne organe iz ene ali več držav članic spodbuditi k vzpostavitvi regulativnih peskovnikov za umetno inteligenco, da bi omogočili razvoj in testiranje inovativnih umetnointeligenčnih sistemov pod strogim regulativnim nadzorom, preden se ti sistemi dajo na trg ali kako drugače v uporabo.

(71)

Umetna inteligenca je hitro razvijajoča se skupina tehnologij, ki zahteva regulativni nadzor ter varen in nadzorovan prostor za eksperimentiranje, hkrati pa zagotavlja odgovorne inovacije ter vključevanje ustreznih zaščitnih ukrepov in ukrepov za zmanjševanje tveganja. Da bi zagotovili pravni okvir, ki spodbuja inovacije, je primeren za prihodnost in odporen na motnje, bi morale države članice vzpostaviti vsaj en regulativni peskovnik za umetno inteligenco, da bi omogočili razvoj in testiranje inovativnih umetnointeligenčnih sistemov pod strogim regulativnim nadzorom, preden se ti sistemi dajo na trg ali kako drugače v uporabo. Zaželeno je, da vzpostavitev regulativnih peskovnikov, ki je zdaj prepuščena volji držav članic, kot naslednji korak postane obvezna z jasno določenimi merili. Ta obvezni peskovnik bi se lahko vzpostavil tudi skupaj z eno ali več drugimi državami članicami, če bi zajemal ustrezno nacionalno raven vključenih držav članic. Dodatne peskovnike bi bilo mogoče vzpostaviti na različnih ravneh, tudi med državami članicami, da bi pospešili čezmejno sodelovanje in sinergije. Države članice bi morale imeti možnost, da razen obveznega peskovnika na nacionalni ravni vzpostavijo virtualne ali hibridne peskovnike. Vsi regulativni peskovniki bi morali omogočati sprejemanje fizičnih in virtualnih proizvodov. Ustanovni organi bi morali zagotoviti, da imajo regulativni peskovniki ustrezne finančne in človeške vire za delovanje.

(72)

Cilji regulativnih peskovnikov bi morali biti spodbujati inovacije na področju umetne inteligence z vzpostavitvijo nadzorovanega testnega okolja in okolja za eksperimentiranje v fazi razvoja ter pred trženjem, da se zagotovi skladnost inovativnih umetnointeligenčnih sistemov s to uredbo ter drugo ustrezno zakonodajo Unije in držav članic ; povečati pravno varnost za inovatorje ter nadzor in razumevanje priložnosti, nastajajočih tveganj in učinkov uporabe umetne inteligence s strani pristojnih organov ter pospešiti dostop do trgov , tudi z odpravo ovir za mala in srednja podjetja (MSP) ter zagonska podjetja. Za zagotovitev enotnega izvajanja po vsej Uniji in ekonomije obsega je primerno določiti skupna pravila za izvajanje regulativnih peskovnikov in okvir za sodelovanje med ustreznimi organi , vključenimi v nadzor peskovnikov. Ta uredba bi morala zagotoviti pravno podlago za uporabo osebnih podatkov , zbranih za druge namene za razvoj nekaterih umetnointeligenčnih sistemov v javnem interesu v regulativnem peskovniku za umetno inteligenco v skladu s členom 6(4) Uredbe (EU) 2016/679 in členom 6 Uredbe (EU) 2018/1725 ter brez poseganja v  člen 4(2) Direktive (EU) 2016/680 . Udeleženci v peskovniku bi morali zagotoviti ustrezne zaščitne ukrepe in sodelovati s pristojnimi organi , tudi z upoštevanjem njihovih smernic ter hitrim in dobronamernim ukrepanjem , da bi zmanjšali vsa velika tveganja za varnost in temeljne pravice, ki se lahko pojavijo med razvojem in eksperimentiranjem v peskovniku. Ravnanje udeležencev v peskovniku bi bilo treba upoštevati, ko se pristojni organi odločijo, ali bodo naložili upravno globo v skladu s členom 83(2) Uredbe 2016/679 in členom 57 Direktive 2016/680.

(72)

Cilji regulativnih peskovnikov bi morali biti : da bi ustanovni organi izboljšali svoje razumevanje tehničnega razvoja in nadzorne metode ter razvijalcem in ponudnikom umetnointeligenčnih sistemov zagotovili smernice za doseganje regulativne skladnosti s to uredbo ali po potrebi z drugo veljavno zakonodajo Unije in držav članic ter z Listino o temeljnih pravicah; da bi potencialni ponudniki dovolili in olajšali testiranje in razvoj inovativnih rešitev za umetnointeligenčne sisteme v fazi pred trženjem , da se poveča pravna varnost, da se ustanovnim organom omogoči več regulativnega učenja v nadzorovanem okolju, da lahko pripravijo boljše smernice in opredelijo morebitne prihodnje izboljšave pravnega okvira po rednem zakonodajnem postopku. Vsa pomembna tveganja, ugotovljena med razvojem in testiranjem takih umetnointeligenčnih sistemov , bi bilo treba nemudoma zmanjšati, v nasprotnem primeru pa postopek razvoja in testiranja ustaviti , dokler ne pride do takega zmanjšanja. Za zagotovitev enotnega izvajanja po vsej Uniji in ekonomije obsega je primerno določiti skupna pravila za izvajanje regulativnih peskovnikov in okvir za sodelovanje med ustreznimi organi, vključenimi v  nadzor peskovnikov . Države članice bi morale zagotoviti , da so ti regulativni peskovniki široko dostopni po vsej Uniji , sodelovanje pa bi moralo ostati prostovoljno. Zlasti je pomembno poskrbeti , da imajo mala in srednja podjetja ter zagonska podjetja enostaven dostop do teh peskovnikov, da so dejavno vključena v  razvoj in testiranje inovativnih umetnointeligenčnih sistemov ter pri tem sodelujejo , da lahko prispevajo s  svojim znanjem in izkušnjami .

(72a)

Ta uredba bi morala zagotoviti pravno podlago za uporabo osebnih podatkov, zbranih za druge namene za razvoj nekaterih umetnointeligenčnih sistemov v javnem interesu v regulativnem peskovniku za umetno inteligenco samo pod določenimi pogoji v skladu s členom 6(4) Uredbe (EU) 2016/679 in členom 6 Uredbe (EU) 2018/1725 ter brez poseganja v člen 4(2) Direktive (EU) 2016/680. Potencialni ponudniki v peskovniku bi morali zagotoviti ustrezne zaščitne ukrepe in sodelovati s pristojnimi organi, tudi z upoštevanjem njihovih smernic ter hitrim in dobronamernim ukrepanjem, da bi zmanjšali vsa velika tveganja za varnost, zdravje, okolje in temeljne pravice, ki se lahko pojavijo med razvojem in eksperimentiranjem v peskovniku. Ravnanje potencialnih ponudnikov v peskovniku bi bilo treba upoštevati, ko se pristojni organi odločajo, ali bodo začasno prekinili ali prepovedali sodelovanje v peskovniku oziroma ali bodo naložili upravno globo v skladu s členom 83(2) Uredbe 2016/679 in členom 57 Direktive 2016/680.

(72b)

Da bi države članice zagotovile, da umetna inteligenca vodi do družbeno in okoljsko koristnih rezultatov, bi morale podpirati in spodbujati raziskave in razvoj umetne inteligence v podporo družbeno in okoljsko koristnih rezultatov ter zato dodeliti dovolj sredstev, vključno z javnimi sredstvi in sredstvi Unije, in zagotoviti prednostni dostop do regulativnih peskovnikov za projekte, ki jih vodi civilna družba. Takšni projekti bi morali temeljiti na načelu interdisciplinarnega sodelovanja med razvijalci umetne inteligence, strokovnjaki za neenakost in nediskriminacijo, dostopnost, potrošnike, okolje in digitalne pravice ter akademskimi krogi.

(73)

Za spodbujanje in zaščito inovacij je pomembno, da se upoštevajo zlasti interesi malih ponudnikov in uporabnikov umetnointeligenčnih sistemov. V ta namen bi morale države članice razviti pobude, namenjene tem operaterjem, vključno z ozaveščanjem in sporočanjem informacij. Poleg tega se pri določanju pristojbin s strani priglašenih organov za ugotavljanje skladnosti upoštevajo posebni interesi in potrebe malih ponudnikov. Stroški prevajanja, povezani z obvezno dokumentacijo in komuniciranjem z organi, lahko predstavljajo znaten strošek za ponudnike in druge operaterje, zlasti tiste manjšega obsega. Države članice bi morale po možnosti zagotoviti, da je eden od jezikov, ki jih določijo in sprejmejo za dokumentacijo zadevnih ponudnikov in za komunikacijo z operaterji, jezik, ki ga na splošno razume največje možno število čezmejnih uporabnikov.

(73)

Za spodbujanje in zaščito inovacij je pomembno, da se upoštevajo zlasti interesi malih ponudnikov in uporabnikov umetnointeligenčnih sistemov. V ta namen bi morale države članice razviti pobude, namenjene tem operaterjem, vključno s pismenostjo na področju umetne inteligence, ozaveščanjem in sporočanjem informacij. Države članice bi morale uporabljati obstoječe kanale in po potrebi vzpostaviti nove namenske kanale za komunikacijo z malimi in srednjimi podjetji, zagonskimi podjetji, uporabniki in drugimi inovatorji, da zagotovijo smernice in odgovarjajo na vprašanja o izvajanju te uredbe. Obstoječi kanali bi lahko med drugim vključevali skupine agencije ENISA za odzivanje na incidente na področju računalniške varnosti, nacionalne agencije za varstvo podatkov, platformo za umetno inteligenco na zahtevo, evropska vozlišča digitalnih inovacij in druge ustrezne instrumente, ki se financirajo iz programov EU, ter centre za testiranje in eksperimentiranje, ki so jih vzpostavile Komisija in države članice na nacionalni ravni ali ravni Unije. Ti kanali bi morali po potrebi sodelovati, da bi ustvarili sinergije in zagotovili homogenost svojih smernic za zagonska podjetja, mala in srednja podjetja ter uporabnike. Poleg tega se pri določanju pristojbin s strani priglašenih organov za ugotavljanje skladnosti upoštevajo posebni interesi in potrebe malih ponudnikov. Komisija bi morala stroške izdajanja potrdil in skladnosti za mala in srednja podjetja ter zagonska podjetja redno ocenjevati, med drugim s preglednimi posvetovanji z malimi in srednjimi podjetji, zagonskimi podjetji in uporabniki, z državami članicami pa sodelovati pri znižanju teh stroškov. Na primer, stroški prevajanja, povezani z obvezno dokumentacijo in komuniciranjem z organi, lahko predstavljajo znaten strošek za ponudnike in druge operaterje, zlasti tiste manjšega obsega. Države članice bi morale po možnosti zagotoviti, da je eden od jezikov, ki jih določijo in sprejmejo za dokumentacijo zadevnih ponudnikov in za komunikacijo z operaterji, jezik, ki ga na splošno razume največje možno število čezmejnih uporabnikov. Srednje velika podjetja, ki so nedavno prešla iz kategorije malih v srednje velika podjetja v smislu priloge k Priporočilu 2003/361/ES (člen 16), bi morala imeti dostop do teh pobud in smernic za obdobje, ki je primerno po mnenju držav članic, saj ta nova srednje velika podjetja včasih nimajo pravnih virov in usposabljanja, potrebnih za ustrezno razumevanje in skladnost z določbami.

(74)

Da bi čim bolj zmanjšali tveganja za izvajanje, ki so posledica pomanjkanja znanja in strokovnega znanja na trgu, ter da bi ponudnikom in priglašenim organom olajšali izpolnjevanje njihovih obveznosti iz te uredbe, bi morali platforma za umetno inteligenco na zahtevo, evropska vozlišča digitalnih inovacij ter centri za testiranje in eksperimentiranje, ki so jih vzpostavile Komisija in države članice na nacionalni ravni ali ravni EU, po možnosti prispevati k izvajanju te uredbe. V okviru svojih nalog in področij pristojnosti lahko ponudnikom in priglašenim organom zagotavljajo zlasti tehnično in znanstveno podporo.

(74)

Da bi čim bolj zmanjšali tveganja za izvajanje, ki so posledica pomanjkanja znanja in strokovnega znanja na trgu, ter da bi ponudnikom in priglašenim organom olajšali izpolnjevanje njihovih obveznosti iz te uredbe, bi morali platforma za umetno inteligenco na zahtevo, evropska vozlišča digitalnih inovacij ter centri za testiranje in eksperimentiranje, ki so jih vzpostavile Komisija in države članice na nacionalni ravni ali ravni EU, prispevati k izvajanju te uredbe. V okviru svojih nalog in področij pristojnosti lahko ponudnikom in priglašenim organom zagotavljajo zlasti tehnično in znanstveno podporo.

(76)

Za lažje nemoteno , učinkovito in harmonizirano izvajanje te uredbe bi bilo treba ustanoviti Evropski odbor za umetno inteligenco. Odbor bi moral biti odgovoren za številne svetovalne naloge, med drugim za izdajanje mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem te uredbe, vključno s  tehničnimi specifikacijami ali obstoječimi standardi v zvezi z zahtevami iz te uredbe, ter svetovanje in pomoč Komisiji pri posebnih vprašanjih v zvezi z umetno inteligenco.

(76)

Za preprečevanje razdrobljenosti in da se zagotovi optimalno delovanje enotnega trga , za zagotovitev učinkovitega in harmoniziranega izvajanja te uredbe , doseganje visoke ravni zaupanja in zaščite zdravja, varnosti, temeljnih pravic, okolja, demokracije in pravne države v Uniji glede umetnointeligenčnih sistemov, za aktivno podporo nacionalnih nadzornih organov, institucij, organov, uradov in agencij Unije v zadevah v zvezi s to uredbo, in za večje uvajanje umetne inteligence v Uniji bi bilo treba ustanoviti urad Evropske unije za umetno inteligenco. Urad za umetno inteligenco bi moral biti pravna oseba, delovati povsem neodvisno, biti odgovoren za številne svetovalne in usklajevalne naloge, med drugim za izdajanje mnenj, priporočil, nasvetov ali smernic o zadevah, povezanih z izvajanjem te uredbe, ter imeti dovolj sredstev in osebja. Države članice bi morale določiti strateško usmeritev in zagotavljati nadzor urada za umetno inteligenco prek njegovega upravnega odbora, skupaj s Komisijo, Evropskim nadzornikom za varstvo podatkov, Agencijo Evropske unije za temeljne pravice in Agencijo Evropske unije za kibernetsko varnost. Izvršni direktor bi moral biti odgovoren za vodenje dejavnosti sekretariata in predstavljanje urada za umetno inteligenco. Deležniki bi morali formalno sodelovati pri delu urada za umetno inteligenco prek svetovalnega foruma, kjer bi morala biti zagotovljena raznolika in uravnotežena zastopanost deležnikov in ki bi moral uradu svetovati o zadevah v zvezi s to uredbo. Če se izkaže, da ustanovitev urada za umetno inteligenco ne zadostuje za zagotovitev popolnoma usklajene uporabe te uredbe na ravni Unije ter za učinkovite ukrepe čezmejnega izvrševanja, je treba razmisliti, ali je potrebna ustanovitev agencije za umetno inteligenco.

(77)

Države članice imajo ključno vlogo pri uporabi in izvrševanju te uredbe. V zvezi s tem bi morala vsaka država članica imenovati enega ali več pristojnih nacionalnih organov za nadzor uporabe in izvajanja te uredbe. Da bi se povečala učinkovitost organizacije s strani držav članic ter vzpostavila uradna kontaktna točka za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije, bi bilo treba v vsaki državi članici en nacionalni organ imenovati za nacionalni nadzorni organ .

(77)

Vsaka država članica bi morala imenovati en nacionalni nadzorni organ za nadzor uporabe in izvajanja te uredbe. Ta organ bi moral tudi zastopati svojo državo članico v upravnem odboru urada za umetno inteligenco, da bi se povečala učinkovitost organizacije s strani držav članic ter vzpostavila uradna kontaktna točka za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije . Vsak nacionalni nadzorni organ bi moral pri opravljanju svojih nalog in izvajanju svojih pooblastil v skladu s to uredbo delovati popolnoma neodvisno .

(77a)

Nacionalni nadzorni organi bi morali spremljati uporabo določb v skladu s to uredbo in prispevati k njihovi dosledni uporabi v Uniji. V ta namen bi morali nacionalni nadzorni organi sodelovati med seboj, z ustreznimi nacionalnimi pristojnimi organi, Komisijo in uradom za umetno inteligenco.

(77b)

Člana ali osebje posameznega nacionalnega nadzornega organa bi morala v skladu s pravom Unije ali nacionalnim pravom tako med mandatom kot po njem zavezovati dolžnost varovanja poklicne skrivnosti v zvezi z vsemi zaupnimi informacijami, s katerimi se je seznanil med opravljanjem svojih nalog ali izvajanjem svojih pooblastil. V času mandata bi morala ta dolžnost varovanja poklicne skrivnosti veljati zlasti za poslovne skrivnosti in poročanje fizičnih oseb o kršitvah te uredbe.

(78)

Da bi zagotovili, da lahko ponudniki umetnointeligenčnih sistemov velikega tveganja upoštevajo izkušnje pri uporabi umetnointeligenčnih sistemov velikega tveganja za izboljšanje svojih sistemov ter postopka zasnove in razvoja ali da lahko pravočasno izvedejo morebitne popravne ukrepe, bi morali imeti vsi ponudniki vzpostavljen sistem spremljanja po dajanju na trg. Ta sistem je tudi ključen za zagotovitev učinkovitejše in bolj pravočasne obravnave morebitnih tveganj, ki izhajajo iz umetnointeligenčnih sistemov, ki se po dajanju na trg ali v uporabo še naprej „učijo“. V zvezi s tem bi bilo treba od ponudnikov zahtevati tudi, da imajo vzpostavljen sistem za poročanje ustreznim organom o vseh hudih incidentih ali kršitvah nacionalne zakonodaje in zakonodaje Unije o varstvu temeljnih pravic, ki so posledica uporabe njihovih umetnointeligenčnih sistemov.

(78)

Da bi zagotovili, da lahko ponudniki umetnointeligenčnih sistemov velikega tveganja upoštevajo izkušnje pri uporabi umetnointeligenčnih sistemov velikega tveganja za izboljšanje svojih sistemov ter postopka zasnove in razvoja ali da lahko pravočasno izvedejo morebitne popravne ukrepe, bi morali imeti vsi ponudniki vzpostavljen sistem spremljanja po dajanju na trg. Ta sistem je tudi ključen za zagotovitev učinkovitejše in bolj pravočasne obravnave morebitnih tveganj, ki izhajajo iz umetnointeligenčnih sistemov, ki se po dajanju na trg ali v uporabo še naprej „učijo“ ali razvijajo . V zvezi s tem bi bilo treba od ponudnikov zahtevati tudi, da imajo vzpostavljen sistem za poročanje ustreznim organom o vseh hudih incidentih ali kršitvah nacionalne zakonodaje in zakonodaje Unije , tudi tistih o varstvu temeljnih pravic in pravic potrošnikov , ki so posledica uporabe njihovih umetnointeligenčnih sistemov , ter da uvedejo ustrezne popravne ukrepe . Uvajalci bi morali ustreznim organom poročati tudi o vseh hudih incidentih ali kršitvah nacionalne zakonodaje in zakonodaje Unije, ki so posledica uporabe njihovega umetnointeligenčnega sistema, ko odkrijejo take hude incidente ali kršitve.

(79)

Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Kadar je to potrebno za njihove naloge, bi morali imeti nacionalni javni organi, ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, vključno z organi za enakost, tudi dostop do kakršne koli dokumentacije, pripravljene v skladu s to uredbo.

(79)

Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Za namene te uredbe bi morali nacionalni nadzorni organi delovati kot organi za nadzor trga za umetnointeligenčne sisteme, ki jih zajema ta uredba, razen za umetnointeligenčne sisteme, ki jih zajema Priloga II te uredbe. Za umetnointeligenčne sisteme, ki jih zajemajo pravni akti iz Priloge II, so pristojni organi na podlagi teh pravnih aktov še naprej glavni organ. Nacionalni nadzorni organi in pristojni organi v pravnih aktih iz Priloge II bi morali po potrebi sodelovati. Kadar je to primerno, bi morali pristojni organi v pravnih aktih iz Priloge II nacionalnemu nadzornemu organu poslati pristojno osebje za pomoč pri opravljanju nalog. Za namene te uredbe bi morali imeti nacionalni nadzorni organi enaka pooblastila in obveznosti kot organi za nadzor trga v skladu z Uredbo (EU) 2019/1020. Kadar je to potrebno za njihove naloge, bi morali imeti nacionalni javni organi, ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, vključno z organi za enakost, tudi dostop do kakršne koli dokumentacije, pripravljene v skladu s to uredbo. Nacionalnemu nadzornemu organu bi se moral po tem, ko so bili izkoriščeni vsi drugi smiselni načini ocenjevanja/preverjanja skladnosti, ter na utemeljeno zahtevo omogočiti dostop do nabora podatkov o učenju, potrjevanju in testiranju, do učnega in naučenega modela umetnointeligenčnega sistema velikega tveganja, vključno z njegovimi relevantnimi parametri modela ter njihovim okoljem izvajanja/delovanja. V primerih enostavnejših sistemov programske opreme, ki sodijo v to uredbo, ki ne temeljijo na naučenih modelih, in kadar so bili izčrpani vsi drugi načini za preverjanje skladnosti, ima lahko nacionalni nadzorni organ na utemeljeno zahtevo izjemoma dostop do izvorne kode. Kadar se nacionalnemu nadzornemu organu odobri dostop do nabora podatkov o učenju, potrjevanju in testiranju v skladu s to uredbo, bi bilo treba tak dostop doseči z ustreznimi tehničnimi sredstvi in orodji, vključno z dostopom na kraju samem in v izjemnih okoliščinah z dostopom na daljavo. Nacionalni nadzorni organ bi moral vse informacije, vključno z izvorno kodo, programsko opremo in podatki, kot je ustrezno, obravnavati kot zaupne informacije in spoštovati ustrezno pravo Unije o varstvu intelektualne lastnine in poslovnih skrivnosti. Nacionalni nadzorni organ bi moral po zaključku preiskave izbrisati vse pridobljene informacije.

(80)

Zakonodaja Unije o finančnih storitvah vključuje pravila in zahteve glede notranjega upravljanja in obvladovanja tveganj, ki veljajo za regulirane finančne institucije v postopku opravljanja teh storitev, tudi kadar uporabljajo umetnointeligenčne sisteme. Za zagotovitev usklajene uporabe in izvrševanja obveznosti iz te uredbe ter ustreznih pravil in zahtev zakonodaje Unije o finančnih storitvah bi bilo treba organe, pristojne za nadzor in izvrševanje zakonodaje o finančnih storitvah, vključno z Evropsko centralno banko, kadar je to primerno, določiti kot pristojne organe za nadzor izvajanja te uredbe, vključno z dejavnostmi nadzora trga, v zvezi z umetnointeligenčnimi sistemi, ki jih dajejo na voljo ali uporabljajo regulirane in nadzorovane finančne institucije. Za nadaljnjo krepitev skladnosti med to uredbo in pravili, ki se uporabljajo za kreditne institucije, ki jih ureja Direktiva 2013/36/EU Evropskega parlamenta in Sveta (56), je primerno v obstoječe obveznosti in postopke iz Direktive 2013/36/EU vključiti tudi postopek ugotavljanja skladnosti in nekatere postopkovne obveznosti ponudnikov v zvezi z obvladovanjem tveganja, spremljanjem po dajanju na trg ter dokumentacijo. Da bi se izognili prekrivanju, bi bilo treba predvideti tudi omejena odstopanja v zvezi s sistemom upravljanja kakovosti ponudnikov in obveznostjo spremljanja za uporabnike umetnointeligenčnih sistemov velikega tveganja, kolikor se ti uporabljajo za kreditne institucije, ki jih ureja Direktiva 2013/36/EU.

(80)

Pravo Unije o finančnih storitvah vključuje pravila in zahteve glede notranjega upravljanja in obvladovanja tveganj, ki veljajo za regulirane finančne institucije v postopku opravljanja teh storitev, tudi kadar uporabljajo umetnointeligenčne sisteme. Za zagotovitev usklajene uporabe in izvrševanja obveznosti iz te uredbe ter ustreznih pravil in zahtev prava Unije o finančnih storitvah bi bilo treba pristojne organe, odgovorne za nadzor in izvrševanje prava o finančnih storitvah, vključno z Evropsko centralno banko, kadar je to primerno, določiti kot pristojne organe za nadzor izvajanja te uredbe, vključno z dejavnostmi nadzora trga, v zvezi z umetnointeligenčnimi sistemi, ki jih dajejo na voljo ali uporabljajo regulirane in nadzorovane finančne institucije. Za nadaljnjo krepitev skladnosti med to uredbo in pravili, ki se uporabljajo za kreditne institucije, ki jih ureja Direktiva 2013/36/EU Evropskega parlamenta in Sveta (56), je primerno v obstoječe obveznosti in postopke iz Direktive 2013/36/EU vključiti tudi postopek ugotavljanja skladnosti in nekatere postopkovne obveznosti ponudnikov v zvezi z obvladovanjem tveganja, spremljanjem po dajanju na trg ter dokumentacijo. Da bi se izognili prekrivanju, bi bilo treba predvideti tudi omejena odstopanja v zvezi s sistemom upravljanja kakovosti ponudnikov in obveznostjo spremljanja za uvajalce umetnointeligenčnih sistemov velikega tveganja, kolikor se ti uporabljajo za kreditne institucije, ki jih ureja Direktiva 2013/36/EU.

(80a)

Glede na cilje te uredbe, in sicer zagotoviti enakovredno raven varovanja zdravja, varnosti in temeljnih pravic fizičnih oseb, zaščititi pravno državo in demokracijo ter ob upoštevanju, da zmanjšanje tveganj umetnointeligenčnega sistema za te pravice morda ni zadovoljivo doseženo na nacionalni ravni ali pa se lahko razlaga različno, kar bi lahko na koncu privedlo do neenake ravni varstva fizičnih oseb in povzročilo razdrobljenost trga, bi bilo treba nacionalne nadzorne organe pooblastiti, da za učinkovito izvrševanje izvedejo skupne preiskave ali uporabijo zaščitni postopek Unije iz te uredbe. Skupne preiskave bi bilo treba sprožiti, kadar ima nacionalni nadzorni organ dovolj razlogov za domnevo, da kršitev te uredbe pomeni močno razširjeno kršitev ali močno razširjeno kršitev z razsežnostjo Unije, ali kadar umetnointeligenčni sistem ali temeljni model predstavlja tveganje, ki vpliva ali bi lahko vplivalo na vsaj 45 milijonov posameznikov v Uniji v več kot eni državi članici.

(82)

Pomembno je, da so umetnointeligenčni sistemi, povezani s proizvodi brez velikega tveganja v skladu s to uredbo, in jim zato ni treba izpolnjevati zahtev iz te uredbe , kljub temu varni, ko so dani na trg ali v uporabo. Da bi prispevali k temu cilju, bi se Direktiva 2001/95/ES Evropskega parlamenta in Sveta (57) uporabljala kot varnostna mreža.

(82)

Pomembno je, da so umetnointeligenčni sistemi, ki so povezani s proizvodi brez velikega tveganja v skladu s to uredbo in jim zato ni treba izpolnjevati zahtev za umetnointeligenčne sisteme velikega tveganja , kljub temu varni, ko so dani na trg ali v uporabo. Da bi prispevali k temu cilju, bi se Direktiva 2001/95/ES Evropskega parlamenta in Sveta (57) uporabljala kot varnostna mreža.

(83)

Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni ravni bi morale vse strani, vključene v uporabo te uredbe, spoštovati zaupnost informacij in podatkov, pridobljenih pri opravljanju svojih nalog.

(83)

Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni ravni bi si morale vse strani, vključene v uporabo te uredbe, prizadevati za preglednost in odprtost, pri tem pa spoštovati zaupnost informacij in podatkov, pridobljenih pri opravljanju svojih nalog , in sicer z uvedbo tehničnih in organizacijskih ukrepov za zaščito varnosti in zaupnosti informacij, pridobljenih pri opravljanju svojih dejavnosti, vključno s pravicami intelektualne lastnine ter interesi javne in nacionalne varnosti. Kadar dejavnosti Komisije, pristojnih nacionalnih organov in organov, priglašenih v skladu s to uredbo, povzročijo kršitev pravice intelektualne lastnine, bi morale države članice zagotoviti ustrezne ukrepe in pravna sredstva, da se zagotovi uveljavljanje pravic intelektualne lastnine ob uporabi Direktive 2004/48/ES.

(84)

Države članice bi morale sprejeti vse potrebne ukrepe za zagotovitev izvajanja določb iz te uredbe ter določiti učinkovite, sorazmerne in odvračilne kazni za kršitve teh določb. Za nekatere posebne kršitve bi morale države članice upoštevati meje in merila iz te uredbe . Evropski nadzornik za varstvo podatkov bi moral biti pooblaščen za nalaganje glob institucijam, agencijam in organom Unije, ki spadajo na področje uporabe te uredbe.

(84)

Skladnost s to uredbo naj bi se zagotavljala z globami, ki jih naloži pristojni nacionalni nadzorni organ pri izvajanju postopka iz te uredbe. Države članice bi morale sprejeti vse potrebne ukrepe za zagotovitev izvajanja določb iz te uredbe ter določiti učinkovite, sorazmerne in odvračilne kazni za kršitve teh določb. Za okrepitev in uskladitev upravnih kazni za kršitve te uredbe bi bilo treba določiti zgornje meje za določitev upravnih glob za nekatere posebne kršitve . Pristojni nacionalni organi bi morali pri določanju višine glob v vsakem posameznem primeru upoštevati vse ustrezne okoliščine za konkretno situacijo, zlasti naravo, težo in trajanje kršitve ter njenih posledic in velikost ponudnika, zlasti če je ponudnik MSP ali zagonsko podjetje . Evropski nadzornik za varstvo podatkov bi moral biti pooblaščen za nalaganje glob institucijam, agencijam in organom Unije, ki spadajo na področje uporabe te uredbe. Za kazni in sodne stroške v skladu s to uredbo ne bi smele veljati pogodbene klavzule ali druge ureditve.

(84a)

Ker lahko umetnointeligenčni sistemi resno ogrozijo pravice in svoboščine fizičnih in pravnih oseb ter skupin fizičnih oseb, je bistvenega pomena, da imajo fizične in pravne osebe ali skupine fizičnih oseb smiseln dostop do mehanizmov poročanja in pravnih sredstev ter da imajo pravico do sorazmernih in učinkovitih pravnih sredstev. Morale bi imeti možnost, da o kršitvah te uredbe poročajo svojemu nacionalnemu nadzornemu organu, in pravico, da vložijo pritožbo zoper ponudnike ali uvajalce umetnointeligenčnih sistemov. Po potrebi bi morali uvajalci zagotoviti notranje pritožbene mehanizme, ki jih bodo uporabljale fizične in pravne osebe ali skupine fizičnih oseb. Brez poseganja v druga upravna ali izvensodna pravna sredstva bi morale imeti fizične in pravne osebe ter skupine fizičnih oseb tudi pravico do učinkovitega pravnega sredstva v zvezi s pravno zavezujočo odločitvijo nacionalnega nadzornega organa v zvezi z njimi ali, kadar nacionalni nadzorni organ ne obravnava pritožbe, pritožnika ne obvesti o stanju zadeve ali predhodnem izidu vložene pritožbe ali ne izpolni svoje obveznosti v zvezi s sprejetjem končne odločitve o pritožbi.

(84b)

Izpostavljene osebe bi bilo treba vedno obvestiti, da zanje velja uporaba umetnointeligenčnega sistema velikega tveganja, kadar uvajalci uporabljajo umetnointeligenčni sistem velikega tveganja za pomoč pri odločanju ali za odločanje v zvezi s fizičnimi osebami. Te informacije so lahko podlaga, da izpostavljene osebe uveljavljajo svojo pravico do pojasnila v skladu s to uredbo. Pri zagotavljanju pojasnila izpostavljenim osebam v skladu s to uredbo bi morali uvajalci upoštevati raven strokovnega znanja in znanja povprečnega potrošnika ali posameznika.

(84c)

Pravo Unije o zaščiti žvižgačev (Direktiva (EU) 2019/1937) se v celoti uporablja za akademike, oblikovalce, razvijalce, sodelavce projektov, revizorje, vodje proizvodov, inženirje in gospodarske subjekte, ki pridobijo informacije o kršitvah prava Unije, ki jih stori ponudnik umetnointeligenčnega sistema ali njegov umetnointeligenčni sistem.

(85)

Za zagotovitev, da se regulativni okvir lahko po potrebi prilagodi, bi bilo treba na Komisijo prenesti pooblastilo, da v skladu s členom 290 PDEU sprejme akte za spremembo tehnik in pristopov iz Priloge I za opredelitev umetnointeligenčnih sistemov, harmonizacijske zakonodaje Unije iz Priloge II, umetnointeligenčnih sistemov velikega tveganja iz Priloge III, določb v zvezi s tehnično dokumentacijo iz Priloge IV, vsebine izjave EU o skladnosti iz Priloge V, določb v zvezi s postopki ugotavljanja skladnosti iz prilog VI in VII ter določb o vzpostavitvi umetnointeligenčnih sistemov velikega tveganja, za katere bi se moral uporabljati postopek ugotavljanja skladnosti na podlagi ocene sistema upravljanja kakovosti in ocene tehnične dokumentacije. Zlasti je pomembno, da se Komisija pri svojem pripravljalnem delu ustrezno posvetuje, vključno na ravni strokovnjakov, in da se to posvetovanje izvede v skladu z načeli, določenimi v Medinstitucionalnem sporazumu z dne 13. aprila 2016 o boljši pripravi zakonodaje (58). Za zagotovitev enakopravnega sodelovanja pri pripravi delegiranih aktov Evropski parlament in Svet prejmeta zlasti vse dokumente sočasno s strokovnjaki iz držav članic, njuni strokovnjaki pa se lahko sistematično udeležujejo sestankov strokovnih skupin Komisije, ki zadevajo pripravo delegiranih aktov.

(85)

Za zagotovitev, da se regulativni okvir lahko po potrebi prilagodi, bi bilo treba na Komisijo prenesti pooblastilo, da v skladu s členom 290 PDEU sprejme akte za spremembo harmonizacijske zakonodaje Unije iz Priloge II, umetnointeligenčnih sistemov velikega tveganja iz Priloge III, določb v zvezi s tehnično dokumentacijo iz Priloge IV, vsebine izjave EU o skladnosti iz Priloge V, določb v zvezi s postopki ugotavljanja skladnosti iz prilog VI in VII ter določb o vzpostavitvi umetnointeligenčnih sistemov velikega tveganja, za katere bi se moral uporabljati postopek ugotavljanja skladnosti na podlagi ocene sistema upravljanja kakovosti in ocene tehnične dokumentacije. Zlasti je pomembno, da se Komisija pri svojem pripravljalnem delu ustrezno posvetuje, vključno na ravni strokovnjakov, in da se to posvetovanje izvede v skladu z načeli, določenimi v Medinstitucionalnem sporazumu z dne 13. aprila 2016 o boljši pripravi zakonodaje (58) . Ta posvetovanja bi morala vključevati uravnotežen nabor deležnikov, vštevši organizacije potrošnikov, civilno družbo, združenja, ki predstavljajo izpostavljene osebe, predstavnike različno velikih podjetij iz različnih sektorjev, pa tudi raziskovalce in znanstvenike . Za zagotovitev enakopravnega sodelovanja pri pripravi delegiranih aktov Evropski parlament in Svet prejmeta zlasti vse dokumente sočasno s strokovnjaki iz držav članic, njuni strokovnjaki pa se lahko sistematično udeležujejo sestankov strokovnih skupin Komisije, ki zadevajo pripravo delegiranih aktov.

(85a)

Glede na hiter tehnološki razvoj in potrebno tehnično strokovno znanje pri izvajanju ocene umetnointeligenčnih sistemov velikega tveganja bi morala Komisija vsaj vsako leto redno pregledovati izvajanje te uredbe, zlasti prepovedane umetnointeligenčne sisteme, obveznosti glede preglednosti ter seznam področij velikega tveganja in primerov uporabe, pri tem pa se posvetovati z uradom za umetno inteligenco in ustreznimi deležniki.

(87a)

Ker so zanesljive informacije o uporabi virov in energije, proizvodnji odpadkov in drugih okoljskih vplivih umetnointeligenčnih sistemov in z njimi povezane tehnologije IKT, vključno s programsko opremo, strojno opremo in zlasti podatkovnimi centri, omejene, bi morala Komisija uvesti ustrezno metodologijo za merjenje vpliva na okolje in učinkovitosti te uredbe glede na okoljske in podnebne cilje Unije.

(89)

V skladu s členom 42(2) Uredbe (EU) 2018/1725 je bilo opravljeno posvetovanje z Evropskim nadzornikom za varstvo podatkov in Evropskim odborom za varstvo podatkov, ki sta mnenje podala […] –

(89)

V skladu s členom 42(2) Uredbe (EU) 2018/1725 je bilo opravljeno posvetovanje z Evropskim nadzornikom za varstvo podatkov in Evropskim odborom za varstvo podatkov, ki sta mnenje podala 18 . junija 2021 .

1.

(d)

harmonizirana pravila o preglednosti za umetnointeligenčne sisteme, namenjene stikom s fizičnimi osebami, sisteme za prepoznavanje čustev in sisteme za biometrično kategorizacijo ter umetnointeligenčne sisteme , ki se uporabljajo za ustvarjanje ali manipulacijo slikovne, zvočne ali videovsebine ;

(d)

harmonizirana pravila o preglednosti za nekatere umetnointeligenčne sisteme;

(e)

pravila o spremljanju in nadzoru trga.

(e)

pravila o spremljanju in nadzoru trga , upravljanju in izvrševanju .

(ea)

ukrepe za podporo inovacijam s posebnim poudarkom na MSP ter zagonskih podjetjih, vključno o vzpostavljanju regulativnih peskovnikov in sprejemanju ciljno usmerjenih ukrepov za zmanjšanje regulativnega bremena za MSP ter zagonska podjetja;

(eb)

pravila za vzpostavitev in delovanje urada Unije za umetno inteligenco (urad za umetno inteligenco);

(b)

uporabnike umetnointeligenčnih sistemov v Uniji;

(b)

uvajalce umetnointeligenčnih sistemov , ki imajo sedež ali se nahajajo v Uniji;

(c)

ponudnike in uporabnike umetnointeligenčnih sistemov v tretji državi, kadar se izhodni podatki, ki jih sistem ustvari, uporabljajo v Uniji.

(c)

ponudnike in uvajalce umetnointeligenčnih sistemov , ki imajo sedež ali se nahajajo v tretji državi, kadar se na podlagi mednarodnega javnega prava uporablja pravo države članice ali so izhodni podatki, ki jih sistem ustvari, namenjen uporabi v Uniji;

(ca)

ponudnike, ki umetnointeligenčne sisteme iz člena 5 dajejo na trg ali v uporabo zunaj Unije, kadar se ponudnik ali distributer teh sistemov nahaja v Uniji;

(cb)

uvoznike in distributerje umetnointeligenčnih sistemov ter pooblaščene predstavnike ponudnikov umetnointeligenčnih sistemov, kadar imajo ti uvozniki, distributerji ali pooblaščeni zastopniki sedež ali se nahajajo v Uniji;

(cc)

izpostavljene osebe, kot so opredeljene v členu 3(8a), ki se nahajajo v Uniji in na katerih zdravje, varnost ali temeljne pravice negativno vpliva uporaba umetnointeligenčnega sistema, ki je dan na trg ali v uporabo v Uniji.

(a)

Uredba (ES) št. 300/2008;

(b)

Uredba (EU) št. 167/2013;

(c)

Uredba (EU) št. 168/2013;

(d)

Direktiva 2014/90/EU;

(e)

Direktiva (EU) 2016/797;

(f)

Uredba (EU) 2018/858;

(g)

Uredba (EU) 2018/1139;

(h)

Uredba (EU) 2019/2144.