(1)

Namen te uredbe je izboljšati delovanje notranjega trga z določitvijo enotnega pravnega okvira, predvsem za razvoj, dajanje na trg, dajanje v uporabo ter za uporabo umetnointeligenčnih sistemov (v nadaljnjem besedilu: sistemi UI) v Uniji, v skladu z vrednotami Unije, da bi spodbujali uvajanje na človeka osredotočene in zaupanja vredne umetne inteligence (UI) in hkrati zagotovili visoko raven varovanja zdravja, varnosti in temeljnih pravic, kot so določene v Listini Evropske unije o temeljnih pravicah (v nadaljnjem besedilu: Listina), vključno z demokracijo, pravno državo in varstvom okolja, za zaščito pred škodljivimi učinki sistemov UI v Uniji ter da bi podpirali inovacije. S to uredbo se zagotavlja prosti čezmejni pretok blaga in storitev, ki temeljijo na umetni inteligenci, s čimer se državam članicam preprečuje, da bi uvedle omejitve za razvoj, trženje in uporabo sistemov UI, razen če je to izrecno dovoljeno s to uredbo.

(2)

To uredbo bi bilo treba uporabljati v skladu z vrednotami Unije, zapisanimi v Listini, kar bi olajšalo varstvo fizičnih oseb, podjetij, demokracije, pravne države in varstva okolja, hkrati pa spodbujalo inovacije in zaposlovanje ter Uniji zagotovilo vodilno vlogo pri uvajanju zaupanja vredne UI.

(3)

Sisteme UI je mogoče zlahka uporabljati v številnih različnih gospodarskih in družbenih sektorjih, tudi čezmejno, in lahko enostavno krožijo po vsej Uniji. Nekatere države članice so že preučile možnost sprejetja nacionalnih predpisov, s katerimi bi zagotovile, da je UI zaupanja vredna in varna ter da se razvija in uporablja v skladu z obveznostmi glede temeljnih pravic. Različna nacionalna pravila lahko povzročijo razdrobljenost notranjega trga in zmanjšajo pravno varnost za operaterje, ki razvijajo, uvažajo ali uporabljajo sisteme UI. Zato bi bilo treba zagotoviti dosledno in visoko raven varstva po vsej Uniji, da bi dosegli zaupanja vredno UI in hkrati preprečili razlike, ki ovirajo prosti pretok, inovacije, uvajanje in uporabo sistemov UI ter z njimi povezanih proizvodov in storitev na notranjem trgu, in sicer z določitvijo enotnih obveznosti za operaterje ter zagotovitvijo enotnega varstva prevladujočih razlogov javnega interesa in pravic oseb na notranjem trgu na podlagi člena 114 Pogodbe o delovanju Evropske unije (PDEU). Kolikor ta uredba vključuje posebna pravila o varstvu posameznikov pri obdelavi osebnih podatkov v zvezi z omejitvami uporabe sistemov UI za biometrično identifikacijo na daljavo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, uporabe sistemov UI za ocene tveganja fizičnih oseb za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter uporabe sistemov UI za biometrično kategorizacijo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, je primerno, da ta uredba, kar zadeva ta posebna pravila, temelji na členu 16 PDEU. Glede na ta posebna pravila in sklicevanje na člen 16 PDEU se je primerno posvetovati z Evropskim odborom za varstvo podatkov.

(4)

UI je hitro razvijajoča se skupina tehnologij, ki prispeva k številnim gospodarskim, okoljskim in družbenim koristim v celotnem spektru panog in družbenih dejavnosti. Uporaba UI lahko z izboljšanjem napovedi, optimizacijo delovanja in dodeljevanja virov ter po meri prilagojenimi digitalnimi rešitvami, ki so na voljo posameznikom in organizacijam, zagotavlja ključne konkurenčne prednosti za podjetja ter podpira družbeno in okoljsko koristne rezultate, na primer na področju zdravstvenega varstva, kmetijstva, varnosti hrane, izobraževanja in usposabljanja, medijev, športa, kulture, upravljanja infrastrukture, energije, prometa in logistike, javnih storitev, varnosti, pravosodja, učinkovite rabe virov in energije, okoljskega spremljanja, ohranjanja in obnovitve biotske raznovrstnosti in ekosistemov ter blažitve podnebnih sprememb in prilagajanja nanje.

(5)

Hkrati lahko UI – odvisno od okoliščin v zvezi z njenim posebnim namenom, uporabo in ravnjo tehnološkega razvoja – povzroča tveganja ter škodi javnim interesom in temeljnim pravicam, ki jih varuje pravo Unije. Ta škoda je lahko premoženjska ali nepremoženjska, vključno s fizično, psihično, družbeno ali ekonomsko škodo.

(6)

Glede na velik vpliv, ki ga lahko ima UI na družbo, in potrebo po vzpostavitvi zaupanja je bistveno, da se UI in njen regulativni okvir razvijata v skladu z vrednotami Unije iz člena 2 Pogodbe o Evropski uniji (PEU), temeljnimi pravicami in svoboščinami, ki so zapisane v Pogodbah, in, na podlagi člena 6 PEU, v Listini. Osnovni pogoj za UI bi moral biti, da je to tehnologija, osredotočena na človeka. Morala bi biti orodje za ljudi, končni cilj pa bi moral biti povečanje njihove blaginje.

(7)

Da bi zagotovili dosledno in visoko raven zaščite javnih interesov v zvezi z zdravjem, varnostjo in temeljnimi pravicami, bi bilo treba določiti skupna pravila za visokotvegane sisteme UI. Ta pravila bi morala biti skladna z Listino, nediskriminatorna in v skladu z mednarodnimi trgovinskimi zavezami Unije. Treba bi bilo upoštevati tudi Evropsko deklaracijo o digitalnih pravicah in načelih za digitalno desetletje ter Etične smernice za zaupanja vredno umetno inteligenco strokovne skupine na visoki ravni za umetno inteligenco (AI HLEG).

(8)

Da bi spodbujali razvoj, uporabo in uvajanje UI na notranjem trgu, je torej potreben pravni okvir Unije, v katerem bodo določena harmonizirana pravila o umetni inteligenci in bo hkrati zagotovljena visoka raven zaščite javnih interesov, kot so zdravje in varnost ter varstvo temeljnih pravic, vključno z demokracijo, pravno državo in varstvom okolja, kot je priznano in zaščiteno s pravom Unije. Za dosego tega cilja bi bilo treba določiti pravila, s katerimi bo urejeno dajanje nekaterih sistemov UI na trg in v uporabo ter njihova uporaba, s čimer bo zagotovljeno nemoteno delovanje notranjega trga in bo omogočeno, da se v okviru teh sistemov izkoristi načelo prostega pretoka blaga in storitev. Ta pravila bi morala biti jasna in robustna glede varstva temeljnih pravic, morala bi podpirati nove inovativne rešitve in omogočati delovanje evropskega ekosistema javnih in zasebnih akterjev, ki ustvarjajo sisteme UI v skladu z vrednotami Unije, ter uresničevati potencial digitalne preobrazbe v vseh regijah Unije. Z določitvijo teh pravil in ukrepov v podporo inovacijam s posebnim poudarkom na malih in srednjih podjetjih (MSP), vključno s zagonskimi podjetji, ta uredba podpira cilj spodbujanja evropskega na človeka osredotočenega pristopa k umetni inteligenci in vodilnega položaja v svetu pri razvoju varne, zaupanja vredne in etične UI, kot je navedeno v sklepih Evropskega sveta (5), in zagotavlja zaščito etičnih načel v skladu z izrecno zahtevo Evropskega parlamenta (6).

(9)

Harmonizirana pravila, ki se uporabljajo za dajanje visokotveganih sistemov UI na trg ali v uporabo ter za njihovo uporabo, bi bilo treba določiti skladno z Uredbo (ES) št. 765/2008 Evropskega parlamenta in Sveta (7), Sklepom št. 768/2008/ES Evropskega parlamenta in Sveta (8) ter Uredbo (EU) 2019/1020 Evropskega parlamenta in Sveta (9) (v nadaljnjem besedilu: novi zakonodajni okvir). Harmonizirana pravila, določena v tej uredbi, bi bilo treba uporabljati v vseh sektorjih, hkrati pa v skladu z novim zakonodajnim okvirom ne bi smela posegati v veljavno pravo Unije, zlasti pravo o varstvu podatkov, varstvu potrošnikov, temeljnih pravicah, zaposlovanju in varstvu delavcev ter varnosti proizvodov, ki ga ta uredba dopolnjuje. Posledično ostanejo nespremenjeni in se v celoti uporabljajo vse pravice in pravna sredstva, ki jih takšno pravo Unije zagotavlja potrošnikom in drugim osebam, na katere bi lahko sistemi UI negativno vplivali, tudi v zvezi z nadomestilom morebitne škode na podlagi Direktive Sveta 85/374/EGS (10). Poleg tega ta uredba v okviru zaposlovanja in zaščite delavcev ne bi smela vplivati na pravo Unije o socialni politiki in nacionalno delovno pravo, ki je skladno s pravom Unije, v zvezi z zaposlovanjem in delovnimi pogoji, vključno z zdravjem in varnostjo pri delu ter razmerjem med delodajalci in delavci. Tudi ne bi smela vplivati na uveljavljanje temeljnih pravic, ki so priznane v državah članicah in na ravni Unije, vključno s pravico do stavke ali drugih ukrepov, zajetih v specifičnih sistemih odnosov med delodajalci in delojemalci v posameznih državah članicah, ter na pravico do pogajanj, sklepanja in izvrševanja kolektivnih pogodb ali do kolektivnih ukrepov v skladu z nacionalnim pravom. Ta uredba ne bi smela vplivati na določbe za izboljšanje delovnih pogojev pri platformnem delu iz direktive Evropskega parlamenta in Sveta o izboljšanju delovnih pogojev pri platformnem delu. Namen te uredbe je tudi okrepiti učinkovitost takih obstoječih pravic in pravnih sredstev z določitvijo posebnih zahtev in obveznosti, tudi glede preglednosti, tehnične dokumentacije in vodenja evidenc sistemov UI. Poleg tega bi bilo treba obveznosti, naložene različnim operaterjem, vključenim v verigo vrednosti UI na podlagi te uredbe, uporabljati brez poseganja v nacionalno pravo, ki je skladno s pravom Unije in katerega učinek je omejitev uporabe nekaterih sistemov UI, kadar tako pravo ne spada na področje uporabe te uredbe ali je namenjeno uresničevanju legitimnih ciljev v javnem interesu, ki niso cilji iz te uredbe. Ta uredba na primer ne bi smela vplivati na nacionalno delovno pravo in pravo o varstvu mladoletnikov, tj. oseb, mlajših od 18 let, ob upoštevanju Splošne pripombe št. 25 KZNOP (2021) o otrokovih pravicah v zvezi z digitalnim okoljem, če se to pravo ne nanaša posebej na sisteme UI in je namenjeno uresničevanju drugih legitimnih ciljev v javnem interesu.

(10)

Temeljna pravica do varstva osebnih podatkov je zajamčena zlasti z uredbama (EU) 2016/679 (11) in (EU) 2018/1725 (12) Evropskega parlamenta in Sveta ter Direktivo (EU) 2016/680 Evropskega parlamenta in Sveta (13). Direktiva 2002/58/ES Evropskega parlamenta in Sveta (14) poleg tega varuje zasebno življenje in zaupnost komunikacij, vključno z zagotavljanjem pogojev za shranjevanje osebnih in neosebnih podatkov na terminalski opremi in za dostop do teh podatkov z nje. Navedeni pravni akti Unije so podlaga za vzdržno in odgovorno obdelavo podatkov, tudi kadar nabori podatkov vključujejo kombinacijo osebnih in neosebnih podatkov. Namen te uredbe ni vplivati na uporabo veljavnega prava Unije, ki ureja obdelavo osebnih podatkov, med drugim tudi ne na naloge in pooblastila neodvisnih nadzornih organov, pristojnih za spremljanje skladnosti s temi instrumenti. Uredba tudi ne vpliva na obveznosti ponudnikov in uvajalcev sistemov UI v njihovi vlogi upravljavcev ali obdelovalcev podatkov, ki izhaja iz prava Unije ali nacionalnega prava o varstvu osebnih podatkov, če zasnova, razvoj ali uporaba sistemov UI vključuje obdelavo osebnih podatkov. Prav tako je treba pojasniti, da posamezniki, na katere se nanašajo osebni podatki, še naprej uživajo vse pravice in jamstva, ki jim jih podeljuje tovrstno pravo Unije, tudi pravice, povezane izključno z avtomatiziranim sprejemanjem posameznih odločitev, vključno z oblikovanjem profilov. Harmonizirana pravila za dajanje sistemov UI na trg ali v uporabo ter za njihovo uporabo, ki so določena na podlagi te uredbe, bi morala olajšati učinkovito izvajanje in omogočiti uveljavljanje pravic posameznikov, na katere se nanašajo osebni podatki, in drugih pravnih sredstev, zagotovljenih na podlagi prava Unije o varstvu osebnih podatkov in drugih temeljnih pravic.

(11)

Ta uredba ne bi smela posegati v določbe o odgovornosti ponudnikov posredniških storitev iz Uredbe (EU) 2022/2065 Evropskega parlamenta in Sveta (15).

(12)

Pojem „sistem UI“ v tej uredbi bi moral biti jasno opredeljen in tesno usklajen z delom mednarodnih organizacij, ki se ukvarjajo z UI, da bi zagotovili pravno varnost, olajšali mednarodno zbliževanje in široko sprejemanje ter hkrati zagotovili prožnost, ki bo omogočala prilagajanje hitremu tehnološkemu razvoju na tem področju. Poleg tega bi morala opredelitev temeljiti na ključnih značilnostih sistemov UI, po katerih se razlikuje od enostavnejših tradicionalnih sistemov programske opreme ali programskih pristopov, in ne bi smela vključevati sistemov, ki temeljijo na pravilih, ki jih za samodejno izvajanje operacij opredelijo izključno fizične osebe. Ključna značilnost sistemov UI je njihova sposobnost sklepanja. Ta sposobnost sklepanja se nanaša na proces pridobivanja izhodnih podatkov, kot so napovedi, vsebina, priporočila ali odločitve, ki lahko vplivajo na fizično in virtualno okolje, ter na sposobnost sistemov UI, da izpeljejo modele ali algoritme ali oboje iz vhodnih vrednosti ali podatkov. Tehnike, ki omogočajo sklepanje pri vzpostavljanju sistema UI, vključujejo pristope strojnega učenja, ki se tega, kako doseči določene cilje, učijo iz podatkov, ter pristope, ki temeljijo na logiki in znanju ter izhajajo iz kodiranega znanja ali simbolične predstavitve naloge, ki jo je treba rešiti. Zmogljivost sistema UI za sklepanje presega osnovno obdelavo podatkov z omogočanjem učenja, prihajanja do zaključkov ali modeliranja. Izraz „temelječ na napravah“ se nanaša na dejstvo, da sisteme UI poganjajo stroji. Sklicevanje na eksplicitne ali implicitne cilje poudarja, da lahko sistemi UI delujejo v skladu z eksplicitnimi ali implicitnimi cilji. Cilji sistema UI se lahko v posebnih okoliščinah razlikujejo od predvidenega namena sistema UI. Za namene te uredbe bi bilo treba okolja razumeti kot kontekste, v katerih delujejo sistemi UI, medtem ko izhodni podatki, ki jih ustvari sistem UI, odražajo različne funkcije, ki jih opravljajo sistemi UI, in vključujejo napovedi, vsebine, priporočila ali odločitve. Sistemi UI so zasnovani tako, da delujejo z različnimi stopnjami avtonomije, kar pomeni, da so do neke mere neodvisni od človeškega sodelovanja in zmožni delovati brez človeškega posredovanja. Prilagodljivost, ki bi jo sistem UI lahko pokazal po uvedbi, se nanaša na sposobnosti samoučenja, ki omogočajo, da se sistem med uporabo spremeni. Sistemi UI se lahko uporabljajo samostojno ali kot komponenta določenega proizvoda, ne glede na to, ali je sistem fizično integriran v proizvod (vgrajen) ali služi funkcionalnosti proizvoda, ne da bi bil vanj integriran (nevgrajen).

(13)

Pojem „uvajalec“ iz te uredbe bi bilo treba razlagati kot vsako fizično ali pravno osebo, vključno z javnim organom, agencijo ali drugim telesom, ki uporablja sistem UI pod svojo pristojnostjo, razen kadar se sistem UI uporablja v okviru osebne nepoklicne dejavnosti. Glede na vrsto sistema UI lahko uporaba sistema vpliva na osebe, ki niso uvajalec.

(14)

Pojem „biometrični podatki“, ki se uporablja v tej uredbi, bi bilo treba razlagati glede na pojem biometričnih podatkov, kot je opredeljen v členu 4, točka 14, Uredbe (EU) 2016/679, členu 3, točka 18, Uredbe (EU) 2018/1725 in členu 3, točka 13, Direktive (EU) 2016/680. Biometrični podatki lahko omogočijo avtentikacijo, identifikacijo ali kategorizacijo fizičnih oseb in prepoznavanje njihovih čustev.

(15)

Pojem „biometrična identifikacija“ iz te uredbe bi bilo treba opredeliti kot avtomatizirano prepoznavanje fizičnih, fizioloških in vedenjskih človeških značilnosti, kot so obraz, gibanje oči, izrazi obraza, oblika telesa, glas, govor, hoja, drža, srčni utrip, krvni tlak, vonj in značilnosti tipkanja, za namene preverjanja identitete posameznika s primerjavo biometričnih podatkov tega posameznika s shranjenimi biometričnimi podatki posameznikov v referenčni podatkovni zbirki ne glede na to, ali je posameznik v to privolil ali ne. To izključuje sisteme UI za biometrično preverjanje, tudi avtentikacijo, katerih edini namen je potrditi, da je določena fizična oseba res ta, za katero se predstavlja, in potrditi identiteto fizične osebe izključno z namenom dostopa do storitve, odklepanja naprave ali varnostnega dostopa do prostorov.

(16)

Pojem „biometrična kategorizacija“ iz te uredbe bi bilo treba opredeliti kot razvrstitev fizičnih oseb v posebne kategorije na podlagi njihovih biometričnih podatkov. Takšne posebne kategorije se lahko nanašajo na vidike, kot so spol, starost, barva las, barva oči, tetovaže, vedenjske ali osebnostne lastnosti, jezik, vera, pripadnost narodnostni manjšini, spolna ali politična usmerjenost. To ne vključuje sistemov za biometrično kategorizacijo, ki so izključno pomožni element, neločljivo povezan z drugo komercialno storitvijo, kar pomeni, da tega elementa iz objektivnih tehničnih razlogov ni mogoče uporabiti brez glavne storitve, njegova vključitev ali funkcionalnost pa ni sredstvo za izogibanje uporabi pravil iz te uredbe. Na primer, filtri za kategorizacijo obraznih ali telesnih značilnosti, ki se uporabljajo na spletnih tržnicah, bi lahko bili takšen pomožni element, saj se lahko uporabljajo le v zvezi z glavno storitvijo, ki je prodaja izdelka na način, da se potrošniku omogoči, da si ogleda prikaz izdelka sam, in se mu pomaga pri sprejemanju odločitve o nakupu. Filtre, ki se uporabljajo na spletnih storitvah družbenih omrežij in s katerimi se kategorizirajo obrazne funkcije ali funkcije telesa, da lahko uporabniki dodajajo ali spreminjajo slike ali videoposnetke, bi prav tako lahko šteli za pomožno funkcijo, saj takega filtra ni mogoče uporabljati brez glavne storitve, tj. storitev družbenih omrežij, ki vključuje izmenjavo vsebin na spletu.

(17)

Pojem „sistem za biometrično identifikacijo na daljavo“ iz te uredbe bi bilo treba opredeliti funkcionalno kot sistem UI, namenjen identifikaciji fizičnih oseb brez njihovega dejavnega sodelovanja, običajno na daljavo, s primerjavo biometričnih podatkov osebe z biometričnimi podatki iz referenčne podatkovne zbirke, ne glede na uporabljeno tehnologijo, procese ali vrste biometričnih podatkov. Takšni sistemi za biometrično identifikacijo na daljavo se običajno uporabljajo za hkratno zaznavanje več oseb ali njihovega vedenja, da se bistveno olajša identifikacija fizičnih oseb brez njihovega dejavnega sodelovanja. To izključuje sisteme UI za biometrično preverjanje, tudi avtentikacijo, katerih edini namen je potrditi, da je določena fizična oseba res ta, za katero se predstavlja, in potrditi identiteto fizične osebe izključno z namenom dostopa do storitve, odklepanja naprave ali varnostnega dostopa do prostorov. Ta izključitev je utemeljena z dejstvom, da bodo imeli taki sistemi verjetno manjši vpliv na temeljne pravice fizičnih oseb v primerjavi s sistemi za biometrično identifikacijo na daljavo, ki se lahko uporabljajo za obdelavo biometričnih podatkov velikega števila oseb brez njihovega dejavnega sodelovanja. Pri sistemih „v realnem času“ se zajemanje biometričnih podatkov, primerjava in identifikacija izvedejo takoj ali skoraj takoj, v vsakem primeru pa brez večje zamude. V zvezi s tem ne bi smelo biti prostora za izogibanje pravilom te uredbe o uporabi zadevnih sistemov UI „v realnem času“, saj je predvidena možnost manjših zamud. Sistemi „v realnem času“ vključujejo uporabo gradiva „v živo“ ali „skoraj v živo“, kot je videoposnetek, ki ga ustvari kamera ali druga naprava s podobno funkcionalnostjo. Pri „naknadnih“ sistemih so bili biometrični podatki že zajeti, primerjava in identifikacija pa se izvedeta šele po daljšem času. To vključuje gradivo, kot so slike ali videoposnetki, ki jih ustvarjajo kamere CCTV ali zasebne naprave, ki je bilo ustvarjeno pred uporabo sistema v zvezi z zadevnimi fizičnimi osebami.

(18)

Pojem „sistem za prepoznavanje čustev“ iz te uredbe bi bilo treba opredeliti kot sistem UI za prepoznavanje čustev ali namer ali za sklepanje o čustvih ali namerah fizičnih oseb na podlagi njihovih biometričnih podatkov. Pojem se nanaša na čustva ali namere, kot so sreča, žalost, jeza, presenečenje, ogorčenje, zadrega, navdušenje, osramočenost, zaničevanje, zadovoljstvo in zabavanje. Ne vključuje fizičnih stanj, kot sta bolečina ali utrujenost, na primer vključno s sistemi, ki se uporabljajo za odkrivanje stanja utrujenosti poklicnih pilotov ali voznikov za namene preprečevanja nesreč. To tudi ne vključuje zgolj odkrivanja lahko vidnih izrazov, gest ali gibov, razen če se uporabljajo za prepoznavanje čustev ali sklepanje o njih. Ti izrazi so lahko osnovni obrazni izrazi, kot je namrščenost ali nasmeh, ali geste, kot je premikanje dlani, rok ali glave, ali značilnosti glasu osebe, kot je povzdignjen glas ali šepetanje.

(19)

Za namene te uredbe bi bilo treba pojem javno dostopnega prostora razumeti kot vsak fizični prostor, ki je dostopen nedoločenemu številu fizičnih oseb, ne glede na to, ali je ta prostor v zasebni ali javni lasti, in ne glede na dejavnost, za katero se ta prostor uporablja, denimo za komercialno, na primer trgovine, restavracije, kavarne; storitveno, na primer banke, poklicne dejavnosti, gostinske ali nastanitvene dejavnosti; športno, na primer bazeni, telovadnice, stadioni; prevozno, na primer avtobusne postaje, postaje podzemne železnice in železniške postaje, letališča, prevozna sredstva; razvedrilno, na primer kinematografi, gledališča, muzeji, koncertne in konferenčne dvorane; prostočasno ali drugo dejavnost, na primer javne ceste in trgi, parki, gozdovi, igrišča. Prostor bi bilo treba tudi razvrstiti kot javno dostopen, če za dostop ne glede na morebitne omejitve zmogljivosti ali varnostne omejitve veljajo nekateri vnaprej določeni pogoji, ki jih lahko izpolni nedoločeno število oseb, kot je nakup vstopnice ali vozovnice, predhodna registracija ali določena starost. Nasprotno pa se prostor ne bi smel šteti za javno dostopnega, če je dostop omejen na določene in opredeljene fizične osebe bodisi na podlagi prava Unije bodisi na podlagi nacionalnega prava, ki se neposredno nanaša na javno varnost ali varovanje, ali če se oseba, ki ima za ta prostor ustrezna pooblastila, glede tega jasno opredeli. Dejanska možnost samega dostopa, kot so odklenjena vrata, odprta vrata v ograji, ne pomeni, da je prostor javno dostopen, če obstajajo znaki ali okoliščine, ki kažejo na nasprotno, kot so znaki, ki prepovedujejo ali omejujejo dostop. Prostori podjetij in tovarn ter pisarne in delovni prostori, do katerih naj bi dostopali samo ustrezni zaposleni in ponudniki storitev, so prostori, ki niso javno dostopni. Javno dostopni prostori ne bi smeli vključevati zaporov ali območij mejne kontrole. Nekateri drugi prostori lahko zajemajo tako javno dostopne kot javno nedostopne prostore, kot je hodnik ali veža zasebne stanovanjske zgradbe, prek katere se dostopa do zdravniške pisarne, ali letališče. Spletni prostori niso zajeti, saj niso fizični prostori. Ali je določen prostor dostopen javnosti ali ne, pa je treba ugotoviti za vsak primer posebej, ob upoštevanju posebnosti posamezne dane situacije.

(20)

Da bi dosegli največje koristi sistemov UI in hkrati zaščitili temeljne pravice, zdravje in varnost ter omogočili demokratični nadzor, bi morala pismenost na področju UI ponudnikom, uvajalcem in osebam, na katere vpliva sistem UI, omogočiti razumevanje potrebnih pojmov za sprejemanje informiranih odločitev v zvezi s sistemi UI. Ti pojmi se lahko razlikujejo glede na zadevni kontekst in lahko vključujejo razumevanje pravilne uporabe tehničnih elementov v razvojni fazi sistema UI, ukrepe, ki jih je treba uporabiti med njegovo uporabo, ustrezne načine za razlago izhodnih podatkov sistema UI in, v primeru oseb, na katere vpliva sistem UI, znanje, potrebno za razumevanje, kako bodo odločitve, sprejete s pomočjo UI vplivale nanje. V okviru uporabe te uredbe bi morala pismenost na področju UI vsem zadevnim akterjem v verigi vrednosti UI zagotoviti vpoglede, potrebne za zagotovitev ustrezne skladnosti s to uredbo in njenega pravilnega izvrševanja. Poleg tega bi lahko široko izvajanje ukrepov za pismenost na področju UI in uvedba ustreznih nadaljnjih ukrepov prispevala k izboljšanju delovnih pogojev ter nazadnje podprla konsolidacijo in inovacijsko pot zaupanja vredne UI v Uniji. Evropski odbor za umetno inteligenco (v nadaljnjem besedilu: Odbor) bi moral podpirati Komisijo pri spodbujanju orodij za pismenost na področju UI, ozaveščenosti javnosti in razumevanja koristi, tveganj, zaščitnih ukrepov, pravic in obveznosti v zvezi z uporabo sistemov UI. Komisija in države članice bi morale v sodelovanju z ustreznimi deležniki olajšati pripravo prostovoljnih kodeksov ravnanja za izboljšanje pismenosti na področju UI med osebami, ki se ukvarjajo z razvojem, delovanjem in uporabo UI.

(21)

Za zagotovitev enakih konkurenčnih pogojev ter učinkovitega varstva pravic in svoboščin posameznikov po vsej Uniji bi se morala pravila iz te uredbe nediskriminatorno uporabljati za ponudnike sistemov UI, ne glede na to, ali imajo sedež v Uniji ali v tretji državi, in za uvajalce sistemov UI s sedežem v Uniji.

(22)

Zaradi svoje digitalne narave bi morali nekateri sistemi UI spadati na področje uporabe te uredbe, tudi če niso dani na trg ali v uporabo oziroma se ne uporabljajo v Uniji. To velja na primer za operaterja s sedežem v Uniji, ki določene storitve naroča pri operaterju s sedežem v tretji državi v zvezi z dejavnostjo, ki jo bo izvajal sistem UI, ki bi bil opredeljen kot visokotvegani sistem. V teh okoliščinah bi lahko sistem UI, ki ga operater uporablja v tretji državi, obdeloval podatke, ki se zakonito zbirajo v Uniji in prenašajo iz nje, ter naročniku v Uniji zagotovil izhodne podatke navedenega sistema UI, ki izhajajo iz te obdelave, ne da bi bil ta sistem UI dan na trg ali v uporabo oziroma bi se uporabljal v Uniji. Da bi preprečili izogibanje določbam te uredbe in zagotovili učinkovito varstvo fizičnih oseb v Uniji, bi se morala ta uredba uporabljati tudi za ponudnike in uvajalce sistemov UI s sedežem v tretji državi, če so izhodni podatki, ki jih ti sistemi ustvarijo, namenjeni uporabi v Uniji. Kljub temu pa se zaradi upoštevanja obstoječih ureditev in posebnih potreb po prihodnjem sodelovanju s tujimi partnerji, s katerimi se izmenjujejo informacije in dokazi, ta uredba ne bi smela uporabljati za javne organe tretje države in mednarodne organizacije, kadar delujejo v okviru sodelovanja ali mednarodnih sporazumov, sklenjenih na ravni Unije ali nacionalni ravni za sodelovanje na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter pravosodnega sodelovanja z Unijo ali državami članicami, pod pogojem, da zadevna tretja država ali mednarodne organizacije zagotovijo ustrezne zaščitne ukrepe v zvezi z varstvom temeljnih pravic in svoboščin posameznikov. To lahko po potrebi zajema dejavnosti subjektov, ki so jim tretje države zaupale izvajanje posebnih nalog v podporo takemu sodelovanju na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter pri pravosodnem sodelovanju. Takšni okviri za sodelovanje ali sporazumi so bili vzpostavljeni dvostransko med državami članicami in tretjimi državami ali med Evropsko unijo, Europolom in drugimi agencijami Unije ter tretjimi državami in mednarodnimi organizacijami. Organi, pristojni za nadzor organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ter pravosodnih organov v skladu s to uredbo, bi morali oceniti, ali navedeni okviri za sodelovanje ali mednarodni sporazumi vključujejo ustrezne zaščitne ukrepe v zvezi z varstvom temeljnih pravic in svoboščin posameznikov. Nacionalni organi prejemniki ter institucije, organi, uradi in agencije Unije, ki uporabljajo take izhodne podatke v Uniji, so še naprej odgovorni za zagotavljanje, da je njihova uporaba skladna s pravom Unije. Ko se ti mednarodni sporazumi revidirajo ali se v prihodnosti sklenejo novi, bi si morale pogodbenice kar najbolj prizadevati za njihovo uskladitev z zahtevami iz te uredbe.

(23)

To uredbo bilo treba uporabljati tudi za institucije, organe, urade in agencije Unije, kadar delujejo kot ponudniki ali uvajalci sistema UI.

(24)

Če in kolikor so sistemi UI s spremembami ali brez njih dani na trg ali v uporabo oziroma se uporabljajo za vojaške ali obrambne namene ali namene nacionalne varnostni, bi morali biti izključeni iz področja uporabe te uredbe ne glede na to, katera vrsta subjekta izvaja te dejavnosti, tj. ali gre za javni ali zasebni subjekt. Kar zadeva vojaške in obrambne namene, je taka izključitev utemeljena tako s členom 4(2) PEU kot tudi s posebnostmi obrambne politike držav članic in skupne obrambne politike Unije iz naslova V, poglavje 2, PEU, za katere velja mednarodno javno pravo, ki je zato ustreznejši pravni okvir za ureditev sistemov UI v kontekstu uporabe smrtonosne sile in drugih sistemov UI v kontekstu vojaških in obrambnih dejavnosti. Kar zadeva namene nacionalne varnosti, izključitev upravičuje tako dejstvo, da nacionalna varnost ostaja v izključni pristojnosti držav članic v skladu s členom 4(2) PEU, kot tudi posebna narava in operativne potrebe dejavnosti nacionalne varnosti ter posebna nacionalna pravila, ki se za te dejavnosti uporabljajo. Če pa se sistem UI, ki je bil razvit, dan na trg ali v uporabo oziroma se uporablja v vojaške ali obrambne namene ali namene nacionalne varnosti, začasno ali stalno uporablja za druge namene (na primer civilne ali humanitarne namene, namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali namene javne varnosti), bi tak sistem spadal na področje uporabe te uredbe. V tem primeru bi moral subjekt, ki sistem UI uporablja za namene, ki niso vojaški ali obrambni nameni ali nameni nacionalne varnosti, zagotoviti skladnost sistema UI s to uredbo, razen če je sistem že skladen s to uredbo. Sistemi UI, ki so dani na trg ali v uporabo za izključene namene, tj. vojaške, obrambne namene ali namene nacionalne varnosti, in enega ali več neizključenih namenov, kot so civilni nameni ali nameni preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, spadajo na področje uporabe te uredbe, njihovi ponudniki pa bi morali zagotoviti skladnost s to uredbo. V teh primerih dejstvo, da sistem UI lahko spada na področje uporabe te uredbe, ne bi smelo vplivati na možnost subjektov, ki izvajajo nacionalne varnostne, obrambne in vojaške dejavnosti (ne glede na vrsto teh subjektov), da uporabljajo sisteme UI za namene nacionalne varnosti, vojaške in obrambne namene, katerih uporaba je izključena iz področja uporabe te uredbe. Sistem UI, dan na trg za civilne namene ali namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, ki se uporablja s spremembami ali brez njih za vojaške in obrambne namene ali namene nacionalne varnosti, ne bi smel spadati na področje uporabe te uredbe, ne glede na vrsto subjekta, ki izvaja te dejavnosti.

(25)

S to uredbo bi bilo treba podpirati inovacije in spoštovati svobodo znanosti ter z njo ne bi smeli ogrožati raziskovalnih in razvojnih dejavnosti. Zato je treba iz njenega področja uporabe izključiti sisteme in modele UI, ki so bili posebej razviti in dani v uporabo izključno za znanstvene raziskave in razvoj. Poleg tega je treba zagotoviti, da ta uredba ne vpliva kako drugače na znanstvene raziskave in razvoj sistemov ali modelov UI, preden se dajo na trg ali v uporabo. Tudi kar zadeva v proizvode usmerjene raziskave, testiranje in razvoj sistemov ali modelov UI, se določbe te uredbe ne bi smele uporabljati pred dajanjem teh sistemov in modelov v uporabo ali na trg. Ta izključitev pa ne posega v obveznost skladnosti s to uredbo, če je sistem UI, ki spada na področje uporabe te uredbe, dan na trg ali v uporabo kot rezultat take raziskovalne in razvojne dejavnosti, ter v uporabo določb o regulativnih peskovnikih za UI in testiranju v realnih razmerah. Poleg tega bi morale brez poseganja v izključitev sistemov UI, ki so posebej razviti in dani v uporabo izključno za namene znanstvenih raziskav in razvoja, za vse druge sisteme UI, ki se lahko uporabljajo za izvajanje kakršnih koli raziskovalnih in razvojnih dejavnosti, še naprej veljati določbe te uredbe. V vsakem primeru bi bilo treba vsakršno raziskovalno in razvojno dejavnost izvajati v skladu s priznanimi etičnimi in strokovnimi standardi za znanstvene raziskave ter v skladu z veljavnim pravom Unije.

(26)

Za uvedbo sorazmernega in učinkovitega sklopa zavezujočih pravil za sisteme UI bi bilo treba upoštevati jasno opredeljen pristop, ki temelji na tveganju. Ta pristop bi moral vrsto in vsebino takih pravil prilagoditi intenzivnosti in obsegu tveganj, ki jih lahko ustvarijo sistemi UI. Zato je treba prepovedati nekatere nesprejemljive prakse UI, določiti zahteve za visokotvegane sisteme UI in obveznosti za zadevne operaterje ter določiti obveznosti glede preglednosti za nekatere sisteme UI.

(27)

Čeprav je pristop, ki temelji na tveganju, podlaga za sorazmeren in učinkovit sklop zavezujočih pravil, je pomembno opozoriti na Etične smernice za zaupanja vredno umetno inteligenco iz leta 2019, ki jih je razvila neodvisna strokovna skupina na visoki ravni za umetno inteligenco (AI HLEG), ki jo je imenovala Komisija. V teh smernicah je AI HLEG razvila sedem nezavezujočih etičnih načel za UI, ki naj bi pomagala zagotoviti, da je UI zaupanja vredna in etično zanesljiva. Teh sedem načel vključuje človeško delovanje in nadzor, tehnično robustnost in varnost, zasebnost in upravljanje podatkov, preglednost, raznolikost, nediskriminacijo in pravičnost ter družbeno in okoljsko blaginjo in odgovornost. Brez poseganja v pravno zavezujoče zahteve te uredbe in katerega koli drugega veljavnega prava Unije te smernice prispevajo k oblikovanju skladne, zaupanja vredne in na človeka osredotočene UI v skladu z Listino in vrednotami, na katerih temelji Unija. V skladu s smernicami AI HLEG človeško delovanje in nadzor pomeni, da se sistemi UI razvijajo in uporabljajo kot orodje, ki služi ljudem, spoštuje človeško dostojanstvo in osebno avtonomijo ter deluje tako, da ga ljudje lahko ustrezno upravljajo in nadzorujejo. Tehnična robustnost in varnost pomeni, da se sistemi UI razvijajo in uporabljajo na način, ki omogoča robustnost v primeru težav in odpornost proti poskusom spremembe uporabe ali učinkovitosti sistema UI, ki bi lahko tretjim osebam omogočila nezakonito uporabo, in čim bolj zmanjša nenamerno škodo. Zasebnost in upravljanje podatkov pomeni, da se sistemi UI razvijajo in uporabljajo v skladu s pravili o zasebnosti in varstvu podatkov, hkrati pa obdelujejo podatke, ki izpolnjujejo visoke standarde v smislu kakovosti in celovitosti. Preglednost pomeni, da se sistemi UI razvijajo in uporabljajo na način, ki omogoča ustrezno sledljivost in razložljivost, obenem pa so ljudje seznanjeni s tem, da komunicirajo ali da so v stiku s sistemom UI, uvajalci so ustrezno obveščeni o zmogljivostih in omejitvah zadevnega sistema UI, osebe, na katere vpliva sistem UI, pa o svojih pravicah. Raznolikost, nediskriminacija in pravičnost pomeni, da se sistemi UI razvijajo in uporabljajo na način, ki vključuje različne akterje in spodbuja enakopraven dostop, enakost spolov in kulturno raznolikost, hkrati pa se preprečujejo diskriminatorni učinki in nepravični predsodki, ki jih pravo Unije ali držav članic prepoveduje. Družbena in okoljska blaginja pomeni, da se sistemi UI razvijajo in uporabljajo na trajnosten in okolju prijazen način ter v korist vseh ljudi, hkrati pa se spremljajo in ocenjujejo dolgoročni vplivi na posameznika, družbo in demokracijo. Ta načela bi bilo treba uporabljati tudi pri zasnovi in uporabi modelov UI, kadar je mogoče. V vsakem primeru bi morala biti podlaga za pripravo kodeksov ravnanja na podlagi te uredbe. Vsi deležniki, vključno z industrijo, akademskimi krogi, civilno družbo in organizacijami za standardizacijo, naj ustrezno upoštevajo etična načela za razvoj prostovoljnih najboljših praks in standardov.

(28)

Poleg številnih koristnih uporab UI jo je mogoče tudi zlorabiti, tako da bi nastala nova in močna orodja za prakse manipulacije, izkoriščanja in družbenega nadzora. Take prakse so še posebej škodljive in zlonamerne in bi jih bilo treba prepovedati, ker so v nasprotju z vrednotami Unije glede spoštovanja človekovega dostojanstva, svobode, enakosti, demokracije in pravne države ter temeljnimi pravicami, določenimi v Listini, vključno s pravico do nediskriminacije, varstva podatkov in zasebnosti ter pravicami otroka.

(29)

Z UI omogočene manipulativne tehnike se lahko uporabljajo za napeljevanje oseb k neželenemu vedenju ali za njihovo zavajanje, tako da se jih spodbuja k odločitvam na način, ki spodkopava in ovira njihovo avtonomijo, odločanje in svobodno izbiro. Dajanje na trg, dajanje v uporabo ali uporaba nekaterih sistemov UI s ciljem ali učinkom bistvenega izkrivljanja človeškega vedenja, pri čemer je verjetno, da bo nastala znatna škoda, zlasti z dovolj pomembnimi škodljivimi učinki na telesno ali duševno zdravje ali finančne interese, je še posebej nevarno oziroma nevarna in bi ga oziroma jo bilo zato treba prepovedati. Takšni sistemi UI uporabljajo subliminalne komponente, kot so zvočni, slikovni ali video dražljaji, ki jih osebe ne morejo zaznati, ker ti dražljaji presegajo človekovo dojemanje, ali druge manipulativne ali zavajajoče tehnike, ki spodkopavajo ali ovirajo posameznikovo avtonomijo, odločanje ali svobodno izbiro na načine, da se ljudje ne zavedajo teh tehnik ali pa, kadar se jih zavedajo, so kljub temu lahko zavedeni ali jih ne morejo nadzorovati ali se jim upreti. To bi bilo na primer mogoče olajšati z vmesniki stroj-možgani ali virtualno resničnostjo, saj omogočajo višjo stopnjo nadzora nad tem, kateri dražljaji so predstavljeni osebam, če lahko bistveno izkrivljajo njihovo vedenje na znatno škodljiv način. Sistemi UI lahko tudi sicer izkoriščajo šibke točke določene osebe ali skupine oseb zaradi njihove starosti, invalidnosti v smislu Direktive (EU) 2019/882 Evropskega parlamenta in Sveta (16) ali posebnih socialnih ali gospodarskih razmer, zaradi katerih so te osebe verjetno bolj izpostavljene izkoriščanju, na primer osebe, ki živijo v skrajni revščini, ter etnične ali verske manjšine. Takšni sistemi UI se lahko dajo na trg ali v uporabo oziroma se uporabljajo s ciljem ali učinkom bistvenega izkrivljanja vedenja osebe, in sicer na način, ki tej ali drugi osebi ali skupinam oseb povzroči znatno škodo, vključno s škodo, ki se lahko sčasoma nakopiči, ali za katerega obstaja razumna verjetnost, da jo bo povzročil, zato bi morali biti prepovedani. Morda ni mogoče domnevati, da obstaja namen izkrivljanja vedenja, kadar je izkrivljanje posledica dejavnikov zunaj sistema UI, na katere ponudnik ali uvajalec ne more vplivati, in sicer dejavnikov, ki jih ni mogoče razumno predvideti in jih zato ponudnik ali uvajalec sistema UI ne more zmanjšati. V vsakem primeru ni potrebno, da ima ponudnik ali uvajalec namen povzročiti znatno škodo, če takšna škoda izhaja iz manipulativnih ali izkoriščevalskih praks, ki jih omogoča UI. Prepovedi takih praks UI dopolnjujejo določbe Direktive 2005/29/ES Evropskega parlamenta in Sveta (17), zlasti v smislu, da so nepoštene poslovne prakse, ki potrošnikom povzročajo gospodarsko ali finančno škodo, prepovedane v vseh okoliščinah, ne glede na to, ali se izvajajo prek sistemov UI ali kako drugače. Prepoved manipulativnih in izkoriščevalskih praks iz te uredbe ne bi smela vplivati na zakonite prakse v okviru zdravljenja, kot je psihološko zdravljenje duševne bolezni ali telesna rehabilitacija, kadar se te prakse izvajajo v skladu z veljavnimi pravnimi medicinskimi standardi in zakonodajo, kot na primer izrecna privolitev posameznikov ali njihovih zakonitih zastopnikov. Poleg tega se običajne in zakonite poslovne prakse, na primer na področju oglaševanja, ki so v skladu z veljavnim pravom, same po sebi ne bi smele šteti za škodljive manipulativne z UI omogočene prakse.

(30)

Prepovedati bi bilo treba sisteme za biometrično kategorizacijo, ki temeljijo na biometričnih podatkih fizičnih oseb, kot so obraz ali prstni odtisi posameznika, za sklepanje ali ugotavljanje o političnem prepričanju posameznika, članstvu v sindikatu, verskem ali filozofskem prepričanju, rasi, spolnem življenju ali spolni usmerjenosti. Ta prepoved ne bi smela zajemati zakonitega označevanja, filtriranja ali kategorizacije naborov biometričnih podatkov, pridobljenih v skladu s pravom Unije ali nacionalnim pravom na podlagi biometričnih podatkov, kot je razvrščanje slik glede na barvo las ali oči, ki se lahko na primer uporabljajo na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj.

(31)

Sistemi UI, ki zagotavljajo družbeno točkovanje fizičnih oseb s strani javnih ali zasebnih akterjev, lahko vodijo do diskriminatornih rezultatov in izključitve nekaterih skupin. Lahko kršijo pravico do dostojanstva in nediskriminacije ter vrednote enakosti in pravičnosti. Takšni sistemi UI ocenjujejo ali razvrščajo fizične osebe ali skupine fizičnih oseb na podlagi več podatkovnih točk, povezanih z njihovim družbenim vedenjem v več kontekstih ali znanih, predpostavljenih ali predvidenih osebnih ali osebnostnih značilnostih v določenih časovnih obdobjih. Število družbenih točk, dodeljenih s strani takih sistemov UI, lahko vodi do škodljivega ali neugodnega obravnavanja fizičnih oseb ali celotnih skupin le-teh v družbenih kontekstih, ki niso povezani s kontekstom, v katerem so bili podatki prvotno ustvarjeni ali zbrani, ali do škodljivega obravnavanja, ki je nesorazmerno ali neupravičeno glede na resnost njihovega družbenega vedenja. Sisteme UI, ki vključujejo take nesprejemljive prakse točkovanja in povzročajo takšne škodljive ali neugodne rezultate, bi bilo zato treba prepovedati. Ta prepoved ne bi smela vplivati na zakonite prakse ocenjevanja fizičnih oseb, ki se izvajajo za poseben namen v skladu s pravom Unije in nacionalnim pravom.

(32)

Uporaba sistemov UI za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj je posebej hudo poseganje v pravice in svoboščine zadevnih oseb, kolikor lahko vpliva na zasebno življenje velikega dela prebivalstva, vzbuja občutek stalnega nadzora ter posredno odvrača od uresničevanja svobode zbiranja in drugih temeljnih pravic. Tehnične netočnosti sistemov UI, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, lahko vodijo do pristranskih rezultatov in diskriminatornih učinkov. Takšni možni pristranski rezultati in diskriminatorni učinki so zlasti pomembni glede na starost, etnično pripadnost, raso, spol ali invalidnost. Poleg tega se zaradi takojšnjega učinka in omejenih možnosti za nadaljnja preverjanja ali popravke v zvezi z uporabo takih sistemov, ki delujejo v realnem času, povečujejo tveganja za pravice in svoboščine zadevnih oseb v okviru dejavnosti preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali zaradi vpliva teh dejavnosti nanje.

(33)

Zato bi bilo treba prepovedati uporabo teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen v izrecno naštetih in ozko opredeljenih primerih, ko je uporaba nujno potrebna za dosego pomembnega javnega interesa, katerega pomen prevlada nad tveganji. Gre na primer za iskanje nekaterih žrtev kaznivih dejanj, vključno s pogrešanimi osebami, nekatere nevarnosti za življenje ali fizično varnost oseb ali varnost pred terorističnim napadom ter lokalizacijo ali identifikacijo storilcev ali osumljencev kaznivih dejanj, navedenih v prilogi k tej uredbi, kadar je za ta kazniva dejanja v zadevni državi članici predpisana zgornja meja zaporne kazni ali ukrepa, vezanega na odvzem prostosti, najmanj štiri leta in so v pravu te države članice opredeljena. Tak prag za zaporno kazen ali ukrep, vezan na odvzem prostosti, v skladu z nacionalnim pravom prispeva k zagotavljanju, da je kaznivo dejanje dovolj hudo, da bi lahko upravičilo uporabo sistemov za biometrično identifikacijo na daljavo v realnem času. Poleg tega seznam kaznivih dejanj iz priloge k tej uredbi temelji na 32 kaznivih dejanjih, naštetih v Okvirnem sklepu Sveta 2002/584/PNZ (18), ob upoštevanju, da so nekatera od teh kaznivih dejanj v praksi verjetno pomembnejša od drugih, saj bi bila lahko uporaba biometrične identifikacije na daljavo v realnem času predvidoma potrebna in sorazmerna v zelo različnem obsegu za praktično izvajanje lokalizacije ali identifikacije storilca ali osumljenca različnih navedenih kaznivih dejanj ter ob upoštevanju verjetnih razlik v resnosti, verjetnosti in obsegu škode ali morebitnih negativnih posledic. Neposredna grožnja za življenje ali fizično varnost fizičnih oseb bi tudi lahko bila posledica resne motnje v kritični infrastrukturi, kot je opredeljena v členu 2, točka 4, Direktive (EU) 2022/2557 Evropskega parlamenta in Sveta (19), kadar bi okvara ali uničenje take kritične infrastrukture povzročilo neposredno grožnjo za življenje ali fizično varnost osebe, med drugim tako, da bi močno škodilo zagotavljanju osnovne oskrbe prebivalstvu ali izvajanju temeljne funkcije države. Poleg tega bi morala ta uredba organom za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, organom mejne kontrole, organom, pristojnim za priseljevanje, ali azilnim organom še naprej omogočati izvajanje ugotavljanja identitete v prisotnosti zadevne osebe v skladu s pogoji, ki so za tako ugotavljanje določeni v pravu Unije in nacionalnem pravu. Predvsem bi morali imeti organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, organi mejne kontrole, organi, pristojni za priseljevanje, ali azilni organi možnost, da za identifikacijo oseb, ki med ugotavljanjem identitete tako ugotavljanje zavrnejo ali ne morejo navesti ali dokazati svoje identitete, uporabijo informacijske sisteme v skladu s pravom Unije ali nacionalnim pravom, ne da bi morali v skladu s to uredbo pridobiti predhodno dovoljenje. To bi bila lahko na primer oseba, vpletena v kaznivo dejanje, ki organom za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ni pripravljena ali zaradi nesreče ali zdravstvenega stanja ne more razkriti svoje identitete.

(34)

Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno tudi določiti, da bi bilo treba v vsakem od teh izrecno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, predvsem glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb ter zaščitnih ukrepov in pogojev, predvidenih z uporabo. Poleg tega bi bilo treba uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj uporabljati le za potrditev identitete specifično ciljnega posameznika in bi morala biti omejena na to, kar je nujno potrebno za časovno obdobje ter geografsko in osebno področje uporabe, pri čemer je treba upoštevati zlasti dokaze ali znake v zvezi z grožnjami, žrtvami ali storilcem. Uporaba sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih se dovoli le, če je ustrezni organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj opravil oceno učinka na temeljne pravice in, če v tej uredbi ni določeno drugače, sistem registriral v podatkovni zbirki, kot je določeno v tej uredbi. Referenčna podatkovna zbirka o osebah bi morala biti primerna za vsak primer uporabe v vsakem od navedenih primerov.

(35)

Za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj bi bilo treba pridobiti izrecno in posebno dovoljenje sodnega organa ali neodvisnega upravnega organa države članice, katerega odločitev je zavezujoča. Tako dovoljenje bi bilo treba načeloma pridobiti pred uporabo sistema UI za identifikacijo osebe ali oseb. Izjeme od tega pravila bi morale biti dovoljene v ustrezno utemeljenih nujnih primerih iz nujnih razlogov, tj. v primerih, ko je uporaba zadevnih sistemov potrebna do te mere, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe sistema UI. V takih nujnih primerih bi bilo treba uporabo sistema UI omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo ter kot jih v okviru vsakega posameznega primera nujne uporabe določi organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj. Poleg tega bi moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj v takšnih primerih zaprositi za tako dovoljenje, hkrati pa navesti razloge, zakaj ga ni mogel zahtevati prej, brez nepotrebnega odlašanja in najpozneje v 24 urah. Če se tako dovoljenje zavrne, bi bilo treba takoj prenehati uporabljati sisteme za biometrično identifikacijo v realnem času, povezane s tem dovoljenjem, vse podatke, povezane s tako uporabo, pa bi bilo treba zavreči in izbrisati. Takšni podatki vključujejo vhodne podatke, ki jih sistem UI pridobi neposredno med uporabo takega sistema, ter rezultate in izhodne podatke uporabe, povezane s tem dovoljenjem. Ne bi smeli vključevati vhodnih podatkov, ki so zakonito pridobljeni v skladu z drugim pravom Unije ali nacionalnim pravom. V nobenem primeru odločitve, ki bi imela škodljiv pravni učinek na osebo, ne bi smeli sprejeti izključno na podlagi izhodnih podatkov sistema za biometrično identifikacijo na daljavo.

(36)

Da bi lahko ustrezni organ za nadzor trga in nacionalni organ za varstvo podatkov izvajala svoje naloge v skladu z zahtevami iz te uredbe in nacionalnih pravil, bi ju bilo treba obvestiti o vsaki uporabi sistema za biometrično identifikacijo v realnem času. Organi za nadzor trga in nacionalni organi za varstvo podatkov, ki so bili obveščeni, bi morali Komisiji predložiti letno poročilo o uporabi sistemov za biometrično identifikacijo v realnem času.

(37)

Poleg tega je v izčrpnem okviru, določenem s to uredbo, primerno določiti, da bi morala biti taka uporaba na ozemlju države članice v skladu s to uredbo mogoča le, kadar in kolikor se je zadevna država članica odločila izrecno predvideti možnost odobritve take uporabe v svojih podrobnih pravilih nacionalnega prava. Zato imajo države članice na podlagi te uredbe še naprej pravico, da take možnosti sploh ne predvidijo ali da jo predvidijo le za nekatere cilje, ki lahko upravičijo dovoljeno uporabo, opredeljeno v tej uredbi. O takih nacionalnih predpisih bi bilo treba uradno obvestiti Komisijo v 30 dneh po njihovem sprejetju.

(38)

Uporaba sistemov UI za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj nujno vključuje obdelavo biometričnih podatkov. Pravila te uredbe, ki ob upoštevanju nekaterih izjem prepovedujejo tako uporabo, ki temelji na členu 16 PDEU, bi se morala uporabljati kot lex specialis v zvezi s pravili o obdelavi biometričnih podatkov iz člena 10 Direktive (EU) 2016/680, tako da bi izčrpno urejala tako uporabo in obdelavo zadevnih biometričnih podatkov. Zato bi morali biti taki uporaba in obdelava mogoči le, če sta združljivi z okvirom iz te uredbe, ne da bi zunaj tega okvira obstajalo področje uporabe za pristojne organe, kadar delujejo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, za uporabo takih sistemov in obdelavo takih podatkov v zvezi z njimi na podlagi razlogov iz člena 10 Direktive (EU) 2016/680. V tem smislu ta uredba ni namenjena zagotavljanju pravne podlage za obdelavo osebnih podatkov na podlagi člena 8 Direktive (EU) 2016/680. Vendar uporaba sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, tudi s strani pristojnih organov, ne bi smela biti zajeta v posebni okvir v zvezi s tako uporabo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, določene s to uredbo. Za tako uporabo za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, zato ne bi smela veljati zahteva po dovoljenju na podlagi te uredbe in veljavnimi podrobnimi pravili nacionalnega prava, na podlagi katerih se lahko to dovoljenje uveljavi.

(39)

Pri vsaki obdelavi biometričnih podatkov in drugih osebnih podatkov, vključenih v uporabo sistemov UI za biometrično identifikacijo, razen v povezavi z uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, kot jo ureja ta uredba, bi morale biti še naprej izpolnjene vse zahteve, ki izhajajo iz člena 10 Direktive (EU) 2016/680. Za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, člen 9(1) Uredbe (EU) 2016/679 in člen 10(1) Uredbe (EU) 2018/1725 prepovedujeta obdelavo biometričnih podatkov, za katere veljajo omejene izjeme, kot so določene v navedenih členih. Pri uporabi člena 9(1) Uredbe (EU) 2016/679 za uporabo biometrične identifikacije na daljavo za namene, ki niso preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, že veljajo odločitve o prepovedi s strani nacionalnih organov za varstvo podatkov.

(40)

V skladu s členom 6a Protokola št. 21 o stališču Združenega kraljestva in Irske v zvezi z območjem svobode, varnosti in pravice, ki je priložen PEU in PDEU, pravila iz člena 5(1), prvi pododstavek, točka (g), kolikor se uporabljajo za uporabo sistemov biometrične kategorizacije za dejavnosti na področju policijskega in pravosodnega sodelovanja v kazenskih zadevah, iz člena 5(1), prvi pododstavek, točka (d), v obsegu, v katerem se uporablja za uporabo sistemov UI, zajetih v navedeni določbi, iz člena 5(1), prvi pododstavek, točka (h), 5(2) do (6) in iz člena 26(10) te uredbe, sprejeta na podlagi člena 16 PDEU, ki se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU, za Irsko niso zavezujoča, če je ne zavezujejo pravila, ki urejajo oblike pravosodnega sodelovanja v kazenskih zadevah ali policijskega sodelovanja, v okviru katerih je treba upoštevati določbe predpisov, sprejetih na podlagi člena 16 PDEU.

(41)

V skladu s členoma 2 in 2a Protokola št. 22 o stališču Danske, ki je priložen PEU in PDEU, Danske ne zavezujejo in se zanjo ne uporabljajo pravila iz člena 5(1), prvi pododstavek, točka (g), kolikor se uporabljajo za uporabo sistemov biometrične kategorizacije za dejavnosti na področju policijskega in pravosodnega sodelovanja v kazenskih zadevah, iz člena 5(1), prvi pododstavek, točka (d), v obsegu, v katerem se uporabljata za uporabo sistemov UI, zajetih v navedeni določbi, iz člena 5(1), prvi pododstavek, točka (h), člena 5(2) do (6) in iz člena 26(10) te uredbe, sprejeta na podlagi člena 16 PDEU, ki se nanašajo na obdelavo osebnih podatkov s strani držav članic, kadar izvajajo dejavnosti, ki spadajo na področje uporabe poglavja 4 ali 5 naslova V tretjega dela PDEU.

(42)

V skladu z domnevo nedolžnosti bi bilo treba fizične osebe v Uniji zmeraj presojati glede na njihovo dejansko ravnanje. Nikoli jih ne bi smeli presojati na podlagi ravnanja, ki ga predvideva UI zgolj na podlagi njihovega oblikovanja profilov, osebnostnih lastnosti ali značilnosti, kot so državljanstvo, kraj rojstva, kraj prebivališča, število otrok, stopnja zadolženosti ali vrsta avtomobila, brez utemeljenih razlogov za sum, da je bila ta oseba vpletena v kriminalno dejavnost na podlagi objektivnih preverljivih dejstev in brez človeške ocene. Zato bi bilo treba prepovedati ocene tveganja, ki se izvajajo v zvezi s fizičnimi osebami, da se oceni verjetnost, da bodo te osebe storile kaznivo dejanje, ali da se predvidi dejansko ali potencialno kaznivo dejanje samo na podlagi oblikovanja profilov teh fizičnih oseb ali ocene njihovih osebnostnih lastnosti in značilnosti. V nobenem primeru ta prepoved ne vključuje ali se ne nanaša na analizo tveganja, ki ne temelji na oblikovanju profilov oseb ali na osebnostnih lastnostih in značilnostih posameznikov, kot so sistemi UI, ki uporabljajo analizo tveganja za oceno verjetnosti finančnih goljufij s strani podjetij na podlagi sumljivih transakcij ali orodij za analizo tveganja, ki omogočajo napovedovanje verjetnosti lokalizacije prepovedanih drog ali nezakonitega blaga s strani carinskih organov, na primer na podlagi znanih trgovskih poti.

(43)

Treba bi bilo prepovedati dajanje na trg, dajanje v uporabo za ta posebni namen ali uporabo sistemov UI, ki ustvarjajo ali širijo podatkovne zbirke za prepoznavanje obrazov z neciljnim odvzemom podob obraza z interneta ali posnetkov sistema CCTV, saj ta praksa prispeva k občutku množičnega nadzora in lahko povzroči hude kršitve temeljnih pravic, vključno s pravico do zasebnosti.

(44)

Obstajajo resni pomisleki glede znanstvene podlage sistemov UI, katerih namen je prepoznavanje čustev ali sklepanje o njih, zlasti zato, ker se izražanje čustev med kulturami in okoliščinami ter celo pri enem samem posamezniku zelo razlikuje. Med ključnimi pomanjkljivostmi takšnih sistemov so omejena zanesljivost, premajhna specifičnost in omejena možnost posplošitve. Zato lahko sistemi UI, ki prepoznavajo čustva ali namere fizičnih oseb na podlagi svojih biometričnih podatkov ali ki iz njih sklepajo, vodijo do diskriminatornih rezultatov ter posegajo v pravice in svoboščine zadevnih oseb. Glede na neravnovesje moči v kontekstu dela ali izobraževanja ter intruzivne narave teh sistemov bi lahko takšni sistemi povzročili škodljivo ali neugodno obravnavo nekaterih fizičnih oseb ali celotnih skupin fizičnih oseb. Zato bi bilo treba prepovedati dajanje na trg, dajanje v uporabo ali uporabo sistemov UI, namenjenih odkrivanju čustvenega stanja posameznikov v situacijah, povezanih z delovnim mestom in izobraževanjem. Ta prepoved ne bi smela zajemati sistemov UI, danih na trg izključno iz zdravstvenih ali varnostnih razlogov, kot so sistemi za terapevtsko uporabo.

(45)

Ta uredba ne bi smela vplivati na prakse, ki jih prepoveduje pravo Unije, vključno s pravom o varstvu podatkov, pravom o nediskriminaciji, pravom o varstvu potrošnikov in konkurenčnim pravom.

(46)

Visokotvegane sisteme UI bi bilo treba dati na trg Unije ali v uporabo ali jih uporabiti le, če izpolnjujejo nekatere obvezne zahteve. Navedene zahteve bi morale zagotoviti, da visokotvegani sistemi UI, ki so na voljo v Uniji ali katerih izhodni podatki se drugače uporabljajo v Uniji, ne predstavljajo nesprejemljivega tveganja za pomembne javne interese Unije, kot jih priznava in varuje pravo Unije. Kot je pojasnjeno v obvestilu Komisije „Modri vodnik“ o izvajanju pravil EU o proizvodih iz leta 2022 (20), je na podlagi novega zakonodajnega okvira splošno pravilo, da se več kot en pravni akt harmonizacijske zakonodaje Unije, kot sta uredbi (EU) 2017/745 (21) in (EU) 2017/746 (22) Evropskega parlamenta in Sveta ter Direktiva 2006/42/ES Evropskega parlamenta in Sveta (23), lahko uporablja za en proizvod, saj se lahko omogočanje dostopnosti ali dajanje v uporabo izvede le, če je proizvod skladen z vso veljavno harmonizacijsko zakonodajo Unije. Da bi zagotovili doslednost in preprečili nepotrebna upravna bremena ali stroške, bi morali ponudnikom proizvoda, ki vsebuje enega ali več visokotveganih sistemov UI, za katere se uporabljajo zahteve iz te uredbe in harmonizacijske zakonodaje Unije iz priloge k tej uredbi, omogočiti prožnost glede operativnih odločitev o tem, kako na optimalen način zagotoviti skladnost proizvoda, ki vsebuje enega ali več sistemov UI, z vsemi veljavnimi zahtevami harmonizacijske zakonodaje Unije. Sistemi UI, opredeljeni kot visokotvegani, bi morali biti omejeni na tiste, ki imajo znaten škodljiv vpliv na zdravje, varnost in temeljne pravice oseb v Uniji, taka omejitev pa bi morala čim bolj zmanjšati morebitno omejevanje mednarodne trgovine.

(47)

Sistemi UI bi lahko imeli škodljiv učinek na zdravje in varnost ljudi, zlasti kadar taki sistemi delujejo kot varnostne komponente proizvodov. V skladu s cilji harmonizacijske zakonodaje Unije, da se olajša prosti pretok proizvodov na notranjem trgu ter zagotovi, da na trg pridejo le varni in skladni proizvodi, je pomembno, da se ustrezno preprečijo in zmanjšajo varnostna tveganja, ki jih lahko povzroči proizvod kot celota zaradi svojih digitalnih komponent, vključno s sistemi UI. Vse bolj avtonomni roboti, ki se uporabljajo v proizvodnji ali za osebno pomoč in oskrbo, bi morali biti na primer sposobni varno delovati in opravljati svoje funkcije v kompleksnih okoljih. Podobno bi morali biti v zdravstvenem sektorju, v katerem je tveganje za življenje in zdravje še posebej veliko, vse bolj izpopolnjeni diagnostični sistemi in sistemi, ki podpirajo človeške odločitve, zanesljivi in točni.

(48)

Pri razvrstitvi sistema UI med sisteme visokega tveganja je zlasti pomemben obseg škodljivega vpliva sistema UI na temeljne pravice, varovane z Listino. Te pravice vključujejo pravico do človekovega dostojanstva, spoštovanja zasebnega in družinskega življenja, varstvo osebnih podatkov, svobodo izražanja in obveščanja, svobodo zbiranja in združevanja, pravico do nediskriminacije, pravico do izobraževanja, varstvo potrošnikov, pravice delavcev, pravice invalidov, enakost spolov, pravice intelektualne lastnine, pravico do učinkovitega pravnega sredstva in nepristranskega sodišča, pravico do obrambe in domneve nedolžnosti ter pravico do dobrega upravljanja. Poleg teh pravic je treba poudariti tudi dejstvo, da imajo otroci posebne pravice, zapisane v členu 24 Listine in v Konvenciji Združenih narodov o otrokovih pravicah (v zvezi z digitalnim okoljem ter podrobneje opredeljene v splošni pripombi št. 25 KZNOP), ki zahtevata upoštevanje šibkih točk otrok ter zagotavljanje zaščite in varstva, ki sta potrebna za njihovo dobro počutje. Pri ocenjevanju resnosti škode, ki jo lahko povzroči sistem UI, je treba upoštevati tudi temeljno pravico do visoke ravni varstva okolja, ki je zapisana v Listini in se izvaja v politikah Unije, tudi v zvezi z zdravjem in varnostjo oseb.

(49)

Kar zadeva visokotvegane sisteme UI, ki so varnostne komponente proizvodov ali sistemov ali so sami proizvodi ali sistemi, ki spadajo na področje uporabe Uredbe (ES) št. 300/2008 Evropskega parlamenta in Sveta (24), Uredbe (EU) št. 167/2013 Evropskega parlamenta in Sveta (25), Uredbe (EU) št. 168/2013 Evropskega parlamenta in Sveta (26), Direktive 2014/90/EU Evropskega parlamenta in Sveta (27), Direktive (EU) 2016/797 Evropskega parlamenta in Sveta (28), Uredbe (EU) 2018/858 Evropskega parlamenta in Sveta (29), Uredbe (EU) 2018/1139 Evropskega parlamenta in Sveta (30) ter Uredbe (EU) 2019/2144 Evropskega parlamenta in Sveta (31), je primerno spremeniti navedene akte, da bi zagotovili, da Komisija na podlagi tehničnih in regulativnih posebnosti vsakega sektorja ter brez poseganja v obstoječe mehanizme upravljanja, ugotavljanja skladnosti in izvrševanja ter delo organov, določenih v njih, pri sprejemanju ustreznih delegiranih ali izvedbenih aktov v skladu z navedenimi akti upošteva obvezne zahteve za visokotvegane sisteme UI iz te uredbe.

(50)

Kar zadeva sisteme UI, ki so varnostne komponente proizvodov ali so sami proizvodi s področja uporabe določene harmonizacijske zakonodaje Unije, navedene v prilogi k tej uredbi, jih je primerno na podlagi te uredbe razvrstiti med sisteme visokega tveganja, če je zadevni proizvod v postopku ugotavljanja skladnosti pri organu, ki izvaja ugotavljanje skladnosti s strani tretjih oseb na podlagi ustrezne harmonizacijske zakonodaje Unije. Taki proizvodi so zlasti stroji, igrače, dvigala, oprema in zaščitni sistemi za uporabo v potencialno eksplozivnih atmosferah, radijska oprema, tlačna oprema, oprema za plovila za rekreacijo, žičniške naprave, naprave, v katerih zgoreva plinasto gorivo, medicinski pripomočki in vitro diagnostični medicinski pripomočki, avtomobili in letala.

(51)

Razvrstitev sistema UI kot visokotveganega na podlagi te uredbe ne bi smela nujno pomeniti, da se proizvod, katerega varnostna komponenta je sistem UI, ali sam sistem UI kot proizvod šteje za visokotvegan na podlagi meril iz ustrezne harmonizacijske zakonodaje Unije, ki se uporablja za proizvod. To zlasti velja za uredbi (EU) 2017/745 in (EU) 2017/746, pri katerih je ugotavljanje skladnosti, ki ga opravi tretja oseba, zagotovljeno za izdelke srednjega in visokega tveganja.

(52)

Kar zadeva samostojne sisteme UI in zlasti visokotvegane sisteme UI, razen tistih, ki so varnostne komponente proizvodov ali ki so sami proizvodi, jih je primerno razvrstiti kot sisteme visokega tveganja, če glede na svoj predvideni namen predstavljajo visoko tveganje škode za zdravje in varnost ali temeljne pravice oseb, ob upoštevanju resnosti možne škode in verjetnosti njenega nastanka, ter se uporabljajo na več posebej vnaprej opredeljenih področjih, določenih v Uredbi. Opredelitev teh sistemov temelji na isti metodologiji in merilih, kot so predvideni tudi za morebitne prihodnje spremembe seznama visokotveganih sistemov UI, za katere bi bilo treba Komisijo pooblastiti, da jih sprejme z delegiranimi akti, da bi upoštevali hiter tehnološki razvoj in morebitne spremembe v uporabi sistemov UI.

(53)

Treba je tudi pojasniti, da lahko obstajajo posebni primeri, v katerih sistemi UI, ki se nanašajo na vnaprej določena področja, navedena v tej uredbi, ne povzročajo znatnega tveganja škode za pravne interese, zaščitene na teh področjih, ker ne vplivajo bistveno na odločanje ali ne škodujejo bistveno tem interesom. Za namene te uredbe bi bilo treba sistem UI, ki ne vpliva bistveno na izid odločanja, razumeti kot sistem UI, ki ne vpliva na vsebino in s tem na rezultat odločanja, bodisi človeškega ali avtomatiziranega. Sistem UI, ki ne vpliva bistveno na izid odločanja, bi lahko vključeval primere, v katerih je izpolnjen eden ali več naslednjih pogojev. Prvi tak pogoj bi moral biti, da je sistem UI namenjen opravljanju ozke postopkovne naloge, kot je sistem UI, ki nestrukturirane podatke pretvori v strukturirane podatke, sistem UI, ki prejete dokumente razvršča v kategorije, ali sistem UI, ki se uporablja za odkrivanje duplikatov v številnih aplikacijah. Te naloge so tako ozke in omejene, da predstavljajo le omejena tveganja, ki se z uporabo sistema UI v okviru, ki je v prilogi k tej uredbi naveden kot uporaba, povezana z visokim tveganjem, ne povečajo. Drugi pogoj bi moral biti, da je namen naloge, ki jo opravlja sistem UI, izboljšati rezultat predhodno zaključene človeške dejavnosti, ki bi lahko bila pomembna za namene visokotvegane uporabe, navedene v prilogi k tej uredbi. Glede na te značilnosti sistem UI zagotavlja le dodatno plast človeške dejavnosti s posledično manjšim tveganjem. Ta pogoj bi se na primer uporabljal za sisteme UI, katerih namen je izboljšati jezik, ki se uporablja v predhodno pripravljenih dokumentih, na primer v zvezi s poklicnim tonom, akademskim slogom jezika ali uskladitvijo besedila s sporočili določene blagovne znamke. Tretji pogoj bi moral biti, da je sistem UI namenjen odkrivanju vzorcev odločanja ali odstopanj od vzorcev predhodnega odločanja. Tveganje bi se zmanjšalo, ker uporaba sistema UI sledi predhodno opravljeni človeški oceni in ni namenjena temu, da bi jo nadomestila ali nanjo vplivala brez ustreznega človeškega pregleda. Takšni sistemi UI vključujejo na primer sisteme, ki se lahko glede na določen vzorec, po katerem neki učitelj ocenjuje, uporabijo za naknadno preverjanje, ali je učitelj morda odstopal od tega vzorca, da bi opozorili na morebitne nedoslednosti ali nepravilnosti. Četrti pogoj bi moral biti, da je sistem UI namenjen opravljanju naloge, ki je le pripravljalna za oceno, relevantno za namene sistemov UI, navedenih v prilogi k tej uredbi, s čimer bi bil morebitni učinek izhodnih podatkov sistema zelo majhen v smislu tveganja, ki ga je treba upoštevati pri oceni. Ta pogoj med drugim zajema pametne rešitve za ravnanje z datotekami, ki vključujejo različne funkcije, kot so indeksiranje, iskanje, obdelava besedil in govora ali povezovanje podatkov z drugimi viri podatkov, ali sisteme UI, ki se uporabljajo za prevajanje prvotnih dokumentov. V vsakem primeru bi bilo treba šteti, da sistemi UI, ki se uporabljajo v primerih uporabe visokega tveganja, navedeni v prilogi k tej uredbi, predstavljajo znatno tveganje škode za zdravje, varnost ali temeljne pravice, če sistem UI vključuje oblikovanje profilov v smislu člena 4, točka 4, Uredbe (EU) 2016/679 ali člena 3, točka 4, Direktive (EU) 2016/680 ali člena 3, točka 5, Uredbe (EU) 2018/1725. Da bi zagotovili sledljivosti in preglednost, bi moral ponudnik, ki meni, da sistem UI na podlagi zgoraj navedenih pogojev ne predstavlja visokega tveganja, pripraviti dokumentacijo o oceni, preden se ta sistem da na trg ali v uporabo, in bi moral to dokumentacijo na zahtevo predložiti pristojnim nacionalnim organom. Takšen ponudnik bi moral sistem UI registrirati v podatkovni zbirki EU, vzpostavljeni s to uredbo. Da bi zagotovili dodatne smernice za praktično izvajanje pogojev, pod katerimi sistemi UI navedeni v prilogi k tej uredbi, izjemoma ne predstavljajo visokega tveganja, bi morala Komisija po posvetovanju z Odborom zagotoviti smernice, v katerih bi bilo določeno, da se praktično izvajanje dopolni s celovitim seznamom praktičnih primerov uporabe visoko tveganih sistemov UI in sistemov UI, ki to niso.

(54)

Ker so biometrični podatki posebna kategorija osebnih podatkov, je primerno, da se več kritičnih primerov uporabe biometričnih sistemov razvrsti kot visokotvegane, če je njihova uporaba dovoljena na podlagi ustreznega prava Unije in nacionalnega prava. Tehnične netočnosti sistemov UI, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, lahko vodijo do pristranskih rezultatov in diskriminatornih učinkov. Tveganje takšnih pristranskih rezultatov in diskriminatornih učinkov je zlasti pomembno v zvezi s starostjo, etnično pripadnostjo, raso, spolom ali invalidnostjo. Glede na tveganja, ki jih predstavljajo sistemi za biometrično identifikacijo na daljavo, bi jih bilo treba razvrstiti kot sisteme visokega tveganja. Takšna razvrstitev izključuje sisteme UI za biometrično preverjanje, tudi avtentikacijo, katerih edini namen je potrditi, da je določena fizična oseba res ta, za katero se predstavlja, in potrditi identiteto fizične osebe izključno zaradi dostopa do storitve, odklepanja naprave ali varnega dostopa do prostorov. Poleg tega bi bilo kot sisteme visokega tveganja treba razvrstiti sisteme UI, namenjene uporabi za biometrično kategorizacijo v skladu z občutljivimi lastnostmi ali značilnostmi, zaščitenimi na podlagi člena 9(1) Uredbe (EU) 2016/679 na podlagi biometričnih podatkov, če ti niso prepovedani s to uredbo, in sisteme za prepoznavanje čustev, ki niso prepovedani s to uredbo. Biometrični sistemi, ki naj bi se uporabljali izključno za omogočanje ukrepov za kibernetsko varnost in varstvo osebnih podatkov, ne bi smeli šteti za visokotvegane sisteme UI.

(55)

V zvezi z upravljanjem in delovanjem kritične infrastrukture je primerno, da se sistemi UI, namenjeni uporabi kot varnostne komponente pri upravljanju in delovanju kritične digitalne infrastrukture, navedene v točki 8 iz Priloge k Direktivi (EU) 2022/2557, cestnega prometa ter oskrbi z vodo, plinom, ogrevanjem in električno energijo, razvrstijo kot sistemi visokega tveganja, saj lahko njihovo nedelovanje ali okvara delovanja ogrožajo življenje in zdravje ljudi v velikem obsegu ter povzročijo občutne motnje v rednem izvajanju družbenih in gospodarskih dejavnosti. Varnostne komponente kritične infrastrukture, vključno s kritično digitalno infrastrukturo, so sistemi, ki se uporabljajo za neposredno zaščito fizične celovitosti kritične infrastrukture ali zdravja in varnosti oseb in premoženja, vendar niso potrebne za delovanje sistema. Nedelovanje ali okvara takih komponent bi lahko povzročila neposredno tveganje za fizično celovitost kritične infrastrukture ter posledično tveganje za zdravje in varnost oseb in premoženja. Komponente, namenjene izključno za uporabo v namene kibernetske varnosti, ne bi smele šteti za varnostne komponente. Primeri varnostnih komponent takšne kritične infrastrukture lahko vključujejo sisteme za spremljanje vodnega tlaka ali sisteme za upravljanje požarnega alarma v okviru centrov računalništva v oblaku.

(56)

Uvajanje sistemov UI v izobraževanju je pomembno za spodbujanje visokokakovostnega digitalnega izobraževanja in usposabljanja, da bi vsem učencem in učiteljem omogočili pridobivanje in deljenje potrebnih digitalnih spretnosti in kompetenc, vključno z medijsko pismenostjo in kritičnim razmišljanjem ter s tem dejavno sodelovanje v gospodarstvu, družbi in demokratičnih procesih. Vendar bi bilo treba sisteme UI, ki se uporabljajo v izobraževanju ali poklicnem usposabljanju, zlasti za določanje dostopa ali sprejema ali za razvrščanje fizičnih oseb v izobraževalne ustanove ali programe in ustanove ali programe za poklicno usposabljanje na vseh ravneh za ocenjevanje učnih izidov oseb, ustrezne ravni izobrazbe posameznika in materialno vplivanje na raven izobraževanja in usposabljanja, ki jo bodo posamezniki prejeli ali bodo lahko dostopali do nje ali za spremljanje in odkrivanje prepovedanega vedenja študentov med testi, razvrstiti kot visokotvegane sisteme UI, saj lahko določajo izobraževalni in poklicni potek življenja osebe in lahko zato vplivajo na zmožnost te osebe, da si zagotovi preživljanje. Če so takšni sistemi neustrezno zasnovani in uporabljeni, lahko zlasti hudo posegajo v pravico do izobraževanja in usposabljanja ter pravico do nediskriminacije in ju lahko kršijo ter ohranjajo vzorce diskriminacije iz preteklosti, na primer žensk, nekaterih starostnih skupin, invalidov ali oseb določenega rasnega ali etničnega porekla ali spolne usmerjenosti.

(57)

Sisteme UI, ki se uporabljajo pri zaposlovanju, upravljanju delavcev in dostopu do samozaposlitve, zlasti za zaposlovanje in izbor oseb, za sprejemanje odločitev, ki vplivajo na delovne pogoje, napredovanje ali prenehanje pogodbenih delovnih razmerij, za dodeljevanje nalog na podlagi individualnega vedenja, osebnih lastnosti ali značilnosti ter za spremljanje ali ocenjevanje oseb v z delom povezanih pogodbenih razmerjih, bi bilo treba prav tako razvrstiti med sisteme visokega tveganja, saj lahko ti sistemi občutno vplivajo na prihodnje poklicne možnosti, možnosti preživljanja teh oseb in pravice delavcev. Ustrezna pogodbena delovna razmerja bi morala smiselno vključevati zaposlene in osebe, ki zagotavljajo storitve preko platform, ki so navedene v delovnem programu Komisije za leto 2021. V celotnem postopku zaposlovanja in pri ocenjevanju, napredovanju ali ohranjanju oseb v pogodbenih delovnih razmerjih lahko taki sistemi ohranjajo vzorce diskriminacije iz preteklosti, na primer nad ženskami, določenimi starostnimi skupinami, invalidi ali osebami določenega rasnega ali etničnega porekla ali spolne usmerjenosti. Tudi sistemi UI, ki se uporabljajo za spremljanje učinkovitost in vedenja teh oseb, lahko ogrožajo njihove temeljne pravice do varstva podatkov in zasebnosti.

(58)

Drugo področje, na katerem je treba posebno pozornost nameniti uporabi sistemov UI, je dostop do nekaterih bistvenih zasebnih in javnih storitev ter koristi, ki jih ljudje potrebujejo za polno udeležbo v družbi ali izboljšanje življenjskega standarda. Zlasti fizične osebe, ki zaprosijo za ali od javnih organov prejemajo bistvene ugodnosti in storitve javne pomoči, in sicer zdravstvene storitve, dajatve socialne varnosti, socialne storitve, ki zagotavljajo zaščito v primerih, kot so materinstvo, bolezen, nesreče pri delu, odvisnost ali starost ter izguba zaposlitve ter socialna in stanovanjska pomoč, so običajno odvisne od teh ugodnosti in storitev ter so v ranljivem položaju v odnosu do odgovornih organov. Če se sistemi UI uporabljajo za določanje, ali naj organi take ugodnosti in storitve odobrijo, zavrnejo, zmanjšajo, prekličejo ali zahtevajo povračilo, vključno s tem, ali so upravičenci legitimno upravičeni do takih ugodnosti ali storitev, lahko ti sistemi pomembno vplivajo na preživljanje oseb in kršijo njihove temeljne pravice, kot so pravica do socialne zaščite, nediskriminacije, človekovega dostojanstva ali učinkovitega pravnega sredstva, in bi zato morali biti opredeljeni kot visokotvegani sistemi UI. Kljub temu ta uredba ne bi smela ovirati razvoja in uporabe inovativnih pristopov v javni upravi, ki bi imela koristi od širše uporabe skladnih in varnih sistemov UI, če ti sistemi ne pomenijo visokega tveganja za pravne in fizične osebe. Poleg tega bi bilo treba sisteme UI, ki se uporabljajo za ocenjevanje kreditne ocene ali kreditne sposobnosti fizičnih oseb, razvrstiti kot visokotvegane sisteme UI, saj določajo dostop teh oseb do finančnih sredstev ali bistvenih storitev, kot so stanovanja, električna energija in telekomunikacijske storitve. Sistemi UI, ki se uporabljajo v te namene, lahko povzročijo diskriminacijo oseb ali skupin in ohranijo vzorce diskriminacije iz preteklosti, na primer na podlagi rasnega ali etničnega porekla, spola, invalidnosti, starosti ali spolne usmerjenosti, ali ustvarijo nove oblike diskriminatornih vplivov. Vendar sistemi UI, ki so v pravu Unije določeni za namene odkrivanja goljufij pri ponujanju finančnih storitev ter za bonitetne namene za izračun kapitalskih zahtev kreditnih institucij in zavarovalnic, na podlagi te uredbe ne bi smeli šteti za sisteme visokega tveganja. Poleg tega lahko sistemi UI, namenjeni za oceno tveganja in oblikovanje cen v zvezi s fizičnimi osebami za zdravstveno in življenjsko zavarovanje, tudi pomembno vplivajo na preživetje oseb in lahko, če niso ustrezno zasnovani, razviti in uporabljeni, kršijo njihove temeljne pravice in povzročijo resne posledice za življenje in zdravje ljudi, vključno s finančno izključenostjo in diskriminacijo. Poleg tega bi bilo treba sisteme UI, ki se uporabljajo za ocenjevanje in razvrščanje klicev v sili fizičnih oseb ali za pošiljanje ali določanje prednosti pri napotitvi služb za ukrepanje ob nesrečah, vključno s policijo, gasilci in medicinsko pomočjo, ter sistemih triaže pacientov v nujnem zdravstvenem varstvu, razvrstiti med sisteme visokega tveganja, saj sprejemajo odločitve v zelo kritičnih razmerah za življenje in zdravje oseb ter njihovo premoženje.

(59)

Glede na vlogo in odgovornost organov za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, je za njihove ukrepe, ki vključujejo nekatere uporabe sistemov UI, značilna precejšnja stopnja neravnovesja moči, kar lahko vodi do nadzora, prijetja ali odvzema prostosti fizične osebe ter drugih škodljivih vplivov na temeljne pravice, ki jih zagotavlja Listina. Zlasti če se sistem UI ne uči z visokokakovostnimi podatki, ne izpolnjuje ustreznih zahtev glede zmogljivosti, točnosti ali robustnosti ali ni ustrezno zasnovan in testiran, preden je dan na trg ali na kakšen drug način v uporabo, lahko ljudi izpostavil na diskriminatoren ali kako drugače napačen ali nepravičen način. Poleg tega bi lahko bilo ovirano uveljavljanje pomembnih procesnih temeljnih pravic, kot so pravica do učinkovitega pravnega sredstva in nepristranskega sodišča ter pravica do obrambe in domneve nedolžnosti, zlasti kadar taki sistemi UI niso dovolj pregledni, obrazložljivi in dokumentirani. Zato je primerno, da se številni sistemi UI, kolikor je njihova uporaba dovoljena na podlagi zadevnega prava Unije in nacionalnega prava, namenjeni uporabi v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razvrstijo med sisteme visokega tveganja, kjer so točnost, zanesljivost in preglednost še posebej pomembni, da se preprečijo škodljivi vplivi, ohrani zaupanje javnosti ter zagotovita odgovornost in učinkovito sodno varstvo. Glede na naravo dejavnosti in s tem povezana tveganja bi morali ti visokotvegani sistemi UI vključevati zlasti sisteme UI, ki so namenjeni uporabi s strani ali v imenu organov preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali institucij, organov, uradov ali agencij Unije v podporo tem organom pri ocenjevanju tveganja, da fizična oseba postane žrtev kaznivih dejanj, kot so poligrafi in podobna orodja, za ocenjevanje zanesljivosti dokazov med preiskovanjem ali pregonom kaznivih dejanj in, če to ni prepovedano na podlagi te uredbe, za ocenjevanje tveganja, da fizična oseba stori ali ponovi kaznivo dejanje, ne izključno na podlagi oblikovanja profilov fizičnih oseb ali ocene osebnostnih lastnosti in značilnosti ali preteklega kaznivega ravnanja fizičnih oseb ali skupin, za oblikovanje profilov med odkrivanjem, preiskovanjem ali pregonom kaznivih dejanj. Sistemi UI, posebej namenjeni uporabi v upravnih postopkih s strani davčnih in carinskih organov ter finančnoobveščevalnih enot, ki izvajajo upravne naloge analiziranja informacij na podlagi prava Unije o preprečevanju pranja denarja, ne bi smeli biti opredeljeni kot visokotvegani sistemi UI, ki jih uporabljajo organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za namen preprečevanja, odkrivanja, preiskovanja in pregona kaznivih dejanj. Organi preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in drugi ustrezni organi orodij UI ne bi smeli uporabljati tako, da bi postala dejavnik pri neenakosti ali izključenosti. Ne bi smeli zanemariti vpliva uporabe orodij UI na pravice osumljencev do obrambe, zlasti težav pri pridobivanju smiselnih informacij o delovanju teh sistemov in posledičnih težav pri izpodbijanju njihovih rezultatov na sodišču, zlasti s strani fizičnih oseb, ki so predmet preiskave.

(60)

Sistemi UI, ki se uporabljajo pri upravljanju migracij, azila in nadzora meje, vplivajo na osebe, ki so pogosto v posebej ranljivem položaju ter so odvisne od izida ukrepov pristojnih javnih organov. Točnost, nediskriminatornost in preglednost sistemov UI, ki se uporabljajo v teh kontekstih, so zato zlasti pomembni za zagotavljanje spoštovanja temeljnih pravic zadevnih oseb, zlasti njihovih pravic do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva in dobrega upravljanja. Zato je primerno, da se med sisteme visokega tveganja razvrstijo sistemi UI, ki so na podlagi ustreznega prava Unije in nacionalnega prava dovoljeni za uporabo s strani ali v imenu pristojnih javnih organov ali institucij, organov, uradov ali agencij Unije, zadolženih za naloge na področju migracij, azila in upravljanja nadzora meja, kot so poligrafi in podobna orodja, za ocenjevanje nekaterih tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil, za pomoč pristojnim javnim organom pri obravnavi, vključno s povezano oceno zanesljivosti dokazov, prošenj za azil, vizumov in dovoljenj za prebivanje ter s tem povezanih pritožb zaradi ugotavljanja upravičenosti fizičnih oseb, ki zaprosijo za status, za namene odkrivanja, priznavanja ali identifikacije fizičnih oseb v okviru upravljanja migracij, azila in nadzora meja, z izjemo preverjanja potnih listin. Sistemi UI na področju migracij, azila in upravljanja nadzora meja, ki jih zajema ta uredba, bi morali biti skladni z ustreznimi postopkovnimi zahtevami iz Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta (32), Direktive 2013/32/EU Evropskega parlamenta in Sveta (33) ter drugega ustreznega prava Unije. Države članice ali institucije, organi, uradi ali agencije Unije v nobenem primeru ne bi smeli uporabljati sistemov UI na področju migracij, azila in upravljanja nadzora meja kot sredstvo za izogibanje svojim mednarodnim obveznostim iz Konvencije ZN o statusu beguncev, podpisane v Ženevi 28. julija 1951, kakor je bila spremenjena s Protokolom z dne 31. januarja 1967. Prav tako se ne smejo uporabljati za kakršno koli kršitev načela nevračanja ali za odrekanje varnih in učinkovitih zakonitih poti na ozemlje Unije, vključno s pravico do mednarodne zaščite.

(61)

Nekatere sisteme UI, namenjene razsojanju in demokratičnim procesom, bi bilo treba razvrstiti med sisteme visokega tveganja zaradi njihovega potencialno pomembnega vpliva na demokracijo, pravno državo, osebne svoboščine ter pravico do učinkovitega pravnega sredstva in nepristranskega sodišča. Zlasti zato, da bi zmanjšali tveganja morebitnih pristranskosti, napak in nepreglednosti, je primerno, da se visokotvegani sistemi UI, namenjeni uporabi s strani sodnega organa ali v njegovem imenu za pomoč sodnim organom pri raziskovanju in razlagi dejstev in prava ter pri uporabi prava za konkreten sklop dejstev, opredelijo kot sistemi visokega tveganja. Tudi sisteme UI, ki naj bi jih za te namene uporabljali organi za alternativno reševanje sporov, bi bilo treba šteti za sisteme visokega tveganja, če imajo rezultati postopkov alternativnega reševanja sporov pravne učinke za stranke. Orodja UI se lahko uporabljajo kot pomoč sodnikom pri odločanju ali podpora neodvisnosti sodstva, vendar jih ne bi smela nadomeščati: končno odločanje mora ostati dejavnost, ki jo vodi človek. Razvrščanje sistemov UI kot sistemov visokega tveganja pa se ne bi smelo uporabljati tudi za sisteme UI, namenjene izključno pomožnim upravnim dejavnostim, ki ne vplivajo na dejansko razsojanje v posameznih primerih, kot so anonimizacija ali psevdonimizacija sodnih odločb, dokumentov ali podatkov, komunikacije med osebjem ali upravnih nalog.

(62)

Brez poseganja v pravila iz Uredbe (EU) 2024/900 Evropskega parlamenta in Sveta (34) ter za obravnavanje tveganj neupravičenega zunanjega poseganja v volilno pravico iz člena 39 Listine in nesorazmernih učinkov na demokracijo in pravno državo bi bilo treba sisteme UI, namenjene vplivanju na izid volitev ali referenduma ali na volilno vedenje fizičnih oseb pri glasovanju na volitvah ali referendumih, razvrstiti kot visokotvegane sisteme UI, razen kadar gre za sisteme UI, pri katerih fizične osebe niso neposredno izpostavljene njihovim izhodnim podatkom, kot so orodja, ki se uporabljajo za organizacijo, optimizacijo in strukturiranje političnih kampanj z upravnega in logističnega vidika.

(63)

Dejstva, da je sistem UI na podlagi te uredbe razvrščen kot visokotvegani sistem UI, se ne bi smelo razlagati tako, da pomeni, da je njegova uporaba zakonita na podlagi drugih aktov prava Unije ali na podlagi nacionalnega prava, združljivim s pravom Unije, kot so varstvo osebnih podatkov, uporaba poligrafov in podobnih orodij ali drugih sistemov za zaznavanje čustvenega stanja fizičnih oseb. Vsaka taka uporaba bi se morala še naprej izvajati izključno v skladu z veljavnimi zahtevami, ki izhajajo iz Listine ter veljavnih aktov sekundarnega prava Unije in nacionalnega prava. Te uredbe ne bi smeli razumeti kot pravne podlage za obdelavo osebnih podatkov, vključno s posebnimi vrstami osebnih podatkov, kadar je to ustrezno, razen če je v tej uredbi izrecno določeno drugače.

(64)

Da bi zmanjšali tveganja iz visokotveganih sistemov UI, ki so dani na trg ali v uporabo, in zagotovili visoko raven zanesljivosti, bi bilo treba za visokotvegane sisteme UI uporabljati nekatere obvezne zahteve in pri tem upoštevati predvideni namen in kontekst uporabe sistema UI ter sistem obvladovanja tveganja, ki ga vzpostavi ponudnik. Ponudniki bi pri ukrepih, ki jih sprejmejo za izpolnjevanje obveznih zahtev iz te uredbe, morali upoštevati splošno priznane najsodobnejše tehnološke dosežke na področju UI; ti ukrepi bi morali biti sorazmerni in učinkoviti za doseganje ciljev te uredbe. Kot je pojasnjeno v obvestilu Komisije „Modri vodnik“ o izvajanju pravil EU o proizvodih iz leta 2022, je na podlagi novega zakonodajnega okvira splošno pravilo, da se več kot en pravni akt harmonizacijske zakonodaje Unije lahko uporablja za en proizvod, saj se lahko dostopnost ali dajanje v uporabo izvede le, če je proizvod skladen z vso veljavno harmonizacijsko zakonodajo Unije. Nevarnosti sistemov UI, za katere veljajo zahteve iz te uredbe, se nanašajo na vidike, ki se razlikujejo od obstoječe harmonizacijske zakonodaje Unije, zato naj bi zahteve iz te uredbe dopolnjevale obstoječi del harmonizacijske zakonodaje Unije. Na primer stroji ali medicinski pripomočki, ki vključujejo sistem UI, lahko pomenijo tveganja, ki v bistvenih zdravstvenih in varnostnih zahtevah iz ustrezne harmonizirane zakonodaje Unije niso zajeta, saj navedeno sektorsko pravo ne obravnava tveganj, značilnih za sisteme UI. To zahteva hkratno in dopolnjevalno uporabo različnih zakonodajnih aktov. Da bi zagotovili doslednost in preprečili nepotrebno upravno breme ali nepotrebne stroške, bi morali ponudnikom proizvoda, ki vsebuje enega ali več visokotveganih sistemov UI, za katere se uporabljajo zahteve iz te uredbe in harmonizacijske zakonodaje Unije, ki temelji na novem zakonodajnem okviru in je navedena v prilogi k tej uredbi, omogočiti prožnost glede operativnih odločitev o tem, kako na optimalen način zagotoviti skladnost proizvoda, ki vsebuje enega ali več sistemov UI, z vsemi veljavnimi zahtevami harmonizirane zakonodaje Unije. Ta prožnost bi lahko na primer pomenila odločitev ponudnika, da del potrebnih postopkov testiranja in poročanja, informacij in dokumentacije, ki se zahtevajo na podlagi te uredbe, vključi v dokumentacijo in postopke, ki že obstajajo in se zahtevajo na podlagi harmonizacijske zakonodaje Unije, ki temelji na novem zakonodajnem okviru in je navedena v prilogi k tej uredbi. To nikakor ne bi smelo ogroziti obveznosti ponudnika, da izpolnjuje vse veljavne zahteve.

(65)

Sestavni del sistema obvladovanja tveganja bi moral biti neprekinjen ponavljajoč se proces, ki se načrtuje in izvaja v celotnem življenjskem ciklu visokotveganega sistema UI. Ta proces bi moral biti usmerjen v prepoznavanje in zmanjšanje relevantnih tveganj sistemov UI za zdravje, varnost in temeljne pravice. Sistem obvladovanja tveganj bi bilo treba redno pregledovati in posodabljati, da bi zagotovili njegovo stalno učinkovitost ter utemeljitev in dokumentiranje vseh pomembnih odločitev in ukrepov, sprejetih v skladu s to uredbo. S tem postopkom bi bilo treba zagotoviti, da ponudnik opredeli tveganja ali škodljive vplive ter izvaja ukrepe za zmanjšanje znanih in razumno predvidljivih tveganj sistemov UI za zdravje, varnost in temeljne pravice glede na njihov predvideni namen in razumno predvidljivo napačno uporabo, vključno z morebitnimi tveganji, ki izhajajo iz interakcije med sistemom UI in okoljem, v katerem deluje. V okviru sistema obvladovanja tveganj bi bilo treba sprejeti najprimernejše ukrepe za obvladovanje tveganja glede na najsodobnejše tehnološke dosežke na področju UI. Ponudnik bi moral pri opredeljevanju najustreznejših ukrepov za obvladovanje tveganja dokumentirati in pojasniti sprejete odločitve ter po potrebi vključiti strokovnjake in zunanje deležnike. Pri identifikaciji razumno predvidljive napačne uporabe visoko tveganih sistemov UI bi moral ponudnik zajeti uporabe sistemov UI, za katere se kljub temu, da niso neposredno zajete s predvidenim namenom in določene v navodilih za uporabo, lahko razumno pričakuje, da bodo posledica enostavno predvidljivega človeškega vedenja v okviru posebnih značilnosti in uporabe določenega sistema UI. Vse znane ali predvidljive okoliščine, povezane z uporabo visokotveganega sistema UI v skladu s predvidenim namenom ali v razmerah razumno predvidljive napačne uporabe, ki lahko povzročijo tveganja za zdravje in varnost ali temeljne pravice, bi morale biti vključene v navodila za uporabo, ki jih zagotovi ponudnik. S tem se zagotovi, da je uvajalec seznanjen z njimi in jih upošteva pri uporabi visokotveganega sistema UI. Pri opredeljevanju in izvajanju ukrepov za zmanjšanje tveganja za predvidljivo napačno uporabo na podlagi te uredbe ponudnik v okviru obravnavanja predvidljive napačne uporabe ne bi smel zahtevati posebnega dodatnega učenja za visokotvegani sistem UI. Vendar se ponudnike spodbuja, naj po potrebi in če je to ustrezno razmislijo o takih dodatnih ukrepih za učenje, da bi ublažili razumno predvidljive napačne uporabe.

(66)

Za visokotvegane sisteme UI bi morale veljati zahteve glede obvladovanja tveganja, kakovosti in relevantnosti uporabljenih naborov podatkov, tehnične dokumentacije in vodenja evidenc, preglednosti in zagotavljanja informacij uvajalcem, človekovega nadzora ter robustnosti, točnosti in varnosti. Te zahteve so potrebne za učinkovito zmanjšanje tveganj za zdravje, varnost in temeljne pravice. Ker ni v razumni meri na voljo drugih manj omejevalnih ukrepov za trgovino, te zahteve ne predstavljajo neupravičene omejitve trgovine.

(67)

Visokokakovostni podatki in dostop do njih imajo ključno vlogo pri zagotavljanju strukture in zmogljivosti številnih sistemov UI, zlasti kadar se uporabljajo tehnike, ki vključujejo učenje modelov, s katerim bi zagotovili, da bo visokotvegani sistem UI deloval, kot je predvideno, in varno ter da ne bo postal vir diskriminacije, ki je prepovedana s pravom Unije. Visokokakovostni nabori učnih, testnih in validacijskih podatkov zahtevajo izvajanje ustreznih prakse vodenja in upravljanja podatkov. Nabori učnih, testnih in validacijskih podatkov, vključno z oznakami, bi morali biti ustrezni, dovolj reprezentativni in v največji možni meri brez napak in popolni glede na predvideni namen. Da bi olajšali skladnost s pravom Unije o varstvu podatkov, kot je Uredba (EU) 2016/679, bi morale prakse vodenja in upravljanja podatkov v primeru osebnih podatkov vključevati preglednost prvotnega namena zbiranja podatkov. Nabori podatkov bi morali imeti tudi ustrezne statistične lastnosti, tudi kar zadeva osebe ali skupine oseb, v zvezi s katerimi naj bi se uporabljal visokotvegani sistem UI, s posebnim poudarkom na zmanjševanju morebitnih pristranskosti v naborih podatkov, ki bi lahko vplivale na zdravje in varnost oseb, negativno vplivale na temeljne pravice ali povzročile diskriminacijo, prepovedano na podlagi prava Unije, zlasti kadar izhodni podatki vplivajo na vhodne podatke za prihodnje operacije (povratne zanke). Na primer, pristranskost je lahko inherentno prisotna v osnovnih naborih podatkov, zlasti kadar se uporabljajo pretekli podatki, ali se ustvari, ko se sistemi izvajajo v realnih razmerah. Takšna inherentna pristranskost bi lahko vplivala na rezultate sistemov UI in se tudi običajno postopoma povečuje, zaradi česar se ohranja in povečuje tudi obstoječa diskriminacija, zlasti za osebe, ki pripadajo določenim ranljivim skupinam, vključno z rasnimi ali etničnimi skupinami. Zahteva, da morajo biti nabori podatkov čim bolj popolni in brez napak, ne bi smela vplivati na uporabo tehnik za ohranjanje zasebnosti v okviru razvoja in testiranja sistemov UI. Nabori podatkov morali zlasti v obsegu, ki ga zahteva njihov predvideni namen, upoštevati lastnosti, značilnosti ali elemente, ki so značilni za določeno geografsko, kontekstualno, vedenjsko ali funkcionalno okolje, v katerem naj bi se uporabljal sistem UI. Zahteve v zvezi z upravljanjem podatkov se lahko izpolnijo s pomočjo tretjih oseb, ki ponujajo certificirane storitve zagotavljanja skladnosti s predpisi, vključno s preverjanjem upravljanja podatkov, celovitosti nabora podatkov, praks učenja, validacije in testiranja podatkov, če je zagotovljena skladnost z zahtevami glede podatkov iz te uredbe.

(68)

Za razvoj in ocenjevanje visokotveganih sistemov UI bi morali imeti nekateri akterji, kot so ponudniki, priglašeni organi in drugi ustrezni subjekti, kot evropska vozlišča za digitalne inovacije, centri za testiranje in eksperimentiranje ter raziskovalci, možnost dostopa do visokokakovostnih naborov podatkov in njihove uporabe na ustreznih področjih dejavnosti, povezanih s to uredbo. Evropski skupni podatkovni prostori, ki jih je vzpostavila Komisija, ter olajšanje souporabe podatkov med podjetji in z vlado v javnem interesu bodo bistveni za zagotavljanje zaupanja vrednega, odgovornega in nediskriminatornega dostopa do visokokakovostnih podatkov za učenje, potrjevanje in testiranje sistemov UI. Evropski zdravstveni podatkovni prostor bo na področju zdravja na primer olajšal nediskriminatoren dostop do zdravstvenih podatkov in učenje algoritmov UI na teh naborih podatkov na varen, pravočasen, pregleden in zaupanja vreden način ter z ustreznim institucionalnim upravljanjem. Ustrezni pristojni organi, vključno s sektorskimi, ki zagotavljajo ali podpirajo dostop do podatkov, lahko podpirajo tudi zagotavljanje visokokakovostnih podatkov za učenje, validacijo in testiranje sistemov UI.

(69)

Pravica do zasebnosti in varstva osebnih podatkov mora biti zagotovljena v celotni življenjski dobi sistema UI. V zvezi s tem se pri obdelavi osebnih podatkov uporabljata načeli najmanjšega obsega podatkov ter vgrajenega in privzetega varstva podatkov, kot sta določeni v pravu Unije o varstvu podatkov. Ukrepi, ki jih ponudniki sprejmejo za zagotovitev skladnosti s temi načeli, lahko vključujejo ne le anonimizacijo in šifriranje, temveč tudi uporabo tehnologije, ki omogoča vnos algoritmov v podatke in učenje sistemov UI brez prenosa med stranmi ali kopiranja samih neobdelanih ali strukturiranih podatkov in brez poseganja v zahteve glede upravljanja podatkov iz te uredbe.

(70)

Da bi zaščitili pravico drugih pred diskriminacijo, ki bi lahko nastala zaradi pristranskosti v sistemih UI, bi morali imeti ponudniki možnost, da izjemoma, če je to nujno potrebno za zagotavljanje odkrivanja in popravljanja pristranskosti v zvezi z visokotveganimi sistemi UI, ob upoštevanju ustreznih zaščitnih ukrepov za temeljne pravice in svoboščine fizičnih oseb ter ob uporabi vseh veljavnih pogojev iz te uredbe ter pogojev iz uredb (EU) 2016/679 in (EU) 2018/1725 ter Direktive (EU) 2016/680, obdelujejo tudi posebne kategorije osebnih podatkov kot zadevo bistvenega javnega interesa v smislu člena 9(2), točka (g), Uredbe (EU) 2016/679 in člena 10(2), točka (g), Uredbe (EU) 2018/1725.

(71)

Razumljive informacije o tem, kako so bili visokotvegani sistemi UI razviti in kako delujejo skozi celotno življenjsko dobo, so bistvene za omogočanje sledljivosti teh sistemov, preverjanje skladnosti z zahtevami iz te uredbe ter spremljanje njihovega delovanja in spremljanje po dajanju na trg. To zahteva vodenje evidenc in razpoložljivost tehnične dokumentacije, ki vsebuje informacije, potrebne za oceno skladnosti sistema UI z ustreznimi zahtevami in olajšanje spremljanja po dajanju na trg. Takšne informacije bi morale vključevati splošne značilnosti, zmogljivosti in omejitve sistema, uporabljene algoritme, podatke, postopke učenja, testiranja in potrjevanja ter dokumentacijo o ustreznem sistemu obvladovanja tveganja in biti pripravljene v jasni in celoviti obliki. Tehnično dokumentacijo bi bilo treba ustrezno posodabljati v celotni življenjski dobi sistema UI. Poleg tega bi morali visokotvegani sistemi UI tehnično omogočati samodejno beleženje dogodkov z dnevniki v celotni življenjski dobi sistema.

(72)

Pri reševanju problemov v zvezi z nepreglednostjo in kompleksnostjo nekaterih sistemov UI ter za pomoč uvajalcem pri izpolnjevanju njihovih obveznosti iz te uredbe bi bilo treba za visokotvegane sisteme UI zahtevati preglednost, preden se dajo na trg ali v uporabo. Visokotvegani sistemi UI bi morali biti zasnovani tako, da bi uvajalci lahko razumeli, kako sistem UI deluje, ocenili njegovo funkcionalnost ter razumeli njegove prednosti in omejitve. Visokotveganim sistemom UI bi morale biti priložene ustrezne informacije v obliki navodil za uporabo. Takšne informacije bi morale vključevati značilnosti, zmogljivosti in omejitve zmogljivosti sistema UI. Ti naj bi zajemali informacije o morebitnih znanih in predvidljivih okoliščinah, povezanih z uporabo visokotveganega sistema UI, vključno z ukrepi uvajalcev, ki lahko vplivajo na vedenje in zmogljivost sistema, v katerih lahko sistem UI povzroči tveganja za zdravje, varnost in temeljne pravice, o spremembah, ki jih je ponudnik vnaprej določil in ocenil glede skladnosti, ter o ustreznih ukrepih za človeški nadzor, vključno z ukrepi za lažjo razlago izhodnih podatkov sistema UI s strani uvajalcev. Preglednost, vključno s priloženimi navodili za uporabo, bi morala pomagati uvajalcem pri uporabi sistema in sprejemanju informiranih odločitev. Uvajalci bi morali biti med drugim v boljšem položaju za pravilno izbiro sistema, ki ga nameravajo uporabljati glede na obveznosti, ki veljajo zanje, biti poučeni o nameravani in izključeni uporabi ter pravilno in ustrezno uporabljati sistem UI. Da bi izboljšali čitljivost in dostopnost informacij, vključenih v navodila za uporabo, bi bilo treba, kadar je ustrezno vključiti ponazoritvene primere, na primer glede omejitev ter predvidene in izključene uporabe sistema UI. Ponudniki bi morali zagotoviti, da vsa dokumentacija, vključno z navodili za uporabo, vsebuje smiselne, celovite, dostopne in razumljive informacije, ob upoštevanju potreb in predvidljivega znanja ciljnih uvajalcev. Navodila za uporabo bi morala biti na voljo v jeziku, ki ga določi zadevna država članica in ga ciljni uvajalci brez težav razumejo.

(73)

Visokotvegani sistemi UI bi morali biti zasnovani in razviti tako, da lahko fizične osebe nadzorujejo njihovo delovanje, zagotavljajo, da se uporabljajo, kot je bilo predvideno, in da se njihovi vplivi obravnavajo v celotnem življenjskem ciklu sistema. V ta namen bi moral ponudnik sistema pred dajanjem sistema na trg ali v uporabo določiti ustrezne ukrepe za človeški nadzor. Zlasti bi morali taki ukrepi, kadar je primerno, zagotavljati, da za sistem veljajo vgrajene operativne omejitve, ki jih sistem sam ne more razveljaviti, da se sistem odziva na človeškega operaterja ter da imajo fizične osebe, ki jim je bil dodeljen človekov nadzor, potrebne kompetence, usposobljenost in pooblastila za opravljanje te vloge. Prav tako je bistveno po potrebi zagotoviti, da visokotvegani sistemi UI vključujejo mehanizme za usmerjanje in obveščanje fizične osebe, ki ji je bil dodeljen človeški nadzor, za sprejemanje informiranih odločitev o tem, ali, kdaj in kako posredovati, da bi se izognili negativnim posledicam ali tveganjem, ali ustaviti sistem, če ne deluje, kot je bilo predvideno. Glede na pomembne posledice, ki jih napačno ujemanje v nekaterih sistemih za biometrično identifikacijo ljudi pomeni za osebe, je za te sisteme ustrezno določiti okrepljeno zahtevo po človekovem nadzoru, tako da uvajalec ne more sprejeti ukrepa ali odločitve na podlagi identifikacije, ki izhaja iz sistema, če tega nista ločeno preverili in potrdili vsaj dve fizični osebi. Ti osebi sta lahko iz enega ali več subjektov in vključujeta osebo, ki upravlja ali uporablja sistem. Ta zahteva ne bi smela ustvariti nepotrebnega bremena ali zamud, in lahko bi zadoščalo, da bi se ločena preverjanja različnih oseb samodejno zabeležila v dnevnikih, ki jih ustvari sistem. Glede na posebnosti področij preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, migracij, nadzora meje in azila se ta zahteva ne bi smela uporabljati, kadar je v skladu s pravom Unije ali nacionalnim pravom uporaba te zahteve nesorazmerna.

(74)

Visokotvegani sistemi UI bi morali v celotni življenjski dobi delovati dosledno ter izpolnjevati ustrezno raven točnosti, robustnosti in kibernetske varnosti glede na njihov predvideni namen in v skladu s splošno priznanimi najsodobnejšimi tehnološkimi dosežki. Komisijo ter ustrezne organizacije in deležnike se spodbuja, naj ustrezno upoštevajo zmanjšanje tveganj in negativne učinke sistema UI. Pričakovano raven metrik zmogljivosti bi bilo treba navesti v priloženih navodilih za uporabo. Ponudniki so pozvani, naj te informacije sporočijo uvajalcem na jasen in lahko razumljiv način, brez nesporazumov ali zavajajočih izjav. Namen prava Unije o zakonskem meroslovju, vključno z direktivama 2014/31/EU (35) in 2014/32/EU (36) Evropskega parlamenta in Sveta, je zagotoviti točnost meritev ter prispevati k preglednosti in poštenosti trgovinskih poslov. V zvezi s tem bi morala Komisija v sodelovanju z ustreznimi deležniki in organizacijami, kot so organi za meroslovje in primerjalno analizo, po potrebi spodbujati razvoj referenčnih vrednosti in metodologij merjenja za sisteme UI. Pri tem bi se morala Komisija seznaniti z mednarodnimi partnerji, ki se ukvarjajo z meroslovjem in ustreznimi kazalniki merjenja v zvezi z UI, ter z njimi sodelovati.

(75)

Tehnična robustnost je ključna zahteva za visokotvegane sisteme UI. Morali bi biti odporni na škodljivo ali kako drugače nezaželeno ravnanje, ki je lahko posledica omejitev znotraj sistema ali okolja, v katerem sistem deluje (npr. napake, okvare, nedoslednosti, nepričakovane situacije). Zato bi bilo treba sprejeti tehnične in organizacijske ukrepe za zagotovitev odpornosti visokotveganih sistemov UI, na primer z zasnovo in razvojem ustreznih tehničnih rešitev za preprečevanje ali zmanjšanje škodljivega ali drugače nezaželenega vedenja. Takšne tehnične rešitve lahko na primer vključujejo mehanizme, ki sistemu omogočajo varno prekinitev delovanja (načrti varne odpovedi), če so prisotne določene nepravilnosti ali delovanje poteka zunaj določenih vnaprej določenih meja. Neuspešna zaščita pred temi tveganji bi lahko imela varnostne posledice ali negativno vplivala na temeljne pravice, na primer zaradi napačnih odločitev ali napačnih ali pristranskih izhodnih podatkov, ki jih ustvari sistem UI.

(76)

Kibernetska varnost ima ključno vlogo pri zagotavljanju odpornosti sistemov UI proti poskusom spreminjanja njihove uporabe, vedenja, zmogljivosti ali ogrožanja njihovih varnostnih lastnosti s strani zlonamernih tretjih oseb, ki izkoriščajo šibke točke sistema. Kibernetski napadi na sisteme UI lahko izkoristijo posebna sredstva UI, kot so nabori učnih podatkov (npr. zastrupitev podatkov) ali naučeni modeli (npr. nasprotovalni napadi ali sklepanje o članstvu), ali pa šibke točke digitalnih sredstev sistema UI ali osnovne infrastrukture IKT. Da bi zagotovili raven kibernetske varnosti, ki ustreza tveganjem, bi morali ponudniki visokotveganih sistemov UI sprejeti ustrezne ukrepe, kot je varnostni nadzor, in pri tem po potrebi tudi upoštevati osnovne infrastrukture IKT.

(77)

Brez poseganja v zahteve v zvezi z robustnostjo in natančnostjo iz te uredbe se lahko skladnost visokotveganih sistemov UI, ki spadajo na področje uporabe uredbe Evropskega parlamenta in Sveta o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi, v skladu z navedeno uredbo, z zahtevami glede kibernetske varnosti iz te uredbe dokaže z izpolnjevanjem bistvenih zahtev glede kibernetske varnosti iz navedene uredbe. Če visokotvegani sistemi UI izpolnjujejo bistvene zahteve iz uredbe o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi, štejejo za skladne z zahtevami glede kibernetske varnosti iz te uredbe, če je izpolnjevanje navedenih zahtev dokazano v EU izjavi o skladnosti ali delih izjave, izdane na podlagi navedene uredbe. V ta namen bi bilo treba pri oceni tveganj za kibernetsko varnost, povezanih s proizvodom z digitalnimi elementi, razvrščenimi kot visokotvegani sistem UI v skladu s to uredbo, ki se izvede na podlagi uredbe o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi, upoštevati tveganja za kibernetsko odpornost sistema UI na poskuse nepooblaščenih tretjih oseb, da z izkoriščanjem šibkih točk sistema spremenijo njegovo uporabo, vedenje ali zmogljivost, vključno s šibkimi točkami, ki so specifične za UI, kot so zastrupitev podatkov ali nasprotovalni napadi, ter v zvezi s tveganji za temeljne pravice, kot je zahtevano v tej uredbi.

(78)

Postopek ugotavljanja skladnosti iz te uredbe bi bilo treba uporabljati v zvezi z bistvenimi zahtevami glede kibernetske varnosti proizvoda z digitalnimi elementi, ki jih zajema uredba o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi in je razvrščen kot visokotvegani sistem UI na podlagi te uredbe. Vendar to pravilo ne bi smelo povzročiti znižanja potrebne ravni zanesljivosti za kritične proizvode z digitalnimi elementi, ki jih zajema uredba o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi. Zato z odstopanjem od tega pravila za visokotvegane sisteme UI, ki spadajo na področje uporabe te uredbe in so opredeljeni tudi kot pomembni in kritični proizvodi z digitalnimi elementi na podlagi uredbe o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi ter se zanje uporablja postopek ugotavljanja skladnosti na podlagi notranjega nadzora iz ene od prilog k tej uredbi, veljajo določbe o ugotavljanju skladnosti iz uredbe o horizontalnih zahtevah glede kibernetske varnosti za izdelke z digitalnimi elementi, kar zadeva bistvene zahteve glede kibernetske varnosti iz navedene uredbe. V tem primeru bi bilo treba za vse druge vidike, ki jih zajema ta uredba, uporabljati ustrezne določbe o ugotavljanju skladnosti na podlagi notranjega nadzora iz ene od prilog k tej uredbi. Komisija bi morala na podlagi poznavanja področja in strokovnega znanja agencije ENISA o politiki kibernetske varnosti in nalogah, dodeljenih agenciji ENISA na podlagi Uredbe (EU) 2019/881 Evropskega parlamenta in Sveta (37), sodelovati z agencijo ENISA pri vprašanjih, povezanih s kibernetsko varnostjo sistemov UI.

(79)

Primerno je, da določena fizična ali pravna oseba, opredeljena kot ponudnik, prevzame odgovornost za dajanje visokotveganega sistema UI na trg ali v uporabo, ne glede na to, ali je ta oseba tista, ki je zasnovala ali razvila sistem.

(80)

Kot podpisnice Konvencije Organizacije združenih narodov o pravicah invalidov so Unija in države članice pravno zavezane, da ščitijo invalide pred diskriminacijo in spodbujajo njihovo enakost, jim zagotovijo, da imajo enako kot drugi dostop do informacijskih in komunikacijskih tehnologij in sistemov, ter da se spoštuje njihova zasebnost. Ob vse večjem pomenu in uporabi sistemov UI bi morala uporaba načel univerzalnega oblikovanja pri vseh novih tehnologijah in storitvah zagotoviti popoln in enakopraven dostop vsem, ki so lahko izpostavljeni tehnologijam UI ali te tehnologije uporabljajo, tudi invalidom, na način, ki v celoti upošteva njihovo prirojeno dostojanstvo in raznolikost. Zato je bistvenega pomena, da ponudniki zagotavljajo popolno skladnost z zahtevami glede dostopnosti, tudi z Direktivo (EU) 2016/2102 Evropskega parlamenta in Sveta (38) in Direktivo (EU) 2019/882. Ponudniki bi morali zagotoviti skladnost s temi zahtevami že pri zasnovi. Zato bi bilo treba potrebne ukrepe v čim večji meri vključiti v zasnovo visokotveganega sistema UI.

(81)

Ponudnik bi moral vzpostaviti zanesljiv sistem upravljanja kakovosti, zagotoviti izvedbo zahtevanega postopka ugotavljanja skladnosti, pripraviti ustrezno dokumentacijo in vzpostaviti robusten sistem spremljanja po dajanju na trg. Ponudniki visokotveganih sistemov UI, za katere veljajo obveznosti v zvezi s sistemi upravljanja kakovosti na podlagi ustreznega sektorskega prava Unije, bi morali imeti možnost, da elemente sistema upravljanja kakovosti iz te uredbe vključijo v obstoječi sistem upravljanja kakovosti, določen v navedenem drugem sektorskem pravu Unije. Pri prihodnjih dejavnostih standardizacije ali smernicah, ki jih sprejme Komisija, bi bilo treba upoštevati tudi dopolnjevanje med to uredbo in obstoječim sektorskim pravom Unije. Javni organi, ki visokotvegane sisteme UI dajo v uporabo za lastno uporabo, lahko sprejmejo in izvajajo pravila za sistem upravljanja kakovosti kot del sistema upravljanja kakovosti, sprejetega bodisi na nacionalni ali na regionalni ravni, ob upoštevanju posebnosti sektorja ter pristojnosti in organizacije zadevnega javnega organa.

(82)

Da se omogoči izvajanje te uredbe in ustvarijo enaki konkurenčni pogoji za operaterje ter ob upoštevanju različnih oblik omogočanja dostopnosti digitalnih proizvodov, je pomembno zagotoviti, da lahko oseba s sedežem v Uniji v vseh okoliščinah organom zagotovi vse potrebne informacije o skladnosti sistema UI. Zato bi morali ponudniki s sedežem v tretjih državah pred dajanjem svojih sistemov UI na voljo v Uniji, s pisnim pooblastilom imenovati pooblaščenega zastopnika s sedežem v Uniji. Ta pooblaščeni zastopnik ima ključno vlogo pri zagotavljanju skladnosti visokotveganih sistemov UI, ki jih ti ponudniki, ki nimajo sedeža v Uniji, dajejo na trg ali v uporabo v Uniji, in je njihova kontaktna oseba s sedežem v Uniji.

(83)

Glede na naravo in kompleksnost verige vrednosti za sisteme UI ter v skladu z novim zakonodajnim okvirom je bistveno zagotoviti pravno varnost in olajšati skladnost s to uredbo. Zato je treba pojasniti vlogo in posebne obveznosti zadevnih operaterjev v tej verigi vrednosti, kot so uvozniki in distributerji, ki lahko prispevajo k razvoju sistemov UI. V nekaterih situacijah bi lahko ti operaterji imeli več kot eno vlogo hkrati in bi morali zato kumulativno izpolnjevati vse zadevne obveznosti, povezane s temi vlogami. Tako bi na primer operater lahko hkrati bil distributer in uvoznik.

(84)

Za zagotovitev pravne varnosti je treba pojasniti, da bi bilo treba pod določenimi pogoji vsakega distributerja, uvoznika, uvajalca ali druge tretje osebe šteti za ponudnika visokotveganega sistema UI in bi zato moral prevzeti vse zadevne obveznosti. To bi veljalo, če ta stranka svoje ime ali znamko vnese v visokotvegani sistem UI, ki je že dan na trg ali v uporabo, brez poseganja v pogodbene dogovore, ki določajo, da se obveznosti dodelijo drugače. To bi veljalo tudi, če ta stranka bistveno spremeni visokotvegani sistem UI, ki je že bil dan na trg ali v uporabo, na način, da ostane visokotvegani sistem UI v skladu s to uredbo, ali če spremeni predvideni namen sistema UI, vključno z sistemom UI za splošne namene, ki ni bil razvrščen kot sistem visokega tveganja in je že bil dan na trg ali v uporabo, na način, da sistem UI postane sistem visokega tveganja v skladu s to uredbo. Te določbe bi bilo treba uporabljati brez poseganja v bolj specifične določbe v okviru določene harmonizacijske zakonodaje, temelječe na novem zakonodajnem okviru, ki naj bi se uporabljala skupaj s to uredbo. Na primer člen 16(2) Uredbe (EU) 2017/745, v katerem je določeno, da nekatere spremembe ne bi smele šteti kot spremembe pripomočka, ki bi lahko vplivale na skladnost z veljavnimi zahtevami, bi bilo treba še naprej uporabljati za visokotvegane sisteme UI, ki so medicinski pripomočki v smislu navedene uredbe.

(85)

Sistemi UI za splošne namene se lahko uporabljajo kot samostojni visokotvegani sistemi UI ali pa so komponente drugih visokotveganih sistemov UI. Zato bi morali ponudniki takih sistemov zaradi njihove posebne narave in za zagotovitev pravične delitve odgovornosti v verigi vrednosti UI ne glede na to, ali lahko drugi ponudniki te sisteme uporabljajo kot samostojne visokotvegane sisteme UI ali kot komponente visokotveganih sistemov UI in če v tej uredbi ni določeno drugače, tesno sodelovati s ponudniki zadevnih visokotveganih sistemov UI, da bi jim omogočili izpolnjevanje obveznosti iz te uredbe, in s pristojnimi organi, ustanovljenimi na podlagi te uredbe.

(86)

Kadar na podlagi pogojev iz te uredbe ponudnik, ki je sistem UI prvotno dal na trg ali v uporabo, za namene te uredbe ne bi smel več šteti za ponudnika in če ta ponudnik ni izrecno izključil spremembe sistema UI v visokotvegani sistem UI, bi moral nekdanji ponudnik kljub temu tesno sodelovati in dati na voljo potrebne informacije ter zagotoviti razumno pričakovani tehnični dostop in drugo pomoč, ki so potrebni za izpolnjevanje obveznosti iz te uredbe, zlasti v zvezi s skladnostjo visokotveganih sistemov UI z ugotavljanjem skladnosti.

(87)

Poleg tega, kadar visokotvegani sistem UI, ki je varnostna komponenta proizvoda, ki spada na področje uporabe harmonizacijske zakonodaje Unije na podlagi novega zakonodajnega okvira, ni dan na trg ali v uporabo neodvisno od proizvoda, bi moral proizvajalec proizvoda, opredeljen v navedeni zakonodaji, izpolnjevati obveznosti ponudnika iz te uredbe in zlasti zagotoviti, da sistem UI, vgrajen v končni proizvod, izpolnjuje zahteve iz te uredbe.

(88)

V verigi vrednosti UI sisteme UI, orodja in storitve, pa tudi komponente ali procese, ki jih ponudnik vključi v sistem UI z različnimi cilji, vključno z učenjem modelov, ponovnim učenjem modelov, testiranjem in ocenjevanjem modelov, vključevanjem v programsko opremo ali drugimi vidiki razvoja modela, pogosto dobavlja več strani. Te strani imajo pomembno vlogo v verigi vrednosti v odnosu do ponudnika visokotveganega sistema UI, v katerega so vključeni njihovi sistemi UI, orodja, storitve, komponente ali procesi, in bi morale temu ponudniku v pisni obliki zagotoviti potrebne informacije, zmogljivosti, tehnični dostop in drugo pomoč na podlagi splošno priznanih najsodobnejših tehnoloških dosežkov, da bi lahko ponudnik v celoti izpolnjeval obveznosti iz te uredbe, ne da bi bile pri tem ogrožene njegove pravice intelektualne lastnine ali poslovne skrivnosti.

(89)

Za tretje osebe, ki javnosti omogočajo dostop do orodij, storitev, postopkov ali komponent UI, ki niso modeli UI za splošne namene, ne bi smela veljati obveznost glede izpolnjevanja zahtev, ki se nanašajo na odgovornosti v verigi vrednosti UI, zlasti do ponudnika, ki jih je uporabil ali vključil, če so ta orodja, storitve, postopki ali komponente UI dostopni na podlagi proste in odprtokodne licence. Razvijalce brezplačnih in odprtokodnih orodij, storitev, postopkov ali komponent UI, ki niso modeli UI za splošne namene, pa bi bilo treba spodbujati k izvajanju splošno sprejetih dokumentacijskih praks, kot so vzorčne kartice in podatkovni listi, da bi pospešili izmenjavo informacij v verigi vrednosti UI, kar bi omogočilo spodbujanje zaupanja vrednih sistemov UI v Uniji.

(90)

Komisija bi lahko razvila in priporočila prostovoljne vzorčne pogodbene pogoje med ponudniki visokotveganih sistemov UI in tretjimi osebami, ki zagotavljajo orodja, storitve, komponente ali procese, ki se uporabljajo ali vključujejo v visokotvegane sisteme UI, da bi olajšali sodelovanje v verigi vrednosti. Komisija bi morala pri oblikovanju prostovoljnih vzorčnih pogodbenih pogojev upoštevati morebitne pogodbene zahteve, ki se uporabljajo v posameznih sektorjih ali poslovnih primerih.

(91)

Glede na naravo sistemov UI ter tveganja za varnost in temeljne pravice, ki so morda povezana z njihovo uporabo, tudi kar zadeva potrebo po zagotovitvi ustreznega spremljanja zmogljivosti sistema UI v realnem življenju, je primerno določiti posebne odgovornosti za uvajalce. Uvajalci bi morali zlasti sprejeti ustrezne tehnične in organizacijske ukrepe za zagotovitev, da uporabljajo visokotvegane sisteme UI v skladu z navodili za uporabo, pri čemer bi bilo treba določiti nekatere druge obveznosti v zvezi s spremljanjem delovanja sistemov UI in v zvezi z vodenjem evidenc, če je to primerno. Poleg tega bi morali uvajalci zagotoviti, da imajo osebe, dodeljene za izvajanje navodil za uporabo in človeški nadzor, kot je določeno v tej uredbi, potrebne kompetence, zlasti ustrezno raven pismenosti, usposobljenosti in pooblastil na področju UI za pravilno izpolnjevanje teh nalog. Te obveznosti ne bi smele posegati v druge obveznosti uvajalcev v zvezi z visokotveganimi sistemi UI na podlagi prava Unije ali nacionalnega prava.

(92)

Ta uredba ne posega v obveznosti delodajalcev, da delavce ali njihove predstavnike obveščajo ali se z njimi posvetujejo na podlagi prava Unije ali nacionalnega prava in prakse, vključno z Direktivo 2002/14/ES Evropskega parlamenta in Sveta (39) o odločitvah o dajanju v uporabo ali uporabi sistemov UI. Še naprej je treba zagotavljati informacije delavcem in njihovim predstavnikom o načrtovani uvedbi visokotveganih sistemov UI na delovnem mestu, kadar niso izpolnjeni pogoji za te obveznosti glede obveščanja ali obveščanja in posvetovanja iz drugih pravnih instrumentov. Poleg tega je taka pravica do obveščenosti pomožna in potrebna za cilj varstva temeljnih pravic, na katerem temelji ta uredba. Zato bi bilo treba v tej uredbi določiti zahtevo po informacijah v ta namen, ne da bi to vplivalo na obstoječe pravice delavcev.

(93)

Poleg tega, da lahko tveganja, povezana s sistemi UI, nastanejo zaradi načina zasnove takih sistemov, lahko tveganja izvirajo tudi iz tega, kako se taki sistemi uporabljajo. Uvajalci visokotveganega sistema UI imajo zato ključno vlogo pri skrbi za zaščito temeljnih pravic, kar dopolnjuje obveznosti ponudnika pri razvoju sistema UI. Uvajalci najbolje razumejo, kako se bo visokotvegani sistem UI dejansko uporabljal, in lahko tako opredelijo potencialna velika tveganja, ki niso bila predvidena v fazi razvoja, saj natančneje poznajo okoliščine uporabe, osebe ali skupine oseb, ki bodo verjetno izpostavljene, vključno z ranljivimi skupinami. Uvajalci visokotveganih sistemov UI, navedeni v eni od prilog k tej uredbi, imajo tudi ključno vlogo pri obveščanju fizičnih oseb in bi morali pri sprejemanju odločitev ali pomoči pri sprejemanju odločitev v zvezi s fizičnimi osebami po potrebi obvestiti fizične osebe, da se zanje uporablja visokotvegani sistem UI. Te informacije bi morale vključevati njegov predvideni namen in vrsto odločitev, ki jih sprejema. Uvajalec bi moral fizične osebe obvestiti tudi o njihovi pravici do obrazložitve iz te uredbe. Kar zadeva visokotvegane sisteme UI, ki se uporabljajo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, bi bilo treba to obveznost izvajati v skladu s členom 13 Direktive (EU) 2016/680.

(94)

Vsaka obdelava biometričnih podatkov, vključena v uporabo sistemov UI za biometrično identifikacijo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, mora biti skladna s členom 10 Direktive (EU) 2016/680, ki omogoča tako obdelavo le, kadar je to nujno potrebno, ob upoštevanju ustreznih zaščitnih ukrepov za pravice in svoboščine posameznika, na katerega se nanašajo osebni podatki, in kadar je to dovoljeno v skladu s pravom Unije ali pravom države članice. Kadar je taka uporaba odobrena, je treba spoštovati tudi načela iz člena 4(1) Direktive (EU) 2016/680, vključno z zakonitostjo, pravičnostjo in preglednostjo, omejitvijo namena, točnostjo in omejitvijo shranjevanja.

(95)

Brez poseganja v veljavno pravo Unije, zlasti v Uredbo (EU) 2016/679 in Direktivo (EU) 2016/680, in ob upoštevanju intruzivne narave sistemov za naknadno biometrično identifikacijo na daljavo, bi bilo treba za uporabo sistemov za naknadno biometrično identifikacijo na daljavo uporabljati zaščitne ukrepe. Sisteme za naknadno biometrično identifikacijo na daljavo bi bilo treba vedno uporabljati na način, ki je sorazmeren, zakonit in nujno potreben ter tako ciljno usmerjen v smislu posameznikov, ki jih je treba identificirati, lokacije, časovnega obsega in na podlagi zaprtega nabora podatkov iz zakonito pridobljenih videoposnetkov. V nobenem primeru sistemov za naknadno biometrično identifikacijo na daljavo ne bi smeli uporabljati v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, da ne bi povzročili neselektivnega nadzora. Pogoji za naknadno biometrično identifikacijo na daljavo v nobenem primeru ne bi smeli biti podlaga za izogibanje pogojem prepovedi in strogim izjemam za biometrično identifikacijo na daljavo v realnem času.

(96)

Da bi učinkovito zagotovili varstvo temeljnih pravic, bi morali uvajalci visokotveganih sistemov UI, ki so osebe javnega prava, ali zasebni subjekti, ki zagotavljajo javne storitve, in uvajalci, ki uporabljajo nekatere visokotvegane sisteme UI, navedene v eni od prilog k tej uredbi, kot so bančni ali zavarovalniški subjekti, pred začetkom uporabe izvesti oceno učinka na temeljne pravice. Storitve, pomembne za posameznike, ki so javne narave, lahko zagotavljajo tudi zasebni subjekti. Zasebni subjekti, ki zagotavljajo takšne javne storitve, so povezani z nalogami v javnem interesu, na primer na področjih izobraževanja, zdravstvenega varstva, socialnih storitev, stanovanj in razsojanja. Cilj ocene učinka na temeljne pravice je, da uvajalec opredeli posebna tveganja za pravice posameznikov ali skupin posameznikov, ki bodo verjetno izpostavljene, in ukrepe, ki jih je treba sprejeti v primeru uresničitve teh tveganj. Oceno učinka bi bilo treba opraviti pred uvedbo visokotveganega sistema UI in bi jo bilo treba posodobiti, kadar uvajalec meni, da se je spremenil kateri od pomembnih dejavnikov. V oceni učinka bi bilo treba opredeliti ustrezne procese uvajalca, v katerih se bo visokotvegani sistem UI uporabljal v skladu s predvidenim namenom, ter opis obdobja in pogostosti uporabe sistema ter posebnih kategorij fizičnih oseb in skupin, ki bodo verjetno izpostavljene v posebnih okoliščinah uporabe. Ocena bi morala vključevati tudi opredelitev posebnih tveganj škode, ki bi lahko vplivala na temeljne pravice teh oseb ali skupin. Da bi zagotovili pravilno izvedbo te ocene učinka, bi moral uvajalec pri njenem izvajanju upoštevati ustrezne informacije, med drugim tudi tiste, ki jih ponudnik visokotveganega sistema UI navede v navodilih za uporabo. Glede na ugotovljena tveganja bi morali uvajalci določiti ukrepe, ki jih je treba sprejeti v primeru uresničitve teh tveganj, vključno na primer z ureditvami upravljanja v tem posebnem okviru uporabe, kot so ureditve za človeški nadzor v skladu z navodili za uporabo ali obravnavanje pritožb in postopki pravnega varstva, saj bi lahko bili ključni za zmanjšanje tveganj za temeljne pravice v konkretnih primerih uporabe. Po izvedbi te ocene učinka bi moral uvajalec o tem obvestiti ustrezni organ za nadzor trga. Za zbiranje ustreznih informacij, potrebnih za izvedbo ocene učinka, bi lahko uvajalci visokotveganega sistema UI, zlasti kadar se sistemi UI uporabljajo v javnem sektorju, v izvajanje takih ocen učinka in oblikovanje ukrepov, ki jih je treba sprejeti v primeru uresničitve tveganj, po potrebi vključili ustrezne deležnike, vključno s predstavniki skupin oseb, na katere bo sistem UI verjetno vplival, neodvisne strokovnjake in organizacije civilne družbe. Evropski urad za umetno inteligenco (v nadaljnjem besedilu: Urad za UI) bi moral pripraviti predlogo vprašalnika, da bi olajšali skladnost in zmanjšali upravno breme za uvajalce.

(97)

Da bi omogočili pravno varnost, bi moral biti pojem modelov UI za splošne namene jasno opredeljen in ločen od pojma sistemov UI. Opredelitev bi morala temeljiti na ključnih funkcionalnih značilnostih modela UI za splošne namene, zlasti na splošnosti in sposobnosti opravljanja širokega nabora različnih nalog. Ti modeli se običajno učijo s pomočjo velikih količin podatkov z različnimi metodami, kot so samonadzorovano, nenadzorovano ali okrepljeno učenje. Modeli UI za splošne namene se lahko dajo na trg na različne načine, tudi prek knjižnic, vmesnikov za aplikacijsko programiranje (API), kot neposredni prenos ali kot fizična kopija. Ti modeli se lahko dodatno spremenijo ali prilagodijo novim modelom. Čeprav so modeli UI bistvene komponente sistemov UI, sami po sebi niso sistemi UI. Da bi modeli UI postali sistemi UI, jim je treba dodati dodatne komponente, kot je na primer uporabniški vmesnik. Modeli UI so običajno vključeni v sisteme UI in so njihov sestavni del. V tej uredbi so določena posebna pravila za modele UI za splošne namene in modele UI za splošne namene, ki predstavljajo sistemska tveganja, ki bi jih bilo treba uporabljati tudi, kadar so ti modeli vključeni v sistem UI ali tvorijo del sistema UI. Razumeti bi bilo treba, da bi bilo treba obveznosti ponudnikov modelov UI za splošne namene uporabljati, ko bodo ti modeli dani na trg. Če ponudnik modela UI za splošne namene vključi lastni model v svoj sistem UI, ki je dostopen na trgu ali je v uporabi, bi bilo treba šteti, da je ta model dan na trg, zato bi bilo treba še naprej uporabljati obveznosti iz te uredbe za modele, poleg tistih za sisteme UI. Obveznosti, ki so določene za modele, se v nobenem primeru ne bi smeli uporabljati, če se lastni model uporablja za izključno notranje postopke, ki niso bistveni za zagotavljanje proizvoda ali storitve tretjim osebam, in to ne vpliva na pravice fizičnih oseb. Glede na njihove morebitne znatne negativne učinke bi morale za modele UI za splošne namene s sistemskim tveganjem vedno veljati ustrezne obveznosti iz te uredbe. Opredelitev ne bi smela zajemati modelov UI, ki se uporabljajo pred dajanjem na trg izključno za namene raziskav, razvoja in izdelave prototipov. To ne posega v obveznost skladnosti s to uredbo, kadar se po takšnih dejavnostih model da na trg.

(98)

Medtem ko bi bilo mogoče splošnost modela med drugim določiti tudi s številnimi parametri, bi bilo treba šteti, da modeli z vsaj milijardo parametrov in naučeni z veliko količino podatkov, ki uporabljajo samonadzor v velikem obsegu, kažejo znatno splošnost in so sposobni kompetentno opravljati širok nabor različnih nalog.

(99)

Veliki generativni modeli UI so tipičen primer modela UI za splošne namene, saj omogočajo prilagodljivo ustvarjanje vsebin, kot so besedilo, zvočni zapisi, slike ali videoposnetki, ki se lahko zlahka prilagodijo širokemu spektru različnih nalog.

(100)

Kadar je model UI za splošne namene vključen v sistem UI ali je del sistema UI, bi bilo treba ta sistem šteti za sistem UI za splošne namene, če se lahko zaradi te vključitve ta sistem uporablja za različne namene. Sistem UI za splošne namene se lahko uporablja neposredno ali pa se lahko vključi v druge sisteme UI.

(101)

Ponudniki modelov UI za splošne namene imajo posebno vlogo in odgovornost vzdolž verige vrednosti UI, saj so lahko modeli, ki jih zagotavljajo, podlaga za vrsto sistemov nižje v verigi, ki jih pogosto zagotavljajo ponudniki nižje v verigi, ki potrebujejo dobro razumevanje modelov in njihovih zmogljivosti, da bi omogočili vključitev takih modelov v njihove proizvode in izpolnili svoje obveznosti iz te uredbe ali drugih predpisov. Zato bi bilo treba določiti sorazmerne ukrepe za preglednost, vključno s pripravo in posodabljanjem dokumentacije ter zagotavljanjem informacij o modelu UI za splošne namene, ki ga lahko uporabljajo ponudniki nižje v verigi. Ponudnik modela UI za splošne namene bi moral pripraviti in posodabljati tehnično dokumentacijo, da bi jo na zahtevo dal na voljo Uradu za UI in pristojnim nacionalnim organom. Minimalni sklop elementov, ki jih je treba vključiti v tako dokumentacijo, bi bilo treba določiti v posebnih prilogah k tej uredbi. Na Komisijo bi bilo treba prenesti pooblastilo za spreminjanje navedenih prilog z delegiranimi akti glede na hiter tehnološki razvoj.

(102)

Programska oprema in podatki, vključno z modeli, objavljenimi na podlagi proste in odprtokodne licence, ki omogoča njihovo prosto izmenjavo in če uporabniki lahko prosto dostopajo do njih ali njihovih spremenjenih različic, jih uporabljajo, spreminjajo in ponovno distribuirajo, lahko prispevajo k raziskavam in inovacijam na trgu ter gospodarstvu Unije zagotovijo znatne priložnosti za rast. Razmisliti bi bilo treba o modelih UI za splošne namene, objavljenih na podlagi prostih in odprtokodnih licenc, da bi zagotovili visoko raven preglednosti in odprtosti, če so njihovi parametri, vključno z utežmi, informacijami o arhitekturi modela in informacijami o uporabi modela, javno dostopni. Licenca bi morala šteti za prosto in odprtokodno, tudi kadar uporabnikom omogoča uporabo, kopiranje, distribucijo, preučevanje, spreminjanje in izboljševanje programske opreme in podatkov, vključno z modeli, pod pogojem, da se navede originalni ponudnik modela in da se upoštevajo enaki ali primerljivi pogoji distribucije.

(103)

Brezplačne in odprtokodne komponente UI zajemajo programsko opremo in podatke, vključno z modeli in modeli UI za splošne namene, orodji, storitvami ali procesi sistema UI. Brezplačne in odprtokodne komponente UI se lahko zagotovijo prek različnih kanalov, vključno z njihovim razvojem v odprtih odložiščih. Za namene te uredbe komponente UI, ki se zagotavljajo proti plačilu ali so kako drugače monetizirane, med drugim z zagotavljanjem tehnične podpore ali drugih storitev, tudi prek platforme programske opreme, povezane s komponento UI, ali z uporabo osebnih podatkov iz razlogov, ki niso izključno namenjeni izboljšanju varnosti, združljivosti ali interoperabilnosti programske opreme, z izjemo transakcij med mikropodjetji, ne bi smele biti upravičene do izjem, določenih za brezplačne in odprtokodne komponente UI. Dejstvo, da so komponente UI na voljo prek odprtih odložišč, samo po sebi ne bi smelo pomeniti monetizacije.

(104)

Za ponudnike modelov UI za splošne namene, ki se objavijo na podlagi proste in odprtokodne licence ter katerih parametri, vključno z utežmi, informacijami o arhitekturi modela in informacijami o uporabi modela, so javno dostopni, bi morale veljati izjeme v zvezi z zahtevami glede preglednosti, ki veljajo za modele UI za splošne namene, razen če lahko šteje, da predstavljajo sistemsko tveganje; v tem primeru okoliščina, da je model pregleden in ga spremlja odprtokodna licenca, ne bi smela šteti za zadosten razlog za izključitev izpolnjevanja obveznosti iz te uredbe. V vsakem primeru pa glede na to, da objava modelov UI za splošne namene v okviru proste in odprtokodne licence ne razkrije nujno bistvenih informacij o naboru podatkov, ki se uporablja za učenje ali izpopolnjevanje modela, in o tem, kako je bila s tem zagotovljena skladnost z avtorskim pravom, se izjema, določena za modele UI za splošne namene, od skladnosti z zahtevami, povezanimi s preglednostjo, ne bi smela nanašati na obveznost priprave povzetka vsebine, ki se uporablja za učenje modelov, in obveznost vzpostavitve politike za skladnost z avtorskim pravom Unije, zlasti za opredelitev in skladnost s pridržkom pravic na podlagi člena 4(3) Direktive (EU) 2019/790 Evropskega parlamenta in Sveta (40).

(105)

Modeli UI za splošne namene, zlasti veliki generativni modeli UI, ki lahko ustvarijo besedilo, slike in druge vsebine, predstavljajo edinstvene priložnosti za inovacije, pa tudi izzive za umetnike, avtorje in druge ustvarjalce ter njihov način ustvarjanja, razširjanja, uporabe in koriščenja njihovih ustvarjalnih vsebin. Za razvoj in učenje takih modelov je potreben dostop do velikih količin besedil, slik, videoposnetkov in drugih podatkov. Za pridobivanje in analizo takih vsebin, ki so lahko zaščitene z avtorskimi in sorodnimi pravicami, se lahko v tem kontekstu obsežno uporabljajo tehnike besedilnega in podatkovnega rudarjenja. Za vsako uporabo avtorsko zaščitenih vsebin je potrebno dovoljenje zadevnega imetnika pravic, razen če se uporabljajo ustrezne izjeme in omejitve avtorskih pravic. Z Direktivo (EU) 2019/790 so bile uvedene izjeme in omejitve, ki pod določenimi pogoji omogočajo reprodukcije in izvlečke del ali drugih zaščitenih predmetov za namene besedilnega in podatkovnega rudarjenja. Na podlagi teh pravil se lahko imetniki pravic odločijo, da bodo svoje pravice pridržali za svoja dela ali druge zaščitene predmete, da bi preprečili besedilno in podatkovno rudarjenje, razen če se to izvaja za namene znanstvenega raziskovanja. Kadar so pravice do izvzetja izrecno in na ustrezen način pridržane, morajo ponudniki modelov UI za splošne namene pridobiti dovoljenje imetnikov pravic, če želijo v zvezi s takimi deli izvajati besedilno in podatkovno rudarjenje.

(106)

Ponudniki, ki dajejo modele UI za splošne namene na trg Unije, bi morali zagotoviti skladnost z ustreznimi obveznostmi iz te uredbe. V ta namen bi morali ponudniki modelov UI za splošne namene vzpostaviti politiko za skladnost s pravom Unije o avtorskih in sorodnih pravicah, zlasti za opredelitev pridržka pravic, ki jih izrazijo imetniki pravic na podlagi člena 4(3) Direktive (EU) 2019/790, in skladnost z njim. Vsak ponudnik, ki daje model UI za splošne namene na trg Unije, bi moral to obveznost izpolnjevati ne glede na jurisdikcijo, v kateri se izvajajo dejanja, povezana z avtorskimi pravicami, na katerih temelji učenje teh modelov UI za splošno rabo. To je potrebno za zagotovitev enakih konkurenčnih pogojev med ponudniki modelov UI za splošne namene, pri čemer noben ponudnik ne bi smel imeti konkurenčne prednosti na trgu Unije z uporabo standardov avtorskih pravic, ki so nižji od standardov, določenih v Uniji.

(107)

Da bi izboljšali preglednost podatkov, ki se uporabljajo pri predhodnem učenju in učenju modelov UI za splošne namene, vključno z besedilom in podatki, zaščitenimi z avtorskim pravom, je ustrezno, da ponudniki takih modelov pripravijo in objavijo dovolj podroben povzetek vsebine, ki se uporablja za učenje modela UI za splošne namene. Upoštevajoč potrebo po varovanju poslovnih skrivnosti in zaupnih poslovnih informacij bi moral biti ta povzetek v svojem področju uporabe na splošno izčrpen in ne tehnično podroben, da bi strankam z zakonitimi interesi, vključno z imetniki avtorskih pravic, olajšali uveljavljanje in izvajanje njihovih pravic na podlagi prava Unije, na primer z navedbo glavnih zbirk podatkov ali naborov podatkov, ki so bili uporabljeni pri učenju, kot so velike zasebne ali javne podatkovne zbirke ali podatkovni arhivi, ter z opisno razlago drugih uporabljenih virov podatkov. Primerno je, da Urad za UI zagotovi predlogo za povzetek, ki bi moral biti preprost in učinkovit ter ponudniku omogočiti, da zagotovi zahtevani povzetek v opisni obliki.

(108)

Kar zadeva obveznosti ponudnikov modelov UI za splošne namene, da vzpostavijo politiko za skladnost z avtorskim pravom Unije in javno objavijo povzetek vsebine, uporabljene za učenje, bi moral Urad za UI spremljati, ali je ponudnik izpolnil te obveznosti brez preverjanja ali ocene učnih podatkov za vsak posamezen primer posebej z vidika njihove skladnosti z avtorskimi pravicami. Ta uredba ne vpliva na izvrševanje pravil o avtorskih pravicah, kot je določeno na podlagi prava Unije.

(109)

Izpolnjevanje obveznosti, ki veljajo za ponudnike modelov UI za splošne namene, bi moralo biti sorazmerno in primerno vrsti ponudnika modela, pri čemer bi bilo treba izključiti potrebo glede izpolnjevanja teh obveznosti za osebe, ki razvijajo ali uporabljajo modele za nepoklicne ali znanstvenoraziskovalne namene, vendar bi jih bilo treba kljub temu spodbujati k prostovoljnemu izpolnjevanju teh obveznosti. Brez poseganja v avtorsko pravo Unije bi bilo treba pri izpolnjevanju teh obveznosti ustrezno upoštevati velikost ponudnika in omogočiti poenostavljene načine izpolnjevanja obveznosti za MSP, vključno z zagonskimi podjetji, ki ne bi smeli predstavljati pretiranih stroškov in ne bi smeli odvračati od uporabe takih modelov. V primeru spremembe ali izpopolnjevanja modela bi morale biti obveznosti ponudnikov modelov UI za splošne namene omejene na to spremembo ali izpopolnitev, na primer z dopolnitvijo že obstoječe tehnične dokumentacije z informacijami o spremembah, vključno z novimi viri učnih podatkov, da bi izpolnili obveznosti glede verige vrednosti iz te uredbe.

(110)

Modeli UI za splošne namene bi lahko predstavljali sistemska tveganja, ki med drugim vključujejo vse dejanske ali razumno predvidljive negativne učinke v zvezi z večjimi nesrečami, motnjami v kritičnih sektorjih ter resnimi posledicami za javno zdravje in varnost, vse dejanske ali razumno predvidljive negativne učinke na demokratične procese ter javno in gospodarsko varnost ter razširjanje nezakonitih, lažnih ali diskriminatornih vsebin. Sistemska tveganja bi bilo treba razumeti tako, da se povečujejo z zmogljivostmi in dosegom modela, da se lahko pojavijo v celotnem življenjskem ciklu modela in da nanje vplivajo pogoji napačne uporabe, zanesljivost modela, pravičnost modela in varnost modela, stopnja avtonomije modela, njegov dostop do orodij, novi ali kombinirani načini, strategije objave in distribucije, možnost odstranitve varovalnih mehanizmov in drugi dejavniki. V mednarodnih pristopih je bilo do zdaj zlasti ugotovljeno, da je treba pozornost nameniti tveganjem, ki izhajajo iz morebitne namerne napačne uporabe ali nenamernih problemov pri nadzoru v zvezi z usklajevanjem s človeškim namenom; kemičnim, biološkim, radiološkim in jedrskim tveganjem, kot so načini, kako zmanjšati vstopne ovire, vključno z razvojem orožja, nabavo njegove zasnove ali njegove uporabo; ofenzivnim kibernetskim zmogljivostim, kot so načini, ki omogočajo odkrivanje, izkoriščanje ali operativno uporabo šibkih točk; učinkom interakcije in uporabe orodij, vključno na primer z zmogljivostjo za nadzor fizičnih sistemov in motenj v kritični infrastrukturi; tveganjem, povezanimi z modeli, ki izdelujejo kopije ali se „samoreplicirajo“ ali učijo druge modele; načinom, kako lahko modeli povzročijo škodljivo pristranskost in diskriminacijo, ker ustvarjajo tveganja za posameznike, skupnosti ali družbe; omogočanju dezinformacij ali ogrožanju zasebnosti z grožnjami demokratičnim vrednotam in človekovim pravicam; tveganju, da bi določen dogodek lahko povzročil verižno reakcijo z znatnimi negativnimi učinki, ki bi lahko vplivali na celo mesto, celotno domeno dejavnosti ali celotno skupnost.

(111)

Treba bi bilo določiti metodologijo za razvrstitev modelov UI za splošne namene kot modelov UI za splošne namene s sistemskimi tveganji. Ker sistemska tveganja izhajajo iz posebno visokih zmogljivosti, bi bilo treba za model UI za splošne namene šteti, da predstavlja sistemska tveganja, če ima zmogljivosti z visoko učinkovitostjo, ocenjene na podlagi ustreznih tehničnih orodij in metodologij, ali znaten vpliv na notranji trg zaradi svojega dosega. Zmogljivosti z visoko učinkovitostjo v modelih UI za splošne namene pomenijo zmogljivosti, ki so enake zmogljivostim, zabeleženim v najbolj naprednih modelih UI za splošne namene, ali jih presegajo. Celoten nabor zmogljivosti modela bi bilo mogoče bolje razumeti po tem, ko se da na trg ali ko so uvajalci v interakciji z modelom. V skladu z najsodobnejšimi tehnološkimi dosežki v času začetka veljavnosti te uredbe je kumulativni znesek izračuna, ki se uporablja za učenje modela UI za splošne namene, merjen z operacijami s plavajočo vejico, eden od ustreznih približkov za zmogljivosti modela. Kumulativni znesek izračuna, ki se uporablja za učenje, vključuje izračun, ki se uporablja za dejavnosti in metode, namenjene povečanju zmogljivosti modela pred uvedbo, kot so predhodno učenje, sintetično ustvarjanje podatkov in izpopolnjevanje. Zato bi bilo treba določiti začetni prag operacij s plavajočo vejico, ki, če ga doseže model UI za splošne namene, privede do domneve, da model šteje za model UI za splošne namene s sistemskimi tveganji. Ta prag bi bilo treba sčasoma prilagoditi, da bi odražal tehnološke in industrijske spremembe, kot so algoritemske izboljšave ali večja učinkovitost strojne opreme, dopolniti pa bi ga bilo treba z referenčnimi vrednostmi in kazalniki za zmogljivost modela. Za to bi moral Urad za UI sodelovati z znanstveno skupnostjo, industrijo, civilno družbo in drugimi strokovnjaki. Pragovi ter orodja in merila za ocenjevanje zmogljivosti z visoko učinkovitostjo bi morali v veliki meri predvideti splošno naravo, zmogljivosti in povezano sistemsko tveganje modelov UI za splošne namene ter bi lahko upoštevali način dajanja modela na trg ali število uporabnikov, na katere bi lahko vplival. Za dopolnitev tega sistema bi morala Komisija imeti možnost, da sprejme posamezne odločitve, s katerimi model UI za splošne namene določi kot model UI za splošne namene s sistemskim tveganjem, če se ugotovi, da ima tak model zmogljivosti ali učinek, enakovreden tistim, zajetim z določenim pragom. To odločitev bi bilo treba sprejeti na podlagi splošne ocene meril za določitev modela UI za splošne namene s sistemskim tveganjem iz ene od prilog k tej uredbi, kot so kakovost ali velikost nabora učnih podatkov, število poslovnih in končnih uporabnikov, načini njihovega vnosa in izhoda, stopnja avtonomije in nadgradljivosti ali orodja, do katerih ima dostop. Komisija bi morala na obrazloženo zahtevo ponudnika, katerega model je bil označen za model UI za splošne namene s sistemskim tveganjem, upoštevati zahtevo in se lahko odloči, da ponovno oceni, ali lahko za model UI za splošne namene še vedno šteje, da predstavlja sistemska tveganja.

(112)

Pojasniti je treba tudi postopek za razvrstitev modela UI za splošne namene s sistemskimi tveganji. Za model UI za splošne namene, ki izpolnjuje veljavni prag za zmogljivosti z visoko učinkovitostjo, bi bilo treba domnevati, da je splošni model UI s sistemskim tveganjem. Ponudnik bi moral Urad za UI obvestiti najpozneje dva tedna po tem, ko so zahteve izpolnjene ali ko je znano, da bo model UI za splošne namene izpolnjeval zahteve, ki vodijo do te domneve. To je zlasti pomembno v zvezi s pragom operacij s plavajočo vejico, saj je pri učenju modelov UI za splošne namene potrebno precejšnje načrtovanje, ki vključuje vnaprejšnjo dodelitev računalniških virov, zato lahko ponudniki modelov UI za splošne namene vedo, ali bi njihov model dosegel prag pred zaključkom učenja. V okviru tega obvestila bi moral biti ponudnik sposoben dokazati, da model UI za splošne namene zaradi svojih posebnih značilnosti izjemoma ne predstavlja sistemskih tveganj in ga zato ne bi smeli razvrstiti kot model UI za splošne namene s sistemskimi tveganji. Te informacije so dragocene za Urad za UI pri predvidevanju dajanja modelov UI za splošne namene s sistemskimi tveganji na trg, ponudniki pa lahko začnejo zgodaj sodelovati z Uradom za UI. Te informacije so zlasti pomembne v zvezi z modeli UI za splošne namene, za katere se načrtuje, da bodo objavljeni kot odprtokodni, saj bo po objavi odprtokodnega modela morda težje izvajati potrebne ukrepe za zagotovitev skladnosti z obveznostmi iz te uredbe.

(113)

Če Komisija ugotovi, da model UI za splošne namene izpolnjuje zahteve za razvrstitev kot model UI za splošne namene s sistemskim tveganjem, ki pred tem ni bil znan ali o njem zadevni ponudnik ni obvestil Komisije, bi morala biti Komisija pooblaščena, da ga tako označi. Sistem kvalificiranih opozoril bi moral zagotavljati, da znanstveni odbor obvešča Urad za UI o modelih UI za splošne namene, ki bi jih morebiti bilo treba razvrstiti kot modele UI za splošne namene s sistemskim tveganjem, ter da ima Urad pregled nad lastnimi dejavnostmi spremljanja.

(114)

Za ponudnike modelov UI za splošne namene s sistemskimi tveganji bi morale poleg obveznosti, ki veljajo za ponudnike modelov UI za splošne namene, veljati tudi obveznosti, namenjene prepoznavanju in zmanjšanju teh tveganj ter zagotavljanju ustrezne ravni kibernetske varnosti, ne glede na to, ali se zagotavljajo kot samostojni modeli ali so vgrajeni v sistem UI ali proizvod. Za doseganje teh ciljev bi morala ta uredba od ponudnikov zahtevati, da izvedejo potrebne ocene modelov, zlasti pred prvim dajanjem na trg, vključno z izvajanjem in dokumentiranjem testiranja modelov po načelu kontradiktornosti, po potrebi tudi z notranjim ali neodvisnim zunanjim testiranjem. Poleg tega bi morali ponudniki modelov UI za splošne namene s sistemskimi tveganji redno ocenjevati in zmanjševati sistemska tveganja, med drugim na primer z uvedbo politik za obvladovanje tveganj, kot so postopki za zagotavljanje odgovornosti in upravljanja, spremljanjem po dajanju na trg, sprejetjem ustreznih ukrepov v celotnem življenjskem ciklu modela in sodelovanjem z ustreznimi akterji v celotni verigi vrednosti UI.

(115)

Ponudniki modelov UI za splošne namene s sistemskimi tveganji bi morali oceniti in zmanjšati morebitna sistemska tveganja. Če razvoj ali uporaba modela kljub prizadevanjem za prepoznavanje in preprečevanje tveganj, povezanih z modelom UI za splošne namene, ki lahko predstavlja sistemska tveganja, povzroči resen incident, bi ga moral ponudnik modela UI za splošne namene brez nepotrebnega odlašanja spremljati ter Komisiji in pristojnim nacionalnim organom poročati o vseh ustreznih informacijah in možnih popravnih ukrepih. Poleg tega bi morali ponudniki po potrebi zagotoviti ustrezno raven kibernetske varnosti modela in njegove fizične infrastrukture v celotnem življenjskem ciklu modela. Pri kibernetski varnosti zaradi sistemskih tveganj, povezanih z zlonamerno uporabo ali napadi, bi bilo treba ustrezno upoštevati naključno uhajanje iz modelov, nedovoljene različice, izogibanje varnostnim ukrepom in obrambo pred kibernetskimi napadi, nepooblaščenim dostopom ali krajo modela. Tovrstno varnost bi bilo mogoče olajšati z zaščito uteži modelov, algoritmov, strežnikov in naborov podatkov, na primer z operativnimi varnostnimi ukrepi za informacijsko varnost, posebnimi politikami na področju kibernetske varnosti, ustreznimi tehničnimi in uveljavljenimi rešitvami ter kibernetskim in fizičnim nadzorom dostopa, ki bi bili prilagojeni zadevnim okoliščinam in povezanim tveganjem.

(116)

Urad za UI bi moral spodbujati in olajšati pripravo, pregled in prilagoditev kodeksov prakse in pri tem upoštevati mednarodne pristope. K sodelovanju bi lahko bili povabljeni vsi ponudniki modelov UI za splošne namene. Za zagotovitev, da se v kodeksih prakse odrazijo najsodobnejši tehnološki dosežki in ustrezno upoštevajo različni vidiki, bi moral Urad za UI pri pripravi teh kodeksov sodelovati z ustreznimi pristojnimi nacionalnimi organi, po potrebi pa bi se lahko posvetoval z organizacijami civilne družbe ter drugimi ustreznimi deležniki in strokovnjaki, vključno z znanstvenim odborom. V teh kodeksih prakse bi morale biti določene obveznosti za ponudnike modelov UI za splošne namene in modelov UI za splošne namene s sistemskimi tveganji. Kar zadeva sistemska tveganja, bi morali kodeksi prakse poleg tega prispevati k vzpostavitvi taksonomije tveganja za vrsto in naravo sistemskih tveganj na ravni Unije, vključno z njihovimi viri. Kodeksi prakse bi morali biti osredotočeni tudi na specifične ocene tveganja in ukrepe za zmanjšanje tveganj.

(117)

Kodeksi prakse bi morali biti osrednje orodje za pravilno izpolnjevanje obveznosti za ponudnike modelov UI za splošne namene, ki so določene v tej uredbi. Ponudniki bi morali imeti možnost, da se pri dokazovanju izpolnjevanja obveznosti oprejo na kodekse prakse. Komisija se lahko odloči, da z izvedbenimi akti odobri kodeks prakse in mu podeli splošno veljavnost v Uniji oziroma, kot nadomestno možnost, določi skupna pravila za izvajanje ustreznih obveznosti, če kodeksa prakse do začetka uporabe te uredbe ni mogoče dokončati ali če ga Urad za UI ne šteje za ustreznega. Ko je harmonizirani standard objavljen in ko ga Urad za UI oceni kot primernega za izpolnjevanje ustreznih obveznosti, bi morala za ponudnike veljati domneva o skladnosti, kadar ti izpolnjujejo evropski harmonizirani standard. Ponudniki modelov UI za splošne namene bi morali biti poleg tega sposobni z nadomestnimi ustreznimi sredstvi dokazati skladnost, če kodeksi prakse ali harmonizirani standardi niso na voljo ali če se odločijo, da se nanje ne bodo zanašali.

(118)

Ta uredba ureja sisteme UI in modele UI, saj za zadevne udeležence na trgu, ki te sisteme in modele dajejo na trg, v uporabo ali jih uporabljajo v Uniji, določa nekatere zahteve in obveznosti, s tem pa dopolnjuje obveznosti za ponudnike posredniških storitev, ki take sisteme ali modele vgrajujejo v svoje storitve, ki jih ureja Uredba (EU) 2022/2065. Kolikor so taki sistemi ali modeli vgrajeni v zelo velike spletne platforme ali zelo velike spletne iskalnike, zanje velja okvir za obvladovanje tveganj iz Uredbe (EU) 2022/2065. Zato bi bilo treba domnevati, da so ustrezne obveznosti iz te uredbe izpolnjene, razen če se v takih modelih pojavijo in prepoznajo pomembna sistemska tveganja, ki niso zajeta v Uredbi (EU) 2022/2065. V tem okviru morajo ponudniki zelo velikih spletnih platform in zelo velikih spletnih iskalnikov oceniti morebitna sistemska tveganja, ki izhajajo iz zasnove, delovanja in uporabe njihovih storitev, vključno s tem, kako zasnova algoritemskih sistemov, ki se uporabljajo v storitvi, lahko prispeva k takim tveganjem, pa tudi sistemska tveganja, ki izhajajo iz morebitne napačne uporabe. Ti ponudniki morajo ob spoštovanju temeljnih pravic sprejeti tudi ustrezne ukrepe za zmanjšanje tveganj.

(119)

Glede na hiter tempo inovacij in tehnološkega razvoja digitalnih storitev, ki spadajo na področje uporabe različnih instrumentov prava Unije, zlasti glede na uporabo in dojemanje oseb, ki so jim namenjeni, se lahko sistemi UI, za katere se uporablja ta uredba, zagotavljajo kot posredniške storitve ali kot deli posredniških storitev v smislu Uredbe (EU) 2022/2065, ki bi jo bilo treba razlagati na tehnološko nevtralen način. Sistemi UI se lahko na primer uporabljajo za zagotavljanje spletnih iskalnikov, zlasti če sistem UI, kot je spletni klepetalni robot, načeloma izvaja poizvedbe na vseh spletiščih, nato pa rezultate vključi v svoje obstoječe znanje in posodobljeno znanje uporabi za ustvarjanje enega samega izhodnega podatka, v katerem so združeni različni viri informacij.

(120)

Poleg tega so obveznosti za ponudnike in uvajalce nekaterih sistemov UI iz te uredbe, ki omogočajo odkrivanje in razkrivanje dejstva, da so izhodni podatki teh sistemov umetno ustvarjeni ali prirejeni, še zlasti pomembne zato, da se olajša učinkovito izvajanje Uredbe (EU) 2022/2065. To velja zlasti za obveznosti za ponudnike zelo velikih spletnih platform ali zelo velikih spletnih iskalnikov, da prepoznajo in zmanjšajo sistemska tveganja, ki lahko izhajajo iz razširjanja umetno ustvarjenih ali prirejenih vsebin, zlasti tveganje dejanskih ali predvidljivih negativnih učinkov na demokratične procese, državljansko razpravo in volilne procese, tudi z dezinformacijami.

(121)

Standardizacija bi morala imeti ključno vlogo pri zagotavljanju tehničnih rešitev ponudnikom, da se zagotovi skladnost s to uredbo, ob upoštevanju najsodobnejših tehnoloških dosežkov, ter pri spodbujanju inovacij, konkurenčnosti in rasti na enotnem trgu. Skladnost s harmoniziranimi standardi, kot so opredeljeni v členu 2, točka 1(c), Uredbe (EU) št. 1025/2012 Evropskega parlamenta in Sveta (41) in od katerih se običajno pričakuje, da odražajo najsodobnejše tehnološke dosežke, bi morala predstavljati sredstvo, s katerim ponudniki dokažejo skladnost z zahtevami iz te uredbe. Zato bi bilo treba spodbujati uravnoteženo zastopanost interesov z vključitvijo vseh ustreznih deležnikov v razvoj standardov, zlasti MSP, potrošniških organizacij ter okoljskih in socialnih deležnikov v skladu s členoma 5 in 6 Uredbe (EU) št. 1025/2012. Da bi lažje dosegli skladnost, bi morala Komisija brez nepotrebnega odlašanja izdati zahteve za standardizacijo. Pri pripravi zahteve za standardizacijo se Komisija posvetuje s svetovalnim forumom in Odborom, da zbere ustrezno strokovno znanje. Ker pa ustrezni sklici na harmonizirane standarde še ne obstajajo, bi morala imeti Komisija možnost, da z izvedbenimi akti in po posvetovanju s svetovalnim forumom določi skupne specifikacije za nekatere zahteve iz te uredbe. Skupna specifikacija bi morala biti izjemna nadomestna rešitev, da se ponudniku olajša izpolnjevanje obveznosti glede skladnosti z zahtevami iz te uredbe, kadar nobena od evropskih organizacij za standardizacijo ne sprejme zahteve za standardizacijo ali kadar ustrezni harmonizirani standardi nezadostno obravnavajo pomisleke glede temeljnih pravic ali kadar harmonizirani standardi niso skladni z zahtevo ali kadar pride do zamud pri sprejetju ustreznega harmoniziranega standarda. Kadar je vzrok za takšno zamudo pri sprejetju harmoniziranega standarda tehnična kompleksnost zadevnega standarda, bi morala Komisija to upoštevati preden se odloči za določitev skupnih specifikacij. Komisija naj pri pripravi skupnih specifikacij sodeluje z mednarodnimi partnerji in mednarodnimi organi za standardizacijo.

(122)

Brez poseganja v uporabo harmoniziranih standardov in skupnih specifikacij je primerno, da se za ponudnike visokotveganega sistema UI, ki je bil naučen in testiran na podlagi podatkov, ki odražajo specifično geografsko, vedenjsko, vsebinsko ali funkcionalno okolje, v katerem naj bi se ta sistem uporabljal, domneva, da delujejo skladno z ustreznim ukrepom, določenim na podlagi zahteve glede upravljanja podatkov iz te uredbe. Brez poseganja v zahteve glede robustnosti in točnosti iz te uredbe bi bilo treba v skladu s členom 54(3) Uredbe (EU) 2019/881 domnevati, da so visokotvegani sistemi UI, ki so bili certificirani ali za katere je bila izdana izjava o skladnosti v okviru sheme za kibernetsko varnost na podlagi navedene uredbe, ob tem pa so bili sklici na zadevno shemo objavljeni v Uradnem listu Evropske unije, skladni z zahtevo glede kibernetske varnosti iz te uredbe, če certifikat kibernetske varnosti ali izjava o skladnosti ali njen del vključuje zahtevo glede kibernetske varnosti iz te uredbe. To ne posega v prostovoljno naravo navedene sheme za kibernetsko varnost.

(123)

Da bi zagotovili visoko raven zaupanja v visokotvegane sisteme UI, bi bilo treba za te sisteme pred dajanjem na trg ali v uporabo opraviti ugotavljanje skladnosti.

(124)

Da bi čim bolj zmanjšali breme za operaterje in se izognili morebitnemu podvajanju, je primerno, da bi skladnost visokotveganih sistemov UI, povezanih s proizvodi, za katere velja obstoječa harmonizacijska zakonodaja Unije, ki temelji na novem zakonodajnem okviru, z zahtevami te uredbe ocenili v okviru ugotavljanja skladnosti, kot je že določeno navedena zakonodaja. Uporaba zahtev iz te uredbe torej ne bi smela vplivati na posebno logiko, metodologijo ali splošno strukturo ugotavljanja skladnosti na podlagi ustrezne harmonizacijske zakonodaje Unije.

(125)

Zaradi kompleksnosti visokotveganih sistemov UI in z njimi povezanih tveganj je pomembno razviti ustrezen postopek ugotavljanja skladnosti visokotveganih sistemov UI, ki vključuje priglašene organe, tako imenovano ugotavljanje skladnosti s strani tretjih oseb. Glede na sedanje izkušnje poklicnih izdajateljev potrdil pred dajanjem na trg na področju varnosti proizvodov in glede na različno naravo zadevnih tveganj, pa je primerno, da se vsaj v začetni fazi uporabe te uredbe omeji področje uporabe ugotavljanja skladnosti s strani tretjih oseb na visokotvegane sisteme UI, ki niso povezani s proizvodi. Zato bi moral ugotavljanje skladnosti takih sistemov praviloma opraviti ponudnik na lastno odgovornost, z edino izjemo sistemov UI, namenjenih uporabi za biometriko.

(126)

Za izvedbo ugotavljanja skladnosti s strani tretjih oseb, kadar je potrebno, bi morali pristojni nacionalni organi na podlagi te uredbe priglasiti priglašene organe, pod pogojem, da izpolnjujejo vrsto zahtev, zlasti glede neodvisnosti, kompetenc, neobstoja navzkrižja interesov, pa tudi zahtev glede kibernetske varnosti. Pristojni nacionalni organi bi morali priglasitev teh organov poslati Komisiji in drugim državam članicam prek elektronskega orodja za priglasitev, ki ga razvije in upravlja Komisija na podlagi člena R23 Priloge I k Sklepu št. 768/2008/ES.

(127)

V skladu z zavezami Unije iz Sporazuma Svetovne trgovinske organizacije o tehničnih ovirah v trgovini je ustrezno olajšati vzajemno priznavanje rezultatov ugotavljanja skladnosti, ki jih pridobijo pristojni organi za ugotavljanje skladnosti ne glede na to, kje imajo sedež, pod pogojem, da navedeni organi za ugotavljanje skladnosti, ustanovljeni na podlagi prava tretje države, izpolnjujejo veljavne zahteve iz te uredbe in če je Unija v ta namen sklenila sporazum. V zvezi s tem bi morala Komisija v ta namen dejavno preučiti morebitne mednarodne instrumente in si zlasti prizadevati za sklenitev sporazumov s tretjimi državami o vzajemnem priznavanju.

(128)

V skladu s skupno uveljavljenim pojmom bistvene spremembe za proizvode, ki jih ureja harmonizacijska zakonodaja Unije, je primerno, da ob vsaki spremembi, ki bi lahko vplivala na skladnost visokotveganega sistema UI s to uredbo (npr. spremembi arhitekture operacijskega sistema ali programske opreme), ali kadar se spremeni predvideni namen sistema, ta sistem UI šteje za nov sistem UI, za katerega bi bilo treba opraviti novo ugotavljanje skladnosti. Vendar spremembe algoritma in zmogljivosti sistemov UI, ki se po tem, ko so dani na trg ali v uporabo, še naprej „učijo“, tj. samodejno prilagajajo način izvajanja funkcij, ne bi smele pomeniti bistvene spremembe, če jih je ponudnik določil vnaprej in ocenil v okviru ugotavljanja skladnosti.

(129)

Visokotvegani sistemi UI bi morali imeti oznako CE, ki označuje njihovo skladnost s to uredbo, da se lahko prosto gibljejo na notranjem trgu. Visokotvegani sistemi UI, ki so vgrajeni v proizvod, bi morali biti označeni s fizično oznako CE, ki jo lahko dopolnjuje digitalna oznaka CE. Za visokotvegane sisteme UI, ki se zagotavljajo samo digitalno, bi bilo treba uporabljati digitalno oznako CE. Države članice ne bi smele neupravičeno ovirati dajanja na trg ali v uporabo visokotveganih sistemov UI, ki izpolnjujejo zahteve iz te uredbe in nosijo oznako CE.

(130)

V določenih okoliščinah je lahko hitra razpoložljivost inovativnih tehnologij ključnega pomena za zdravje in varnost ljudi, varstvo okolja in podnebne spremembe ter za družbo kot celoto. Zato je primerno, da bi iz izjemnih razlogov javne varnosti ali varstva življenja in zdravja fizičnih oseb, varstva okolja ter zaščite ključne industrijskih in infrastrukturnih sredstev organi za nadzor trga lahko dovolili dajanje na trg ali v uporabo sistemov UI, za katere ugotavljanje skladnosti ni bilo opravljeno. V ustrezno utemeljenih primerih, kot je določeno v tej uredbi, lahko organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ali organi civilne zaščite dajo določen visokotvegani sistem UI v uporabo brez dovoljenja organa za nadzor trga, če se za tako dovoljenje brez nepotrebnega odlašanja zaprosi med uporabo ali po njej.

(131)

Da bi olajšali delo Komisije in držav članic na področju UI ter povečanje preglednosti za javnost, bi bilo treba od ponudnikov visokotveganih sistemov UI, razen tistih, povezanih s proizvodi, ki spadajo na področje uporabe ustrezne obstoječe harmonizacijske zakonodaje Unije, ter ponudnikov, ki menijo, da sistem UI s seznama visokotveganih primerov uporabe iz priloge k tej uredbi, ni visokotvegan na podlagi odstopanja, zahtevati, da se registrirajo v podatkovni zbirki EU, ki jo vzpostavi in upravlja Komisija, in da v tej zbirki beležijo tudi informacije o svojih sistemih UI. Pred uporabo sistema UI s seznama visokotveganih primerov uporabe iz priloge k tej uredbi bi se morali uvajalci visokotveganih sistemov UI, ki so javni organi, agencije ali telesa, registrirati v taki zbirki in izbrati sistem, ki ga nameravajo uporabljati. Drugi uvajalci bi morali imeti pravico do prostovoljne registracije. Ta del podatkovne zbirke EU bi moral biti javno dostopen in brezplačen, informacije pa bi morale biti zlahka dostopne, razumljive in strojno berljive. Podatkovna zbirka EU bi prav tako morala biti prilagojena uporabnikom, na primer z zagotavljanjem funkcije iskanja, tudi s ključnimi besedami, da bi širša javnost lahko našla ustrezne informacije, ki se predložijo ob registraciji visokotveganih sistemov UI in o primeru uporabe visokotveganih sistemov UI iz priloge k tej uredbi za zadevne visokotvegane sisteme UI. V podatkovni zbirki EU bi bilo treba registrirati tudi bistvene spremembe visokotveganih sistemov UI. Za visokotvegane sisteme UI na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, migracij, azila in upravljanja nadzora meja bi bilo treba obveznosti registracije izpolniti v varnem, nejavnem delu podatkovne zbirke EU. Dostop do varnega dela, ki ni dostopen javnosti, bi moral biti strogo omejen na Komisijo in organe za nadzor trga, kar zadeva njihov nacionalni del te podatkovne zbirke. Visokotvegani sistemi UI na področju kritične infrastrukture bi morali biti registrirani le na nacionalni ravni. Komisija bi morala biti upravljavec podatkovne zbirke EU v skladu z Uredbo (EU) 2018/1725. Za zagotovitev polne funkcionalnosti podatkovne zbirke ob njeni uvedbi bi moral postopek za njeno vzpostavitev vključevati razvoj funkcionalnih specifikacij s strani Komisije in neodvisno revizijsko poročilo. Komisija bi morala pri opravljanju nalog upravljavca podatkov v podatkovni zbirki EU upoštevati tveganja, povezana s kibernetsko varnostjo. Podatkovna zbirka EU, vključno z informacijami, ki so prek nje na voljo, bi morala izpolnjevati zahteve iz Direktive (EU) 2019/882, da bi bila javnosti čim bolj dostopna in uporabna.

(132)

Nekateri sistemi UI, namenjeni stikom s fizičnimi osebami ali ustvarjanju vsebine, lahko predstavljajo posebna tveganja izdajanja za drugo osebo ali zavajanja, ne glede na to, ali se uvrščajo med sisteme visokega tveganja ali ne. V določenih okoliščinah bi zato za uporabo teh sistemov morale veljati posebne obveznosti glede preglednosti, brez poseganja v zahteve in obveznosti za visokotvegane sisteme UI, in ciljne izjeme, da bi upoštevali posebne potrebe na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Zlasti bi bilo treba fizične osebe obvestiti, da so v interakciji s sistemom UI, razen če je to očitno z vidika fizične osebe, ki je razmeroma dobro obveščena, pozorna in preudarna, ob upoštevanju okoliščin in okvira uporabe. Pri izvajanju te obveznosti bi bilo treba upoštevati značilnosti fizičnih oseb, ki zaradi svoje starosti ali invalidnosti pripadajo ranljivim skupinam, kolikor je namen sistema UI tudi interakcija s temi skupinami. Poleg tega bi bilo treba fizične osebe obvestiti, kadar so izpostavljene sistemom UI, ki lahko z obdelavo njihovih biometričnih podatkov prepoznajo čustva ali namere teh oseb ali sklepajo o njih oziroma te osebe razvrstijo v posebne kategorije. Tovrstne posebne kategorije se lahko nanašajo na značilnosti, kot so spol, starost, barva las, barva oči, tetovaže, osebne lastnosti, etnično poreklo, osebne želje in interesi. Take informacije in obvestila bi bilo treba zagotoviti v invalidom dostopnih oblikah.

(133)

Različni sistemi UI lahko ustvarijo velike količine sintetičnih vsebin, ki jih ljudje vse težje razlikujejo od vsebin, ki jih ustvari človek, in verodostojnih vsebin. Široka razpoložljivost in večje zmogljivosti teh sistemov pomembno vplivajo na integriteto informacijskega ekosistema in zaupanje vanj, saj se pojavljajo nova tveganja dezinformacij in obsežnega prirejanja, goljufij, izdajanja za drugo osebo in zavajanja potrošnikov. Glede na navedene vplive, hiter tempo tehnološkega razvoja ter potrebo po novih metodah in tehnikah za sledenje izvoru informacij je primerno od ponudnikov navedenih sistemov zahtevati, da vključijo tehnične rešitve, ki v strojno berljivi obliki omogočajo označevanje in zaznavanje, da je izhodne podatke ustvaril ali priredil sistem UI in ne človek. Take tehnike in metode bi morale biti dovolj zanesljive, interoperabilne, učinkovite in robustne, kolikor je to tehnično izvedljivo, ob upoštevanju razpoložljivih tehnik ali kombinacije takih tehnik, kot so vodni žigi, prepoznavanje metapodatkov, kriptografske metode za dokazovanje izvora in pristnosti vsebine, metode beleženja, prstni odtisi ali druge tehnike, kot je ustrezno. Ponudniki bi morali pri izvajanju te obveznosti upoštevati tudi posebnosti in omejitve različnih vrst vsebin ter zadevni tehnološki in tržni razvoj na tem področju, pokazatelj katerega so splošno priznani najsodobnejši tehnološki dosežki. Takšne tehnike in metode se lahko izvajajo na ravni sistema UI ali na ravni modela UI, vključno z modeli UI za splošne namene, ki ustvarjajo vsebino, da se ponudniku sistema UI nižje v verigi omogoči lažje izpolnjevanje te obveznosti. Da bi ta obveznost označevanja ostala sorazmerna, je primerno predvideti, da ne bi smela zajemati sistemov UI, ki zagotavljajo predvsem podporno funkcijo za standardno urejanje, ali sistemov UI, ki ne spreminjajo bistveno vhodnih podatkov, ki jih zagotovi uvajalec, ali njihove semantike.

(134)

Poleg tehničnih rešitev, ki jih uporabljajo ponudniki sistema UI, bi morali uvajalci, ki sistem UI uporabljajo za ustvarjanje ali prirejanje slikovnih, zvočnih ali video vsebin, ki v znatni meri spominjajo na obstoječe osebe, predmete, mesta ali dogodke in bi se osebi zmotno zdele verodostojne ali resnične (globoki ponaredki), na jasen in razpoznaven način tudi razkriti, da je bila vsebina umetno ustvarjena ali prirejena, tako da ustrezno označijo izhodne podatke UI in razkrijejo njihov umetni izvor. Skladnost s to obveznostjo glede preglednosti se ne bi smela razlagati tako, da pomeni, da uporaba sistema UI ali njegovih izhodnih podatkov ovira pravico do svobode izražanja ter pravico do svobode umetnosti in znanosti, ki ju zagotavlja Listina, zlasti kadar je vsebina del očitno ustvarjalnega, satiričnega, umetniškega, izmišljenega ali podobnega dela ali programa, ob upoštevanju ustreznih zaščitnih ukrepov za pravice in svoboščine tretjih oseb. V teh primerih je obveznost glede preglednosti za globoke ponaredke iz te uredbe omejena na to, da se obstoj tako ustvarjenih ali prirejenih vsebin ustrezno razkrije na način, ki ne ovira prikazovanja dela ali uživanja v njem, vključno z njegovo običajno eksploatacijo in uporabo, ob ohranjanju uporabnosti in kakovosti dela. Primerno je tudi predvideti podobno obveznost razkritja v zvezi z besedilom, ustvarjenim ali prirejenim z UI, če je objavljeno z namenom obveščanja javnosti o zadevah javnega interesa, razen če je vsebino, ustvarjeno z UI, pregledal človek ali urednik, ob tem pa fizična ali pravna oseba nosi uredniško odgovornost za objavo vsebine.

(135)

Komisija lahko brez poseganja v obvezno naravo in polno uporabo obveznosti glede preglednosti prav tako spodbuja in olajšuje pripravo kodeksov prakse na ravni Unije, da se olajša učinkovito izvajanje obveznosti v zvezi z odkrivanjem in označevanjem umetno ustvarjenih ali prirejenih vsebin, po potrebi vključno s podporo praktičnim ureditvam za omogočanje dostopa do mehanizmov odkrivanja, in olajšanje sodelovanja z drugimi akterji vzdolž verige vrednosti, razširjanje vsebine ali preverjanje njene pristnosti in izvora, da se javnosti omogoči učinkovito razlikovanje vsebin, ustvarjenih z UI.

(136)

Obveznosti za ponudnike in uvajalce nekaterih sistemov UI iz te uredbe, da omogočijo odkrivanje in razkrivanje dejstva, da so izhodni podatki teh sistemov umetno ustvarjeni ali prirejeni, so še zlasti pomembne, da se olajša učinkovito izvajanje Uredbe (EU) 2022/2065. To velja zlasti za obveznosti za ponudnike zelo velikih spletnih platform ali zelo velikih spletnih iskalnikov, da prepoznajo in zmanjšajo sistemska tveganja, ki lahko izhajajo iz razširjanja umetno ustvarjenih ali prirejenih vsebin, zlasti tveganje dejanskih ali predvidljivih negativnih učinkov na demokratične procese, državljansko razpravo in volilne procese, tudi z dezinformacijami. Zahteva za označevanje s sistemi UI ustvarjenih vsebin na podlagi te uredbe ne posega v obveznost iz člena 16(6) Uredbe (EU) 2022/2065, da ponudniki storitev gostovanja obravnavajo prijave nezakonitih vsebin, prejete na podlagi člena 16(1) navedene uredbe, ter ne bi smela vplivati na oceno in odločitev o nezakonitosti določene vsebine. To oceno bi bilo treba opraviti izključno ob upoštevanju pravil, ki urejajo zakonitost vsebine.

(137)

Skladnosti z navedenimi obveznostmi glede preglednosti za sisteme UI iz te uredbe ne bi smeli razlagati tako, da pomeni, da je uporaba sistema UI ali njegovih izhodnih podatkov zakonita na podlagi te uredbe ali drugega prava Unije in prava držav članic, ter ne bi smela posegati v druge obveznosti uvajalcev sistemov UI glede preglednosti, določene v pravu Unije ali nacionalnem pravu.

(138)

UI je hitro razvijajoča se skupina tehnologij, ki zahteva regulativni nadzor ter varen in nadzorovan prostor za eksperimentiranje, ob zagotavljanju odgovornih inovacij ter vključevanja ustreznih zaščitnih ukrepov in ukrepov za zmanjšanje tveganj. Da bi zagotovili pravni okvir, ki spodbuja inovacije ter je primeren za prihodnost in odporen na motnje, bi morale države članice zagotoviti, da njihovi nacionalni pristojni organi na nacionalni ravni vzpostavijo vsaj en regulativni peskovnik za UI, da bi olajšali razvoj in testiranje inovativnih sistemov UI pod strogim regulativnim nadzorom, preden se ti sistemi dajo na trg ali kako drugače v uporabo. Države članice bi lahko to obveznost izpolnile tudi s sodelovanjem v že obstoječih regulativnih peskovnikih ali z vzpostavitvijo peskovnika skupaj s pristojnimi organi ene ali več držav članic, če tako sodelovanje sodelujočim državam članicam zagotavlja enakovredno raven nacionalne pokritosti. Regulativni peskovniki za UI bi lahko bili vzpostavljeni v fizični, digitalni ali hibridni obliki ter za fizične in digitalne izdelke. Organi, ki vzpostavijo regulativne peskovnike za UI, bi morali tudi zagotoviti, da imajo ti peskovniki ustrezne vire za svoje delovanje, vključno s finančnimi in človeškimi viri.

(139)

Cilji regulativnih peskovnikov za UI bi morali biti spodbujanje inovacij na področju UI z vzpostavitvijo nadzorovanega okolja za eksperimentiranje in testiranje v fazi razvoja ter pred trženjem, da se zagotovi skladnost inovativnih sistemov UI s to uredbo ter drugim ustreznim pravom Unije in nacionalnim pravom. Poleg tega bi moral biti cilj regulativnih peskovnikov za UI okrepitev pravne varnosti za inovatorje ter nadzora pristojnih organov in njihovega razumevanja priložnosti, nastajajočih tveganj in vplivov uporabe UI, olajšanje regulativnega učenja za organe in podjetja, tudi zaradi prihodnjih prilagoditev pravnega okvira, podpiranje sodelovanja in izmenjave najboljših praks z organi, vključenimi v regulativni peskovnik za UI, pa tudi pospešitev dostopa do trgov, med drugim z odpravo ovir za MSP, vključno z zagonskimi podjetji. Regulativni peskovniki za UI bi morali biti široko dostopni po vsej Uniji, posebno pozornost pa bi bilo treba nameniti njihovi dostopnosti za MSP, vključno z zagonskimi podjetji. Sodelovanje v regulativnem peskovniku za UI bi moralo biti osredotočeno na vprašanja, ki ustvarjajo pravno negotovost za ponudnike in potencialne ponudnike pri inovacijah, eksperimentiranju z UI v Uniji in prispevanju k regulativnemu učenju, ki temelji na dokazih. Nadzor sistemov UI v regulativnem peskovniku za UI bi zato moral zajemati njihov razvoj, učenje, testiranje in validacijo, preden so sistemi dani na trg ali v uporabo, ter pojem in pojav bistvenih sprememb, zaradi katerih bi lahko bil potreben nov postopek ugotavljanja skladnosti. Vsa pomembna tveganja, prepoznana med razvojem in testiranjem takih sistemov UI, bi bilo treba ustrezno zmanjšati, če to ni mogoče, pa postopek razvoja in testiranja ustaviti. Kadar je primerno, bi morali pristojni nacionalni organi, ki vzpostavijo regulativne peskovnike za UI, sodelovati z drugimi ustreznimi organi, vključno s tistimi, ki nadzirajo varstvo temeljnih pravic, in bi lahko omogočili sodelovanje drugih akterjev v ekosistemu UI, kot so nacionalne ali evropske organizacije za standardizacijo, priglašeni organi, centri za testiranje in eksperimentiranje, laboratoriji za raziskave in eksperimentiranje, evropska vozlišča za digitalne inovacije ter ustrezne organizacije deležnikov in civilne družbe. Za zagotovitev enotnega izvajanja po vsej Uniji in ekonomije obsega je primerno določiti skupna pravila za izvajanje regulativnih peskovnikov za UI in okvir za sodelovanje med ustreznimi organi, vključenimi v nadzor peskovnikov. Regulativni peskovniki za UI, vzpostavljeni na podlagi te uredbe, ne bi smeli posegati v drugo pravo, ki omogoča vzpostavitev drugih peskovnikov, katerih namen je zagotoviti skladnost s pravom, ki ni ta uredba. Ustrezni pristojni organi, odgovorni za te druge regulativne peskovnike, bi morali, kadar je primerno, upoštevati koristi uporabe teh peskovnikov tudi za namen zagotavljanja skladnosti sistemov UI s to uredbo. Po dogovoru med pristojnimi nacionalnimi organi in udeleženci v regulativnem peskovniku za UI se lahko testiranje v realnih razmerah izvaja in nadzira tudi v okviru regulativnega peskovnika za UI.

(140)

Ta uredba bi morala zagotoviti pravno podlago, da ponudniki in potencialni ponudniki v regulativnem peskovniku za UI osebne podatke, zbrane za druge namene, uporabijo za razvoj nekaterih sistemov UI v javnem interesu v okviru regulativnega peskovnika za UI samo pod določenimi pogoji v skladu s členom 6(4) in členom 9(2), točka (g), Uredbe (EU) 2016/679, členi 5, 6 in 10 Uredbe (EU) 2018/1725 ter brez poseganja v člen 4(2) in člen 10 Direktive (EU) 2016/680. Vse druge obveznosti upravljavcev podatkov in pravice posameznikov, na katere se nanašajo osebni podatki, na podlagi uredb (EU) 2016/679 in (EU) 2018/1725 ter Direktive (EU) 2016/680 se še naprej uporabljajo. Ta uredba zlasti ne bi smela zagotavljati pravne podlage v smislu člena 22(2), točka (b), Uredbe (EU) 2016/679 in člena 24(2), točka (b), Uredbe (EU) 2018/1725. Ponudniki in potencialni ponudniki v regulativnemu peskovniku za UI bi morali zagotoviti ustrezne zaščitne ukrepe in sodelovati s pristojnimi organi, tudi z upoštevanjem njihovih smernic ter hitrim in dobronamernim ukrepanjem, da bi ustrezno zmanjšali vsa prepoznana znatna tveganja za varnost, zdravje in temeljne pravice, ki se lahko pojavijo med razvojem, testiranjem in eksperimentiranjem v tem peskovniku.

(141)

Da bi pospešili proces razvoja visokotveganih sistemov UI s seznama v eni od prilog k tej uredbi in njihovega dajanja na trg, je pomembno, da imajo tudi ponudniki ali potencialni ponudniki takih sistemov koristi od posebne ureditve za testiranje teh sistemov v realnih razmerah brez sodelovanja v regulativnem peskovniku za UI. Vendar bi bilo treba v takih primerih, ob upoštevanju možnih posledic takega testiranja za posameznike zagotoviti, da se s to uredbo za ponudnike ali potencialne ponudnike uvedejo ustrezna in zadostna jamstva in pogoji. Taka jamstva bi morala med drugim vključevati zahtevo, da je za sodelovanje fizičnih oseb pri testiranju v realnih razmerah potrebna informirana privolitev, razen ko gre za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, ko bi pridobitev informirane privolitve preprečila testiranje sistema UI. Privolitev posameznikov, da sodelujejo pri takem testiranju na podlagi te uredbe, se razlikuje od privolitve posameznikov, na katere se nanašajo osebni podatki, v obdelavo njihovih osebnih podatkov na podlagi ustrezne zakonodaje o varstvu podatkov in vanjo ne posega. Pomembno je tudi čim bolj zmanjšati tveganja in pristojnim organom omogočiti nadzor ter zato od potencialnih ponudnikov zahtevati, da imajo načrt testiranja v dejanskih razmerah, ki ga predložijo pristojnemu organu za nadzor trga, da testiranje registrirajo v namenskih delih podatkovne zbirke EU, ob upoštevanju nekaterih omejenih izjem, da določijo omejitve obdobja, v katerem je mogoče opraviti testiranje, in da zahtevajo dodatne zaščitne ukrepe za osebe, ki pripadajo določenim ranljivim s skupinami, ter da imajo pisni dogovor, v katerem so opredeljene vloge in odgovornosti potencialnih ponudnikov in uvajalcev, ter učinkovit nadzor, ki ga izvaja usposobljeno osebje, vključeno v testiranje v realnih razmerah. Poleg tega je primerno predvideti dodatne zaščitne ukrepe za zagotovitev, da se lahko napovedi, priporočila ali odločitve sistema UI učinkovito izničijo in zanemarijo ter da so osebni podatki zaščiteni in izbrisani, ko posamezniki umaknejo privolitev za sodelovanje v testiranju, brez poseganja v njihove pravice, ki jih imajo kot posamezniki, na katere se nanašajo osebni podatki, na podlagi prava Unije o varstvu podatkov. Kar zadeva prenos podatkov, je primerno predvideti tudi, da bi bilo treba podatke, zbrane in obdelane za namene testiranja v realnih razmerah, prenesti v tretje države le, če se izvajajo ustrezni in veljavni zaščitni ukrepi na podlagi prava Unije, zlasti v skladu z osnovami za prenos osebnih podatkov na podlagi prava Unije o varstvu podatkov, medtem ko so za neosebne podatke ustrezni zaščitni ukrepi vzpostavljeni v skladu s pravom Unije, kot sta uredbi (EU) 2022/868 (42) in (EU) 2023/2854 (43) Evropskega parlamenta in Sveta.

(142)

Da bi zagotovili, da bo UI privedla do družbeno in okoljsko koristnih rezultatov, se države članice spodbuja, naj podpirajo in spodbujajo raziskave in razvoj rešitev UI v podporo družbeno in okoljsko koristnim rezultatom, kot so rešitve, ki temeljijo na umetni inteligenci, za povečanje dostopnosti za invalide, odpravo socialno-ekonomskih neenakosti ali doseganje okoljskih ciljev, in sicer z dodelitvijo zadostnih sredstev, vključno z javnimi sredstvi in financiranjem Unije, ter, kadar je ustrezno in pod pogojem, da so izpolnjena merila za upravičenost in izbor, zlasti upoštevajoč projekte, ki vključujejo takšne cilje Takšni projekti bi morali temeljiti na načelu interdisciplinarnega sodelovanja med razvijalci UI, strokovnjaki za neenakost in nediskriminacijo, dostopnost, potrošnike, okolje in digitalne pravice ter akademskimi krogi.

(143)

Za spodbujanje in zaščito inovacij je pomembno, da se upoštevajo interesi MSP, vključno z zagonskimi podjetji, ki so ponudniki ali uvajalci sistemov UI. V ta namen bi morale države članice razviti pobude, namenjene tem operaterjem, vključno z ozaveščanjem in sporočanjem informacij. Države članice bi morale MSP, vključno z zagonskimi podjetji, ki imajo registrirani sedež ali podružnico v Uniji, zagotoviti prednostni dostop do regulativnih peskovnikov za UI, če ti izpolnjujejo pogoje za upravičenost in merila za izbor, ter drugim ponudnikom in potencialnim ponudnikom ne preprečujejo dostopa do peskovnikov, če so izpolnjeni enaki pogoji in merila. Države članice bi morale uporabljati obstoječe kanale in po potrebi vzpostaviti nove namenske kanale za komunikacijo z MSP, vključno z zagonskimi podjetji, uvajalci, drugimi inovatorji in po potrebi z lokalnimi javnimi organi, da se MSP z zagotavljanjem smernic in odgovarjanjem na vprašanja o izvajanju te uredbe zagotovi podpora v celotnem razvojnem procesu. Ti kanali bi morali po potrebi sodelovati, da bi ustvarili sinergije in zagotovili homogenost svojih smernic za MSP, vključno z zagonskimi podjetji, in uvajalce. Države članice bi poleg tega morale olajševati sodelovanje MSP in drugih ustreznih deležnikov v postopkih razvoja standardizacije. Poleg tega bi se pri določanju pristojbin s strani priglašenih organov za ugotavljanje skladnosti morali upoštevati posebni interesi in potrebe ponudnikov, ki so MSP, vključno z zagonskimi podjetji. Komisija bi morala stroške certificiranja in skladnosti za MSP, vključno z zagonskimi podjetji, redno ocenjevati, in sicer s preglednimi posvetovanji, ter sodelovati z državami članicami za znižanje teh stroškov. Na primer, stroški prevajanja, povezani z obvezno dokumentacijo in komuniciranjem z organi, lahko predstavljajo znaten strošek za ponudnike in druge operaterje, zlasti tiste manjšega obsega. Države članice bi morale po možnosti zagotoviti, da je eden od jezikov, ki jih določijo in sprejmejo za dokumentacijo zadevnih ponudnikov in za komunikacijo z operaterji, jezik, ki ga na splošno razume največje možno število čezmejnih uvajalcev. Za obravnavanje posebnih potreb MSP, vključno z zagonskimi podjetji, bi morala Komisija na zahtevo Odbora zagotoviti standardizirane predloge za področja, zajeta v tej uredbi. Poleg tega bi morala Komisija dopolniti prizadevanja držav članic z zagotovitvijo enotne informacijske platforme, ki vsebuje enostavno uporabne informacije v zvezi s to uredbo za vse ponudnike in uvajalce, organiziranjem ustreznih komunikacijskih kampanj za ozaveščanje o obveznostih, ki izhajajo iz te uredbe, ter ocenjevanjem in spodbujanjem zbliževanja najboljših praks v postopkih javnega naročanja v zvezi s sistemi UI. Srednja podjetja, ki so bila do nedavno opredeljena kot mala podjetja v smislu Priloge k Priporočilu Komisije 2003/361/ES (44), bi morala imeti dostop do teh podpornih ukrepov, saj ta nova srednja podjetja včasih morda nimajo pravnih sredstev in niso pridobila ustreznih usposabljanj, potrebnih za zagotovitev ustreznega razumevanja te uredbe in skladnosti z njo.

(144)

Za spodbujanje in zaščito inovacij bi morali platforma za UI na zahtevo, vsi ustrezni programi in projekti Unije za financiranje, kot sta programa Digitalna Evropa in Obzorje Evropa, ki jih izvajajo Komisija in države članice na ravni Unije ali nacionalni ravni, prispevati k doseganju ciljev te uredbe.

(145)

K izvajanju te uredbe bi morali prispevati platforma za UI na zahtevo, evropska vozlišča za digitalne inovacije ter centri za testiranje in eksperimentiranje, ki so jih vzpostavile Komisija in države članice na ravni Unije ali nacionalni ravni, in sicer da bi čim bolj zmanjšali tveganja za izvajanje, ki so posledica pomanjkanja znanja in strokovnega znanja na trgu, ter da bi ponudnikom, predvsem MSP, vključno z zagonskimi podjetji, in priglašenim organom olajšali izpolnjevanje njihovih obveznosti iz te uredbe. Platforma za UI na zahtevo, evropska vozlišča za digitalne inovacije ter centri za preskušanje in eksperimentiranje lahko ponudnikom in priglašenim organom v okviru svojih mandatov in pristojnosti zagotavljajo zlasti tehnično in znanstveno podporo.

(146)

Poleg tega je zaradi majhnosti nekaterih operaterjev in da se zagotovi sorazmernost, kar zadeva stroške inovacij, primerno, da se mikropodjetjem omogoči izpolnjevanje ene od najdražjih obveznosti, tj. vzpostavitve sistema upravljanja kakovosti, na poenostavljen način, kar bi zmanjšalo upravno breme in stroške za ta podjetja in ne bi vplivalo na raven varstva in potrebo po skladnosti z zahtevami za visokotvegane sisteme UI. Komisija bi morala pripraviti smernice za opredelitev elementov sistema upravljanja kakovosti, ki jih morajo mikropodjetja izpolnjevati na ta poenostavljen način.

(147)

Primerno je, da Komisija organom, skupinam ali laboratorijem, ustanovljenim ali akreditiranim na podlagi katere koli ustrezne harmonizacijske zakonodaje Unije, ki izpolnjujejo naloge v okviru ugotavljanja skladnosti proizvodov ali pripomočkov, zajetih v navedeni harmonizacijski zakonodaji Unije, čim bolj olajša dostop do centrov za testiranje in eksperimentiranje. To velja zlasti za strokovne odbore, strokovne laboratorije in referenčne laboratorije na področju medicinskih pripomočkov na podlagi uredb (EU) 2017/745 in (EU) 2017/746.

(148)

S to uredbo bi bilo treba vzpostaviti okvir upravljanja, ki bi omogočal tako usklajevanje uporabe te uredbe in podporo uporabi na nacionalni ravni kot tudi krepitev zmogljivosti na ravni Unije in sodelovanje deležnikov s področja UI. Za učinkovito izvajanje in izvrševanje te uredbe je potreben okvir upravljanja, ki omogoča usklajevanje in pridobivanje centraliziranega strokovnega znanja na ravni Unije. Urad za UI je bil ustanovljen s sklepom Komisije (45) z mandatom razvijati strokovno znanje in zmogljivosti Unije na področju UI ter prispevati k izvajanju prava Unije o umetni inteligenci. Države članice bi morale olajšati naloge Urada za UI, da bi podpirale razvoj strokovnega znanja in zmogljivosti Unije na ravni Unije ter okrepile delovanje enotnega digitalnega trga. Poleg tega bi bilo treba ustanoviti odbor, sestavljen iz predstavnikov držav članic, znanstveni odbor za vključitev znanstvene skupnosti in svetovalni forum, da se omogoči prispevanje deležnikov k izvajanju te uredbe na ravni Unije in nacionalni ravni. Razvoj strokovnega znanja in zmogljivosti Unije bi moral vključevati tudi uporabo obstoječih virov in strokovnega znanja, zlasti s pomočjo sinergij s strukturami, vzpostavljenimi v okviru izvrševanja drugega prava na ravni Unije, in sinergij s povezanimi pobudami na ravni Unije, kot so Skupno podjetje EuroHPC ter centri za testiranje in eksperimentiranje na področju UI v okviru programa Digitalna Evropa.

(149)

Da bi omogočili nemoteno, učinkovito in harmonizirano izvajanje te uredbe, bi bilo treba ustanoviti Odbor. Odbor bi moral odražati različne interese ekosistema UI in sestavljati bi ga morali predstavniki držav članic. Odgovoren bi moral biti za številne svetovalne naloge, med drugim za izdajanje mnenj, priporočil in nasvetov ali za prispevanje k dajanju smernic o zadevah, povezanih z izvajanjem te uredbe, vključno z zadevami glede izvrševanja, tehničnimi specifikacijami ali obstoječimi standardi v zvezi z zahtevami iz te uredbe, ter za svetovanje Komisiji ter državam članicam in njihovim pristojnim nacionalnim organom pri posebnih vprašanjih v zvezi z UI. Da bi državam članicam omogočili nekaj prožnosti pri imenovanju njihovih predstavnikov v Odbor, so lahko ti predstavniki katere koli osebe, ki pripadajo javnim subjektom, ter bi morale imeti ustrezne pristojnosti in pooblastila za lažje usklajevanje na nacionalni ravni in prispevanje k izpolnjevanju nalog Odbora. Odbor bi moral ustanoviti dve stalni podskupini, da bi zagotovili platformo za sodelovanje in izmenjavo med organi za nadzor trga in priglasitvenimi organi o vprašanjih, povezanih z nadzorom trga oziroma priglašenimi organi. Stalna podskupina za nadzor trga bi morala delovati kot skupina za upravno koordinacijo (ADCO) za to uredbo v smislu člena 30 Uredbe (EU) 2019/1020. V skladu s členom 33 navedene uredbe bi morala Komisija podpirati dejavnosti stalne podskupine za nadzor trga z ocenjevanji ali študijami trga, zlasti z namenom opredelitve vidikov te uredbe, pri katerih je potrebno posebno in nujno usklajevanje med organi za nadzor trga. Odbor lahko ustanovi druge stalne ali začasne podskupine za preučitev posebnih vprašanj. Po potrebi bi moral sodelovati tudi z ustreznimi organi, strokovnimi skupinami in mrežami Unije, dejavnimi v okviru ustreznega prava Unije, zlasti tudi s tistimi, dejavnimi na podlagi ustreznega prava Unije o podatkih, digitalnih proizvodih in storitvah.

(150)

Za zagotavljanje sodelovanja deležnikov pri izvajanju in uporabi te uredbe, bi bilo treba vzpostaviti svetovalni forum, ki bi Odboru in Komisiji svetoval in jima zagotavljal tehnično strokovno znanje. Da bi zagotovili raznoliko in uravnoteženo zastopanost deležnikov glede na komercialne in nekomercialne interese, znotraj kategorije poslovnih interesov pa v zvezi z MSP in drugimi podjetji, bi moral biti svetovalni forum med drugim sestavljen iz predstavnikov industrije, zagonskih podjetij, MSP, akademskih krogov, civilne družbe, vključno s socialnimi partnerji, pa tudi Agencije za temeljne pravice, ENISA, Evropskega odbora za standardizacijo (CEN), Evropskega odbora za elektrotehniško standardizacijo (CENELEC) in Evropskega inštituta za telekomunikacijske standarde (ETSI).

(151)

Za podporo izvajanju in izvrševanju te uredbe, zlasti dejavnosti spremljanja, ki jih v zvezi z modeli UI za splošne namene izvaja Urad za UI, bi bilo treba ustanoviti znanstveni odbor neodvisnih strokovnjakov. Neodvisni strokovnjaki, ki sestavljajo znanstveni odbor, bi morali biti izbrani zaradi najnovejšega znanstvenega ali tehničnega strokovnega znanja na področju UI in bi morali svoje naloge opravljati nepristransko in objektivno ter zagotavljati zaupnost informacij in podatkov, pridobljenih pri izvajanju njihovih nalog in dejavnosti. Da bi omogočili okrepitev nacionalnih zmogljivosti, potrebnih za učinkovito izvrševanje te uredbe, bi morale imeti države članice možnost, da strokovnjake, ki sestavljajo znanstveni odbor, zaprosijo, da jim pomagajo pri dejavnostih izvrševanja.

(152)

Da bi podprli ustrezno izvrševanje v zvezi s sistemi UI in okrepili zmogljivosti držav članic, bi bilo treba vzpostaviti podporne strukture Unije za testiranje UI in jih dati na voljo državam članicam.

(153)

Države članice imajo ključno vlogo pri uporabi in izvrševanju te uredbe. V zvezi s tem bi morala vsaka država članica za pristojne nacionalne organe za namen nadzora uporabe in izvajanja te uredbe imenovati vsaj en priglasitveni organ in vsaj en organ za nadzor trga. Države članice se lahko v skladu s svojimi specifičnimi nacionalnimi organizacijskimi značilnostmi in potrebami odločijo, da za opravljanje nalog pristojnih nacionalnih organov v smislu te uredbe imenujejo kateri koli javni subjekt. Da bi na strani držav članic izboljšali učinkovitost organizacije ter vzpostavili enotno kontaktno točko za stike z javnostjo in drugimi partnerji na ravni držav članic in Unije, bi morala vsaka država članica imenovati organ za nadzor trga, ki deluje kot enotna kontaktna točka.

(154)

Pristojni nacionalni organi bi svoja pooblastila morali izvajati neodvisno, nepristransko in brez predsodkov, da bi zaščitili objektivnost svojih dejavnosti in nalog ter zagotovili uporabo in izvajanje te uredbe. Člani teh organov bi se morali vzdržati vseh dejanj, ki niso združljiva z njihovimi dolžnostmi, in zanje bi se morala uporabljati pravila o zaupnosti na podlagi te uredbe.

(155)

Da bi zagotovili, da ponudniki visokotveganih sistemov UI izkušnje pri uporabi visokotveganih sistemov UI lahko upoštevajo za izboljšanje svojih sistemov ter postopka zasnove in razvoja ali da lahko pravočasno izvedejo morebitne popravne ukrepe, bi morali imeti vsi ponudniki vzpostavljen sistem spremljanja po dajanju na trg. Po potrebi bi spremljanje po dajanju na trg moralo vključevati analizo interakcije z drugimi sistemi UI, tudi drugimi napravami in programsko opremo. V spremljanje po dajanju na trg ne bi smeli biti zajeti občutljivi operativni podatki uvajalcev, ki so organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj. Ta sistem je tudi ključen za zagotovitev učinkovitejše in pravočasnejše obravnave morebitnih tveganj, ki izhajajo iz sistemov UI, ki se po dajanju na trg ali v uporabo še naprej „učijo“. V zvezi s tem bi bilo treba od ponudnikov zahtevati tudi, da imajo vzpostavljen sistem za poročanje ustreznim organom o vseh resnih incidentih, ki so posledica uporabe njihovih sistemov UI, tj. incidentih ali okvarah, ki povzročijo smrt ali resno ogroženost zdravja, hude in nepopravljive motnje v upravljanju in delovanju kritične infrastrukture, kršitve obveznosti na podlagi prava Unije o zaščiti temeljnih pravic ali hudo škodo premoženju ali okolju.

(156)

Za zagotovitev ustreznega in učinkovitega izvrševanja zahtev in obveznosti iz te uredbe, ki je harmonizacijska zakonodaja Unije, bi bilo treba v celoti uporabljati sistem nadzora trga in skladnosti proizvodov, vzpostavljen z Uredbo (EU) 2019/1020. Organi za nadzor trga, imenovani na podlagi te uredbe, bi morali imeti vsa izvršilna pooblastila, določena v tej uredbi in Uredbi (EU) 2019/1020, ter bi morali svoja pooblastila in dolžnosti izvajati neodvisno, nepristransko in brez predsodkov. Čeprav za večino sistemov UI ne veljajo posebne zahteve in obveznosti iz te uredbe, lahko organi za nadzor trga sprejmejo ukrepe v zvezi z vsemi sistemi UI, če ti predstavljajo tveganje v skladu s to uredbo. Zaradi posebne narave institucij, agencij in organov Unije, ki spadajo na področje uporabe te uredbe, je za organ za nadzor trga, ki bo pristojen zanje, primerno imenovati Evropskega nadzornika za varstvo podatkov. To ne bi smelo posegati v imenovanje pristojnih nacionalnih organov s strani držav članic. Dejavnosti nadzora trga ne bi smele vplivati na zmožnost nadzorovanih subjektov, da svoje naloge opravljajo neodvisno, kadar je taka neodvisnost zahtevana po pravu Unije.

(157)

Ta uredba ne posega v pristojnosti, naloge, pooblastila in neodvisnost ustreznih nacionalnih javnih organov ali teles, ki nadzorujejo uporabo prava Unije o varstvu temeljnih pravic, tudi ne organov za enakost in organov za varstvo podatkov. Kadar je to potrebno za njihov mandat, bi morali imeti navedeni nacionalni javni organi ali telesa tudi dostop do kakršne koli dokumentacije, pripravljene na podlagi te uredbe. Določiti bi bilo treba poseben zaščitni postopek za zagotavljanje ustreznega in pravočasnega izvrševanja v zvezi s sistemi UI, ki predstavljajo tveganje za zdravje, varnost in temeljne pravice. Postopek za take sisteme UI, ki predstavljajo tveganje, bi bilo treba uporabljati za visokotvegane sisteme UI, ki predstavljajo tveganje, prepovedane sisteme, ki so bili dani na trg ali v uporabo oziroma se uporabljajo v skladu s prepovedanimi praksami iz te uredbe, in sisteme UI, ki predstavljajo tveganje in katerih dostopnost je bila omogočena v nasprotju z zahtevami glede preglednosti iz te uredbe.

(158)

Pravo Unije o finančnih storitvah vključuje pravila in zahteve glede notranjega upravljanja in obvladovanja tveganj, ki veljajo za regulirane finančne institucije med opravljanjem teh storitev, tudi kadar uporabljajo sisteme UI. Za zagotovitev usklajene uporabe in izvrševanja obveznosti na podlagi te uredbe ter ustreznih pravil in zahtev iz pravnih aktov Unije o finančnih storitvah bi bilo treba pristojne organe za nadzor in izvrševanje navedenih pravnih aktov, zlasti pristojne organe, opredeljene v Uredbi (EU) št. 575/2013 Evropskega parlamenta in Sveta (46) ter direktivah 2008/48/ES (47), 2009/138/ES (48), 2013/36/EU (49), 2014/17/EU (50) in (EU) 2016/97 (51) Evropskega parlamenta in Sveta, glede na njihove zadevne pristojnosti imenovati za pristojne organe za namen nadzora izvajanja te uredbe, vključno z dejavnostmi nadzora trga, v zvezi s sistemi UI, ki jih zagotavljajo ali uporabljajo regulirane in nadzorovane finančne institucije, razen če se država članica ne odloči, da bo za opravljanje teh nalog nadzora trga imenovala drug organ. Ti pristojni organi bi morali imeti vsa pooblastila na podlagi te uredbe in Uredbe (EU) 2019/1020 za izvrševanje zahtev in obveznosti iz te uredbe, vključno s pooblastili za izvajanje naknadnih dejavnosti nadzora trga, ki jih lahko, če je to primerno, vključijo v svoje obstoječe nadzorne mehanizme in postopke na podlagi zadevnega prava Unije o finančnih storitvah. Primerno je predvideti, da bi morali nacionalni organi, ki so odgovorni za nadzor kreditnih institucij, ki jih ureja Direktiva 2013/36/EU, in sodelujejo v enotnem mehanizmu nadzora, vzpostavljenem z Uredbo Sveta (EU) št. 1024/2013 (52), kadar delujejo kot organi za nadzor trga na podlagi te uredbe, Evropski centralni banki nemudoma sporočiti vse informacije, pridobljene v okviru njihovih dejavnosti nadzora trga, ki bi lahko bile zanimive za naloge bonitetnega nadzora Evropske centralne banke, kot so določene v navedeni uredbi. Za nadaljnjo krepitev skladnosti med to uredbo in pravili, ki se uporabljajo za kreditne institucije, ki jih ureja Direktiva 2013/36/EU, je primerno v obstoječe obveznosti in postopke iz Direktive 2013/36/EU vključiti tudi nekatere postopkovne obveznosti ponudnikov v zvezi z obvladovanjem tveganj, spremljanjem po dajanju na trg ter dokumentacijo. Da bi se izognili prekrivanju, bi bilo treba predvideti tudi omejena odstopanja v zvezi s sistemom ponudnikov za upravljanje kakovosti in obveznostjo spremljanja, naloženo uvajalcem visokotveganih sistemov UI, če se ta uporabljajo za kreditne institucije, ki jih ureja Direktiva 2013/36/EU. Isto ureditev bi bilo treba uporabljati za zavarovalnice in pozavarovalnice ter zavarovalne holdinge na podlagi Direktive 2009/138/ES in zavarovalne posrednike na podlagi Direktive (EU) 2016/97 ter druge vrste finančnih institucij, za katere veljajo zahteve glede notranjega upravljanja, ureditev ali postopkov, vzpostavljenih na podlagi ustreznega prava Unije o finančnih storitvah, da se zagotovita doslednost in enaka obravnava v finančnem sektorju.

(159)

Vsak organ za nadzor trga za visokotvegane sisteme UI na področju biometrike, kot so navedeni v eni od prilog k tej uredbi, če se ti sistemi uporabljajo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, migracij, azila in upravljanja nadzora meja ali za pravosodje in demokratične procese, bi moral imeti pooblastila za preiskovanje in popravne ukrepe, vključno vsaj s pooblastilom za pridobitev dostopa do vseh osebnih podatkov, ki se obdelujejo, in do vseh informacij, potrebnih za opravljanje njegovih nalog. Organi za nadzor trga bi morali imeti možnost, da svoja pooblastila izvajajo popolnoma neodvisno. Morebitne omejitve njihovega dostopa do občutljivih operativnih podatkov na podlagi te uredbe ne bi smele posegati v pooblastila, ki so jim podeljena z Direktivo (EU) 2016/680. Nobena izključitev glede razkritja podatkov nacionalnim organom za varstvo podatkov na podlagi te uredbe ne bi smela vplivati na sedanja ali prihodnja pooblastila teh organov zunaj področja uporabe te uredbe.

(160)

Organom za nadzor trga in Komisiji bi moralo biti omogočeno, da predlagajo skupne dejavnosti – vključno s skupnimi preiskavami, ki jih izvajajo organi za nadzor trga sami ali skupaj s Komisijo –, katerih cilj je spodbujanje skladnosti, odkrivanje neskladnosti, ozaveščanje ali zagotavljanje smernic v zvezi s to uredbo, kar zadeva posebne kategorije visokotveganih sistemov UI, za katere se ugotovi, da predstavljajo resno tveganje v dveh ali več državah članicah. Skupne dejavnosti za spodbujanje skladnosti bi bilo treba izvajati v skladu s členom 9 Uredbe (EU) 2019/1020. Urad za UI bi moral zagotavljati usklajevalno podporo za skupne preiskave.

(161)

Pojasniti je treba odgovornosti in pristojnosti na ravni Unije in nacionalni ravni v zvezi z sistemi UI, ki temeljijo na modelih UI za splošne namene. Da bi se izognili prekrivanju pristojnosti, kadar sistem UI temelji na modelu UI za splošne namene ter kadar model in sistem zagotavlja isti ponudnik, bi moral biti za nadzor na ravni Unije pristojen Urad za UI, ki bi moral v ta namen imeti pooblastila organa za nadzor trga v smislu Uredbe (EU) 2019/1020. V vseh drugih primerih so za nadzor sistemov UI še naprej odgovorni nacionalni organi za nadzor trga. Vendar bi morali organi za nadzor trga za sisteme UI za splošne namene, ki jih lahko uvajalci neposredno uporabljajo za vsaj en namen, ki je razvrščen kot visoko tveganje, sodelovati z Uradom za UI pri izvedbi ocen skladnosti ter o tem ustrezno obvestili Odbor in druge organe za nadzor trga. Poleg tega bi morali imeti organi za nadzor trga možnost, da Urad za UI zaprosijo za pomoč, kadar organ za nadzor trga ne more zaključiti preiskave visokotveganega sistema UI, ker ne more dostopati do nekaterih informacij, ki se nanašajo na model UI za splošne namene, na katerem temelji visokotvegani sistem UI. V takih primerih bi se moral smiselno uporabljati postopek v zvezi s čezmejno medsebojno pomočjo iz poglavja VI Uredbe (EU) 2019/1020.

(162)

Da bi na ravni Unije čim bolje izkoristili centralizirano strokovno znanje in sinergije Unije, bi morala biti pooblastila za nadzor in izvrševanje obveznosti za ponudnike modelov UI za splošne namene v pristojnosti Komisije. Urad za UI bi moral imeti možnost, da izvede vse potrebne ukrepe za spremljanje učinkovitega izvajanja te uredbe v zvezi z modeli UI za splošne namene. Imeti bi moral možnost, da na lastno pobudo na podlagi rezultatov njegovih dejavnosti spremljanja ali na zahtevo organov za nadzor trga v skladu s pogoji iz te uredbe razišče morebitne kršitve pravil o ponudnikih modelov UI za splošne namene. Da bi podprli učinkovito spremljanje Urada za UI, bi bilo treba določiti možnost, da lahko ponudniki nižje v verigi vložijo pritožbe zaradi morebitnih kršitev pravil o ponudnikih modelov UI za splošne namene in sistemov UI.

(163)

Da bi dopolnili sisteme upravljanja modelov UI za splošne namene, bi moral znanstveni odbor prispevati k dejavnostim spremljanja Urada za UI, ki mu v nekaterih primerih lahko pošlje kvalificirana opozorila, ki sprožijo nadaljnje ukrepanje, kot so preiskave. To bi se moralo zgoditi, kadar znanstveni odbor utemeljeno sumi, da model UI za splošne namene predstavlja konkretno in prepoznavno tveganje na ravni Unije. To bi se prav tako moralo zgoditi, kadar znanstveni odbor utemeljeno sumi, da model UI za splošne namene izpolnjuje merila, na podlagi katerih bi moral biti razvrščen kot model UI za splošne namene s sistemskim tveganjem. Da se znanstvenemu svetu zagotovijo informacije, potrebne za opravljanje teh nalog, bi moral obstajati mehanizem, s katerim lahko znanstveni odbor zaprosi Komisijo, da od ponudnika zahteva dokumentacijo ali informacije.

(164)

Urad za UI bi moral imeti možnost, da sprejme potrebne ukrepe za spremljanje učinkovitega izvajanja in izpolnjevanja obveznosti za ponudnike modelov UI za splošne namene iz te uredbe. Urad za UI bi moral imeti možnost, da razišče morebitne kršitve v skladu s pooblastili na podlagi te uredbe, tudi tako, da zahteva dokumentacijo in informacije, izvaja ocenjevanje ter od ponudnikov modelov UI za splošne namene zahteva ukrepe. Pri izvajanju ocenjevanja in zato, da bi uporabili neodvisno strokovno znanje, bi moral Urad za UI imeti možnost vključiti neodvisne strokovnjake, da v njegovem imenu izvedejo ocenjevanje. Izpolnjevanje obveznosti bi moralo biti izvršljivo, med drugim z zahtevami za sprejetje ustreznih ukrepov, vključno z ukrepi za zmanjšanje tveganja v primeru prepoznanih sistemskih tveganj, ter z omejevanjem omogočanja dostopnosti modela na trgu, njegovim umikom ali odpoklicem. Kot zaščitni ukrepi, kadar je to potrebno poleg procesnih pravic iz te uredbe, bi morali imeti ponudniki modelov UI za splošne namene procesne pravice iz člena 18 Uredbe (EU) 2019/1020, ki bi se morale uporabljati smiselno in brez poseganja v bolj specifične procesne pravice iz te uredbe.

(165)

Razvoj sistemov UI, ki niso visokotvegani sistemi UI, v skladu z zahtevami iz te uredbe lahko pripelje do večjega koriščenja etične in zaupanja vredne UI v Uniji. Ponudnike sistemov UI, ki niso sistemi visokega tveganja, bi bilo treba spodbujati k oblikovanju kodeksov ravnanja, vključno s povezanimi mehanizmi upravljanja, ki bodo namenjeni spodbujanju prostovoljne uporabe nekaterih ali vseh obveznih zahtev, ki se uporabljajo za visokotvegane sisteme UI, prilagojeni predvidenemu namenu sistemov in manjšemu tveganju ter bodo v njih upoštevane razpoložljive tehnične rešitve in najboljše prakse v industriji, kot so modeli in podatkovne kartice. Ponudnike in po potrebi uvajalce vseh sistemov UI, ne glede na to, ali so sistemi visokega tveganja ali ne, in modelov UI bi bilo treba spodbujati tudi k prostovoljni uporabi dodatnih zahtev, povezanih na primer z elementi etičnih smernic Unije za zaupanja vredno UI, okoljsko trajnostnostjo, ukrepi za pismenost na področju UI, zasnovo in razvojem sistemov UI, ki zagotavljata inkluzivnost in raznolikost, vključno s poudarkom na ranljivih osebah in dostopnostjo za invalide, sodelovanjem deležnikov, po potrebi s sodelovanjem ustreznih deležnikov, kot so podjetja in organizacije civilne družbe, akademski krogi, raziskovalne organizacije, sindikati in organizacije za varstvo potrošnikov, pri zasnovi in razvoju sistemov UI, ter z raznolikostjo razvojnih skupin, vključno z uravnoteženo zastopanostjo spolov. Da bi zagotovili učinkovitost prostovoljnih kodeksov ravnanja, bi morali ti temeljiti na jasnih ciljih in ključnih kazalnikih uspešnosti za merjenje doseganja teh ciljev. Prav tako bi jih bilo treba razvijati na inkluziven način, kot je ustrezno, ob sodelovanju ustreznih deležnikov, kot so podjetja in organizacije civilne družbe, akademski krogi, raziskovalne organizacije, sindikati in organizacije za varstvo potrošnikov. Komisija lahko pripravi pobude, tudi sektorske narave, da se omogoči zmanjšanje tehničnih ovir za čezmejno izmenjavo podatkov za razvoj UI, tudi na infrastrukturi za dostop do podatkov, ter semantično in tehnično interoperabilnost različnih vrst podatkov.

(166)

Pomembno je, da so sistemi UI, ki so povezani s proizvodi brez visokega tveganja v skladu s to uredbo in jim zato ni treba izpolnjevati zahtev za visokotvegane sisteme UI, kljub temu varni, ko so dani na trg ali v uporabo. Da bi prispevali k temu cilju, bi se Uredba (EU) 2023/988 Evropskega parlamenta in Sveta (53) uporabljala kot varnostna mreža.

(167)

Za zagotovitev zaupanja vrednega in konstruktivnega sodelovanja pristojnih organov na ravni Unije in nacionalni ravni bi morale vse strani, ki sodelujejo pri uporabi te uredbe, spoštovati zaupnost informacij in podatkov, ki so jih pridobili pri opravljanju svojih nalog, v skladu s pravom Unije ali nacionalnim pravom. Svoje naloge in dejavnosti bi morali opravljati tako, da varujejo zlasti pravice intelektualne lastnine, zaupne poslovne informacije in poslovne skrivnosti, učinkovito izvajanje te uredbe, javne in nacionalne varnostne interese, celovitost kazenskih in upravnih postopkov ter celovitost tajnih podatkov.

(168)

Skladnost s to uredbo bi morala biti izvršljiva z naložitvijo kazni in drugimi izvršilnimi ukrepi. Države članice bi morale sprejeti vse potrebne ukrepe za zagotovitev izvajanja določb te uredbe, tudi z določitvijo učinkovitih, sorazmernih in odvračilnih kazni za njihovo kršitev, in za upoštevanje načela ne bis in idem. Za okrepitev in uskladitev upravnih kazni za kršitev te uredbe bi bilo treba določiti zgornje meje za določitev upravnih glob za nekatere posebne kršitve. Države članice bi morale pri določanju višine glob v vsakem posameznem primeru upoštevati vse ustrezne okoliščine konkretne situacije, zlasti pa naravo, težo in trajanje kršitve ter njene posledice in velikost ponudnika, zlasti če je ponudnik MSP, vključno z zagonskim podjetjem. Evropski nadzornik za varstvo podatkov bi moral biti pooblaščen za nalaganje glob institucijam, agencijam in organom Unije, ki spadajo na področje uporabe te uredbe.

(169)

Izpolnjevanje obveznosti za ponudnike modelov UI za splošne namene, določenih na podlagi te uredbe, bi moralo med drugim biti izvršljivo z globami. V ta namen bi bilo treba določiti tudi ustrezne ravni glob za kršitev navedenih obveznosti, vključno z neizpolnjevanjem ukrepov, ki jih Komisija zahteva v skladu s to uredbo, ob upoštevanju ustreznih zastaralnih rokov v skladu z načelom sorazmernosti. Vse odločitve, ki jih Komisija sprejme na podlagi te uredbe, so podvržene nadzoru Sodišča Evropske unije v skladu s PDEU, vključno z neomejeno pristojnostjo Sodišča glede kazni na podlagi člena 261 PDEU.

(170)

Pravo Unije in nacionalno pravo fizičnim in pravnim osebam, na pravice in svoboščine katerih negativno vpliva uporaba sistemov UI, že zagotavljata učinkovita pravna sredstva. Brez poseganja v ta pravna sredstva lahko pritožbo pri ustreznem organu za nadzor trga vloži vsaka fizična ali pravna oseba, ki upravičeno meni, da je prišlo do kršitve te uredbe.

(171)

Osebe, na katere vpliva uporaba sistemov UI, bi morale imeti pravico do pojasnila, kadar odločitev uvajalca temelji predvsem na izhodnih podatkih nekaterih visokotveganih sistemov UI, ki spadajo na področje uporabe te uredbe, in kadar ima ta odločitev pravne učinke za te osebe ali nanje podobno znatno vpliva na način, za katerega menijo, da ima negativne učinke na njihovo zdravje, varnost in temeljne pravice. To pojasnilo bi moralo biti jasno in smiselno ter temelj, na podlagi katerega osebe, na katere vpliva uporaba sistemov UI, lahko uveljavljajo svoje pravice. Pravica do pojasnila se ne bi smela uporabljati za uporabo sistemov UI, za katere izjeme ali omejitve izhajajo iz prava Unije ali nacionalnega prava, temveč bi se morala uporabljati le, če ta pravica še ni določena na podlagi prava Unije.

(172)

Osebe, ki kot žvižgači opozarjajo na kršitve te uredbe, bi morale biti zaščitene na podlagi prava Unije. Za prijavo kršitev te uredbe in zaščito oseb, ki te kršitve prijavijo, bi se zato morala uporabljati Direktiva (EU) 2019/1937 Evropskega parlamenta in Sveta (54).

(173)

Za zagotovitev, da se regulativni okvir lahko po potrebi prilagodi, bi bilo treba na Komisijo prenesti pooblastilo, da v skladu s členom 290 PDEU sprejme akte za spremembo pogojev, pod katerimi se sistem UI ne sme šteti za sistem visokega tveganja, seznama visokotveganih sistemov UI, določb o tehnični dokumentaciji, vsebine EU izjave o skladnosti, določb o postopkih ugotavljanja skladnosti, določb o vzpostavitvi visokotveganih sistemov UI, za katere bi se moral uporabljati postopek ugotavljanja skladnosti na podlagi ocene sistema upravljanja kakovosti in ocene tehnične dokumentacije, praga, meril uspešnosti in kazalnikov, tudi z njihovo dopolnitvijo, kot so opredeljeni v pravilih za razvrščanje modelov UI za splošne namene s sistemskim tveganjem, meril za označevanje modelov UI za splošne namene s sistemskim tveganjem, tehnične dokumentacije za ponudnike modelov UI za splošne namene in informacij o preglednosti za ponudnike modelov UI za splošne namene. Zlasti je pomembno, da se Komisija pri svojem pripravljalnem delu ustrezno posvetuje, tudi na ravni strokovnjakov, in da se ta posvetovanja izvedejo v skladu z načeli, določenimi v Medinstitucionalnem sporazumu z dne 13. aprila 2016 o boljši pripravi zakonodaje (55). Za zagotovitev enakopravnega sodelovanja pri pripravi delegiranih aktov Evropski parlament in Svet zlasti prejmeta vse dokumente sočasno s strokovnjaki iz držav članic, njuni strokovnjaki pa se lahko sistematično udeležujejo sestankov strokovnih skupin Komisije, ki zadevajo pripravo delegiranih aktov.

(174)

Glede na hiter tehnološki razvoj in tehnično strokovno znanje, potrebno za učinkovito izvajanje te uredbe bi morala Komisija oceniti in pregledati to uredbo do 2. avgusta 2029 in nato vsaka štiri leta ter poročati Evropskemu parlament in Svetu. Poleg tega bi morala Komisija ob upoštevanju posledic za področje uporabe te uredbe enkrat letno oceniti potrebo po spremembi seznama visokotveganih sistemov UI in seznama prepovedanih praks. Komisija bi morala do 2. avgusta 2028 in nato vsaka štiri leta oceniti tudi potrebo po spremembi seznama področij z visokim tveganjem iz ene od prilog k tej uredbi, sisteme UI, ki spadajo na področje uporabe obveznosti glede preglednosti, učinkovitost sistema nadzora in upravljanja ter napredek pri razvoju standardizacijskih dokumentov o energetsko učinkovitem razvoj modelov UI za splošno rabo, vključno s potrebo po nadaljnjih ukrepih ali dejavnostih, ter o tem poročati Evropskemu parlamentu in Svetu. Komisija bi morala do 2. avgusta 2028 ter nato vsaka tri leta oceniti učinek in učinkovitost prostovoljnih kodeksov ravnanja za spodbujanje uporabe zahtev, ki veljajo za visokotvegane sisteme UI, za sisteme UI, ki niso visokotvegani sistemi UI, ter morebitnih drugih dodatnih zahtev za takšne sisteme UI.

(175)

Da se zagotovijo enotni pogoji za izvajanje te uredbe, bi bilo treba na Komisijo prenesti izvedbena pooblastila. Ta pooblastila bi bilo treba izvajati v skladu z Uredbo (EU) št. 182/2011 Evropskega parlamenta in Sveta (56).

(176)

Ker cilja te uredbe, in sicer izboljšati delovanje notranjega trga in spodbujati uvajanje na človeka osredotočene in zaupanja vredne UI, ob zagotavljanju visoke ravni varovanja zdravja, varnosti, temeljnih pravic iz Listine, vključno z demokracijo, pravno državo in varstvom okolja, pred škodljivimi učinki sistemov UI v Uniji ter podpiranju inovacij, države članice ne morejo zadovoljivo doseči, temveč se zaradi obsega ali učinka ukrepa lažje doseže na ravni Unije, lahko Unija sprejme ukrepe v skladu z načelom subsidiarnosti iz člena 5 PEU. V skladu z načelom sorazmernosti iz navedenega člena ta uredba ne presega tistega, kar je potrebno za doseganje navedenega cilja.

(177)

Da se zagotovita pravna varnost in ustrezno prilagoditveno obdobje za operaterje ter preprečijo motnje na trgu, vključno z zagotavljanjem neprekinjene uporabe sistemov UI, je primerno, da se ta uredba uporablja za visokotvegane sisteme UI, ki so bili dani na trg ali v uporabo pred splošnim datumom začetka njene uporabe, le, če se pri navedenih sistemih z navedenim datumom bistveno spremeni njihova zasnova ali predvideni namen. Primerno je pojasniti, da bi bilo treba v zvezi s tem koncept bistvene spremembe razumeti kot vsebinsko enakovreden pojmu bistvene spremembe, ki se uporablja samo za visokotvegane sisteme UI na podlagi te uredbe. Tako upravljavci sistemov UI, ki so komponente obsežnih informacijskih sistemov, vzpostavljenih s pravnimi akti iz ene od prilog k tej uredbi, kot tudi operaterji visokotveganih sistemov UI, ki naj bi jih uporabljali javni organi, bi morali izjemoma in glede na javno odgovornost sprejeti potrebne ukrepe za dosego skladnosti z zahtevami iz te uredbe do konca leta 2030 oziroma do 2. avgusta 2030.

(178)

Ponudnike visokotveganih sistemov UI se spodbuja, da že v prehodnem obdobju začnejo prostovoljno izpolnjevati ustrezne obveznosti iz te uredbe.

(179)

Ta uredba se uporablja od 2. avgusta 2026. Vendar bi bilo treba zaradi nesprejemljivega tveganja, povezanega z uporabo UI na določene načine, prepovedi ter splošne določbe te uredbe uporabljati že od 2. februarja 2025. Čeprav bodo te prepovedi polno učinkovale šele po vzpostavitvi upravljanja in izvrševanja te uredbe, je pomembno predvideti uporabo prepovedi, da se upoštevajo nesprejemljiva tveganja in zato, da bi to vplivalo na druge postopke, kot denimo v civilnem pravu. Poleg tega bi morala infrastruktura, povezana z upravljanjem in sistemom ugotavljanja skladnosti, začeti delovati pred 2. avgustom 2026, zato bi bilo treba določbe o priglašenih organih in strukturi upravljanja uporabljati od 2. avgusta 2025. Glede na hiter tehnološki napredek in sprejetje modelov UI za splošne namene bi bilo treba obveznosti za ponudnike modelov UI za splošne namene uporabljati od 2. avgusta 2025. Kodekse prakse bi bilo treba pripraviti najpozneje do 2. maja 2025, da bi ponudniki lahko pravočasno dokazali skladnost. Urad za UI bi moral zagotavljati posodabljanje pravil in postopkov razvrščanja glede na tehnološki razvoj. Poleg tega bi morale države članice določiti pravila o kaznih, vključno z upravnimi globami, in o njih uradno obvestiti Komisijo ter do datuma začetka uporabe te uredbe zagotoviti, da jih bodo učinkovito izvajale. Zato bi bilo treba določbe o kaznih uporabljati od 2. avgusta 2025.

(180)

V skladu s členom 42(1) in (2) Uredbe (EU) 2018/1725 je bilo opravljeno posvetovanje z Evropskim nadzornikom za varstvo podatkov in Evropskim odborom za varstvo podatkov, ki sta dala mnenje 18. junija 2021 –