Pravila za zaupanja vredno umetno inteligenco v EU

KLJUČNE TOČKE

Kaj je sistem umetne inteligence?

Sistem umetne inteligence je sistem, ki temelji na napravah in je zasnovan za delovanje z določeno stopnjo avtonomije, ki se lahko:

• prilagodi po namestitvi; in
• ustvarja rezultate, kot so napovedi, vsebina, priporočila ali odločitve iz vhodnih podatkov, ki jih prejme (za doseganje eksplicitnih ali implicitnih ciljev).

Pristop, ki temelji na tveganju

Zakonodaja sledi pristopu, ki temelji na tveganju, kar pomeni, da večje je tveganje povzročitve škode družbi, strožja so pravila. Uredba opredeljuje uporabo umetne inteligence na naslednjih področjih kot visoko tvegano zaradi možnega vpliva na temeljne pravice, varnost in blaginjo:

• varnostne komponente v izdelkih, za katere velja harmonizacijska zakonodaja EU (ali kot samostojni izdelki), za katere se zahteva ocena skladnosti s strani tretje stranke v skladu z isto harmonizacijsko zakonodajo EU;
• biometrija, kadar se uporablja za identifikacijo na daljavo, kategorizacijo posameznikov glede na občutljive atribute (kot je rasa ali vera) ali prepoznavanje čustev, razen če se uporablja za preprosto preverjanje identitete;
• kritična infrastruktura, ko je umetna inteligenca varnostna komponenta na področjih, kot so digitalna infrastruktura, promet, voda, plin, ogrevanje in elektrika;
• izobraževanje in poklicno usposabljanje, vključno z vprašanji dostopa do izobraževanja, ocenjevanjem učnih rezultatov, ocenjevanjem ravni izobrazbe ali spremljanjem vedenja med testi;
• zaposlovanje, vključno s pridobivanjem novih delavcev, izbiro kandidatov, sprejemanjem odločitev o pogojih zaposlitve (napredovanja, odpovedi), dodeljevanjem nalog ali spremljanjem uspešnosti;
• bistvene storitve – sistemi umetne inteligence, ki jih uporabljajo javni organi za ocenjevanje upravičenosti do javnih storitev (zdravstveno varstvo, ugodnosti), kreditno točkovanje, oceno zavarovalniškega tveganja in določanje prednosti odzivov v nujnih primerih;
• kazenski pregon – sistemi umetne inteligence, ki se uporabljajo za ocenjevanje tveganj kriminala, poligrafe, ocenjevanje zanesljivosti dokazov, napovedovanje ponovitve ali profiliranje posameznikov za kazenske preiskave;
• nadzor nad migracijami in mejami – sistemi umetne inteligence, ki se uporabljajo za ocenjevanje tveganj, povezanih z migracijami, prošnjami za azil in vizume, ali za odkrivanje in identifikacijo posameznikov v kontekstu migracij;
• upravljanje pravosodja in demokratični procesi – sistemi umetne inteligence, ki jih pravosodni organi uporabljajo za pravne raziskave in razlago, ali sistemi, ki bi lahko vplivali na izide volitev.

Uredba prepoveduje naslednje prakse umetne inteligence z nesprejemljivo stopnjo tveganja

• Podzavestne ali zavajajoče tehnike za manipulacijo vedenja posameznika ali skupine, ki zmanjšujejo njihovo sposobnost sprejemanja ozaveščenih odločitev in potencialno povzročajo škodo.
• Izkoriščanje ranljivosti na podlagi starosti, invalidnosti ali socialno-ekonomskih situacij za manipuliranje s posamezniki ali skupinami, kar povzroči morebitno škodo.
• Družbeno točkovanje, ocenjevanje ali razvrščanje ljudi na podlagi vedenja ali lastnosti, kar ima za posledico nepošteno obravnavo, ki ni povezana s kontekstom, v katerem so bili podatki zbrani, ali na način, ki ni sorazmeren z resnostjo vedenja.
• Ocena kaznivega dejanja, napovedovanje verjetnosti storitve kaznivega dejanja izključno na podlagi profiliranja ali osebnostnih lastnosti, razen v objektivnih kazenskih preiskavah, ki temeljijo na dejstvih.
• Podatkovna baza za prepoznavanje obrazov, črpana iz interneta ali varnostnih kamer brez posebnega ciljanja.
• Določanje čustev na občutljivih področjih, kot so delovna mesta ali izobraževalne ustanove, razen če se uporablja v zdravstvene ali varnostne namene.
• Biometrična kategorizacija na podlagi podatkov za določanje občutljivih atributov, kot so rasa, vera ali politično prepričanje, razen za zakonito uporabo v kazenskem pregonu.
• Biometrična identifikacija v javnosti v realnem času s strani organov pregona, razen če je to nujno potrebno za posebne situacije (npr. iskanje pogrešanih oseb, preprečevanje neposrednih groženj ali identifikacija osumljencev hudih kaznivih dejanj). To mora upoštevati stroge pravne postopke, vključno s predhodno odobritvijo, omejenim obsegom in zaščitnimi ukrepi za zaščito pravic in svoboščin.

Uredba uvaja obveznosti razkritja, kadar bi tveganje lahko nastalo zaradi pomanjkanja preglednosti glede uporabe umetne inteligence:

• umetna inteligenca, zasnovana za oponašanje ljudi (npr. klepetalni robot), mora obvestiti človeka, s katerim komunicira;
• rezultat generativne umetne inteligence je treba označiti kot ustvarjeno z umetno inteligenco na strojno berljiv način;
• v določenih primerih mora biti rezultat generativne umetne inteligence vidno označen, in sicer globoki ponaredek in besedilo, ki je namenjeno obveščanju javnosti o zadevah javnega interesa.

Šteje se, da imajo vsi drugi sistemi umetne inteligence omejeno tveganje, zato uredba ne uvaja nobenih nadaljnjih pravil.

Zaupanja vredna uporaba velikih modelov umetne inteligence

• Modeli umetne inteligence za splošne namene so modeli umetne inteligence, ki so usposobljeni za velike količine podatkov in lahko izvajajo širok nabor nalog. Lahko so komponente sistemov umetne inteligence.
• Uredba uvaja obveznosti glede preglednosti za ponudnike takšnih modelov umetne inteligence za splošne namene, in sicer tehnično dokumentacijo, zagotavljanje informacij nadaljnjim razvijalcem sistemov umetne inteligence in razkritje podatkov, uporabljenih pri usposabljanju modela.
• Najmočnejši modeli umetne inteligence za splošne namene lahko predstavljajo sistemska tveganja. Če model dosega določen prag zmogljivosti, mora ponudnik tega modela izpolniti dodatne obveznosti glede obvladovanja tveganja in kibernetske varnosti.

Upravljanje

• Uredba vzpostavlja več organov upravljanja, ki delujejo od 2. avgusta 2025:
  • nacionalni pristojni organi, ki bodo nadzorovali in uveljavljali pravila za sisteme umetne inteligence;
  • urad za umetno inteligenco v okviru Evropske komisije, ki bo usklajeval skladno uporabo skupnih pravil po vsej EU in deloval kot regulator za splošne modele umetne inteligence.
• Države članice EU in urad za umetno inteligenco bodo tesno sodelovali v odboru za umetno inteligenco, ki ga sestavljajo predstavniki držav članic, da bi zagotovili dosledno in učinkovito uporabo uredbe.
• Uredba ustanavlja dva svetovalna organa za urad za umetno inteligenco in odbor za umetno inteligenco:
  • znanstveni svet neodvisnih strokovnjakov za zagotavljanje znanstvenih nasvetov;
  • svetovalni forum za zainteresirane strani za zagotavljanje tehničnega strokovnega znanja odboru za umetno inteligenco in Komisiji.

Kazni

Globe za kršitve so določene kot odstotek letnega prometa kršitelja ali vnaprej določen znesek, kar je višje. Mala in srednje velika podjetja ter novoustanovljena podjetja so predmet sorazmernih upravnih glob.

Preglednost in varstvo temeljnih pravic

Večja preglednost velja za razvoj in uporabo sistemov umetne inteligence z visokim tveganjem:

• preden subjekti, ki zagotavljajo javne storitve, uvedejo sistem umetne inteligence z visokim tveganjem, je treba oceniti njegov vpliv na temeljne pravice;
• sistemi umetne inteligence z visokim tveganjem in subjekti, ki jih uporabljajo, morajo biti registrirani v podatkovni zbirki EU.

Inovativnost

Uredba zagotavlja inovacijam prijazen pravni okvir in je namenjena spodbujanju regulativnega učenja na podlagi dokazov. Predvideva regulativne peskovnike za umetno inteligenco, ki omogočajo nadzorovano okolje, v katerem je mogoče razvijati, testirati in potrjevati inovativne sisteme umetne inteligence, tudi v dejanskih pogojih. Poleg tega uredba dovoljuje testiranje sistemov umetne inteligence z visokim tveganjem v realnem svetu pod določenimi pogoji.

Ocena in pregled

Komisija vsako leto oceni potrebo po spremembah seznama visoko tveganih uporab umetne inteligence in seznama prepovedanih praks. Komisija bo do 2. avgusta 2028 in nato vsaka štiri leta ocenila in poročala o naslednjem:

• dodajanje na seznam ali razširitev kategorij z visokim tveganjem;
• spremembe seznama sistemov umetne inteligence, ki zahtevajo dodatne ukrepe za preglednost;
• spremembe za izboljšanje nadzora in upravljanja.