Pravidlá dôveryhodnej umelej inteligencie v EÚ

HLAVNÉ BODY

Čo je systém AI?

Systém AI je strojový systém, ktorý je dizajnovaný na prevádzku s určitou úrovňou autonómnosti, ktorý môže:

• po nasadení sa adaptovať a
• generovať výstupy, ako sú predpovede, obsah, odporúčania alebo rozhodnutia zo vstupov, ktoré dostane (na dosiahnutie explicitných alebo implicitných cieľov).

Prístup založený na riziku

Právne predpisy sa riadia prístupom založeným na riziku, to znamená, že čím vyššie je riziko spôsobenia škody spoločnosti, tým prísnejšie sú pravidlá. V nariadení sa používanie umelej inteligencie v nasledujúcich oblastiach vymedzuje ako vysokorizikové vzhľadom na potenciálny vplyv na základné práva, bezpečnosť a blaho:

• bezpečnostné komponenty vo výrobkoch, na ktoré sa vzťahujú harmonizačné právne predpisy EÚ (alebo ako samostatné výrobky), ktoré musia prejsť posúdením zhody treťou stranou podľa tých istých harmonizačných právnych predpisov EÚ,
• biometria, ak sa používa na identifikáciu na diaľku, kategorizáciu osôb podľa citlivých atribútov (ako je rasa alebo náboženstvo) alebo rozpoznávanie emócií, okrem prípadov, keď sa používa na jednoduché overenie totožnosti,
• kritická infraštruktúra, ak je umelá inteligencia bezpečnostným prvkom v oblastiach, ako je digitálna infraštruktúra, doprava, voda, plyn, vykurovanie a elektrina,
• vzdelávanie a odborná príprava vrátane otázok prístupu k vzdelávaniu, hodnotenia výsledkov vzdelávania, hodnotenia úrovne vzdelania alebo monitorovania správania počas testov,
• zamestnávanie vrátane náboru, výberu uchádzačov, rozhodovania o podmienkach zamestnávania (povýšenie, ukončenie pracovného pomeru), prideľovania úloh alebo monitorovania výkonu,
• základné služby – systémy AI, ktoré používajú verejné orgány na vyhodnocovanie oprávnenosti na verejné služby (zdravotná starostlivosť, dávky), bodovanie úverov, posudzovanie poistných rizík a určovanie priorít pri reakciách na núdzové situácie,
• presadzovanie práva – systémy AI používané na posudzovanie rizík trestných činov, detektory lži, hodnotenie spoľahlivosti dôkazov, predpovedanie recidívy alebo profilovanie osôb na účely vyšetrovania trestných činov,
• migrácia a kontrola hraníc systémy AI používané na posudzovanie rizík súvisiacich s migráciou, azylom, žiadosťami o víza alebo na odhaľovanie a identifikáciu osôb v kontexte migrácie,
• výkon spravodlivosti a demokratické procesy – systémy AI používané súdnymi orgánmi na právny výskum a výklad alebo systémy, ktoré by mohli ovplyvniť výsledky volieb.

Nariadením sa zakazujú tieto postupy AI s neprijateľnou úrovňou rizika

• Podprahové alebo klamlivé techniky na manipuláciu správania jednotlivcov alebo skupín, ktoré zhoršujú ich schopnosť prijímať informované rozhodnutia a môžu spôsobiť škodu.
• Zneužívanie zraniteľných miest na základe veku, zdravotného postihnutia alebo sociálno-ekonomickej situácie na manipuláciu jednotlivcov alebo skupín, čo vedie k potenciálnej ujme.
• Sociálne bodovanie, hodnotenie alebo klasifikácia ľudí na základe správania alebo charakteristík, čo vedie k nespravodlivému zaobchádzaniu nesúvisiacemu s kontextom, v ktorom boli údaje zhromaždené, alebo spôsobom neprimeraným závažnosti správania.
• Hodnotenie trestného rizika, predpovedanie pravdepodobnosti spáchania trestného činu výlučne na základe profilovania alebo osobnostných vlastností, s výnimkou objektívnych vyšetrovaní trestných činov založených na faktoch.
• Vytváranie databáz rozpoznávania tváre z internetu alebo bezpečnostných kamier bez konkrétneho zamerania.
• Odvodzovanie emócií v citlivých oblastiach, ako sú pracoviská alebo vzdelávacie inštitúcie, pokiaľ sa nepoužívajú na lekárske alebo bezpečnostné účely.
• Biometrická kategorizácia založená na údajoch na odvodzovanie citlivých atribútov, ako je rasa, náboženstvo alebo politické názory, s výnimkou zákonného použitia pri presadzovaní práva.
• Biometrická identifikácia v reálnom čase na verejnosti orgánmi presadzovania práva, pokiaľ nie je nevyhnutne potrebná v konkrétnych situáciách (napr. pri hľadaní nezvestných osôb, predchádzaní bezprostredným hrozbám alebo identifikácii podozrivých zo závažných trestných činov). Musí sa to riadiť prísnymi právnymi postupmi vrátane predchádzajúceho povolenia, obmedzeného rozsahu a záruk na ochranu práv a slobôd.

Nariadením sa zavádzajú povinnosti zverejňovania v prípadoch, keď by mohlo vzniknúť riziko v dôsledku nedostatočnej transparentnosti používania AI:

• umelá inteligencia určená na vydávanie sa za človeka (napr. chatbot) musí informovať človeka, s ktorým komunikuje,
• výstup generatívnej umelej inteligencie musí byť označený ako vytvorený umelou inteligenciou strojovo čitateľným spôsobom,
• v určitých prípadoch musí byť výstup generatívnej AI viditeľne označený, konkrétne vysoko falošný obsah a text, ktorý je určený na informovanie verejnosti o veciach verejného záujmu.

Všetky ostatné systémy AI sa považujú za systémy s obmedzeným rizikom, a preto sa nariadením nezavádzajú žiadne ďalšie pravidlá.

Dôveryhodné používanie veľkých modelov AI

• Modely AI na všeobecné účely sú modely AI, ktoré sú vyškolené na veľkom množstve údajov a môžu vykonávať širokú škálu úloh. Môžu byť súčasťou systémov AI.
• Nariadením sa zavádzajú povinnosti transparentnosti pre poskytovateľov takýchto modelov umelej inteligencie na všeobecné účely, konkrétne technická dokumentácia, poskytovanie informácií vývojárom nadväzujúcich systémov AI a zverejňovanie údajov použitých pri tréningu modelu.
• Najvýkonnejšie modely AI na všeobecné účely môžu predstavovať systémové riziká. Ak model dosiahne určitý prah spôsobilosti, poskytovateľ tohto modelu musí splniť ďalšie povinnosti v oblasti riadenia rizík a kybernetickej bezpečnosti.

Správa a riadenie

• Nariadením sa zriaďujú viaceré riadiace orgány, ktoré sú aktívne od 2. augusta 2025:
  • príslušné vnútroštátne orgány, ktoré budú dohliadať na dodržiavanie a presadzovanie pravidiel pre systémy AI,
  • úrad pre AI v rámci Európskej komisie, ktorý bude koordinovať jednotné uplatňovanie spoločných pravidiel v celej EÚ a bude pôsobiť ako regulačný orgán pre modely AI na všeobecné účely.
• Členské štáty EÚ a úrad pre AI budú úzko spolupracovať v rámci rady pre AI, ktorá sa skladá zo zástupcov členských štátov, aby sa zabezpečilo jednotné a účinné uplatňovanie nariadenia.
• Nariadením sa zriaďujú dva poradné orgány pre úrad pre AI a radu pre AI:
  • vedecký panel nezávislých expertov, ktorí poskytujú vedecké poradenstvo,
  • poradné fórum pre zainteresované strany, ktoré poskytuje technické odborné znalosti rade pre AI a Komisii.

Sankcie

Pokuty za porušenie predpisov sú stanovené ako percento z ročného obratu spoločnosti, ktorá sa dopustila porušenia, alebo ako vopred stanovená suma, podľa toho, ktorá je vyššia. Na malé a stredné podniky a startupy sa vzťahujú pomerné správne pokuty.

Transparentnosť a ochrana základných práv

Zvýšená transparentnosť sa vzťahuje na vývoj a používanie vysoko rizikových systémov AI:

• pred zavedením vysokorizikového systému AI subjektmi poskytujúcimi verejné služby sa musí posúdiť jeho vplyv na základné práva,
• vysokorizikové systémy AI a subjekty, ktoré ich používajú, musia byť zaregistrované v databáze EÚ.

Inovácie

Nariadenie poskytuje právny rámec priaznivý pre inovácie a jeho cieľom je podporovať regulačné učenie založené na dôkazoch. Predpokladajú sa v ňom regulačné experimentálne prostredia pre AI, ktoré umožnia vytvoriť kontrolované prostredie, v ktorom sa môžu vyvíjať, testovať a overovať inovačné systémy AI, a to aj v reálnych podmienkach. Okrem toho nariadenie umožňuje testovanie vysokorizikových systémov AI v reálnom prostredí za určitých podmienok.

Hodnotenie a preskúmanie

Komisia každoročne posudzuje potrebu zmien zoznamu vysokorizikových použití AI a zoznamu zakázaných postupov. Do 2. augusta 2028 a potom každé štyri roky Komisia vyhodnotí tieto skutočnosti a podá o nich správu:

• doplnenie alebo rozšírenie zoznamu vysokorizikových kategórií,
• zmeny zoznamu systémov AI, ktoré si vyžadujú dodatočné opatrenia v oblasti transparentnosti,
• zmeny na zlepšenie dohľadu a správy a riadenia.