Pravidla pro důvěryhodnou umělou inteligenci v EU

KLÍČOVÉ BODY

Co je systém AI?

Systém AI je strojový systém navržený tak, aby fungoval s určitou úrovní autonomie a který:

• se po zavedení může přizpůsobit a
• který (za explicitními nebo implicitními účely) může z obdržených vstupů generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí.

Přístup založený na posouzení rizik

Tento právní předpis vychází z přístupu založeného na riziku, což znamená, že čím vyšší je riziko způsobení škody společnosti, tím přísnější jsou pravidla. Nařízení definuje použití umělé inteligenci v těchto oblastech jako vysoce rizikové, a to z důvodu potenciálního dopadu na základní práva, bezpečnost a blahobyt:

• bezpečnostní komponenty produktů, na které se vztahují harmonizační právní předpisy EU (nebo jako samostatné produkty) a povinnost posouzení shody třetí stranou podle harmonizačních právních předpisů EU,
• biometrické údaje, pokud se používají pro identifikaci na dálku, kategorizaci osob prostřednictvím citlivých atributů (například rasy nebo náboženského vyznání) nebo rozpoznávání emocí, s výjimkou případů, kdy se používají k pouhému ověření totožnosti,
• kritická infrastruktura, pokud je umělá inteligence bezpečnostní komponentou v oblastech, jako jsou digitální infrastruktura, doprava, voda, plyn, teplo a elektřina,
• vzdělávání a odborná příprava, včetně otázek přístupu ke vzdělávání, hodnocení výsledků učení, hodnocení úrovně vzdělání nebo monitorování chování během testů,
• zaměstnanost, včetně náboru, výběru uchazečů, rozhodování o pracovních podmínkách (povýšení, ukončení), přidělování úkolů nebo sledování výkonnosti,
• základní služby – systémy AI, které veřejné orgány používají k hodnocení způsobilosti pro veřejné služby (zdravotní péče, dávky), úvěrovému bodování, hodnocení pojistného rizika a stanovování priorit při reakcích na mimořádné události,
• vymáhání práva – systémy AI používané k posuzování rizik trestné činnosti, pro polygrafy, k hodnocení spolehlivosti důkazů, předvídání recidivy nebo získáním profilu osob pro vyšetřování trestné činnosti,
• migrace a kontrola hranic – systémy AI používané k posuzování rizik v souvislosti s migrací, azylem a žádostmi o vízum nebo k odhalování a identifikaci fyzických osob v souvislosti s migrací,
• správa soudnictví a demokratické procesy – systémy AI používané justičními orgány pro účely právního výzkumu a výklad nebo systémy, které by mohly ovlivnit výsledky voleb.

Nařízení zakazuje následující postupy v oblasti AI s nepřijatelnou mírou rizika

• Podprahové nebo klamavé techniky k manipulaci chování lidí jednotlivě nebo ve skupinách, které zhoršují jejich schopnost činit informovaná rozhodnutí a potenciálně způsobují škodu.
• Využívání zranitelností na základě věku, zdravotního postižení nebo socioekonomické situace k manipulaci s jednotlivci nebo skupinami, což vede k potenciální újmě.
• Hodnocení sociálního kreditu, který hodnotí nebo klasifikuje osoby na základě chování nebo vlastností, což má za následek nespravedlivé zacházení nesouvisející s kontextem, v němž byly údaje shromážděny, nebo způsobem nepřiměřeným závažnosti chování.
• Posouzení trestního rizika, které předpovídá pravděpodobnost spáchání trestného činu výhradně na základě profilování nebo osobnostních rysů, s výjimkou objektivních vyšetřování trestných činů založených na faktech.
• Získávání dat z databáze rozpoznávání obličeje z internetu nebo bezpečnostních kamer bez specifického cílení.
• Odvozování emocí v citlivých oblastech, jako jsou pracoviště nebo vzdělávací instituce, pokud nejsou používány pro lékařské nebo bezpečnostní účely.
• Biometrická kategorizace založená na údajích k odvození citlivých atributů, jako je rasa, náboženství nebo politické názory, s výjimkou zákonného použití v oblasti vymáhání práva.
• Biometrická identifikace v reálném čase na veřejnosti ze strany donucovacích orgánů, pokud to není nezbytně nutné pro konkrétní situace (např. nalezení pohřešovaných osob, předcházení bezprostředním hrozbám nebo identifikace osob podezřelých ze závažných trestných činů). Přitom se musí dodržovat přísné právní postupy, včetně předchozího povolení, omezeného rozsahu a záruk na ochranu práv a svobod.

Nařízení zavádí povinnost zveřejňovat informace v případech, kdy by mohlo vzniknout riziko v důsledku nedostatečné transparentnosti při využívání umělé inteligence:

• umělá inteligence navržená tak, aby se vydávala za člověka (např. chatbot), musí informovat člověka, se kterým komunikuje,
• výstup obecné AI musí být označen strojově čitelným způsobem jako generovaný AI,
• v některých případech musí být výstup obecné AI viditelně označen, zejména deep fake a text, který má informovat veřejnost o záležitostech veřejného zájmu.

Všechny ostatní systémy umělé inteligence se považují za systémy s omezeným rizikem, a proto nařízení nezavádí žádná další pravidla.

Důvěryhodné používání velkých modelů umělé inteligence

• Obecné modely AI jsou modely AI, které jsou trénovány na velkém množství dat a mohou provádět širokou škálu úkolů. Mohou být komponentami systémů umělé inteligence.
• Nařízení zavádí povinnosti v oblasti transparentnosti pro poskytovatele takových obecných modelů AI, zejména technické dokumentace, poskytování informací vývojářům navazujících systémů AI a zveřejňování údajů používaných při trénování modelu.
• Nejvýkonnější obecné modely AI mohou představovat systémová rizika. Pokud model splňuje určitou prahovou hodnotu schopností, musí poskytovatel tohoto modelu splnit další povinnosti v oblasti řízení rizik a kybernetické bezpečnosti.

Správa

• Nařízením se zřizuje několik řídících orgánů působících od 2. srpna 2025:
  • příslušné vnitrostátní orgány, které budou dohlížet na pravidla pro systémy AI a vymáhat je,
  • úřad pro AI v rámci Evropské komise, který bude koordinovat jednotné uplatňování společných pravidel v celé EU a bude působit jako regulační orgán pro obecné modely AI.
• Členské státy EU a úřad pro AI budou úzce spolupracovat na radě pro AI, která se skládá ze zástupců členských států a zajišťuje jednotné a účinné uplatňování nařízení.
• Nařízením se zřizují dva poradní orgány úřadu pro AI a rady pro AI:
  • vědecká komise nezávislých odborníků, která poskytuje vědecké poradenství,
  • poradní fórum pro zúčastněné strany, které poskytuje technické odborné znalosti radě pro AI a Komisi.

Sankce

Pokuty za porušení jsou stanoveny jako procento ročního obratu společnosti, která se dopustila protiprávního jednání, nebo jako předem stanovená částka, podle toho, která částka je vyšší. Na malé a střední podniky a začínající podniky se vztahují přiměřené správní pokuty.

Transparentnost a ochrana základních práv

Zvýšená transparentnost se vztahuje na vývoj a používání vysoce rizikových systémů umělé inteligence:

• předtím, než subjekty poskytující veřejné služby zavedou vysoce rizikový systém AI, musí být posouzen jeho dopad na základní práva,
• vysoce rizikové systémy AI a subjekty, které je používají, musí být registrovány v databázi EU.

Inovace

Nařízení stanoví právní rámec příznivý pro inovace a jeho cílem je podporovat fakticky podložené regulační učení. Plánuje regulační sandboxy pro AI, které umožňují kontrolované prostředí, v němž lze vyvíjet, testovat a ověřovat inovativní systémy AI, a to i v reálných podmínkách. Nařízení kromě toho za určitých podmínek umožňuje testování vysoce rizikových systémů AI v reálných podmínkách.

Hodnocení a přezkum

Komise každoročně posuzuje potřebu změn v seznamu vysoce rizikových použití AI a v seznamu zakázaných postupů. Do 2. srpna 2028 a následně každé čtyři roky Komise vyhodnotí níže uvedené a podá související zprávu:

• doplnění nebo rozšíření seznamu vysoce rizikových kategorií,
• změny seznamu systémů AI, které vyžadují další opatření v oblasti transparentnosti,
• změny s cílem zlepšit dohled a řízení.