This document is an excerpt from the EUR-Lex website
Document 52026DC0234
REPORT FROM THE COMMISSION TO THE EUROPEAN PARLIAMENT AND THE COUNCIL REPORT ADOPTED PURSUANT TO ARTICLE 112(1) OF REGULATION (EU) 2024/1689 ON THE NEED TO REVIEW THE LIST OF PROHIBITED AI PRACTICES AND OF HIGH-RISK AI SYSTEMS LISTED IN ANNEX III
ZPRÁVA KOMISE EVROPSKÉMU PARLAMENTU A RADĚ ZPRÁVA PŘIJATÁ PODLE ČL. 112 ODST. 1 NAŘÍZENÍ (EU) 2024/1689 O POTŘEBĚ PŘEZKOUMAT SEZNAM ZAKÁZANÝCH POSTUPŮ V OBLASTI UMĚLÉ INTELIGENCE A POŽADAVKY NA VYSOCE RIZIKOVÉ SYSTÉMY AI UVEDENÉ V PŘÍLOZE III
ZPRÁVA KOMISE EVROPSKÉMU PARLAMENTU A RADĚ ZPRÁVA PŘIJATÁ PODLE ČL. 112 ODST. 1 NAŘÍZENÍ (EU) 2024/1689 O POTŘEBĚ PŘEZKOUMAT SEZNAM ZAKÁZANÝCH POSTUPŮ V OBLASTI UMĚLÉ INTELIGENCE A POŽADAVKY NA VYSOCE RIZIKOVÉ SYSTÉMY AI UVEDENÉ V PŘÍLOZE III
COM/2026/234 final
EVROPSKÁ KOMISE
V Bruselu dne 20.5.2026
COM(2026) 234 final
ZPRÁVA KOMISE EVROPSKÉMU PARLAMENTU A RADĚ
ZPRÁVA PŘIJATÁ PODLE ČL. 112 ODST. 1 NAŘÍZENÍ (EU) 2024/1689 O POTŘEBĚ PŘEZKOUMAT SEZNAM ZAKÁZANÝCH POSTUPŮ V OBLASTI UMĚLÉ INTELIGENCE A POŽADAVKY NA VYSOCE RIZIKOVÉ SYSTÉMY AI UVEDENÉ V PŘÍLOZE III
ZPRÁVA EVROPSKÉ KOMISE EVROPSKÉMU PARLAMENTU A RADĚ
ZPRÁVA PŘIJATÁ PODLE ČL. 112 ODST. 1 NAŘÍZENÍ (EU) 2024/1689 O POTŘEBĚ PŘEZKOUMAT SEZNAM ZAKÁZANÝCH POSTUPŮ V OBLASTI UMĚLÉ INTELIGENCE A POŽADAVKY NA VYSOCE RIZIKOVÉ SYSTÉMY AI UVEDENÉ V PŘÍLOZE III
1. Souvislosti a základní informace
1)Dne 1. srpna 2024 vstoupilo v platnost nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci a mění některá nařízení (dále jen „akt o AI“) 1 . Toto nařízení stanoví komplexní právní rámec pro regulaci umělé inteligence (dále jen „AI“) v Unii, jehož cílem je podpořit inovace a zavádění AI a zároveň zajistit vysokou úroveň ochrany zdraví, bezpečnosti a základních práv v Evropské unii (EU), včetně demokracie a právního státu.
2)Akt o AI se řídí přístupem založeným na posouzení rizik a rozděluje systémy AI do čtyř různých kategorií rizika: i) nepřijatelné riziko; ii) vysoké riziko; iii) riziko, pokud jde o transparentnost; a iv) minimální nebo žádné riziko. U kategorie nepřijatelného rizika akt o AI uvádí konkrétní postupy v oblasti AI, které jsou v EU zakázány (článek 5 aktu o AI). Systémy AI jsou klasifikovány jako vysoce rizikové v souladu s článkem 6 aktu o AI ve spojení s přílohami I (seznam harmonizačních právních předpisů Unie) a III aktu o AI; Příloha III zahrnuje osm oblastí a uvádí konkrétní případy použití pro každou oblast, které Evropský parlament a Rada vyhodnotily jako oblasti s vysokým rizikem pro zdraví a bezpečnost osob nebo základní práva.
3)Akt o AI je koncipován jako flexibilní právní nástroj, který obstojí v budoucnu a umožňuje přizpůsobit některá pravidla rychlému technologickému vývoji, jakož i možným změnám ve využívání systémů AI a vznikajícím rizikům. Za tímto účelem akt o AI předpokládá průběžné sledování a revizi, které zajistí, že pravidla zůstanou relevantní a účinná. Toto platí ještě předtím, než se začnou uplatňovat konkrétní ustanovení, jako jsou pravidla pro vysoce rizikové systémy AI.
4)Článek 112 aktu o AI stanoví zvláštní nástroj monitorování pro hodnocení a přezkum tohoto aktu. Podle čl. 112 odst. 1 aktu o AI je Komise jednou ročně od vstupu aktu o AI v platnost a do konce období přenesení pravomoci uvedeného v článku 97 aktu o AI pověřena posouzením, zda je třeba změnit seznam vysoce rizikových systémů AI uvedený v příloze III a seznam zakázaných postupů v oblasti AI uvedený v článku 5 aktu. Komise musí závěry tohoto posouzení předložit Evropskému parlamentu a Radě.
5)Toto je první zpráva přijatá podle tohoto ustanovení. Jejím cílem je posoudit, zda je třeba změnit seznam případů použití uvedený v příloze III a seznam zakázaných postupů v oblasti AI stanovený v článku 5 aktu o AI, aby se zajistilo, že akt zůstane relevantní a účinný vzhledem k rychle se vyvíjejícím technologiím AI. Přezkum seznamu oblastí zahrnutých v příloze III nespadá do oblasti působnosti této zprávy, neboť Komise je povinna provést tento přezkum pouze do 2. srpna 2028 v souladu s čl. 112 odst. 2 aktu o AI.
6)Tato zpráva začíná představením metodiky použité při jejím vypracování. Poté je tato metodika použita k předložení posouzení případné potřeby přezkumu seznamu případů vysoce rizikového použití uvedeného v příloze III a seznamu zakázaných postupů v oblasti AI podle článku 5 aktu o AI.
7)Posouzení uvedené v této zprávě je omezeno krátkou dobou, která uplynula od vstupu aktu o AI v platnost a jeho omezeným nabytím účinnosti v době přijetí této zprávy. Kapitola II aktu o AI (Zakázané postupy) vstoupila v platnost dne 2. února 2025. Pravidla pro prosazování ustanovení této kapitoly se však začnou uplatňovat až od 2. srpna 2026 a příslušné vnitrostátní orgány se teprve určují. Povinnosti týkající se vysoce rizikových systémů AI uvedených v příloze III aktu o AI budou uplatňovány od 2. srpna 2026, přičemž se zvažuje případné prodloužení 2 . Navíc, zatímco pokyny Komise k zakázaným postupům v oblasti AI byly zveřejněny v únoru 2025 3 , pokyny ke klasifikaci vysoce rizikových systémů AI se stále připravují. V těchto pokynech je tedy třeba ještě vyjasnit některé pojmy a klasifikaci konkrétních případů použití AI a dále je rozvíjet uplatňováním přílohy III aktu o AI a souvisejících ustanovení v praxi.
2. Metodika přijatá pro přezkum podle čl. 112 odst. 1 aktu o AI
8)V souladu s čl. 112 odst. 11 aktu o AI by měl Evropský úřad pro umělou inteligenci v zájmu usměrňování hodnocení a přezkumů uvedených v čl. 112 odst. 1 vypracovat objektivní a participativní metodiku pro hodnocení úrovní rizika na základě kritérií uvedených v příslušných článcích a pro začlenění nových systémů do seznamu uvedeného v příloze III, včetně rozšíření stávajících okruhů oblastí nebo doplnění nových okruhů oblastí v uvedené příloze, a seznam zakázaných postupů uvedený v článku 5 aktu o AI.
9)V tomto oddílu zprávy je uveden metodický přístup, který Evropský úřad pro umělou inteligenci vytvořil, aby byla tato povinnost při přípravě zprávy splněna. Nejprve uvádí přehled právních kritérií pro přezkum seznamu zakázaných postupů v oblasti AI stanovených v článku 5 aktu o AI a seznamu vysoce rizikových systémů AI uvedených v příloze III (oddíl 2.1 níže). Tato právní kritéria jsou podkladem pro další posouzení potřeby případného přezkumu, zejména s ohledem na konkrétní systémy AI, které mohou spadat do těchto dvou kategorií. Zadruhé, zpráva popisuje participativní metody použité při sběru a analýze důkazů, jakož i přístup, který byl použit v průběhu celého procesu hodnocení (oddíl 2.2 níže).
2.1. Právní kritéria pro posouzení potřeby úpravy seznamu zakázaných postupů v oblasti AI stanoveného v článku 5 aktu o AI a seznamu případů vysoce rizikového použití uvedeného v příloze III aktu o AI
10)Posouzení, zda je zapotřebí upravit seznam zakázaných postupů v oblasti AI podle článku 5 aktu o AI, jakož i případů vysoce rizikového použití uvedených v příloze III aktu o AI, vychází z právních kritérií. V případě přílohy III aktu o AI jsou tato kritéria výslovně stanovena v samotném aktu o AI (článek 7 aktu o AI), zatímco v případě článku 5 aktu o AI jsou odvozena ze základního odůvodnění právních předpisů.
2.1.1 Kritéria pro přezkum seznamu zákazů uvedených v článku 5
11)Článek 5 aktu o AI zakazuje uvádění na trh EU, uvádění do provozu nebo používání omezeného počtu systémů AI z důvodu postupů spočívajících v manipulaci, vykořisťování, sociální kontrole, dozoru nebo jiných postupů, které svou přirozenou povahou porušují základní práva a hodnoty Unie. V 28. bodě odůvodnění aktu o AI se upřesňuje, že tyto postupy jsou mimořádně škodlivé a nekalé, protože jsou v rozporu s hodnotami EU, jimiž je úcta k lidské důstojnosti, svoboda, rovnost, demokracie a právní stát, a se základními právy zakotvenými v Listině základních práv EU (dále jen „Listina“) 4 . V důsledku toho může být přezkum článku 5 aktu o AI oprávněný vždy, když podstatné důkazy naznačují, že stávající zákazy dostatečně neřeší nové nebo vznikající postupy v oblasti AI, které skutečně ohrožují hodnoty EU nebo základní práva zakotvená v Listině a které lze kvalifikovat jako mimořádně škodlivé a nekalé.
12)Kromě toho čl. 5 odst. 8 aktu o AI stanoví, že aktem o AI nejsou dotčeny stávající zákazy podle jiných právních předpisů EU. Toto ustanovení zdůrazňuje provázanost aktu o AI s jinými právními rámci, a to z důvodu jeho horizontální povahy 5 . Celkově se zákazy v aktu o AI zaměřují především na nedostatky, které neřeší jiné právní předpisy EU, a vyžadují tržní pravidla specifická pro AI. Ačkoli se však mohou souběžně uplatňovat další právní akty EU, nevyhnutelně se dotýkají problematiky z jiných úhlů pohledu a s jinými mechanismy prosazování, a proto nemusí dostatečně řešit celková rizika některých nepřijatelných postupů v oblasti AI.
13)Přístup Komise k přezkumu seznamu zakázaných postupů v oblasti AI uvedených v článku 5 aktu o AI proto spočívá v posouzení potřeby přezkumu za splnění nejméně dvou kumulativních podmínek:
·existují nové nebo nově vznikající postupy v oblasti AI, které ohrožují hodnoty EU nebo práva a svobody uvedené v Listině a na které se nevztahuje stávající seznam zakázaných postupů v článku 5 aktu o AI; a
·navzdory dalším platným právním předpisům EU přetrvávají v právní úpravě nedostatky, což vyžaduje přezkum zákazů uvedených v aktu o AI, aby se zajistilo, že škodlivé postupy v této oblasti jsou komplexně pokryty.
14)Článek 5 lze upravit pouze legislativní změnou. Pokud tedy bude konstatována potřeba změnit článek 5 aktu o AI, Komise předloží závěry svého posouzení Evropskému parlamentu a Radě a zváží, zda je za tímto účelem třeba předložit legislativní návrh.
2.1.2 Kritéria pro přezkum seznamu vysoce rizikových systémů AI uvedených v příloze III
15)Článek 6 aktu o AI se ve spojení s přílohou I a přílohou III zabývá některými způsoby použití systémů AI, které jsou klasifikovány jako vysoce rizikové z důvodu významného rizika pro zdraví a bezpečnost nebo základní práva osob. Vysoce rizikové systémy AI by měly být uváděny na trh, do provozu nebo používány pouze v případě, že splňují určité závazné požadavky stanovené v aktu o AI, jejichž cílem je tato rizika řešit.
Omezení přezkumu na případy použití vysoce rizikových systémů AI uvedených v příloze III
16)Akt o AI rozlišuje dvě kategorie systémů AI, které jsou klasifikovány jako „vysoce rizikové“, jak je uvedeno v čl. 6 odst. 1 a 2 aktu o AI. První kategorií jsou systémy AI, které jsou zabudovány jako bezpečnostní komponenty do produktů nebo které jsou samy produkty, na něž se vztahují harmonizační právní předpisy EU uvedené v příloze I, které by mohly mít nepříznivý dopad na zdraví a bezpečnost osob, a proto jsou klasifikovány jako vysoce rizikové podle čl. 6 odst. 1 aktu o AI. Druhá kategorie zahrnuje systémy AI, které jsou s ohledem na svůj zamýšlený účel považovány za systémy představující významné riziko pro zdraví, bezpečnost nebo základní práva, a proto jsou klasifikovány jako vysoce rizikové podle čl. 6 odst. 2 aktu o AI.
17)Vzhledem k tomu, že čl. 112 odst. 1 aktu o AI se zaměřuje na případnou potřebu přezkumu případů vysoce rizikového použití uvedených v příloze III, systémy AI, které jsou bezpečnostními komponenty produktů nebo které jsou samy produkty spadajícími do oblasti působnosti některých harmonizačních právních předpisů EU uvedených v příloze I, nespadají do rámce této zprávy. Vysoce rizikovými systémy AI se v této zprávě rozumí pouze samostatné systémy AI 6 spadající do předem definovaných oblastí uvedených v příloze III.
Kritéria uvedená v článku 7 pro změnu případů použití vysoce rizikových systémů AI
18)Článek 7 aktu o AI zmocňuje Komisi upravovat prostřednictvím aktů v přenesené pravomoci přílohu III doplněním, změnou nebo vypuštěním případů použití vysoce rizikových systémů AI s cílem zohlednit rychlé tempo technologického vývoje, jakož i možné změny v používání systémů AI (viz také 52. bod odůvodnění a 173. bod odůvodnění aktu o AI). Toto zmocnění podléhá podmínkám stanoveným v čl. 7 odst. 1 až 3 aktu o AI.
19)Zaprvé, čl. 7 odst. 1 aktu o AI stanoví, že Komise může přijímat akty v přenesené pravomoci za účelem doplnění nových případů použití do přílohy III nebo změny případů, které jsou v této příloze v současnosti uvedeny, za předpokladu, že i) systémy AI jsou určeny k použití v jedné z osmi oblastí uvedených v příloze III a ii) představují riziko, které je stejné nebo větší než riziko, jež představují systémy již uvedené v příloze. Druhá podmínka stanoví práh srovnávacího posuzování rizik: klíčovou podmínkou pro zařazení dalších případů použití vysoce rizikových systémů AI je, že musí představovat riziko pro zdraví a bezpečnost nebo základní práva osob, které je stejné jako riziko systémů již uvedených v příloze III. Tím je zajištěna soudržnost a proporcionalita při klasifikaci vysoce rizikových systémů AI.
20)V čl. 7 odst. 2 jsou uvedena kritéria, která je nutné vzít v úvahu při určování, zda je tento práh splněn. Patří mezi ně mimo jiné zamýšlený účel systému AI, rozsah, v jakém bude pravděpodobně používán, povaha zpracovávaných údajů, současný a potenciální rozsah újmy. 52. bod odůvodnění aktu o AI objasňuje odůvodnění těchto kritérií a uvádí, že je vhodné klasifikovat samostatné systémy AI jako vysoce rizikové, pokud vzhledem ke svému zamýšlenému účelu představují vysoké riziko újmy na zdraví a bezpečnosti nebo na základních právech osob, přičemž se bere v úvahu jak závažnost možné újmy, tak pravděpodobnost, že nastane, a pokud jsou využívány v celé řadě oblastí uvedených v aktu o AI, které jsou výslovně definovány předem. Komise má při uplatňování kritérií určitý prostor pro uvážení, pokud jsou v celkovém posouzení řádně zohledněna a považována za splněná.
21)V důsledku toho není prahem pro úpravu seznamu v příloze III aktu o AI pouhá technologická novinka nebo veřejný zájem, ale prokazatelné a srovnatelné riziko, které systémy AI představují pro zdraví, bezpečnost nebo základní práva, podobně jako je tomu u systémů AI, které jsou v současnosti uvedeny v příloze III.
Odstranění případů použití vysoce rizikových systémů AI z přílohy III
22)Ustanovení čl. 7 odst. 3 aktu o AI stanoví kritéria pro odstranění vysoce rizikových systémů AI z přílohy III. Za tímto účelem musí Komise prokázat, že případ použití již nepředstavuje vysoké riziko újmy a že jeho odstraněním by se nesnížila celková úroveň ochrany zdraví a bezpečnosti nebo základních práv podle práva EU.
2.2. Metodika objektivního a participativního sběru a analýzy důkazů použitá v této zprávě a použité postupy
23)Podle čl. 112 odst. 11 aktu o AI je Evropský úřad pro umělou inteligenci povinen zavázat se k vypracování objektivní a participativní metodiky při posuzování potřeby přezkumu, jehož se zpráva týká. Podle čl. 112 odst. 8 a čl. 112 odst. 9 aktu o AI si Komise může při přípravě své zprávy vyžádat informace od Evropské rady pro umělou inteligenci (dále jen „rada pro AI“), členských států a příslušných vnitrostátních orgánů a při provádění přezkumu a hodnocení musí zohlednit stanoviska a závěry rady pro AI, Evropského parlamentu, Rady a dalších relevantních subjektů nebo zdrojů.
24)V souladu s těmito ustanoveními použila Komise při přípravě této zprávy následující metodiku:
·Spolupráce s radou pro AI a konzultace s členskými státy a příslušnými vnitrostátními orgány
Komise v procesu jmenování spolupracovala s členskými státy a jejich příslušnými vnitrostátními orgány a předkládala příslušné otázky prostřednictvím rady pro AI. Do procesu bylo zapojeno několik podskupin rady pro AI.
·Konzultace se zúčastněnými stranami
Proběhla konzultace s více zúčastněnými stranami, jejímž cílem bylo shromáždit zpětnou vazbu a názory široké škály zúčastněných stran, včetně zástupců průmyslu, akademické obce, občanské společnosti a široké veřejnosti.
·Empirický výzkum: analýza databází incidentů v souvislosti s AI
Komise rovněž analyzovala příslušné databáze incidentů v souvislosti s AI, aby zajistila komplexní přístup založený na empirických důkazech k újmě způsobené systémy AI.
25)V následujících oddílech je podrobněji popsána metodika objektivního a participativního sběru a analýzy důkazů použitá v této zprávě. Podrobně popisují přístupy, které byly použity k zajištění toho, aby shromážděné informace byly komplexní a zahrnovaly pohledy různých zúčastněných stran, což podporuje transparentní a dobře odůvodněné posuzování založené na důkazech.
3. Analýza shromážděných informací
3.1. Analýza podnětů z konzultací s členskými státy a radou pro AI
26)Evropský úřad pro umělou inteligenci konzultoval členské státy prostřednictvím příslušných podskupin rady pro AI 7 a vyzval je, aby se vyjádřily přímo během schůzí nebo písemně.
3.1.1 Postoj členských států k potřebě přezkoumat seznam zakázaných postupů uvedených v článku 5 aktu o AI
Obecný postoj
27)Během konzultace příslušné podskupiny rady pro AI většina přítomných členských států uvedla, že v této fázi nepovažuje za nutné upravit seznam zakázaných postupů v oblasti umělé inteligence stanovený v článku 5 aktu o AI. Kromě toho devět členských států předložilo e-mailem písemné prohlášení, v němž podobně potvrdily, že nepovažují za nutné tento seznam měnit. Srovnatelné odpovědi zaslali také oba pozorovatelé v podskupině.
28)Zástupci dotázaných členských států opakovaně upozornili, že vzhledem k tomu, že ustanovení aktu o AI týkající se definice systémů AI a zakázaných postupů se začala uplatňovat teprve 2. února 2025, pravidla pro vymáhání se začnou uplatňovat 2. srpna 2026 a mechanismy prosazování ještě nefungují a hodnocení postupů, které jsou mimořádně škodlivé a nekalé a které jsou v rozporu s hodnotami a základními právy EU, teprve začíná. Vzhledem k tomu, že od začátku uplatňování článku 5 aktu o AI uplynula jen krátká doba, chybí v současné době praktické zkušenosti a konkrétní případy použití, na jejichž základě by bylo možné vyhodnotit účinnost zákazů stanovených aktem o AI. Bylo proto vyhodnoceno, že smysluplnější vstupní údaje bude možné poskytnout, až budou příslušná ustanovení platit delší dobu. Členské státy prozatím konstatovaly, že je k dispozici jen málo konkrétních údajů nebo analýz, které by revizi odůvodňovaly.
29)Vzhledem k těmto úvahám členské státy obecně zastávaly názor, že jakékoli úsilí o revizi nebo změnu seznamu zakázaných postupů by bylo vhodnější vyvíjet v pozdější fázi, jakmile budou shromážděny dostatečné zkušenosti s prováděním.
Problémy označené k dalšímu sledování
30)Jeden členský stát navrhl, že by bylo vhodné posoudit, zda by na seznam zakázaných postupů v oblasti AI mohly být zařazeny systémy AI určené k vývoji nebo šíření malwaru, který by mohl poškodit kritickou infrastrukturu, ohrozit databáze nebo představovat rizika pro základní práva. Po analýze tohoto návrhu Komise usoudila, že rizika, která by takový zákaz řešil, se zdají být dostatečně pokryta různými právními předpisy EU 8 , nicméně tento problém označila k dalšímu sledování a posouzení.
3.1.2 Postoj členských států k potřebě změnit případy vysoce rizikového použití v příloze III aktu o AI
Obecný postoj
31)Potřeba změnit seznam případů vysoce rizikového použití v příloze III aktu o AI byla projednána na několika schůzích podskupin rady pro AI. Během těchto jednání mnoho přítomných členských států uvedlo, že v současné době nepovažují za nutné měnit přílohu III. Kromě toho sedm členských států zaslalo e-mailem písemné prohlášení, v němž potvrdily, že v této fázi nepovažují za nutné měnit přílohu III.
32)Podobně jako v případě výše uvedených úvah týkajících se případných změn seznamu zakázaných postupů v oblasti AI uvedených v článku 5 aktu o AI dotázané členské státy opakovaně uvedly, že stále posuzují dopady legislativního rámce na stávající případy použití vysoce rizikové AI uvedené v příloze III. Pravidla týkající se vysoce rizikových systémů AI zatím nejsou použitelná a příslušné pokyny Komise ke klasifikaci vysoce rizikových systémů AI se teprve připravují. S ohledem na tyto úvahy se členské státy obecně domnívaly, že provádět změny stávajícího seznamu případů vysoce rizikového použití uvedeného v příloze III aktu o AI je předčasné.
Problémy označené k dalšímu sledování
33)Dva členské státy vyjádřily obavy ohledně některých konkrétních případů použití AI 9 .
34)Jedna z obav se týkala regulace chatbotů využívajících AI pro svépomoc (terapii) 10 , které nespadají do působnosti nařízení o zdravotnických prostředcích 11 . Chatboti využívající AI pro svépomoc (terapii) jsou digitální nástroje využívající umělou inteligenci, které jsou určené k tomu, aby uživatelům poskytovaly podporu duševního zdraví a emoční poradenství prostřednictvím konverzačních rozhraní. Ačkoli jsou prezentovány jako nástroje pro zlepšení pohody, nikoli jako zdravotnické prostředky, přesto ovlivňují rozhodnutí uživatelů týkající se duševního zdraví a mohou zpracovávat citlivé osobní údaje. Proto existuje riziko, že podpora a emoční poradenství, které tito chatboti poskytují, by mohly mít negativní dopad na duševní zdraví fyzických osob. V této souvislosti jeden členský stát vznesl otázku, zda by tyto systémy měly být klasifikovány jako vysoce rizikové systémy AI.
35)V návaznosti na analýzu této otázky se Komise domnívá, že pokud chatboti pro svépomoc splňují definici zdravotnického prostředku, podléhají přísným požadavkům a kontrolám podle nařízení o zdravotnických prostředcích. Kromě toho se na nejškodlivější chatboty využívající AI pro svépomoc mohou vztahovat zákazy stanovené v čl. 5 písm. a) a b) aktu o AI. Pokud jde o klasifikaci dalších chatbotů využívajících AI pro svépomoc jako vysoce rizikových, většinu takových systémů AI nelze zařadit do některého z případů užití aktuálně uvedených v příloze III, přičemž některé konkrétní výjimky jsou již zahrnuty v případech použití 12 . Kromě toho mohou povinnosti zveřejňování stanovené v článku 50 aktu o AI alespoň do určité míry sloužit ke zmírnění s cílem řešit některá rizika spojená s chatboty využívajícími AI pro svépomoc, zejména těch, která se týkají informovaného rozhodování a potenciálního psychologického dopadu interakce na fyzické osoby. Komise proto před zvážením případných změn přílohy III posoudí, jak tato ustanovení řeší výše uvedená rizika v praxi. Komise nicméně uznává, že v této fázi by používání a potenciální rizika spojená s tímto typem systémů AI měla být v nadcházejících letech pečlivě sledována a měly by být shromažďovány další důkazy, zejména jakmile se začnou uplatňovat ustanovení aktu o AI týkající se vysoce rizikových systémů AI.
36)Další obava se týkala individualizovaného učení založeného na umělé inteligenci. Současná analýza založená na kritériích uvedených v článku 7 aktu o AI vede Komisi k závěru, že (nezávislé) systémy AI schopné samostatného učení nepředstavují ve většině případů stejná nebo větší rizika než systémy AI uvedené v příloze III aktu o AI. Konkrétně jsou k dispozici jen omezené empirické důkazy o vysokém riziku újmy v souvislosti s těmito systémy a nebyly zjištěny žádné incidenty související s těmito systémy. Podobný závěr platí i pro systémy AI, které se používají k vytváření výukových materiálů s individualizovaným obsahem v rámci samostatného (nezávislého) učení. Další případy použití individualizovaného učení založeného na umělé inteligenci mají být dále objasněny v připravovaných pokynech Komise ke klasifikaci vysoce rizikových systémů.
37)V neposlední řadě jeden členský stát navrhl rozšířit přílohu III aktu o AI tak, aby zahrnovala případy použití AI pro udělování povolení orgány veřejné moci v případech, kdy osoba žádá například o řidičský průkaz, zbrojní průkaz a muniční licenci nebo povolení k nakládání s chemickými látkami nebo k práci s výbušninami. V této fázi je jen málo důkazů o tom, že by takové případy použití odůvodňovaly klasifikaci systémů jako vysoce rizikových na základě kritérií stanovených v článku 7 aktu o AI. Vzhledem k tomu se Komise domnívá, že tato rizika si zaslouží další sledování.
3.2. Analýza podnětů z konzultací se zúčastněnými stranami
38)Od 6. června do 18. července 2025 uspořádala Komise konzultaci s více zúčastněnými stranami 13 s cílem shromáždit podněty k provádění pravidel aktu o AI týkajících se vysoce rizikových systémů AI. Tato konzultace zahrnovala také několik otázek týkajících se případné potřeby úpravy seznamu případů vysoce rizikového použití uvedených v příloze III aktu o AI a seznamu zakázaných postupů v oblasti AI uvedených v článku 5 aktu.
39)Celkem bylo obdrženo 547 odpovědí od různých zúčastněných stran, včetně podniků, organizací občanské společnosti, akademické obce, veřejných institucí a jednotlivců jednajících jako soukromé osoby 14 .
3.2.1 Názory zúčastněných stran na potřebu přezkumu seznamu zakázaných postupů uvedených v článku 5 aktu o AI
40)Zatímco značný počet zúčastněných stran považoval současný seznam za dostačující 15 , jiní navrhovali zařadit další zákazy 16 . Většina dotázaných zúčastněných stran neprosazovala zrušení žádného ze stávajících zákazů.
41)Návrhy zúčastněných stran na zahrnutí dalších zákazů Komise vyhodnotila pomocí metodiky a kritérií uvedených v oddíle 2.1.1 výše. Komise se z obdržených návrhů snažila určit zejména takové postupy, které lze považovat za mimořádně škodlivé a nekalé a které jsou v rozporu s hodnotami EU a základními právy a nejsou dostatečně řešeny stávajícími právními předpisy EU. Na základě tohoto přístupu bylo posouzeno, zda navrhovaná doplnění odůvodňují zařazení na seznam zakázaných postupů v oblasti AI, nebo zda je vhodnější je řešit prostřednictvím jiných regulačních mechanismů v rámci aktu o AI, případně jiných právních předpisů EU.
42)Značný počet návrhů byl vyhodnocen tak, že jsou již dostatečným způsobem řešeny stávajícími ustanoveními aktu o AI, a to buď zákazy stanovenými v článku 5 aktu o AI, klasifikací některých systémů AI jako vysoce rizikových podle přílohy III nebo přílohy I aktu o AI, nebo požadavky na transparentnost uvedenými v článku 50 aktu. Některé z návrhů, pokud byly posuzovány s ohledem na současnou fázi vývoje a zavádění AI a také s přihlédnutím k zaznamenaným incidentům v souvislosti s AI, zřejmě nesplňovaly práh pro přijetí zákazu podle aktu o AI 17 .
43)Níže uvedené obavy, které zúčastněné strany opakovaně vyjádřily, byly označeny k dalšímu sledování a hodnocení praxe:
·V oblasti biometrie se četné návrhy zaměřily na rozšíření zákazu používání technologií rozpoznávání emocí uvedených v čl. 5 odst. 1 písm. f) aktu o AI. Takové použití je zakázáno, pokud se používá na pracovištích a ve vzdělávacích institucích 18 . Používání těchto systémů ve všech ostatních oblastech je klasifikováno jako vysoce rizikové systémy AI podle přílohy III bodu 1 aktu o AI. Kromě toho čl. 50 odst. 3 aktu o AI vyžaduje, aby subjekty zavádějící systémy rozpoznávání emocí informovali fyzické osoby, které jsou jim vystaveny, o tom, že systém je v provozu. Několik respondentů však vyjádřilo obavy ohledně jejich zavádění v citlivých oblastech, jako je migrace, a navrhlo, aby jejich používání bylo v těchto specifických oblastech spíš výslovně zakázáno, než aby se na ně vztahovaly požadavky upravující vysoce rizikové systémy. Vzhledem k nedostatku empirických důkazů o tom, že klasifikace těchto systémů jako vysoce rizikových nepostačuje k zajištění ochrany základních práv, Komise nevidí bezprostřední potřebu změnit v tomto ohledu článek 5 aktu o AI. Tato oblast je však označena k dalšímu zvážení.
·Několik zúčastněných stran vzneslo otázku klasifikace systémů AI umožňujících temné vzorce a návykový design. Podle stávajícího posouzení Komise se na nejškodlivější případy takových postupů již vztahují platné zákazy, zejména zákazy uvedené v čl. 5 písm. a) a b) aktu o AI. Kromě toho se na tyto postupy mohou vztahovat další právní předpisy EU, například směrnice o nekalých obchodních praktikách 19 a nařízení o digitálních službách 20 , a to bez ohledu na to, zda se jedná o postupy využívající umělou inteligenci. Přesto zůstávají tyto postupy důležitou oblastí, která vzbuzuje obavy. Je důležité pečlivě sledovat jejich vývoj, aby bylo možné posoudit, zda stávající právní předpisy EU i nadále zajišťují odpovídající ochranu, zejména v případech, kdy systémy AI umožňují temné vzorce a návykový design.
·Několik zúčastněných stran upozornilo na systémy AI, které usnadňují kyberpodvody a vytvářejí nahé fotky a další škodlivé a ponižující deepfaky. Tyto škodlivé postupy byly rovněž zjištěny analýzou incidentů a jsou dále popsány v oddíle 3.3.3. níže.
3.2.2 Názory zúčastněných stran na potřebu změnit případy použití v příloze III aktu o AI
44)Zatímco značný počet zúčastněných stran považoval stávající seznam případů vysoce rizikového použití uvedených v příloze III aktu o AI za dostačující 21 , jiné navrhovaly doplnit okruhy oblastí o nové případy použití, rozšířit stávající případy použití nebo navrhovaly doplnit do přílohy nové okruhy oblastí 22 . Většina zúčastněných stran nepodpořila odstranění žádného ze stávajících případů použití z přílohy III.
45)Komise vyhodnotila značný počet podnětů tak, že jsou již dostatečným způsobem řešeny stávajícími ustanoveními aktu o AI 23 . Zbývající podněty k zařazení dalších případů použití a okruhů oblastí byly vyhodnoceny s ohledem na kritéria uvedená v článku 7 aktu o AI (viz oddíl 2.1.2 výše). Bylo prostudováno několik navrhovaných případů použití, nebylo však shledáno, že by představovaly riziko újmy stejné nebo větší než ty, které jsou již uvedeny v příloze III aktu o AI 24 . Některé z obav, které vznesly zúčastněné strany, byly vyhodnoceny tak, že jsou již pravděpodobně zahrnuty v seznamu případů vysoce rizikového použití uvedeném v příloze III aktu o AI, a bylo konstatováno, že je třeba je lépe objasnit v pokynech ke klasifikaci vysoce rizikových systémů AI, které v současné době připravuje Komise 25 .
46)Komise určila následující problémy, na které opakovaně upozorňovaly zúčastněné strany a které je třeba průběžně sledovat a posuzovat s ohledem na vyvíjející se postupy:
·Značný počet návrhů se týkal bodu 5 přílohy III aktu o AI. Pokud jde o bod 5 písm. a), několik zúčastněných stran vzneslo pochybnosti ohledně toho, že chybí výslovný odkaz na systémy AI používané ve veřejné správě ke správě přístupu k dávkám sociálního zabezpečení a sociálnímu bydlení. Pokud jde o bod 5 písm. b), zúčastněné strany uvedly, že systémy AI používané při prověřování nájemníků a způsobilosti soukromých služeb (např. telekomunikací, veřejných služeb) nejsou jasně zahrnuty. Pokud jde o bod 5 písm. c), byly vyjádřeny obavy, že stávající případ vysoce rizikového použití je omezen na životní a zdravotní pojištění, aniž by byla zmíněna další základní pojištění (např. pojištění motorových vozidel, profesní odpovědnosti, pojištění majitelů domů, invalidní pojištění). Zazněly také návrhy na rozšíření bodu 5 písm. d) o systémy AI, které ovlivňují rozhodnutí o reakci na mimořádné situace s dopadem na bezpečnost a práva (např. nucená evakuace, omezení volného pohybu osob). Přestože mnohé z návrhů byly vzaty na vědomí a budou v připravovaných pokynech Komise ke klasifikaci vysoce rizikových systémů lépe vyjasněny, Evropský úřad pro umělou inteligenci bude pečlivě sledovat zavádění systémů AI v oblasti, na kterou se vztahuje bod 5 přílohy III aktu o AI, a zejména v situacích, kdy s ohledem na konkrétní systémy AI není v příloze III žádný relevantní případ vysoce rizikového použití. Zvláštní pozornost bude věnována shromažďování empirických údajů o skutečných újmách a zjišťování případných nedostatků v právní úpravě, které by mohly být důvodem pro změnu nebo doplnění seznamu případů vysoce rizikového použití uvedeného v bodě 5 přílohy III nebo obecněji tohoto okruhu oblasti.
·V návaznosti na obavy, které vyjádřil jeden členský stát (viz oddíl 3.1 výše), se v rámci konzultací se zúčastněnými stranami opakovaně objevovala otázka týkající se AI společníků a chatbotů s AI pro podporu duševního zdraví. Tyto systémy AI byly zúčastněnými stranami zmíněny jak v souvislosti s případnou potřebou změnit zakázané postupy v oblasti AI, tak v souvislosti s případy použití uvedenými v příloze III. Jak bylo uvedeno výše, pokud takové systémy působí podprahově, manipulativně nebo klamavě nebo škodlivým způsobem využívají zranitelnosti, mohou se na ně vztahovat zákazy uvedené v čl. 5 písm. a) a b) aktu o AI. Pokud jsou navrženy s prvky pro rozpoznávání emocí, mohou být klasifikovány jako vysoce rizikové podle bodu 1 písm. c) přílohy III aktu o AI. Povinnosti v oblasti transparentnosti se vztahují také na zajištění toho, aby uživatelé byli informováni, že komunikují s chatovacím oknem využívajícím umělou inteligenci nebo že podléhají systémům rozpoznávání emocí nebo biometrické kategorizace. Další záruky nabízí nařízení o digitálních službách 26 a v příslušných případech právní předpisy EU o ochraně údajů 27 . Nicméně vzhledem k čím dál většímu šíření AI společníků a chatbotů s AI na podporu duševního zdraví považuje Komise za důležité pečlivě sledovat jejich vývoj v nadcházejících letech, aby mohla shromáždit další důkazy a posoudit, zda stávající legislativní rámec zůstává přiměřený k řešení rizik, která mohou představovat.
·Některé zúčastněné strany navrhly klasifikovat systémy AI používané při inkasování a vymáhání pohledávek jako vysoce rizikové a upozornily na jejich čím dál častější využívání poskytovateli energetických, telekomunikačních a finančních služeb. Takové systémy AI by mohly potenciálně spadat do okruhu oblasti uvedeného v bodech 5 nebo 8 přílohy III aktu o AI. Komise bude tyto systémy dále sledovat, aby zjistila, jak intenzivně jsou využívány a jaká újma může nastat, zejména ve vztahu ke zranitelným spotřebitelům.
·Několik zúčastněných stran navrhlo rozšířit oblast působnosti bodu 2 přílohy III aktu o AI, který se týká systémů AI používaných v oblasti kritické infrastruktury. Navrhly, aby tato oblast zahrnovala nejen systémy AI fungující jako bezpečnostní komponenty, ale také širší škálu systémů, které jsou nedílnou součástí spolehlivosti a kontinuity infrastruktury. Vzhledem k těmto podnětům je zapotřebí dále sledovat systémy AI v této oblasti, aby bylo možné posoudit intenzitu jejich zavádění a újmu, kterou mohou v praxi způsobit.
3.3. Empirický výzkum: analýza databází incidentů v souvislosti s AI a dalších zdrojů
47)Pro účely této zprávy byly rovněž vzaty v potaz a analyzovány informace v příslušných databázích incidentů v souvislosti s AI. Tento sekundární výzkum měl určit nebezpečné postupy a dřívější incidenty způsobené systémy AI, které by mohly poskytnout empirické důkazy o rizicích pro zdraví, bezpečnost a základní práva, jež se projevily, pro posouzení přezkumu. I když je empirický výzkum provedený v následujícím oddíle dalším zdrojem mapování dostupných údajů o škodách a incidentech způsobených systémy AI, má svá přirozená omezení vzhledem k tomu, že analyzované databáze incidentů neobsahují úplné a ověřené informace o všech incidentech AI. Mnoho incidentů je rovněž globálních a neomezuje se na Evropu a podrobné informace pro řádnou kategorizaci incidentů podle aktu o umělé inteligenci nejsou vždy k dispozici.
3.3.1 Databáze a časová osa
48)Hlavní databází, o kterou se sekundární výzkum opíral, byla Databáze incidentů a nebezpečí v souvislosti s AI (AIM) 28 Organizace pro hospodářskou spolupráci a rozvoj (OECD). Tato databáze je bezplatný projekt s otevřeným zdrojovým kódem, který je zaměřen na indexování historie újem nebo téměř újem, jež v reálném světě nastaly v důsledku zavedení systémů AI. Databáze je založena na umělé inteligenci a shromažďuje informace o incidentech v souvislosti s AI z veřejných zdrojů (většinou se jedná o incidenty v souvislosti s AI, o nichž informovaly sdělovací prostředky). Další databází, z níž Komise čerpala, bylo Úložiště rizik AI 29 Massachusettského technologického institutu (MIT) 30 . Tato databáze byla analyzována především pro účely vypracování metodiky analýzy incidentů.
49)Vzhledem k povaze databází incidentů, které zveřejňují pouze stručné souhrny hlášených událostí, byly analýzy založené na těchto zdrojích do jisté míry omezené. Stručné popisy neumožňují důsledně vyhodnotit přesné charakteristiky incidentů a ne vždy umožňují přesnou kategorizaci podle metodického rámce použitého v této zprávě, jak je uvedeno v oddíle 2.1 výše. Vzhledem k těmto omezením se ve zprávě používají obecné kvantitativní pojmy (jako je „podstatná část“ nebo „malá část“), místo aby byl uváděn přesný rozsah incidentů.
50)Aby bylo na analýzu incidentů k dispozici dost času, byl časový rámec omezen na incidenty nahlášené od 1. ledna 2024 (po skončení jednání o aktu o AI) do 31. května 2025. V tomto období bylo do Databáze incidentů a nebezpečí v souvislosti s AI (AIM) OECD nahlášeno celkem 3 791 incidentů.
3.3.2 Kategorizace hlášených incidentů
51)Prvním krokem v rámci analýzy byla kategorizace všech nahlášených 3 791 incidentů do šesti kategorií. Jedná se o tyto kategorie:
1.incidenty, které nespadají do působnosti aktu o AI;
2.incidenty, které pravděpodobně řeší příloha I aktu o AI;
3.incidenty, na které se pravděpodobně vztahuje článek 50 aktu o AI;
4.incidenty, které představují hypotetická rizika, aniž by v době nahlášení způsobily jakoukoli újmu;
5.incidenty, které jsou (nebo mohou být) potenciálně řešeny článkem 5 aktu o AI; a
6.incidenty, které jsou (nebo mohou být) potenciálně řešeny přílohou III aktu o AI.
52)Zatímco kategorie 1–4 byly shromážděny za účelem lepšího pochopení celkové situace v oblasti incidentů v souvislosti s AI, pouze incidenty spadající do kategorií 5 a 6 byly dále analyzovány podle metodiky použité pro tuto zprávu a výše uvedených kritérií (oddíl 2.1).
53)Z analýzy vyplynulo, že téměř polovina všech nahlášených incidentů v příslušném časovém období nespadala do oblasti působnosti aktu o AI nebo byla dostatečně pokryta jinými nástroji EU 31 . Kromě toho bylo pravděpodobné, že přibližně 10 % nahlášených incidentů bude řešeno podle přílohy I aktu o AI 32 , a proto se očekává, že budou zmírněny, jakmile se pravidla aktu o AI začnou uplatňovat. Část nahlášených incidentů zřejmě řeší článek 50 aktu o AI 33 , a proto lze podobně očekávat, že se zmírní, až se tato část aktu o AI začne uplatňovat. A konečně, některé z nahlášených incidentů byly hypotetické, a proto byly vyloučeny z další analýzy, která se omezila na skutečné újmy, jež v důsledku incidentu vznikly nebo bylo přiměřeně pravděpodobné, že v jeho důsledku vznikly.
54)Přibližně 30 % nahlášených incidentů označila Komise za relevantní pro podrobnější analýzu. Přibližně dvě třetiny těchto incidentů buď spadaly do působnosti článku 5 aktu o AI, nebo byly považovány za dostatečně relevantní, aby bylo odůvodněné posouzení, zda splňují kritéria pro zařazení na seznam zakázaných postupů v oblasti AI (oddíl 2.1.1 výše). Zbývající část, tj. jedna třetina incidentů určených k podrobnější analýze, pravděpodobně spadala do okruhů vysoce rizikových oblastí uvedených v příloze III aktu o AI 34 . Bylo však nutné ověřit, zda jsou tyto incidenty zachyceny v případech vysoce rizikového použití, jež jsou v současné době uvedeny v příloze III, nebo nejsou-li zachyceny, zda splňují kritéria pro zařazení do přílohy III aktu o AI (kritéria popsaná v oddíle 2.1.2 výše).
3.3.3 Zhodnocení incidentů určených k dalšímu posouzení
55)Druhý krok v rámci analýzy zahrnoval posouzení, zda se na 30 % nahlášených incidentů, které byly označeny za relevantní pro podrobnější analýzu, vztahují zákazy uvedené v článku 5 nebo případy použití uvedené v příloze III aktu o AI. V opačném případě bylo cílem následného posouzení určit případnou potřebu změnit tato ustanovení doplněním nebo odstraněním příslušných případů použití.
Incidenty, na něž se mohou vztahovat zakázané postupy v oblasti AI uvedené v článku 5 aktu o AI
56)Pokud jde o incidenty, na něž se mohou vztahovat zákazy stanovené v článku 5 aktu o AI, zdá se, že na část posuzovaných incidentů se toto ustanovení již vztahuje 35 . Některé z incidentů nebylo možné považovat ani za incidenty, na které se vztahuje článek 5 aktu o AI, ani za incidenty, na které se zákazy nevztahují, a to kvůli nedostatku dostačujících informací pro konkrétní posouzení.
57)Komise však zjistila značný počet incidentů, které se potenciálně týkaly zakázaných postupů uvedených v článku 5 aktu o AI nebo představovaly podobné postupů s mimořádně škodlivým a nekalým účinkem, na které se toto ustanovení jednoznačně nevztahovalo. Tyto incidenty byly posuzovány podle kritérií uvedených v oddíle 2.1.1 výše. Na základě analýzy upozornila Komise na následující oblasti:
·Systémy AI, které jsou určené k vytváření nahých a sexuálně explicitních deepfakes bez souhlasu, jež zobrazují skutečné osoby, včetně nezletilých osob, případně které jsou schopné takový typ deepfakes generovat. Komise analyzovala, zda by se stávající zákazy systémů AI, které používají záměrně manipulativní nebo klamavé techniky (čl. 5 odst. 1 písm. a) aktu o AI) nebo využívají zranitelnosti osob vyplývající z jejich věku, zdravotního postižení nebo konkrétní socioekonomické situace (čl. 5 odst. 1 písm. b), a způsobují tak významnou újmu, mohly vztahovat na systémy AI, které generují materiály zobrazující pohlavní zneužívání dětí (CSAM) a sexuálně explicitní snímky bez souhlasu. Komise dospěla k závěru, že na tyto postupy se čl. 5 odst. 1 písm. a) ani čl. 5 odst. 1 písm. b) aktu o AI nevztahují, neboť se při daných postupech s dětmi ani obětmi nemanipuluje s cílem zapojit je do škodlivého chování.
·Na systémy AI, které mají usnadňovat kyberpodvody a finanční podvody, se může potenciálně vztahovat čl. 5 odst. 1 písm. a) a b) aktu o AI, jsou-li splněny podmínky těchto ustanovení, včetně prahu značné finanční újmy. Nutně to také vyžaduje věrohodnou příčinnou souvislost mezi finanční újmou, která vznikla nebo je přiměřeně pravděpodobné, že vznikne, a použitím systému AI (např. deepfake obsah vydávající se za člena rodiny). Komise považuje za důležité vyhodnotit, jak se bude vyvíjet postup členských států ohledně výkladu požadavku na vznik značné finanční újmy a jaký to bude mít dopad na zahrnutí těchto škodlivých a podvodných postupů v oblasti AI do zákazů uvedených v článku 5 aktu o AI.
Incidenty týkající se případů vysoce rizikového použití uvedených v příloze III
58)Analýza incidentů spadajících do okruhů vysoce rizikových oblastí v příloze III aktu o AI ukázala, že podstatná část z nich již pravděpodobně spadá do konkrétních případů použití uvedených v této příloze 36 . Kromě toho byly některé nahlášené incidenty vyhodnoceny jako incidenty, které nepředstavují takovou míru rizika újmy, jaká je spojena s případy použití již uvedenými v příloze III aktu o AI 37 . Menší část incidentů nebylo možné kvůli nedostatku informací jednoznačně kategorizovat.
59)Bylo zjištěno, že značný počet incidentů spadá do okruhů oblastí uvedených v příloze III aktu o AI; nebyly však jednoznačně pokryty konkrétními případy použití, které jsou v nich v současné době uvedeny. Tyto incidenty byly posuzovány na základě kritérií uvedených v oddíle 2.1.2 výše. Na základě analýzy byly určeny následující oblasti, které byly označeny k dalšímu sledování a shromažďování údajů:
·Značný počet incidentů se týkal politických dezinformačních kampaní, které tematicky spadají do oblasti správy soudnictví a demokratických procesů uvedené v bodě 8 přílohy III, ale v případech použití uvedených v tomto bodě se jednoznačně neobjevují. Tyto dezinformační kampaně se z velké části týkaly deepfake videí a obrázků, jejichž rizika již do jisté míry řeší článek 50 aktu o AI. Kromě toho se na část těchto systémů AI mohou vztahovat zákazy uvedené v čl. 5 odst. 1 písm. a) nebo b) aktu o AI, pokud jsou splněny všechny podmínky v něm stanovené. Kromě toho se některými problémy spojenými s politickými dezinformacemi zabývá nařízení o digitálních službách a nařízení o transparentnosti a cílení politické reklamy 38 . Další opatření a iniciativy jsou uvedeny v nedávno přijatém sdělení o Evropském štítu pro demokracii 39 . Komise v nadcházejících pokynech ke klasifikaci vysoce rizikových systémů AI dále posoudí a objasní, zda by část takových postupů v oblasti AI mohla být klasifikována jako systémy AI určené pro použití za účelem ovlivnění výsledku voleb nebo referenda nebo volebního chování fyzických osob při výkonu jejich hlasování ve volbách nebo referendech.
Závěr
60)Tuto zprávu vypracovala Komise a je určena Evropskému parlamentu a Radě, aby splnila povinnosti Komise stanovené v čl. 112 odst. 1 aktu o AI. Zjištění uvedená v této zprávě se těmto orgánům předkládají k posouzení.
61)V návaznosti na posouzení provedené za použití objektivní a participativní metodiky pro přezkum požadovaný podle čl. 112 odst. 1 aktu o AI Komise konstatuje a dále analyzuje potenciální regulační mezeru týkající se systémů AI vytvářejících materiály zobrazující pohlavní zneužívání dětí a intimní obsah bez souhlasu, jež článek 5 aktu o AI nezakazuje. Vzhledem k tomu, že ustanovení aktu o AI týkající se zakázaných postupů v oblasti AI vstoupila v platnost 2. února 2025 a pravidla pro jejich vymáhání se zatím neuplatňují, je posuzování jiných postupů v oblasti AI, které jsou mimořádně škodlivé a nekalé a které jsou v rozporu s hodnotami EU a základními právy, stále v počáteční fázi a chybí praktické zkušenosti se zákazy. Věcnější hodnocení uplatňování článku 5 aktu o AI bude možné až poté, co budou zákazy platit alespoň rok a začnou se objevovat běžné problémy nebo nedostatky v právní úpravě. Stejně tak vyhodnocení fungování pravidel pro vysoce rizikové systémy AI a určení případných nedostatků při používání těchto systémů, které představují vysoké riziko pro zdraví a bezpečnost nebo základní práva, bude snadnější, jakmile Komise zveřejní pokyny ke klasifikaci vysoce rizikových systémů AI a budou získány praktické zkušenosti. Očekává se také, že regulační sandboxy vytvořené v souladu s aktem o AI budou fungovat jako mechanismus pro získávání regulačních poznatků a shromažďování důkazů, které pomohou určit případné nedostatky v právní úpravě a problémy s výkladem. Na základě shromážděných důkazů a posouzení provedeného v této zprávě však Komise označila konkrétní systémy AI, které je nutné sledovat a u nichž je třeba další analýzy v rámci následných přezkumů.
62)Orgány dozoru nad trhem, které dohlížejí na uplatňování aktu o AI, se vyzývají, aby v nadcházejících letech zvážily, zda zákazy stanovené v článku 5 aktu o AI dostatečně řeší škodlivé a specifické aplikace s vysokým potenciálem zneužití, přičemž by měly vycházet ze svých praktických zkušeností v oblasti dozoru a prosazování práva. Stejně tak by se po zahájení uplatňování pravidel pro vysoce rizikové systémy AI a jejich prosazování měla věnovat zvláštní pozornost systémům AI, které by mohly spadat do některé z oblastí uvedených v příloze III, ale nejsou výslovně uvedeny na stávajícím seznamu případů vysoce rizikového použití. Tím se zajistí vstupní informace založené na důkazech, které bude možné využít pro budoucí zprávy Komise, jež budou přijaty na základě čl. 112 odst. 1 aktu o AI, a zároveň se tím usnadní Komisi posoudit, zda oblast působnosti článku 5 a přílohy III aktu o AI zůstává v průběhu času přiměřená, a připraví se tím tak půda pro informovaný, objektivní a na důkazech založený přezkum a případnou revizi příslušných ustanovení aktu o AI.
63)V souladu s čl. 112 odst. 1 aktu o AI podléhá seznam zakázaných postupů v oblasti AI stanovený v článku 5 aktu o AI a seznam případů použití vysoce rizikových systémů uvedený v příloze III aktu o AI každoročnímu přezkumu až do konce období přenesení pravomoci stanoveného v článku 97 aktu o AI. Příští posouzení podle článku 112 aktu o AI by proto mělo být Komisí provedeno v roce 2026 a po jeho dokončení Komise zveřejní svá zjištění ve zprávě.
64)V zájmu zajištění konzistentního a systematického shromažďování příslušných údajů před provedením hodnocení v roce 2026 hodlá Komise koordinovat probíhající monitorování na vnitrostátní úrovni a na úrovni EU. Za tímto účelem bude Evropský úřad pro umělou inteligenci spolupracovat s radou pro AI a příslušnými vnitrostátními orgány členských států a případně konzultovat již zavedené rámce spolupráce vnitrostátních kontaktních míst v příslušných oblastech. Zvláštní pozornost bude věnována oblastem, které jsou v této zprávě označeny k dalšímu sledování a shromažďování důkazů. Bude však také monitorován technologický vývoj a případné relevantní změny v používání systémů AI, jejich dopady a vznikající rizika.
65)Při posuzování skutečnosti, zda jsou rizika spojená s AI v dostatečném rozsahu řešena stávajícími právními předpisy EU, bude po zahájení prosazování aktu o AI a získání praktických zkušeností analýza zkoumat, jak akt o AI působí na ostatní rámce EU a jak je doplňuje při řešení rizik pro zdraví, bezpečnost a základní práva. Zvláštní pozornost bude věnována soudržnosti a praktické souhře aktu o AI s nástroji, jako je nařízení o digitálních službách, akt o správě dat, nařízení o transparentnosti a cílení politické reklamy, jakož i acquis v oblasti ochrany spotřebitele a volného pohybu zboží. Cílem této analýzy by mělo být zjistit, do jaké míry horizontální pravidla, povinnosti pro jednotlivá odvětví, mechanismy pro správu dat a ochranná opatření týkající se produktů společně zmírňují příslušná rizika, a tedy i to, zda je nutný další regulační zásah.
Nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci (akt o umělé inteligenci) (Úř. věst. L, 2024/1689, 12.7.2024).
Komise v souhrnném balíčku pro digitální oblast zaměřeném na umělou inteligenci navrhla sladit časový plán pro pravidla pro vysoce rizikovou AI s dostupností norem a dalších podpůrných nástrojů. Jakmile Komise potvrdí, že jsou pokyny k dispozici v dostatečném rozsahu, začnou se pravidla uplatňovat po šestiměsíčním přechodném období pro vysoce rizikové systémy AI uvedené v příloze III, nejpozději však 2. prosince 2027. O tomto návrhu se nadále jedná, přičemž Evropský parlament a Rada musí v této věci dosáhnout shody. Podrobněji viz návrh nařízení Evropského parlamentu a Rady, kterým se mění nařízení (EU) 2024/1689 a (EU) 2018/1139, pokud jde o zjednodušení provádění harmonizovaných pravidel pro umělou inteligenci (souhrnný balíček pro digitální oblast zaměřený na umělou inteligenci). {SWD(2025) 836 final}, Brusel, 19.11.2025, COM(2025) 836 final, 2025/0359 (COD).
K dispozici na adrese: Komise zveřejňuje Pokyny k zakázaným postupům v oblasti umělé inteligence, jak jsou definovány v aktu o AI. | Utváření digitální budoucnosti Evropy
Listina základních práv Evropské unie. Úř. věst. C 326, 26.10.2012, s. 391.
V tomto ohledu viz oddíly 2.8, 3.6, 4.4, 5.4, 6.4 a 8.4 Pokynů k zakázaným postupům v oblasti AI.
Vysoce rizikové systémy AI jiné než ty, které jsou bezpečnostními komponenty produktů nebo které jsou samy produkty klasifikovanými jako vysoce rizikové podle čl. 6 odst. 1.
Na čtvrté schůzi podskupiny rady pro AI pro zakázané postupy, která se konala dne 13. května 2025, byly členským státům předloženy především otázky týkající se potřeby přezkumu seznamu případů použití uvedeného v příloze III a seznamu zakázaných postupů v oblasti AI stanoveného v článku 5 aktu o AI; třetí schůze podskupiny rady pro AI pro vysoce rizikové systémy AI podle přílohy III, která se konala dne 16. května 2025; třetí schůze podskupiny rady pro AI pro vymáhání práva a bezpečnost podle přílohy III, která se konala dne 5. června 2025; druhá schůze podskupiny rady pro AI pro AI v oblasti finančních služeb, která se konala dne 13. května 2025.
Např. právní předpisy EU v oblasti kybernetické bezpečnosti (z nedávných právních aktů viz nařízení o kybernetické solidaritě), směrnice 2013/40/EU o útocích na informační systémy a nahrazení rámcového rozhodnutí Rady 2005/222/SVV.
Jak bylo uvedeno výše, pokyny Komise k vysoce rizikovým systémům AI budou k dispozici až v roce 2026. Posouzení konkrétních vysoce rizikových systémů AI, které byly určeny členskými státy, zúčastněnými stranami nebo z databází incidentů v souvislosti s AI, proto vychází pouze ze znění aktu o AI. Vzhledem k omezeným pokynům, které jsou v současné fázi k dispozici, nebylo vždy možné provést konkrétní posouzení a tyto případy byly označeny k dalšímu sledování.
Podobné obavy vyjádřily i různé zúčastněné strany (viz oddíl 3.2 níže).
Pokud je chatbot uváděn na trh jako řešení konkrétních duševních stavů nebo jako průvodce uživatelů při terapeutických intervencích, bude pravděpodobně spadat do oblasti působnosti nařízení o zdravotnických prostředcích, protože jej lze považovat za software určený k léčbě nebo zmírnění nemoci (čl. 2 odst. 1 nařízení o zdravotnických prostředcích). Nařízení Evropského parlamentu a Rady (EU) 2017/745 ze dne 5. dubna 2017 o zdravotnických prostředcích, změně směrnice 2001/83/ES, nařízení (ES) č. 178/2002 a nařízení (ES) č. 1223/2009 a o zrušení směrnic Rady 90/385/EHS a 93/42/EHS. Úř. věst. L 117, 5.5.2017, s. 1.
Například chatboty využívající AI pro svépomoc s funkcemi rozpoznávání emocí. Systémy AI určené k použití za účelem rozpoznávání emocí jsou podle přílohy III bodu 1 písm. c) klasifikovány jako vysoce rizikové.
Komise zahájila veřejnou konzultaci o vysoce rizikových systémech AI | Portál evropské e-justice .
Celkem 409 respondentů uvedlo, že zastupují nějakou organizaci. Největší skupinu respondentů tvořily podniky (150 odpovědí), dále sdružení (93 odpovědí) a respondenti, kteří zvolili možnost „jiná organizace“ (81 odpovědí). Organizace občanské společnosti nebo sdružení poskytly 56 odpovědí, zatímco výzkumné ústavy (11 odpovědí), univerzity (7 odpovědí), analytická střediska (6 odpovědí) a spotřebitelské organizace (5 odpovědí) tvořily menšinu organizací. Celkem 138 respondentů uvedlo, že jednají jako jednotlivci. Mezi posledně jmenovanými tvořily nejpočetnější skupiny osoby, které se označily za jiné nezávislé odborníky nebo organizace s příslušnými odbornými znalostmi (35), poskytovatele systému AI (34) a akademickou obec (28), zatímco 14 zvolilo možnost „jiné“ a 13 se označilo za subjekty zavádějící systém AI. Někteří další respondenti, kteří uvedli, že jednají jako soukromé osoby, označili vazbu na organizaci občanské společnosti (7), jiné hospodářské subjekty (3), podnikatelské sdružení (2) nebo dozorový úřad (2).
Má se za to, že jak respondenti, kteří tento názor výslovně vyjádřili ve svých odpovědích, tak ti, kteří se k příslušné otázce nevyjádřili, považují současný seznam zákazů považují za dostatečný.
Něco přes 10 % respondentů.
Jako například návrhy zakázat systémy AI používané při řízení migrace; klonování hlasu v aplikacích AI zaměřené na spotřebitele; osobnosti generované umělou inteligencí, které se používají pro politická sdělení.
S výjimkou případů, kdy je použití systému AI určeno k zavedení či k uvedení na trh z lékařských nebo bezpečnostních důvodů.
Směrnice Evropského parlamentu a Rady 2005/29/ES ze dne 11. května 2005 o nekalých obchodních praktikách vůči spotřebitelům na vnitřním trhu a o změně směrnice Rady 84/450/EHS, směrnic Evropského parlamentu a Rady 97/7/ES, 98/27/ES a 2002/65/ES a nařízení Evropského parlamentu a Rady (ES) č. 2006/2004 („směrnice o nekalých obchodních praktikách“). Úř. věst. L 149, 11.6.2005, s. 22.
Nařízení Evropského parlamentu a Rady (EU) 2022/2065 ze dne 19. října 2022 o jednotném trhu digitálních služeb a o změně směrnice 2000/31/ES (nařízení o digitálních službách). Úř. věst. L 277, 27.10.2022, s. 1.
Má se za to, že jak respondenti, kteří tento názor výslovně vyjádřili ve svých odpovědích, tak ti, kteří se k příslušné otázce nevyjádřili, považují současný seznam případů vysoce rizikového použití AI v příloze III za dostatečný.
Přibližně 20 % respondentů.
Například návrhy na zařazení konkrétních biometrických systémů mezi vysoce rizikové systémy (již zahrnuto v bodě 1 přílohy III).
Například systémy AI určené pro poskytovatele on-line služeb, které mají zajistit, aby audiovizuální mediální služby veřejného zájmu byly náležitě zviditelněny; některé systémy AI používané v chovu hospodářských zvířat.
Například obavy vyjádřené v souvislosti s konkrétními systémy AI používanými při zaměstnávání a rozpoznávání emocí.
Nařízení o digitálních službách zakazuje manipulativní koncepci rozhraní (temné vzorce) a poskytovatelům velmi velkých online platforem a velmi velkých internetových vyhledávačů ukládá povinnost identifikovat, posoudit a analyzovat veškerá systémová rizika plynoucí z koncepce či fungování jejich služeb a souvisejících systémů, včetně algoritmických systémů (článek 34 nařízení o digitálních službách). Poskytovatelé jsou rovněž povinni zavést opodstatněná, přiměřená a účinná zmírňující opatření, včetně testování a úpravy svých algoritmických systémů (článek 35 nařízení o digitálních službách). Podle nařízení o digitálních službách musí poskytovatelé online platforem přístupných nezletilým osobám zavést vhodná a přiměřená opatření, kterými zajistí vysokou míru soukromí, bezpečnosti a ochrany nezletilých osob v rámci svých služeb (čl. 28 odst. 1 nařízení o digitálních službách). Nařízení Evropského parlamentu a Rady (EU) 2022/2065 ze dne 19. října 2022 o jednotném trhu digitálních služeb a o změně směrnice 2000/31/ES (nařízení o digitálních službách). Úř. věst. L 277, 27.10.2022, s. 1.
Například zásady zpracování údajů a práva subjektů údajů stanovené v obecném nařízení o ochraně osobních údajů, které by se uplatňovaly v souvislosti se systémem AI, např. proto, že osobní údaje se používají k vývoji systému AI nebo jsou vstupem či výstupem při jeho zavádění. Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (obecné nařízení o ochraně osobních údajů). Úř. věst. L 119, 4.5.2016, s. 1.
K dispozici na adrese https://airisk.mit.edu/
Toto úložiště má tři části: i) databáze rizik AI; ii) kauzální taxonomie rizik AI (klasifikace toho, jak, kdy a proč k rizikům AI dochází); taxonomie rizik AI podle domén (klasifikace rizik AI do sedmi domén (např. „Neúmyslně nesprávné informace“) a 24 dílčích domén (např. „Nepravdivé nebo zavádějící informace“).
Tyto incidenty se obecně týkaly problémů, které jsou řešeny jinými příslušnými právními předpisy EU, například porušení ochrany osobních údajů, které upravuje obecné nařízení o ochraně osobních údajů. Mnoho z těchto incidentů se navíc týkalo sporů o autorská práva, které řeší nástroje, jakým je autorské právo EU. Mnoho incidentů navíc pocházelo z oblastí, které spadají do pravomocí členských států, jako je například využívání umělé inteligence ve vojenských aplikacích.
Tyto incidenty se týkaly především újem způsobených umělou inteligencí používanou ve zdravotnických prostředcích nebo autonomních vozidlech.
Tyto incidenty se týkají deepfaků, které postrádají vhodné vodoznaky nebo jiná opatření pro zajištění transparentnosti.
Nejčastěji se tyto incidenty týkaly použití umělé inteligence při biometrické identifikaci v oblasti vymáhání práva, řízení správy hranic, základních služeb, vzdělávacích institucí a institucí odborné přípravy, jakož i správy soudnictví a demokratických procesů.
Tyto incidenty, na něž se mohl vztahovat článek 5 aktu o AI, zahrnovaly celou řadu témat, například biometrickou identifikaci v reálném čase nebo rozpoznávání emocí na pracovišti.
Incidenty v oblasti biometriky (bod 1 přílohy III) se často týkaly systémů AI používaných v bezpečnostních kamerách pro rozpoznávání obličeje na dálku za účelem identifikace podezřelých osob. V oblasti zaměstnanosti se zjištěné incidenty týkaly systémů AI používaných k optimalizaci procesů přijímání a propouštění pracovníků, jako je skenování životopisů nebo sledování zaměstnanců na platformách používaných v práci. V oblasti přístupu k základním službám a jejich využívání se hlášené incidenty často týkaly používání algoritmu založeného na umělé inteligenci k označování osob pobírajících dávky na bydlení za podvodníky, což vedlo ke zbytečným vyšetřováním a porušování práv. Pokud jde o oblast vymáhání práva, mezi relevantní případy patří používání umělé inteligence k posouzení rizik, kterým čelí oběti domácího násilí. Pokud jde o řízení správy hranic, příslušné incidenty se týkaly sledování a identifikace obličejů migrantů pomocí kamer.
Několik incidentů se týkalo použití kamer využívajících AI, které slouží k odhalování dopravních přestupků nebo ke sledování hustoty davu a zajištění bezpečnosti během veřejných akcí. Takové aplikace umělé inteligence souvisejí s vymáháním práva; nezdá se však, že by představovaly riziko újmy stejné nebo větší než riziko újmy nebo nepříznivého dopadu, které představují jiné vysoce rizikové systémy AI již uvedené v bodě 6 přílohy II. Je to dáno zejména tím, že se zpravidla týkají přestupků, jejichž důsledky jsou méně rušivé než důsledky spojené s trestnými činy, nebo slouží k zajištění bezpečnosti bez přímého dopadu na základní práva. Takové případy použití AI proto v současné době nevyžadují změnu přílohy III.
Nařízení Evropského parlamentu a Rady (EU) 2024/900 ze dne 13. března 2024 o transparentnosti a cílení politické reklamy. Úř. věst. L, 2024/900, 20.3.2024.
Společné sdělení Evropskému parlamentu, Radě, Evropskému hospodářskému a sociálnímu výboru a Výboru regionů. Evropský štít pro demokracii: podpora silných a odolných demokracií. Brusel, 12.11.2025. JOIN(2025) 791 final.