(1)

Účelem tohoto nařízení je zlepšit fungování vnitřního trhu stanovením jednotného právního rámce zejména pro vývoj umělé inteligence , její uvádění na trh a  využívání v souladu s hodnotami Unie . Toto nařízení sleduje řadu naléhavých důvodů veřejného zájmu , jako je například vysoká úroveň ochrany zdraví, bezpečnosti a základních práv , a zajišťuje volný pohyb zboží a služeb založených na UI přes hranice, čímž brání členským státům ukládat omezení vývoje, uvádění na trh a používání systémů UI, pokud to není tímto nařízením výslovně povoleno.

(1)

Účelem tohoto nařízení je podporovat zavádění důvěryhodné umělé inteligence zaměřené na člověka a zajistit vysokou úroveň ochrany zdraví, bezpečnosti, základních práv, demokracie a právního státu a životního prostředí před škodlivými účinky systémů umělé inteligence v Unii a zároveň podporovat inovace a  zlepšovat fungování vnitřního trhu . Toto nařízení stanoví jednotný právní rámec, zejména pro vývoj, uvádění na trh , uvádění do provozu a používání umělé inteligence v souladu s hodnotami Unie , a zajišťuje volný pohyb zboží a služeb založených na UI přes hranice, čímž brání členským státům ukládat omezení vývoje, uvádění na trh a používání systémů umělé inteligence (dále jen „systémy UI“), pokud to není tímto nařízením výslovně povoleno. Některé systémy UI mohou mít rovněž dopad na demokracii, právní stát a životní prostředí. Tyto obavy jsou konkrétně řešeny v kritických odvětvích a případech použití uvedených v přílohách tohoto nařízení.

(1a)

Toto nařízení by mělo zachovávat hodnoty Unie tím, že usnadní rozdělení přínosů umělé inteligence ve společnosti, bude chránit jednotlivce, podniky, demokracii a právní stát a životní prostředí před riziky a současně podpoří inovace a zaměstnanost a zajistí Unii vedoucí postavení v této oblasti.

(2)

Systémy umělé inteligence (systémy UI) lze snadno uplatnit v řadě hospodářských a společenských odvětví, včetně přeshraničních, a mohou obíhat v celé Unii. Některé členské státy již zkoumají možnost přijetí vnitrostátních pravidel, která by zajišťovala, že umělá inteligence bude bezpečná a že bude vyvíjena a používána v souladu s povinnostmi v oblasti základních práv. Rozdílné vnitrostátní předpisy mohou vést k roztříštěnosti vnitřního trhu a ke snížení právní jistoty pro provozovatele, kteří systémy UI vyvíjejí nebo používají. Proto je třeba zajistit jednotnou a vysokou úroveň ochrany v celé Unii a zároveň zabránit rozdílům, které jsou překážkou volného oběhu systémů UI a souvisejících produktů a služeb na vnitřním trhu, tím, že budou stanoveny jednotné povinnosti provozovatelů a bude zaručena jednotná ochrana naléhavých důvodů obecného zájmu a práv osob na celém vnitřním trhu na základě článku 114 Smlouvy o fungování Evropské unie (dále jen „Smlouva o fungování EU“). V rozsahu, v němž toto nařízení obsahuje zvláštní pravidla ochrany fyzických osob v souvislosti se zpracováním osobních údajů, která se týkají omezení používání systémů UI pro biometrickou identifikaci na dálku v „reálném čase“ na veřejně přístupných místech pro účely prosazování práva, je vhodné, aby se ve vztahu k těmto zvláštním pravidlům zakládalo na článku 16 Smlouvy o fungování EU. S ohledem na tato zvláštní pravidla a na použití článku 16 Smlouvy o fungování EU je vhodné provést konzultace s Evropským sborem pro ochranu osobních údajů.

(2)

Systémy UI lze snadno uplatnit v řadě hospodářských a společenských odvětví, včetně přeshraničních, a mohou obíhat v celé Unii. Některé členské státy již zkoumají možnost přijetí vnitrostátních pravidel, která by zajišťovala, že umělá inteligence bude důvěryhodná a bezpečná a že bude vyvíjena a používána v souladu s povinnostmi v oblasti základních práv. Rozdílné vnitrostátní předpisy mohou vést k roztříštěnosti vnitřního trhu a ke snížení právní jistoty pro provozovatele, kteří systémy UI vyvíjejí nebo používají. Proto je třeba zajistit jednotnou a vysokou úroveň ochrany v celé Unii s cílem dosáhnout důvěryhodné systémy UI a zároveň zabránit rozdílům, které jsou překážkou volného oběhu , inovací, zavádění a využívání systémů UI a souvisejících produktů a služeb na vnitřním trhu, tím, že budou stanoveny jednotné povinnosti provozovatelů a bude zaručena jednotná ochrana naléhavých důvodů obecného zájmu a práv osob na celém vnitřním trhu na základě článku 114 Smlouvy o fungování Evropské unie (dále jen „Smlouva o fungování EU“).

(2a)

Vzhledem k tomu, že umělá inteligence často závisí na zpracování velkého objemu dat a mnohé systémy UI a jejich aplikace závisí na zpracování osobních údajů, je vhodné, aby se toto nařízení zakládalo na článku 16 Smlouvy o fungování EU, který zakotvuje právo fyzických osob na ochranu jejich osobních údajů a stanoví přijetí pravidel o ochraně fyzických osob v souvislosti se zpracováním osobních údajů.

(2b)

Základní právo na ochranu osobních údajů je chráněno zejména nařízeními (EU) 2016/679 a (EU) 2018/1725 a směrnicí 2016/680. Směrnice 2002/58/ES navíc chrání soukromý život a důvěrný charakter sdělení a stanoví podmínky pro uchovávání jakýchkoli osobních a neosobních údajů v koncovém zařízení a také podmínky pro přístup k těmto údajům z tohoto zařízení. Tyto právní akty poskytují základ pro udržitelné a odpovědné zpracování údajů, včetně případů, kdy datové soubory zahrnují kombinaci osobních a neosobních údajů. Tímto nařízením není dotčeno uplatňování stávajících právních předpisů Unie upravujících zpracování osobních údajů, včetně úkolů a pravomocí nezávislých dozorových úřadů příslušných pro sledování dodržování těchto nástrojů. Tímto nařízením nejsou dotčena základní práva na soukromý život a ochranu osobních údajů stanovená právními předpisy Unie o ochraně údajů a soukromí a zakotvená v Listině základních práv Evropské unie (dále jen „Listina“).

(2c)

Systémy umělé inteligence v Unii podléhají příslušným právním předpisům o bezpečnosti výrobků, které poskytují rámec pro ochranu spotřebitelů před nebezpečnými výrobky obecně, a tyto právní předpisy by se měly nadále uplatňovat. Tímto nařízením nejsou dotčena ani pravidla stanovená jinými právními akty Unie týkajícími se ochrany spotřebitele a bezpečnosti výrobků, včetně nařízení (EU) 2017/2394, nařízení (EU) 2019/1020 a směrnice 2001/95/ES o obecné bezpečnosti výrobků a směrnice 2013/11/EU.

(2d)

V souladu s čl. 114 odst. 2 Smlouvy o fungování EU toto nařízení doplňuje práva a zájmy zaměstnanců, přičemž by je nemělo žádným způsobem oslabovat. Tímto nařízením by tudíž nemělo být dotčeno právo Unie v oblasti sociální politiky a vnitrostátní pracovní právo a praxe, tj. jakákoli právní a smluvní ustanovení týkající se podmínek zaměstnávání, pracovních podmínek, včetně bezpečnosti a ochrany zdraví při práci, a vztahů mezi zaměstnavateli a zaměstnanci, včetně informování, konzultování a účasti. Tímto nařízením by neměl být dotčen výkon základních práv uznávaných členskými státy a na úrovni Unie, včetně práva na stávku nebo práva přijmout jiná opatření na základě zvláštních systémů členských států v oblasti pracovněprávních vztahů, a to v souladu s vnitrostátním právem a/nebo zvyklostmi. Neměla by jím být dotčena ani jednání ve vzájemné shodě, právo sjednávat, uzavírat a prosazovat kolektivní smlouvy nebo podnikat kolektivní akce v souladu s vnitrostátními právními předpisy nebo zvyklostmi. V žádném případě by Komisi nemělo bránit v tom, aby navrhla zvláštní právní předpisy týkající se práv a svobod pracovníků dotčených systémy UI.

(2e)

Tímto nařízením by neměla být dotčena ustanovení, jejichž účelem je zlepšit pracovní podmínky při práci prostřednictvím platforem stanovená ve směrnici … [COD 2021/414/ES].

(2f)

Toto nařízení by mělo pomoci při podpoře výzkumu a inovací, nemělo by oslabovat činnost v oblasti výzkumu a vývoje a mělo by respektovat svobodu vědeckého výzkumu. Je proto nezbytné vyloučit z oblasti jeho působnosti systémy UI speciálně vyvinuté výhradně za účelem vědeckého výzkumu a vývoje a zajistit, aby nařízení žádným jiným způsobem neovlivnilo činnost v oblasti vědeckého výzkumu a vývoje systémů UI. Veškerá činnost v oblasti výzkumu a vývoje by měla za všech okolností probíhat v souladu s Listinou, právem Unie a vnitrostátním právními předpisy.

(3)

Umělá inteligence je rychle se vyvíjející skupina technologií, které mohou přispět k široké škále hospodářských a společenských přínosů v celém spektru průmyslových odvětví a sociálních aktivit. Díky zlepšení predikcí, optimalizaci provozu a přidělování zdrojů a personalizaci digitálních řešení dostupných pro jednotlivce a organizace může využívání umělé inteligence poskytnout společnostem klíčové konkurenční výhody a podpořit sociálně a environmentálně prospěšné výsledky, například v oblasti zdravotnictví, zemědělství, vzdělávání a odborné přípravy, správy infrastruktury, energetiky, dopravy a logistiky, veřejných služeb, bezpečnosti, spravedlnosti, účinného využívání zdrojů a energetické účinnosti a zmírňování změny klimatu a přizpůsobování se této změně.

(3)

Umělá inteligence je rychle se vyvíjející skupina technologií, které mohou přispět a již přispívají k  dosažení široké škály hospodářských , environmentálních a společenských přínosů v celém spektru průmyslových odvětví a sociálních aktivit , pokud jsou vyvíjeny v souladu s příslušnými základními zásadami Listiny a s hodnotami, na nichž je Unie založena . Díky zlepšení predikcí, optimalizaci provozu a přidělování zdrojů a personalizaci digitálních řešení dostupných pro jednotlivce a organizace může využívání umělé inteligence poskytnout společnostem klíčové konkurenční výhody a podpořit sociálně a environmentálně prospěšné výsledky, například v oblasti zdravotnictví, zemědělství, bezpečnosti potravin, vzdělávání a odborné přípravy, sdělovacích prostředků, sportu a kultury, správy infrastruktury, energetiky, dopravy a logistiky, řízení krizí, veřejných služeb, bezpečnosti, spravedlnosti, účinného využívání zdrojů a energetické účinnosti , monitorování životního prostředí, ochrany a obnovu biologické rozmanitosti a ekosystémů a zmírňování změny klimatu a přizpůsobování se této změně.

(3a)

S cílem přispět k dosažení cílů v oblasti uhlíkové neutrality by evropské společnosti měly usilovat o využití veškerého dostupného technického pokroku, který může ke splnění tohoto cíle napomoci. Umělá inteligence je technologie, která má potenciál k tomu, aby byla využita při zpracovávání neustále rostoucího množství dat vytvářených v průběhu průmyslových, environmentálních, zdravotnických a jiných procesů. Aby se usnadnily investice do analytických a optimalizačních nástrojů založených na UI, mělo by toto nařízení zajistit předvídatelné přiměřené prostředí pro nízkoriziková průmyslová řešení.

(4)

Umělá inteligence může zároveň v závislosti na okolnostech týkajících se jejího konkrétního uplatňování a využívání vytvářet rizika a působit újmu veřejným zájmům a právům, které jsou chráněny právem Unie. Tato újma může být hmotná nebo nehmotná.

(4)

Umělá inteligence může zároveň v závislosti na okolnostech týkajících se jejího konkrétního uplatňování a využívání , jakož i úrovně technologického vývoje, vytvářet rizika a působit újmu veřejným nebo soukromým zájmům a  základním  právům fyzických osob , které jsou chráněny právem Unie. Tato újma může být hmotná nebo nehmotná , včetně fyzické, psychické, společenské nebo ekonomické újmy .

(4a)

Vzhledem k velkému dopadu, který může mít umělá inteligence na společnost, a potřebě budovat důvěru je nezbytné, aby umělá inteligence a její regulační rámec byly rozvíjeny v souladu s hodnotami Unie zakotvenými v článku 2 SEU, základními právy a svobodami zakotvenými ve Smlouvách, Listině a mezinárodních právních předpisech v oblasti lidských práv. Základním předpokladem je, aby byla umělá inteligence technologií zaměřenou na člověka. Neměla by nahrazovat lidskou autonomii ani s sebou nést ztrátu osobní svobody a měla by sloužit především potřebám společnosti a obecnému blahu. Měly by být poskytnuty záruky, které zajistí rozvoj a používání eticky zakotvené umělé inteligence, která respektuje hodnoty Unie a Listinu.

(5)

Je proto nezbytné zavést právní rámec Unie, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci, s cílem podpořit vývoj, využívání a zavádění umělé inteligence na vnitřním trhu, který by zároveň splňoval vysokou úroveň ochrany veřejných zájmů, jako je například zdraví, bezpečnost a  ochrana základních práv, která jsou uznávána a chráněna právem Unie. K dosažení tohoto cíle by měla být stanovena pravidla, která budou regulovat uvádění určitých systémů UI na trh a do provozu a tím zajišťovat bezproblémové fungování vnitřního trhu a umožňovat, aby tyto systémy měly prospěch ze zásady volného pohybu zboží a služeb. Stanovením těchto pravidel toto nařízení podporuje cíl Unie zastávat v celosvětovém kontextu čelnou pozici , pokud jde o rozvoj bezpečné, důvěryhodné a etické umělé inteligence, který vytyčila Evropská rada (33), a zajišťuje ochranu etických zásad, kterou výslovně požadoval Evropský parlament (34).

(5)

Je proto nezbytné zavést právní rámec Unie, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci, s cílem podpořit vývoj, využívání a zavádění umělé inteligence na vnitřním trhu, který by zároveň splňoval vysokou úroveň ochrany veřejných zájmů, jako je například zdraví, bezpečnost, ochrana základních práv , demokracie a právního státu a životního prostředí , která jsou uznávána a chráněna právem Unie. K dosažení tohoto cíle by měla být stanovena pravidla, která budou v případě určitých systémů UI regulovat jejich uvádění na trh a do provozu a  jejich používání, a tím zajišťovat bezproblémové fungování vnitřního trhu a umožňovat, aby tyto systémy měly prospěch ze zásady volného pohybu zboží a služeb. Tato pravidla by měla být jasná a spolehlivá, pokud jde o ochranu základních práv, podporu nových inovativních řešení a umožnění evropského ekosystému veřejných a soukromých subjektů vytvářejících systémy UI v souladu s hodnotami Unie. Stanovením těchto pravidel a rovněž opatření na podporu inovací se zvláštním zaměřením na malé a střední podniky a začínající podniky podporuje  toto nařízení cíl, kterým je podpora UI vyrobené v Evropě a čelná pozice Unie v celosvětovém kontextu, pokud jde o rozvoj bezpečné, důvěryhodné a etické umělé inteligence, jak vytyčila Evropská rada (33), a zajišťuje ochranu etických zásad, kterou výslovně požadoval Evropský parlament (34).

(5a)

Dále je v zájmu podpory rozvoje systémů UI v souladu s hodnotami Unie třeba, aby se Unie zabývala hlavními nedostatky a překážkami, které brání využití potenciálu digitální transformace, včetně nedostatku digitálně kvalifikovaných pracovníků, obav v oblasti kybernetické bezpečnosti, nedostatečných investic a nedostatečného přístupu k investicím i stávajících a potenciálních rozdílů mezi velkými společnostmi a MSP a začínajícími podniky. Zvláštní pozornost by se měla věnovat zajištění toho, aby byl přínos UI a inovací v oblasti nových technologií pociťován ve všech regionech Unie a aby byly poskytnuty dostatečné investice a zdroje zejména těm regionům, které mohou v některých digitálních ukazatelích zaostávat.

(6)

Je třeba jednoznačně definovat pojem „systém UI“ s  cílem zajistit právní jistotu a  zároveň poskytnout flexibilitu umožňující přizpůsobit se budoucímu technologickému vývoji. Tato definice by měla být založena na klíčových funkčních vlastnostech tohoto softwaru, zejména na jeho schopnosti generovat pro danou sadu člověkem definovaných cílů výstupy , jako je například obsah, predikce , doporučení nebo rozhodnutí , které ovlivňují prostředí, s nímž systém komunikuje, ať už ve fyzické, nebo digitální dimenzi . Systémy UI mohou být navrženy tak, aby fungovaly s různou úrovní samostatnosti a aby mohly být použity buď samostatně, nebo jako součást určitého produktu bez ohledu na to , zda je systém do tohoto produktu fyzicky zabudován (vestavěný systém) , nebo zda napomáhá funkčnosti tohoto produktu, aniž by do něho byl zabudován (nevestavěný systém) . Definici systému UI by měl doplňovat seznam konkrétních technik a přístupů využívaných při jeho vývoji , který by měl být průběžně aktualizován s ohledem na vývoj trhu a technologií prostřednictvím přijímání aktů v přenesené pravomoci Komisí za účelem změny uvedeného seznamu .

(6)

Pojem „systém UI“ v tomto nařízení by měl být jasně definován a úzce sladěn s  činností mezinárodních organizací zabývajících se umělou inteligencí, aby byla zajištěna právní jistota, harmonizace a široké přijetí a  současně poskytnuta flexibilita umožňující přizpůsobit se rychlému technologickému vývoji v této oblasti . Mimo to by tato definice měla být založena na klíčových vlastnostech umělé inteligence , jako je její schopnost učení , uvažování nebo modelování , a měla by ji odlišit od jednodušších softwarových systémů a programovacích přístupů . Systémy UI jsou navrženy tak, aby fungovaly s různou úrovní samostatnosti , což znamená, že mají alespoň určitou míru nezávislosti činností na lidské kontrole a schopnosti fungovat bez lidského zásahu. Pojem „strojové“ odkazuje na skutečnost, že systémy UI fungují prostřednictvím strojů. Odkaz na explicitní nebo implicitní cíle zdůrazňuje, že systémy UI mohou fungovat na základě explicitních cílů definovaných člověkem nebo implicitních cílů. Cíle systému UI se mohou v konkrétním kontextu lišit od jeho zamýšleného účelu. Odkaz na predikce zahrnuje obsah , který je v tomto nařízení považován za formu predikce jakožto jeden z možných výstupů systému UI. Pro účely tohoto nařízení by se prostředím měl rozumět kontext, v němž systém UI funguje, zatímco výstupy generované systémem UI, tj. predikce, doporučení nebo rozhodnutí, odpovídají cílům systému na základě vstupů z uvedeného prostředí . Takový výstup dále ovlivňuje uvedené prostředí, a to i tím, že do něj pouze vkládá nové informace.

(6a)

Systémy UI mají často schopnosti strojového učení, které jim umožňují, aby se adaptovaly a prováděly nové úkoly samostatně. Strojovým učením se rozumí výpočetní proces optimalizace parametrů modelu z dat, což je matematický koncept vytvářející výstup na základě vstupních údajů. Přístupy strojového učení zahrnují např. učení s učitelem, bez učitele a posilované učení, a to za využití celé řady metod včetně hlubokého učení neuronových sítí. Cílem tohoto nařízení je řešit nová potenciální rizika, která mohou vzniknout v důsledku přenesení kontroly na systémy UI, zejména na ty systémy UI, které se mohou po zavedení vyvíjet. Funkce a výstupy mnoha z těchto systémů UI jsou založeny na abstraktních matematických vztazích, které je pro člověka obtížné pochopit a monitorovat a u nichž je těžké zpětně vysledovat konkrétní vstupy. Tyto složité a nejasné vlastnosti (prvek „černé skříňky“) mají dopad na odpovědnost a vysvětlitelnost. Srovnatelně jednodušší techniky, jako jsou přístupy založené na znalostech, bayesovském odhadování nebo rozhodovacích stromech, mohou rovněž vést k právním mezerám, které je třeba řešit v tomto nařízení, zejména pokud jsou používány v kombinaci s přístupy strojového učení v hybridních systémech.

(6b)

Systémy UI lze používat jako samostatný softwarový systém, který je integrován do fyzického produktu (vestavěný), mohou být používány k plnění funkčnosti fyzického produktu, aniž by do něj byly zabudovány (nevestavěný), nebo je lze používat jako součást UI v rámci většího systému. Pokud by tento větší systém nefungoval bez dotyčné součásti UI, měl by být celý větší systém považován podle tohoto nařízení za jediný systém UI.

(7)

Pojem „biometrické údaje“ používaný v tomto nařízení je v souladu s pojmem „biometrické údaje“ definovaným v čl. 4 bodu 14 nařízení Evropského parlamentu a Rady (EU) 2016/679 (35), v čl. 3 bodu 18 nařízení Evropského parlamentu a Rady (EU) 2018/1725  (36) a v čl. 3 bodu 13 směrnice Evropského parlamentu a Rady (EU) 2016/680  (37) a měl by být vykládán konzistentně s nimi .

(7)

Pojem „biometrické údaje“ používaný v tomto nařízení je v souladu s pojmem „biometrické údaje“ definovaným v čl. 4 bodu 14 nařízení Evropského parlamentu a Rady (EU) 2016/679 (35) . Biometrické údaje jsou dodatečné údaje vyplývající ze specifického technického zpracování souvisejícího s fyzickými , fyziologickými nebo behaviorálními signály fyzické osoby, jako jsou výrazy obličeje, pohyby, tepová frekvence, hlas, stisky kláves nebo chůze, které mohou nebo nemusí umožnit nebo potvrdit jedinečnou identifikaci fyzické osoby .

(7a)

Je třeba, aby byl pojem „biometrická identifikace“ používaný v tomto nařízení definován jako automatizované rozpoznání fyzických, fyziologických, behaviorálních a psychických lidských vlastností, jako jsou obličej, pohyb očí, výrazy obličeje, tvar těla, hlas, mluva, chůze, držení těla, srdeční frekvence, krevní tlak, zápach, stisk kláves, psychologické reakce (hněv, úzkost, zármutek atd.), pro účely ověření totožnosti jednotlivce porovnáním biometrických údajů dané osoby s uloženými biometrickými údaji jednotlivců v databázi (identifikace jednoho z mnoha, tj. porovnáním údajů ostatních), a to bez ohledu na to, zda daný jedinec poskytl svůj souhlas či nikoli.

(7b)

Je třeba, aby byl pojem „biometrická kategorizace“ používaný v tomto nařízení definován jako zařazení fyzických osob do určitých kategorií nebo odvození jejich vlastností nebo atributů, jako je gender, pohlaví, věk, barva vlasů, barva očí, tetování, etnický nebo sociální původ, zdravotní, duševní nebo fyzické schopnosti, behaviorální nebo osobnostní znaky, jazyk, náboženské vyznání nebo příslušnost k národnostní menšině nebo sexuální či politická orientace, a to na základě jejich biometrických údajů nebo údajů vycházejících z biometrických údajů nebo toho, co lze z těchto údajů odvodit.

(8)

Pojem „systém biometrické identifikace na dálku“ používaný v tomto nařízení by měl být definován funkčně jako systém UI určený k identifikaci fyzických osob na dálku prostřednictvím porovnání biometrických údajů dané osoby s biometrickými údaji obsaženými v referenční databázi a bez předchozích znalostí, zda bude cílová osoba přítomna a zda ji bude možné identifikovat, bez ohledu na konkrétní technologii, procesy nebo typy použitých biometrických údajů . Vzhledem k jejich různým vlastnostem a  způsobům, jimiž jsou používány, jakož i různým souvisejícím rizikům , je třeba rozlišovat mezi systémy biometrické identifikace na dálku , která probíhá „v reálném čase“ a „zpětně“ . V případě systémů provádějících identifikaci „v reálném čase“ probíhá jak zaznamenání biometrických údajů, tak porovnání a identifikace okamžitě, téměř okamžitě nebo v každém případě bez významného zpoždění. V tomto ohledu by neměl existovat žádný prostor pro obcházení pravidel tohoto nařízení o používání dotčených systémů UI „v reálném čase“ stanovením menších zpoždění. Systémy fungující „v reálném čase“ zahrnují použití materiálu „živě“ nebo jen „s malým časovým posunem“ jako jsou například videozáznamy generované kamerou nebo jiným zařízením s podobnými funkcemi. Naproti tomu v případě systémů, ve kterých identifikace probíhá „zpětně,“ dochází k porovnání a identifikaci zachycených údajů až se značným zpožděním. Jedná se o materiály, jako jsou například fotografie nebo videozáznamy generované kamerami s uzavřeným televizním okruhem nebo soukromými zařízeními, které byly vytvořeny před použitím tohoto systému ve vztahu k dotčeným fyzickým osobám.

(8)

Pojem „systém biometrické identifikace na dálku“ používaný v tomto nařízení by měl být definován funkčně jako systém UI určený k identifikaci fyzických osob na dálku prostřednictvím porovnání biometrických údajů dané osoby s biometrickými údaji obsaženými v referenční databázi a bez předchozích znalostí, zda bude cílová osoba přítomna a zda ji bude možné identifikovat, bez ohledu na konkrétní technologii, procesy nebo typy použitých biometrických údajů, a  to s vyloučením ověřovacích systémů , jež pouze porovnávají biometrické údaj jednotlivce s údaji , které tento jednotlivec dříve poskytl (identifikace jedna k jedné) . V případě systémů provádějících identifikaci „v reálném čase“ probíhá jak zaznamenání biometrických údajů, tak porovnání a identifikace okamžitě, téměř okamžitě nebo v každém případě bez významného zpoždění. V tomto ohledu by neměl existovat žádný prostor pro obcházení pravidel tohoto nařízení o používání dotčených systémů UI „v reálném čase“ stanovením menších zpoždění. Systémy fungující „v reálném čase“ zahrnují použití materiálu „živě“ nebo jen „s malým časovým posunem“ jako jsou například videozáznamy generované kamerou nebo jiným zařízením s podobnými funkcemi. Systémy fungující „v reálném čase“ zahrnují použití materiálu „živě“ nebo jen „s malým časovým posunem“ jako jsou například videozáznamy generované kamerou nebo jiným zařízením s podobnými funkcemi Naproti tomu v případě systémů, ve kterých identifikace probíhá „zpětně,“ dochází k porovnání a identifikaci zachycených údajů až se značným zpožděním. Jedná se o materiály, jako jsou například fotografie nebo videozáznamy generované kamerami s uzavřeným televizním okruhem nebo soukromými zařízeními, které byly vytvořeny před použitím tohoto systému ve vztahu k dotčeným fyzickým osobám. Jelikož biometrická identifikace nezávisí souhlasu dotčeného jednotlivce,, použije se tato definice i v případě, že varovná upozornění jsou umístěna v místě, které je sledováno systémem biometrické identifikace na dálku, a není de facto zrušena předběžným zanesením.

(8a)

Identifikace fyzických osob na dálku je chápána tak, že se odlišují systémy biometrické identifikace na dálku od systémů ověřování totožnosti jednotlivce v těsné blízkosti používajících prostředky pro biometrickou identifikaci, jejichž jediným účelem je potvrdit, zda je povolena konkrétní fyzická osoba, která se k identifikaci dostaví, například za účelem získání přístupu ke službě, zařízení nebo prostorám.

(9)

Pro účely tohoto nařízení by se pod pojmem „veřejně přístupné místo“ mělo rozumět jakékoli fyzické místo, které je přístupné veřejnosti, bez ohledu na to, zda je dané místo v soukromém nebo veřejném vlastnictví. Tento pojem proto nezahrnuje místa, která jsou soukromé povahy a obvykle nejsou volně přístupná třetím stranám, včetně donucovacích orgánů, pokud k tomu tyto strany nebyly výslovně vyzvány nebo oprávněny, jako jsou například domácnosti, soukromé kluby, kanceláře, sklady a továrny. Tento pojem nezahrnuje ani on-line prostory, protože se nejedná o prostory fyzické. Pouhá skutečnost, že pro přístup do konkrétního prostoru může být nezbytné splnění určitých podmínek, jako jsou například vstupenky nebo věková omezení, však neznamená, že daný prostor není veřejně přístupný ve smyslu tohoto nařízení. V důsledku toho jsou kromě veřejných prostor, jako jsou ulice, příslušné části státních budov a většina dopravní infrastruktury, zpravidla veřejně přístupné také prostory jako kina, divadla, obchody a nákupní centra. To, zda je daný prostor přístupný veřejnosti, by však mělo být určováno případ od případu s ohledem na zvláštnosti dané konkrétní situace.

(9)

Pro účely tohoto nařízení by se pod pojmem „veřejně přístupné místo“ mělo rozumět jakékoli fyzické místo, které je přístupné veřejnosti, bez ohledu na to, zda je dané místo v soukromém nebo veřejném vlastnictví , a bez ohledu na případná omezení kapacity . Tento pojem proto nezahrnuje místa, která jsou soukromé povahy a obvykle nejsou volně přístupná třetím stranám, včetně donucovacích orgánů, pokud k tomu tyto strany nebyly výslovně vyzvány nebo oprávněny, jako jsou například domácnosti, soukromé kluby, kanceláře, sklady a továrny. Tento pojem nezahrnuje ani on-line prostory, protože se nejedná o prostory fyzické. Pouhá skutečnost, že pro přístup do konkrétního prostoru může být nezbytné splnění určitých podmínek, jako jsou například vstupenky nebo věková omezení, však neznamená, že daný prostor není veřejně přístupný ve smyslu tohoto nařízení. V důsledku toho jsou kromě veřejných prostor, jako jsou ulice, příslušné části státních budov a většina dopravní infrastruktury, zpravidla veřejně přístupné také prostory jako kina, divadla, sportoviště, školy, univerzity, příslušné části nemocnic a bank, zábavní parky, festivaly, obchody a nákupní centra. To, zda je daný prostor přístupný veřejnosti, by však mělo být určováno případ od případu s ohledem na zvláštnosti dané konkrétní situace.

(9a)

Je důležité poukázat na to, že by systémy UI měly vyvíjet maximální úsilí o dodržování obecných zásad, na nichž se zakládá rámec na vysoké úrovni, který v souladu s Listinou základních práv Evropské unie a s hodnotami, na nichž je Unie založena, včetně ochrany základních práv, lidské činnosti a dohledu ze strany člověka, technické propracovanosti a bezpečnosti, soukromí a správy údajů, transparentnosti, zákazu diskriminace, spravedlnosti a blaha společnosti a životního prostředí, prosazuje ucelený přístup k etické a důvěryhodné UI, který se zaměřuje na člověku.

(9b)

„Gramotnost v oblasti umělé inteligence“ odkazuje na dovednosti, znalosti a chápání, které poskytovatelům, uživatelům a dotyčným osobám umožňují, aby s přihlédnutím k jejich příslušným právům a povinnostem v souvislosti s tímto nařízením zaváděli systémy UI informovaným způsobem a aby si byli vědomi možností a rizik spojených s UI a možnými škodami, které může způsobit, a prosazovaly proto její demokratickou kontrolu. Gramotnost v oblasti umělé inteligence by se neměla omezovat na poznatky týkající se nástrojů a technologií, ale jejím cílem by mělo být také to, aby se poskytovatelům a uživatelům dostalo poznatků a dovedností, které by zajistily dodržování a prosazování tohoto nařízení. Je proto nezbytné, aby Komise, členské státy a poskytovatelé a uživatelé systémů UI podporovali ve spolupráci se všemi příslušnými zúčastněnými stranami vývoj dostatečné míry gramotnosti v oblasti umělé inteligence, a to ve všech částech společnosti, u osob všeho věku, včetně žen a dívek, a aby se důsledně sledovalo, jakého pokroku bylo v tomto směru dosaženo.

(10)

V zájmu zajištění rovných podmínek a účinné ochrany práv a svobod jednotlivců v celé Unii by se pravidla stanovená tímto nařízením měla vztahovat na poskytovatele systémů UI nediskriminačním způsobem bez ohledu na to, zda jsou usazeni v Unii nebo ve třetí zemi, a na uživatele systémů UI usazené v Unii.

(10)

V zájmu zajištění rovných podmínek a účinné ochrany práv a svobod jednotlivců v celé Unii a na mezinárodní úrovni by se pravidla stanovená tímto nařízením měla vztahovat na poskytovatele systémů UI nediskriminačním způsobem bez ohledu na to, zda jsou usazeni v Unii nebo ve třetí zemi, a na provozovatele systémů UI usazené v Unii. Aby byla Unie věrná svým základním hodnotám, měly by být systémy UI určené k použití pro postupy, které jsou podle tohoto nařízení považovány za nepřijatelné, rovněž považovány za nepřijatelné mimo Unii z důvodu jejich obzvláště škodlivého účinku na základní práva zakotvená v Listině. Je proto vhodné zakázat vývoz těchto systémů UI do třetích zemí poskytovateli usazenými v Unii.

(11)

Do oblasti působnosti tohoto nařízení by měly spadat i určité systémy UI s ohledem na svou digitální povahu, i když nejsou uvedeny ani na trh, ani do provozu, ani nejsou používány v Unii. Jedná se například o provozovatele usazeného v Unii, který smluvně zadává určité služby provozovateli usazenému mimo Unii v souvislosti s činností, kterou má provádět systém UI, jejž by bylo možno označit jako vysoce rizikový a jehož účinky mají dopad na fyzické osoby nacházející se v Unii. Za těchto okolností by systém UI používaný provozovatelem mimo Unii mohl zpracovávat údaje zákonně shromážděné v Unii a převáděné z Unie a poskytovat zadávajícímu provozovateli v Unii výstup z tohoto systému UI vyplývající z tohoto zpracování, aniž by byl tento systém UI uveden na trh nebo do provozu v Unii nebo v ní byl používán. Aby se předešlo obcházení tohoto nařízení a aby byla zajištěna účinná ochrana fyzických osob nacházejících se v Unii, mělo by se toto nařízení vztahovat také na poskytovatele a  uživatele systémů UI, kteří jsou usazeni ve třetí zemi, v rozsahu, v jakém jsou výstupy vytvořené těmito systémy používány v Unii. S ohledem na již existující ujednání a na zvláštní potřeby spolupráce se zahraničními partnery, s nimiž probíhá výměna informací a důkazů, by se však toto nařízení nemělo vztahovat na veřejné orgány třetí země a na mezinárodní organizace, pokud jednají v rámci mezinárodních dohod týkajících se prosazování práva a justiční spolupráce s Unií nebo s jejími členskými státy, uzavřených na vnitrostátní nebo evropské úrovni. Tyto dohody byly uzavřeny dvoustranně mezi členskými státy a třetími zeměmi nebo mezi Evropskou unií, Europolem a dalšími agenturami EU a třetími zeměmi a mezinárodními organizacemi.

(11)

Do oblasti působnosti tohoto nařízení by měly spadat i určité systémy UI s ohledem na svou digitální povahu, i když nejsou uvedeny ani na trh, ani do provozu, ani nejsou používány v Unii. Jedná se například o provozovatele usazeného v Unii, který smluvně zadává určité služby provozovateli usazenému mimo Unii v souvislosti s činností, kterou má provádět systém UI, jejž by bylo možno označit jako vysoce rizikový a jehož účinky mají dopad na fyzické osoby nacházející se v Unii. Za těchto okolností by systém UI používaný provozovatelem mimo Unii mohl zpracovávat údaje zákonně shromážděné v Unii a převáděné z Unie a poskytovat zadávajícímu provozovateli v Unii výstup z tohoto systému UI vyplývající z tohoto zpracování, aniž by byl tento systém UI uveden na trh nebo do provozu v Unii nebo v ní byl používán. Aby se předešlo obcházení tohoto nařízení a aby byla zajištěna účinná ochrana fyzických osob nacházejících se v Unii, mělo by se toto nařízení vztahovat také na poskytovatele , uživatele a  provozovatele systémů UI, kteří jsou usazeni ve třetí zemi, v rozsahu, v jakém jsou výstupy vytvořené těmito systémy zamýšleny k používání v Unii. S ohledem na již existující ujednání a na zvláštní potřeby spolupráce se zahraničními partnery, s nimiž probíhá výměna informací a důkazů, by se však toto nařízení nemělo vztahovat na veřejné orgány třetí země a na mezinárodní organizace, pokud jednají v rámci mezinárodních dohod týkajících se prosazování práva a justiční spolupráce s Unií nebo s jejími členskými státy, uzavřených na vnitrostátní nebo evropské úrovni. Tyto dohody byly uzavřeny dvoustranně mezi členskými státy a třetími zeměmi nebo mezi Evropskou unií, Europolem a dalšími agenturami EU a třetími zeměmi a mezinárodními organizacemi. Tato výjimka by však měla být omezena na důvěryhodné země a mezinárodní organizace, které sdílejí hodnoty Unie.

(12)

Toto nařízení by se mělo vztahovat také na instituce, úřady, orgány a agentury Unie, pokud jednají jako poskytovatel nebo uživatel systému UI. Systémy UI vyvinuté nebo používané výhradně pro vojenské účely by měly být z oblasti působnosti tohoto nařízení vyloučeny, pokud toto použití spadá do výlučné působnosti společné zahraniční a bezpečnostní politiky upravené v hlavě V Smlouvy o EU (SEU). Tímto nařízením by neměla být dotčena ustanovení týkající se odpovědnosti poskytovatelů zprostředkovatelských služeb stanovená ve směrnici Evropského parlamentu a Rady 2000/31/ES [ve znění aktu o digitálních službách].

(12)

Toto nařízení by se mělo vztahovat také na instituce, úřady, orgány a agentury Unie, pokud jednají jako poskytovatel nebo provozovatel systému UI. Systémy UI vyvinuté nebo používané výhradně pro vojenské účely by měly být z oblasti působnosti tohoto nařízení vyloučeny, pokud toto použití spadá do výlučné působnosti společné zahraniční a bezpečnostní politiky upravené v hlavě V Smlouvy o EU (SEU). Tímto nařízením by neměla být dotčena ustanovení týkající se odpovědnosti poskytovatelů zprostředkovatelských služeb stanovená ve směrnici Evropského parlamentu a Rady 2000/31/ES [ve znění aktu o digitálních službách].

(12a)

Software a data, která jsou svobodně sdílena a k nimž nebo k jejichž upraveným verzím mají uživatelé svobodný přístup a mohou je používat, upravovat a redistribuovat, mohou přispět k výzkumu a inovacím na trhu. Výzkum Komise rovněž ukazuje, že svobodný software s otevřeným zdrojovým kódem může přispět k HDP Evropské unie částkou mezi 65 a 95 miliardami EUR a může nabídnout evropskému hospodářství významné možnosti růstu. Uživatelé mohou používat, kopírovat, distribuovat, studovat, měnit a zdokonalovat software a data, včetně modelů ve formě svobodných licencí s otevřeným zdrojovým kódem. S cílem podpořit vývoj a zavádění UI, zejména malými a středními podniky, začínajícími podniky, akademickým výzkumem, ale i jednotlivci, by se toto nařízení nemělo vztahovat na tyto svobodné součásti UI s otevřeným zdrojovým kódem, s výjimkou případů, kdy jsou uváděny na trh nebo do provozu poskytovatelem jako součást vysoce rizikového systému UI nebo systému UI, na který se vztahuje hlava II nebo IV tohoto nařízení.

(12b)

Ani společný vývoj svobodných složek UI s otevřeným zdrojovým kódem, ani jejich zpřístupňování v otevřených úložištích by nemělo představovat uvádění na trh nebo do provozu. Obchodní činnost ve smyslu zpřístupnění na trhu by se však mohla, s výjimkou transakcí mezi mikropodniky, vyznačovat stanovením ceny za svobodnou součást UI s otevřeným zdrojovým kódem, ale také stanovením ceny za technické podpůrné služby, poskytnutím softwarové platformy, jejímž prostřednictvím poskytovatel zpeněžuje jiné služby, nebo použitím osobních údajů z jiných důvodů, než je výlučně zlepšení bezpečnosti, kompatibility nebo interoperability softwaru.

(12c)

Vývojáři svobodných složek UI s otevřeným zdrojovým kódem by neměli být podle tohoto nařízení povinni dodržovat požadavky zaměřené na hodnotový řetězec AI, zejména ne na poskytovatele, který tuto svobodnou součást UI s otevřeným zdrojovým kódem použil. Vývojáři svobodných složek UI s otevřeným zdrojovým kódem by však měli být vybízeni k tomu, aby zavedli široce přijaté dokumentační postupy, jako jsou modelové a datové karty, jako způsob, jak urychlit sdílení informací v celém hodnotovém řetězci UI, což umožní podporu důvěryhodných systémů UI v Unii.

(13)

V zájmu zajištění jednotné a vysoké úrovně ochrany veřejných zájmů, pokud jde o zdraví, bezpečnost a základní práva, by měly být pro všechny vysoce rizikové systémy UI stanoveny společné normativní standardy. Tyto standardy by měly být v souladu s Listinou základních práv Evropské unie (dále jen „Listina“) a  se závazky Unie v oblasti mezinárodního obchodu a měly by být nediskriminační.

(13)

V zájmu zajištění jednotné a vysoké úrovně ochrany veřejných zájmů, pokud jde o zdraví, bezpečnost a základní práva, jakož i demokracie a právního státu a životního prostředí by měly být pro všechny vysoce rizikové systémy UI stanoveny společné normativní standardy. Tyto standardy by měly být v souladu s Listinou , Zelenou dohodou pro Evropu, společným prohlášením Unie o digitálních právech a  etickými pokyny pro důvěryhodnou umělou inteligenci vydanými odbornou skupinou na vysoké úrovni pro umělou inteligenci a měly by být nediskriminační.

(14)

Aby bylo možné zavést přiměřený a účinný soubor závazných pravidel pro systémy UI, měl by být dodržován jasně definovaný přístup založený na posouzení rizik. Tento přístup by měl přizpůsobit typ a obsah těchto pravidel intenzitě a rozsahu rizik, která mohou systémy UI vytvářet. Je proto nezbytné zakázat některé postupy v oblasti UI a stanovit požadavky na vysoce rizikové systémy UI a povinnosti příslušných provozovatelů, jakož i povinnosti transparentnosti pro určité systémy UI.

(14)

Aby bylo možné zavést přiměřený a účinný soubor závazných pravidel pro systémy UI, měl by být dodržován jasně definovaný přístup založený na posouzení rizik. Tento přístup by měl přizpůsobit typ a obsah těchto pravidel intenzitě a rozsahu rizik, která mohou systémy UI vytvářet. Je proto nezbytné zakázat některé nepřijatelné postupy v oblasti UI a stanovit požadavky na vysoce rizikové systémy UI a povinnosti příslušných provozovatelů, jakož i povinnosti transparentnosti pro určité systémy UI.

(15)

Na jedné straně přináší využívání umělé inteligence celou řadu výhod, avšak tuto technologii lze používat i nesprávně a může se stát zdrojem nových a výkonných nástrojů umožňujících manipulativní a vykořisťovatelské praktiky a praktiky v oblasti sociální kontroly. Tyto praktiky jsou mimořádně škodlivé a měly by být zakázány, protože jsou v rozporu s hodnotami Unie v oblasti úcty k lidské důstojnosti, svobody, rovnosti, demokracie a právního státu a se základními právy Unie, včetně práva na zákaz diskriminace, na ochranu údajů a soukromí a práva dítěte.

(15)

Na jedné straně přináší využívání umělé inteligence celou řadu výhod, avšak tuto technologii lze používat i nesprávně a může se stát zdrojem nových a výkonných nástrojů umožňujících manipulativní a vykořisťovatelské praktiky a praktiky v oblasti sociální kontroly. Tyto praktiky jsou mimořádně škodlivé a  nesprávné a  měly by být zakázány, protože jsou v rozporu s hodnotami Unie v oblasti úcty k lidské důstojnosti, svobody, rovnosti, demokracie a právního státu a se základními právy Unie, včetně práva na zákaz diskriminace, na ochranu údajů a soukromí a práva dítěte.

(16)

Mělo by být zakázáno uvádění na trh, uvádění do provozu nebo využívání určitých systémů UI určených k ovlivňování lidského chování, které by mohly způsobit fyzickou nebo psychickou újmu. Tyto systémy UI využívají součásti uplatňující podprahové techniky, které jednotlivci nejsou schopni vnímat , případně zneužívají zranitelnosti dětí a jiných osob v důsledku jejich věku nebo fyzické nebo mentální nezpůsobilosti. Činí tak s úmyslem podstatně ovlivnit chování určité osoby, a to takovým způsobem, který této nebo jiné osobě působí nebo by mohl způsobit újmu. Tento záměr nelze předpokládat, pokud je lidské chování ovlivněno v důsledku faktorů nesouvisejících se systémem UI, které jsou mimo kontrolu poskytovatele nebo uživatele. Uvedený zákaz by neměl bránit výzkumu těchto systémů UI pro legitimní účely, pokud se dotčený výzkum nezaměřuje na využívání systému UI ve vztazích člověk-stroj, které vystavuje fyzické osoby újmě, a pokud je prováděn v souladu s uznávanými etickými standardy vědeckého výzkumu.

(16)

Mělo by být zakázáno uvádění na trh, uvádění do provozu nebo využívání určitých systémů UI s cílem nebo za účelem podstatného ovlivnění lidského chování, které by mohly způsobit fyzickou nebo psychickou újmu. Toto omezení by mělo být chápáno tak, že zahrnuje neurotechnologie s pomocí systémů UI, které se používají k monitorování, používání nebo ovlivňování neurálních údajů shromážděných prostřednictvím rozhraní mozku-počítače, pokud podstatně narušují chování fyzické osoby způsobem, který této osobě nebo jiné osobě způsobuje nebo může způsobit významnou újmu. Tyto systémy UI využívají součásti uplatňující podprahové techniky, které jednotlivci a zvláštní skupiny osob nejsou schopny vnímat v důsledku jejich známých nebo předvídatelných osobních charakteristik, věku, fyzické nebo mentální nezpůsobilosti a sociální či ekonomické situace . Činí tak s úmyslem podstatně narušit chování určité osoby nebo s tímto účinkem , a to takovým způsobem, který této nebo jiné osobě nebo skupinám osob způsobuje nebo může způsobit podstatnou újmu , včetně újem, jež se mohou v průběhu času nahromadit . Tento záměr narušit chování nelze předpokládat, pokud k narušení dochází v důsledku faktorů nesouvisejících se systémem UI, které jsou mimo kontrolu poskytovatele nebo uživatele , tedy faktorů, které poskytovatel ani provozovatel systému UI nemůže důvodně předvídat a zmírnit. V každém případě nemusí mít poskytovatel nebo uživatel v úmyslu způsobit fyzickou nebo psychickou újmu, pokud tato újma vyplývá z manipulativních nebo vykořisťujících praktik založených na UI. Zákazy pro tyto praktiky UI doplňují ustanovení obsažená ve směrnici 2005/29/ES, podle nichž jsou nekalé obchodní praktiky zakázány, bez ohledu na to, zda jsou prováděny za použití systémů UI nebo jiným způsobem. V takovéto situaci by zákonné obchodní praktiky, například v oblasti reklamy, které jsou v souladu s právem Unie, neměly být samy o sobě považovány za porušující zákaz. Uvedený zákaz by neměl bránit výzkumu těchto systémů UI pro legitimní účely, pokud se dotčený výzkum nezaměřuje na využívání systému UI ve vztazích člověk-stroj, které vystavuje fyzické osoby újmě, a pokud je prováděn v souladu s uznávanými etickými standardy vědeckého výzkumu a na základě zvláštního informovaného souhlasu jednotlivců, kteří jsou těmto praktikám vystaveni, nebo případně jejich poručníka .

(16a)

Systémy UI, které kategorizují fyzické osoby tím, že je zařazují do konkrétních kategorií, podle známých nebo odvozených citlivých nebo chráněných charakteristik, jsou obzvláště rušivé, porušují lidskou důstojnost a představují velké riziko diskriminace. Tyto charakteristiky zahrnují pohlaví a genderovou identitu, rasu, etnický původ, postavení související s migrací nebo občanstvím, politickou orientaci, sexuální orientaci, náboženství, zdravotní postižení nebo jiné důvody, na jejichž základě je diskriminace zakázána podle článku 21 Listiny základních práv Evropské unie, jakož i podle článku 9 nařízení (EU) 2016/769. Takové systémy by proto měly být zakázány.

(17)

Systémy UI provádějící hodnocení sociálního kreditu fyzických osob pro obecné účely ze strany veřejných orgánů nebo jejich jménem mohou vést k diskriminačním výsledkům a k vyloučení určitých skupin. Mohou porušovat právo na důstojnost a zákaz diskriminace a hodnoty rovnosti a spravedlnosti. Tyto systémy UI hodnotí nebo klasifikují důvěryhodnost fyzických osob na základě jejich sociálního chování v různých kontextech nebo známých či předvídaných osobních či osobnostních vlastností. Sociální kredit získaný na základě těchto systémů UI může vést ke znevýhodňujícímu nebo nepříznivému zacházení s fyzickými osobami nebo s celými skupinami těchto osob v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny, případně ke znevýhodňujícímu zacházení, které je nepřiměřené nebo neodůvodněné s ohledem na závažnost jejich sociálního chování. Tyto systémy UI by proto měly být zakázány.

(17)

Systémy UI provádějící hodnocení sociálního kreditu fyzických osob pro obecné účely mohou vést k diskriminačním výsledkům a k vyloučení určitých skupin. Porušují právo na důstojnost a zákaz diskriminace a hodnoty rovnosti a spravedlnosti. Tyto systémy UI hodnotí nebo klasifikují důvěryhodnost fyzických osob nebo skupin na základě vícedatových bodů a časových výskytů souvisejících s jejich sociálním chováním v různých kontextech nebo známých , odvozených či předvídaných osobních či osobnostních vlastností. Sociální kredit získaný na základě těchto systémů UI může vést ke znevýhodňujícímu nebo nepříznivému zacházení s fyzickými osobami nebo s celými skupinami těchto osob v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny, případně ke znevýhodňujícímu zacházení, které je nepřiměřené nebo neodůvodněné s ohledem na závažnost jejich sociálního chování. Tyto systémy UI by proto měly být zakázány.

(18)

Využívání systémů UI pro biometrickou identifikaci fyzických osob na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva je považováno za zvláště rušivý zásah do práv a svobod dotčených osob , neboť může ovlivnit soukromý život velké části populace, vyvolávat pocit neustálého sledování a nepřímo odrazovat od využívání svobody shromažďování a dalších základních práv. Bezprostřednost dopadu a omezené možnosti dalších kontrol nebo oprav v souvislosti s používáním těchto systémů fungujících „v reálném čase“ s sebou navíc nesou zvýšené riziko z hlediska práv a svobod osob, kterých se týkají činnosti v oblasti prosazování práva.

(18)

Využívání systémů UI pro biometrickou identifikaci fyzických osob na dálku „v reálném čase“ na veřejně přístupných místech je zvláště rušivý zásah do práv a svobod dotčených osob a může ve výsledku ovlivnit soukromý život velké části populace, vyvolávat pocit neustálého sledování , poskytnout stranám zavádějícím biometrickou identifikaci na veřejně dostupných místech nekontrolovatelnou moc a nepřímo odrazovat od využívání svobody shromažďování a dalších základních práv. Technické nepřesnosti systémů UI určených pro biometrickou identifikaci fyzických osob na dálku mohou vést ke zkresleným výsledkům a mít diskriminační účinky. To je relevantní zejména v případě věku, etnického původu, pohlaví nebo zdravotních postižení. Bezprostřednost dopadu a omezené možnosti dalších kontrol nebo oprav v souvislosti s používáním těchto systémů fungujících „v reálném čase“ s sebou navíc nesou zvýšené riziko z hlediska práv a svobod osob, kterých se týkají činnosti v oblasti prosazování práva. Používání těchto systémů na veřejně přístupných místech by proto mělo být zakázáno. Podobně by měly být zakázány i systémy UI pro analýzu záznamů z veřejně přístupných prostorů prostřednictvím systémů „zpětné“ biometrické identifikace na dálku, pokud nebylo vydáno předsoudní povolení pro použití v souvislosti s vymáháním práva, kdy jsou tyto systémy výhradně nezbytné pro cílené vyhledávání spojené s konkrétním závažným trestným činem, k němuž již došlo, a pouze na základě předsoudního povolení.

(19)

Používání těchto systémů pro účely prosazování práva by proto mělo být zakázáno s výjimkou tří taxativně vyjmenovaných a úzce definovaných situací, kdy je toto použití nezbytně nutné k dosažení významného veřejného zájmu, jehož význam převažuje nad uvedenými riziky. Tyto situace zahrnují hledání potenciálních obětí trestných činů, včetně pohřešovaných dětí; některé případy ohrožení života nebo fyzické bezpečnosti fyzických osob nebo hrozby teroristického útoku a odhalování, lokalizaci, identifikaci nebo stíhání pachatelů nebo osob podezřelých z trestných činů uvedených v rámcovém rozhodnutí Rady 2002/584/SVV  (38) , pokud lze tyto trestné činy v dotčeném členském státě potrestat trestem odnětí svobody nebo ochranným opatřením spojeným s odnětím osobní svobody s horní hranicí sazby v délce nejméně tři roky a jsou-li vymezeny právem tohoto členského státu. Tato hranice pro trest odnětí svobody nebo ochranné opatření spojené s odnětím osobní svobody v souladu s vnitrostátními právními předpisy přispívá k zajištění toho, že použití systémů biometrické identifikace na dálku „v reálném čase“ bude možno potenciálně odůvodnit jen dostatečnou závažností daného trestného činu. Je navíc pravděpodobné, že některé z 32 trestných činů uvedených v rámcovém rozhodnutí Rady 2002/584/SVV budou v praxi relevantnější než jiné v tom smyslu, že nezbytnost a přiměřenost využívání biometrické identifikace na dálku „v reálném čase“ bude pravděpodobně velmi různorodá jak z hlediska praktické snahy o odhalování, lokalizaci, identifikaci nebo stíhání pachatelů jednotlivých uvedených trestných činů nebo osob podezřelých z jejich spáchání, tak s ohledem na pravděpodobné rozdíly v závažnosti, pravděpodobnosti a rozsahu způsobené újmy nebo možných negativních důsledků.

(20)

Aby bylo zajištěno odpovědné a přiměřené používání těchto systémů, je rovněž důležité stanovit, že v každé z těchto tří taxativně vyjmenovaných a úzce definovaných situací je třeba zohlednit určité prvky, zejména pokud jde o povahu situace, která vedla k předložení žádosti, o důsledky užití těchto systémů pro práva a svobody všech dotčených osob a o záruky a podmínky zajištěné při tomto použití. Na využívání systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva by se navíc měla vztahovat vhodná časová a prostorová omezení, zejména s ohledem na důkazy nebo náznaky týkající se daných hrozeb, obětí nebo pachatele. Pro každý případ použití v každé ze tří výše uvedených situací by mělo být vhodné využití referenční databáze osob.

(21)

Každé použití systému biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva by mělo podléhat výslovnému a konkrétnímu povolení justičního orgánu nebo nezávislého správního orgánu členského státu. Toto povolení by mělo být v zásadě získáno před tímto použitím s výjimkou řádně odůvodněných naléhavých situací, tj. situací, kdy je potřeba použít dotyčné systémy tak naléhavá, že je účinně a objektivně nemožné získat povolení před zahájením tohoto použití. V těchto naléhavých situacích by použití mělo být omezeno na absolutně nezbytné minimum a mělo by podléhat příslušným zárukám a podmínkám, které stanoví vnitrostátní právo a specifikuje samotný donucovací orgán v kontextu každého jednotlivého případu naléhavého použití. Donucovací orgán by měl v těchto situacích rovněž usilovat o co nejvčasnější získání povolení a měl by uvést důvody, proč o něj nemohl požádat již dříve.

(22)

Dále je vhodné v rámci taxativně vymezeném tímto nařízením stanovit, že toto použití na území členského státu v souladu s tímto nařízením by mělo být možné pouze tehdy a do té míry, do níž se dotčený členský stát rozhodl výslovně stanovit možnost povolit toto použití ve své podrobné vnitrostátní úpravě. V důsledku toho se členské státy mohou podle tohoto nařízení i nadále dle vlastního uvážení rozhodnout, že tuto možnost vůbec nestanoví, případně že ji stanoví pouze ve vztahu k některým cílům, které mohou povolené použití určené v tomto nařízení odůvodnit.

(23)

Využívání systémů UI pro biometrickou identifikaci fyzických osob na dálku „v reálném“ čase na veřejně přístupných místech pro účely prosazování práva nutně zahrnuje i zpracování biometrických údajů. Pravidla tohoto nařízení, která toto použití až na určité výjimky zakazují a která jsou založena na článku 16 Smlouvy o fungování EU, by se měla použít jako lex specialis, pokud jde o pravidla zpracování biometrických údajů uvedená v článku 10 směrnice (EU) 2016/680, což by toto použití a zpracování biometrických údajů vyčerpávajícím způsobem regulovalo. Toto použití a zpracování by proto mělo být možné jen v případě, že bude slučitelné s rámcem stanoveným tímto nařízením, a mimo tento rámec by neměl existovat prostor pro to, aby příslušné orgány jednající za účelem prosazování práva používaly tyto systémy a zpracovávaly tyto údaje v souvislosti s nimi z důvodů uvedených v článku 10 směrnice (EU) 2016/680. V této souvislosti není cílem tohoto nařízení poskytnout právní základ zpracování osobních údajů podle článku 8 směrnice 2016/680. Na používání systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro jiné účely než prosazování práva, a to i příslušnými orgány, by se však neměl vztahovat zvláštní rámec týkající se tohoto použití pro účely prosazování práva, stanovený tímto nařízením. Toto použití pro jiné účely než pro účely prosazování práva by proto nemělo podléhat požadavku na povolení podle tohoto nařízení a použitelným podrobným pravidlům vnitrostátního práva, která ho případně mohou uvést v účinnost.

(24)

Jakékoli zpracování biometrických údajů a dalších osobních údajů související s používáním systémů UI pro účely biometrické identifikace jinak než v souvislosti s používáním systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva podle tohoto nařízení , včetně případů, kdy tyto systémy používají příslušné orgány na veřejně přístupných místech pro jiné účely než pro účely prosazování práva , by mělo i nadále splňovat všechny případné požadavky vyplývající z čl. 9 odst. 1 nařízení (EU) 2016/679, z čl. 10 odst. 1 nařízení (EU) 2018/1725 a z článku 10 směrnice (EU) 2016/680.

(24)

Jakékoli zpracování biometrických údajů a dalších osobních údajů související s používáním systémů UI pro účely biometrické identifikace jinak než v souvislosti s používáním systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech podle tohoto nařízení, by mělo i nadále splňovat všechny případné požadavky vyplývající z čl. 9 odst. 1 nařízení (EU) 2016/679, z čl. 10 odst. 1 nařízení (EU) 2018/1725 a z článku 10 směrnice (EU) 2016/680.

(25)

V souladu s článkem 6a Protokolu č. 21 o postavení Spojeného království a Irska s ohledem na prostor svobody, bezpečnosti a práva, připojeného ke Smlouvě o EU a Smlouvě o fungování EU, není Irsko vázáno pravidly stanovenými v čl. 5 odst. 1 písm. d)  a čl. 5 odst. 2 a 3 tohoto nařízení přijatého na základě článku 16 Smlouvy o fungování EU, která se týkají zpracování osobních údajů členskými státy, vykonávají-li činnosti spadající do oblasti působnosti části třetí hlavy V kapitoly 4 nebo 5 Smlouvy o fungování EU, pokud není Irsko vázáno pravidly Unie upravujícími formy justiční spolupráce v trestních věcech nebo policejní spolupráce, v jejichž rámci musí být dodržována pravidla přijatá na základě článku 16 Smlouvy o fungování EU.

(25)

V souladu s článkem 6a Protokolu č. 21 o postavení Spojeného království a Irska s ohledem na prostor svobody, bezpečnosti a práva, připojeného ke Smlouvě o EU a Smlouvě o fungování EU, není Irsko vázáno pravidly stanovenými v čl. 5 odst. 1 písm. d) tohoto nařízení přijatého na základě článku 16 Smlouvy o fungování EU, která se týkají zpracování osobních údajů členskými státy, vykonávají-li činnosti spadající do oblasti působnosti části třetí hlavy V kapitoly 4 nebo 5 Smlouvy o fungování EU, pokud není Irsko vázáno pravidly Unie upravujícími formy justiční spolupráce v trestních věcech nebo policejní spolupráce, v jejichž rámci musí být dodržována pravidla přijatá na základě článku 16 Smlouvy o fungování EU.

(26)

V souladu s články 2 a 2a Protokolu č. 22 o postavení Dánska, připojeného ke Smlouvě o EU a Smlouvě o fungování EU, nejsou pro Dánsko závazná ani použitelná pravidla stanovená v čl. 5 odst. 1 písm. d)  a v čl. 5 odst. 2 a 3 tohoto nařízení přijatého na základě článku 16 Smlouvy o fungování EU, která se týkají zpracování osobních údajů členskými státy, vykonávají-li činnosti spadající do oblasti působnosti části třetí hlavy V kapitoly 4 nebo 5 Smlouvy o fungování EU.

(26)

V souladu s články 2 a 2a Protokolu č. 22 o postavení Dánska, připojeného ke Smlouvě o EU a Smlouvě o fungování EU, nejsou pro Dánsko závazná ani použitelná pravidla stanovená v čl. 5 odst. 1 písm. d) tohoto nařízení přijatého na základě článku 16 Smlouvy o fungování EU, která se týkají zpracování osobních údajů členskými státy, vykonávají-li činnosti spadající do oblasti působnosti části třetí hlavy V kapitoly 4 nebo 5 Smlouvy o fungování EU.

(26a)

Systémy UI používané donucovacími orgány nebo jejich jménem k vytváření predikcí, profilů nebo posouzení rizik založených na profilování fyzických osob nebo na analýze údajů týkajících se osobnostních rysů a vlastností, včetně určení lokace osoby, nebo minulého trestného chování fyzických osob nebo skupin osob za účelem predikce výskytu nebo opakování skutečného nebo potenciálního trestného činu či trestných činů nebo jiného kriminalizovaného společenského chování nebo přestupků, včetně systémů pro predikci podvodů, s sebou nesou zvláštní riziko diskriminace určitých osob nebo skupin osob, neboť porušují lidskou důstojnost, jakož i klíčovou právní zásadu presumpce neviny. Takové systémy UI by proto měly být zakázány.

(26b)

Nerozlišující a necílené získávání biometrických údajů ze sociálních médií nebo ze záznamu CCTV za účelem vytvoření nebo rozšíření databází rozpoznávání obličeje přispívá k pocitu hromadného sledování a může vést k hrubému porušování základních práv, včetně práva na soukromí. Používání systémů UI, které mají tento zamýšlený účel, by proto mělo být zakázáno.

(26c)

Existují vážné obavy ohledně vědeckého základu systémů UI, jejichž cílem je odhalit emoce z výrazů obličeje, fyzických nebo fyziologických rysů, jako jsou výrazy obličeje, pohyby, tepová frekvence nebo hlas. Emoce nebo výrazy obličeje a jejich vnímání se v jednotlivých kulturách a situacích značně liší, a to i u téhož jednotlivce. Mezi klíčové nedostatky těchto technologií patří omezená spolehlivost (kategorie emocí nejsou spolehlivě vyjádřeny prostřednictvím společného souboru fyzických nebo fyziologických pohybů, ani s ním nejsou jednoznačně spojeny), nedostatečná určitost (fyzické nebo fyziologické projevy zcela neodpovídají kategoriím emocí) a omezená zobecnitelnost (nejsou dostatečně zohledněny účinky kontextu a kultury). Problémy se spolehlivostí, a tudíž i velká rizika zneužití, mohou vzniknout zejména při zavádění systému v reálných situacích souvisejících s vymáháním práva, správou hranic, pracovištěm a vzdělávacími institucemi. Uvádění na trh, uvádění do provozu nebo používání systémů UI určených k použití v těchto kontextech k odhalování emočního stavu by proto mělo být zakázáno.

(26d)

Tímto nařízením by neměly být dotčeny praktiky, které jsou zakázány právními předpisy Unie, včetně právních předpisů o ochraně údajů, nediskriminaci, ochraně spotřebitele a hospodářské soutěži.

(27)

Vysoce rizikové systémy UI by měly být uváděny na trh Unie nebo do provozu pouze tehdy, splňují-li určité závazné požadavky. Tyto požadavky by měly zajistit, aby vysoce rizikové systémy UI, které jsou dostupné v Unii nebo jejichž výstupy jsou v Unii jinak využívány, nepředstavovaly nepřijatelné riziko pro důležité veřejné zájmy Unie uznané a chráněné právem Unie. Systémy UI označené jako vysoce rizikové by měly být omezeny na systémy, které mají významný škodlivý dopad na zdraví, bezpečnost a základní práva osob v Unii, a toto omezení minimalizuje jakékoli případné omezení mezinárodního obchodu.

(27)

Vysoce rizikové systémy UI by měly být uváděny na trh Unie, do provozu nebo používány pouze tehdy, splňují-li určité závazné požadavky. Tyto požadavky by měly zajistit, aby vysoce rizikové systémy UI, které jsou dostupné v Unii nebo jejichž výstupy jsou v Unii jinak využívány, nepředstavovaly nepřijatelné riziko pro důležité veřejné zájmy Unie uznané a chráněné právem Unie , včetně základních práv, demokracie, právního státu nebo životního prostředí. V zájmu zajištění souladu s odvětvovými právními předpisy a s cílem zamezit zdvojování by požadavky na některé vysoce rizikové systémy UI zohledňovat odvětvové právní předpisy, které stanoví dostatečné požadavky na vysoce rizikové systémy UI zahrnuté do působnosti tohoto nařízení, jako je nařízení (EU) 2017/745 o zdravotnických prostředcích a nařízení (EU) 2017/746 o diagnostických prostředcích in vitro a směrnice 2006/42/ES o strojních zařízeních . Systémy UI označené jako vysoce rizikové by měly být omezeny na systémy, které mají významný škodlivý dopad na zdraví, bezpečnost a základní práva osob v Unii, a toto omezení minimalizuje jakékoli případné omezení mezinárodního obchodu. Vzhledem k rychlému tempu technologického vývoje, jakož i k potenciálním změnám ve využívání systémů UI, by měl být nicméně seznam vysoce rizikových oblastí a případů použití v příloze III podroben stálému přezkumu prostřednictvím pravidelného posuzování.

(28)

Systémy UI by mohly mít nepříznivé účinky na zdraví a bezpečnost osob, zejména pokud tyto systémy fungují jako součásti produktů. V souladu s cíli harmonizačních právních předpisů Unie, které mají usnadnit volný pohyb produktů na vnitřním trhu a zajistit, aby se na trh dostávaly pouze bezpečné a jinak vyhovující produkty, je důležitá náležitá prevence a zmírňování bezpečnostních rizik, která mohou případně vyplývat z produktu jako celku v důsledku jeho digitálních prvků, včetně systémů UI. Například stále autonomnější roboti, ať už v kontextu výroby, nebo osobní asistence a péče, by měli být schopni bezpečně fungovat a vykonávat své funkce ve složitých prostředích. Obdobně ve zdravotnictví, kde existuje obzvláště vysoké riziko v oblasti života a zdraví, by měly být stále sofistikovanější diagnostické systémy a systémy podporující lidská rozhodnutí spolehlivé a přesné. Míra nepříznivého dopadu systému UI na základní práva chráněná Listinou je obzvláště důležitá v případě, že je systém UI klasifikován jako vysoce rizikový. Tato práva zahrnují právo na lidskou důstojnost, respektování soukromého a rodinného života, ochranu osobních údajů, svobodu projevu a informací, svobodu shromažďování a sdružování a zákaz diskriminace, ochranu spotřebitele, práva pracovníků, práva osob s postižením, právo na účinnou právní ochranu a spravedlivý proces, právo na obhajobu a presumpci neviny a právo na řádnou správu. Kromě těchto práv je třeba zdůraznit zvláštní práva dětí zakotvená v článku 24 Listiny základních práv EU a v Úmluvě OSN o právech dítěte (ve vztahu k digitálním prostředí dále rozpracovaná v obecné připomínce č. 25 k Úmluvě o právech dítěte), které v obou případech vyžadují zohlednění zranitelnosti dětí a poskytnutí této ochrany a péče, která je nezbytná pro jejich blaho. Při posuzování závažnosti újmy, kterou může systém UI způsobit, a to i ve vztahu ke zdraví a bezpečnosti osob, by mělo být zohledněno také základní právo na vysokou úroveň ochrany životního prostředí zakotvené v Listině a provedené do politik Unie.

(28)

Systémy UI by mohly mít nepříznivý dopad na zdraví a bezpečnost osob, zejména pokud tyto systémy fungují jako bezpečnostní součásti produktů. V souladu s cíli harmonizačních právních předpisů Unie, které mají usnadnit volný pohyb produktů na vnitřním trhu a zajistit, aby se na trh dostávaly pouze bezpečné a jinak vyhovující produkty, je důležitá náležitá prevence a zmírňování bezpečnostních rizik, která mohou případně vyplývat z produktu jako celku v důsledku jeho digitálních prvků, včetně systémů UI. Například stále autonomnější roboti, ať už v kontextu výroby, nebo osobní asistence a péče, by měli být schopni bezpečně fungovat a vykonávat své funkce ve složitých prostředích. Obdobně ve zdravotnictví, kde existuje obzvláště vysoké riziko v oblasti života a zdraví, by měly být stále sofistikovanější diagnostické systémy a systémy podporující lidská rozhodnutí spolehlivé a přesné.

(28a)

Míra nepříznivého dopadu systému UI na základní práva chráněná Listinou je obzvláště důležitá v případě, že je systém UI klasifikován jako vysoce rizikový. Tato práva zahrnují právo na lidskou důstojnost, respektování soukromého a rodinného života, ochranu osobních údajů, svobodu projevu a informací, svobodu shromažďování a sdružování a zákaz diskriminace, právo na vzdělání, ochranu spotřebitele, práva pracovníků, práva osob se zdravotním postižením, genderovou rovnost, práva duševního vlastnictví, právo na účinnou právní ochranu a spravedlivý proces, právo na obhajobu a presumpci neviny a právo na řádnou správu. Kromě těchto práv je třeba zdůraznit zvláštní práva dětí zakotvená v článku 24 Listiny základních práv EU a v Úmluvě OSN o právech dítěte (ve vztahu k digitálnímu prostředí dále rozpracovaná v obecné připomínce č. 25 k Úmluvě o právech dítěte), které v obou případech vyžadují zohlednění zranitelnosti dětí a poskytnutí této ochrany a péče, která je nezbytná pro jejich blaho. Při posuzování závažnosti újmy, kterou může systém UI způsobit, a to i ve vztahu ke zdraví a bezpečnosti osob nebo k životnímu prostředí, by mělo být zohledněno také základní právo na vysokou úroveň ochrany životního prostředí zakotvené v Listině a provedené do politik Unie.

(29)

Pokud jde o vysoce rizikové systémy UI, které jsou bezpečnostními součástmi produktů nebo systémů, případně které jsou samy produkty nebo systémy spadajícími do působnosti nařízení Evropského parlamentu a Rady (ES) č. 300/2008 (39), nařízení Evropského parlamentu a Rady (EU) č. 167/2013 (40), nařízení Evropského parlamentu a Rady (EU) č. 168/2013 (41), směrnice Evropského parlamentu a Rady 2014/90/EU (42), směrnice Evropského parlamentu a Rady (EU) 2016/797 (43), nařízení Evropského parlamentu a Rady (EU) 2018/858 (44), nařízení Evropského parlamentu a Rady (EU) 2018/1139 (45) a nařízení Evropského parlamentu a Rady (EU) 2019/2144 (46), je vhodné tyto akty pozměnit s cílem zajistit, aby Komise při přijímání jakýchkoli budoucích relevantních aktů v přenesené pravomoci nebo prováděcích aktů na základě výše uvedených aktů zohledňovala povinné požadavky na vysoce rizikové systémy UI stanovené v tomto nařízení na základě technických a regulačních specifik jednotlivých odvětví, aniž by zasahovala do stávajících mechanismů správy, posuzování shody a prosazování ani do orgánů zřízených v rámci uvedených aktů.

(29)

Pokud jde o vysoce rizikové systémy UI, které jsou bezpečnostními součástmi produktů nebo systémů, případně které jsou samy produkty nebo systémy spadajícími do působnosti nařízení Evropského parlamentu a Rady (ES) č. 300/2008 (39), nařízení Evropského parlamentu a Rady (EU) č. 167/2013 (40), nařízení Evropského parlamentu a Rady (EU) č. 168/2013 (41), směrnice Evropského parlamentu a Rady 2014/90/EU (42), směrnice Evropského parlamentu a Rady (EU) 2016/797 (43), nařízení Evropského parlamentu a Rady (EU) 2018/858 (44), nařízení Evropského parlamentu a Rady (EU) 2018/1139 (45) a nařízení Evropského parlamentu a Rady (EU) 2019/2144 (46), je vhodné tyto akty pozměnit s cílem zajistit, aby Komise při přijímání jakýchkoli budoucích relevantních aktů v přenesené pravomoci nebo prováděcích aktů na základě výše uvedených aktů zohledňovala povinné požadavky na vysoce rizikové systémy UI stanovené v tomto nařízení na základě technických a regulačních specifik jednotlivých odvětví, aniž by zasahovala do stávajících mechanismů správy, posuzování shody , dozoru nad trhem a prosazování ani do orgánů zřízených v rámci uvedených aktů.

(30)

Pokud jde o systémy UI, které jsou bezpečnostními součástmi produktů nebo jsou produkty samy o sobě, a které spadají do oblasti působnosti některých harmonizačních právních předpisů Unie, je vhodné je podle tohoto nařízení klasifikovat jako vysoce rizikové, pokud u daného produktu provádí postup posuzování shody subjekt, který vykonává činnosti posuzování shody jakožto třetí strana podle příslušných harmonizačních právních předpisů Unie. Těmito produkty jsou zejména strojní zařízení, hračky, výtahy, zařízení a ochranné systémy určené k použití v prostředí s nebezpečím výbuchu, rádiová zařízení, tlaková zařízení, zařízení pro rekreační plavidla, lanové dráhy, spotřebiče plynných paliv, zdravotnické prostředky a diagnostické zdravotnické prostředky in vitro.

(30)

Pokud jde o systémy UI, které jsou bezpečnostními součástmi produktů nebo jsou produkty samy o sobě, a které spadají do oblasti působnosti některých harmonizačních právních předpisů Unie uvedených v příloze II , je vhodné je podle tohoto nařízení klasifikovat jako vysoce rizikové, pokud s cílem zajistit u daného produktu soulad se základními bezpečnostními požadavky provádí postup posuzování shody subjekt, který vykonává činnosti posuzování shody jakožto třetí strana podle příslušného harmonizačního práva Unie. Těmito produkty jsou zejména strojní zařízení, hračky, výtahy, zařízení a ochranné systémy určené k použití v prostředí s nebezpečím výbuchu, rádiová zařízení, tlaková zařízení, zařízení pro rekreační plavidla, lanové dráhy, spotřebiče plynných paliv, zdravotnické prostředky a diagnostické zdravotnické prostředky in vitro.

(31)

Klasifikace systému UI jako vysoce rizikového podle tohoto nařízení by neměla nutně znamenat, že produkt, jehož je daný systém UI bezpečnostní součástí, případně tento samotný systém UI jako produkt, je považován za „vysoce rizikový“ podle kritérií stanovených v příslušných harmonizačních právních předpisech Unie, které se na tento produkt vztahují. To platí zejména pro nařízení Evropského parlamentu a Rady (EU) 2017/745 (47) a nařízení Evropského parlamentu a Rady (EU) 2017/746 (48), kde je pro produkty se středním a vysokým rizikem vyžadováno posuzování shody subjektem, který vykonává činnosti posuzování shody jakožto třetí strana.

(31)

Klasifikace systému UI jako vysoce rizikového podle tohoto nařízení by neměla nutně znamenat, že produkt, jehož je daný systém UI bezpečnostní součástí, případně tento samotný systém UI jako produkt, je považován za „vysoce rizikový“ podle kritérií stanovených v příslušných harmonizačních právních předpisech Unie, které se na tento produkt vztahují. To platí zejména pro nařízení Evropského parlamentu a Rady (EU) 2017/745 (47) a nařízení Evropského parlamentu a Rady (EU) 2017/746 (48), kde je pro produkty se středním a vysokým rizikem vyžadováno posuzování shody subjektem, který vykonává činnosti posuzování shody jakožto třetí strana.

(32)

Pokud jde o samostatné systémy UI, jimiž se rozumí vysoce rizikové systémy UI s výjimkou těch, které představují bezpečnostní součásti produktů nebo které jsou samy produkty, je vhodné je klasifikovat jako vysoce rizikové, pokud s ohledem na určený účel představují vysoké riziko újmy na zdraví a bezpečnosti nebo na základních právech osob s  přihlédnutím jak k závažnosti možné újmy , tak k pravděpodobnosti, že nastane , a pokud jsou využívány v celé řadě oblastí uvedených v tomto nařízení , které jsou výslovně definovány předem . Identifikace těchto systémů je založena na stejné metodice a kritériích, jaké se předpokládají i u jakýchkoli budoucích změn seznamu vysoce rizikových systémů UI.

(32)

Pokud jde o samostatné systémy UI, jimiž se rozumí vysoce rizikové systémy UI s výjimkou těch, které představují bezpečnostní součásti produktů nebo které jsou samy produkty a spadají do některé z oblastí a případů použití uvedených v příloze III , je vhodné je klasifikovat jako vysoce rizikové, pokud s ohledem na účel představují významné riziko újmy na zdraví a bezpečnosti nebo na základních právech osob a v případě, kdy je dotčený systém UI používán jako bezpečnostní součást kritické infrastruktury, na životním prostředí. Toto významné riziko újmy by mělo být určeno tak, že se na jedné straně posoudí účinek tohoto rizika s  ohledem na jeho závažnost, intenzitu, pravděpodobnost výskytu a dobu trvání při zvážení kombinace všech těchto faktorů, a na straně druhé se posoudí, zda se toto riziko může dotknout jednotlivce , více osob nebo konkrétní skupiny osob. Taková kombinace by například mohla vést k  vysoké závažnosti, ale nízké pravděpodobnosti dopadu na fyzické osoby , nebo k vysoké pravděpodobnosti dopadu na skupinu lidí s nízkou závažností po dlouhou dobu , a to v závislosti na kontextu . Identifikace těchto systémů je založena na stejné metodice a kritériích, jaké se předpokládají i u jakýchkoli budoucích změn seznamu vysoce rizikových systémů UI.

(32a)

Poskytovatelé, jejichž systémy UI spadají do jedné z oblastí a případů použití uvedených v příloze III, kteří se domnívají, že jejich systém nepředstavuje významné riziko poškození zdraví, bezpečnosti, základních práv nebo životního prostředí, by měli informovat vnitrostátní dozorové orgány tím, že předloží odůvodněné oznámení. To by mohlo mít podobu jednostránkového shrnutí příslušných informací o daném systému UI, včetně jeho zamýšleného účelu a odůvodnění, proč by nepředstavoval významné riziko poškození zdraví, bezpečnosti, základních práv nebo životního prostředí. Komise by měla stanovit kritéria, která společnostem umožní posoudit, zda by jejich systém takováto rizika představoval, a měla by vypracovat snadno použitelný a standardizovaný vzor pro oznámení. Poskytovatelé by měli oznámení předložit co nejdříve a v každém případě před uvedením systému UI na trh nebo do provozu, nejlépe ve fázi vývoje, a měli by mít možnost jej uvést na trh kdykoli po oznámení. Pokud se však orgán domnívá, že dotčený systém UI byl nesprávně klasifikován, měl by ve lhůtě tří měsíců vznést proti oznámení námitku. Námitka by měla být odůvodněna a měla by řádně vysvětlit, proč byl systém UI nesprávně klasifikován. Poskytovatel by si měl ponechat právo na odvolání tím, že předloží další argumenty. Pokud po uplynutí tří měsíců nebudou proti oznámení vzneseny žádné námitky, mohly by vnitrostátní dozorové orgány přesto zasáhnout, pokud systém UI představuje riziko na vnitrostátní úrovni, jako je tomu v případě jakéhokoli jiného systému UI na trhu. Vnitrostátní dozorové orgány by měly Úřadu pro umělou inteligenci předkládat výroční zprávy s podrobnými údaji o obdržených oznámeních a přijatých rozhodnutích.

(33)

Technické nepřesnosti systémů UI určených pro biometrickou identifikaci fyzických osob na dálku mohou vést ke zkresleným výsledkům a mít diskriminační účinky. To je relevantní zejména v případě věku, etnického původu, pohlaví nebo zdravotních postižení. Proto by měly být systémy biometrické identifikace na dálku „v reálném čase“ i „zpětně“ klasifikovány jako vysoce rizikové. S ohledem na rizika, která oba typy systémů biometrické identifikace na dálku představují, by se na ně měly vztahovat zvláštní požadavky v oblasti schopnosti zaznamenávání dat a lidského dohledu.

(33a)

Vzhledem k tomu, že biometrické údaje představují v souladu s nařízením 2016/679 zvláštní kategorii citlivých osobních údajů, je vhodné klasifikovat jako vysoce rizikové několik zásadních případů použití biometrických a biometrických systémů. Za vysoce rizikové systémy je tedy třeba označit systémy UI určené k biometrické identifikaci fyzických osob a systémy UI určené k použití za účelem vyvozování závěrů o osobních vlastnostech fyzických osob na základě biometrických údajů či údajů, které z biometrických údajů vycházejí, včetně systémů rozpoznávání emocí, s výjimkou systémů, které jsou zakázány podle tohoto nařízení. Neměly by být zahrnuty systémy UI určené k biometrickému ověřování, včetně autentizace, jejichž jediným účelem je potvrdit, zda konkrétní fyzická osoba je osobou, za niž se prohlašuje, a systémy, které se používají k potvrzení totožnosti fyzické osoby za jediným účelem, kterým je získání přístupu ke službě, zařízení nebo prostorám (ověřování jedna ku jedné). Biometrické systémy a systémy založené na biometrických údajích, které jsou stanoveny v právních předpisech Unie s cílem umožnit kybernetickou bezpečnost a opatření na ochranu osobních údajů, by neměly být považovány za systémy představující významné riziko poškození zdraví, bezpečnosti a základních práv.

(34)

Pokud jde o správu a provoz kritické infrastruktury, je vhodné klasifikovat jako vysoce rizikové takové systémy UI, které jsou určeny k použití jako bezpečnostní součásti při řízení a provozu silniční dopravy a při zásobování vodou, plynem, teplem a elektřinou, protože jejich porucha nebo chybné fungování může ohrozit život a zdraví osob ve velkém rozsahu a vést ke značnému narušení běžného provozování sociálních a hospodářských činností.

(34)

Pokud jde o správu a provoz kritické infrastruktury, je vhodné klasifikovat jako vysoce rizikové takové systémy UI, které jsou určeny k použití jako bezpečnostní součásti při řízení a provozu  v oblasti zásobování vodou, plynem, teplem a elektřinou a kritické digitální infrastruktury , protože jejich porucha nebo chybné fungování může narušit bezpečnost a integritu této kritické infrastruktury nebo může ohrozit život a zdraví osob ve velkém rozsahu a vést ke značnému narušení běžného provozování sociálních a hospodářských činností. Bezpečnostní součásti kritické infrastruktury, včetně kritické digitální infrastruktury, jsou systémy používané k přímé ochraně fyzické integrity fyzické infrastruktury nebo zdraví a bezpečnosti osob a majetku. Selhání nebo špatné fungování těchto součástí může přímo vést k ohrožení fyzické integrity kritické infrastruktury, a tím i k ohrožení zdraví a bezpečnosti osob a majetku. Součásti určené k použití výhradně pro účely kybernetické bezpečnosti by neměly být považovány za bezpečnostní součásti. Mezi příklady bezpečnostních součástí mohou patřit systémy pro monitorování tlaku vody nebo systémy řízení požárního poplachu ve střediscích cloud computingu.

(35)

Za vysoce rizikové by měly být považovány systémy UI používané ve vzdělávání nebo v odborné přípravě, zejména při určování přístupu osob do školských institucí a institucí odborného vzdělávání, jejich přidělování do těchto institucí nebo pro hodnocení osob v testech jako součásti nebo jako předpokladu jejich vzdělávání, protože mohou určovat vzdělávací a profesní průběh života lidí a tak ovlivňovat jejich schopnost zajišťovat si živobytí. Pokud budou tyto systémy navrženy a používány nesprávně, mohou porušovat právo na vzdělávání a odbornou přípravu i právo nebýt diskriminován a fixovat historické vzorce diskriminace.

(35)

Zavádění systémů UI ve vzdělávání je důležité pro modernizaci celých vzdělávacích systémů a zvýšení kvality vzdělávání, a to jak offline, tak online, a pro urychlení digitálního vzdělávání, a tím i jeho zpřístupnění širší veřejnosti. Jako vysoce rizikové by měly být klasifikovány systémy UI používané ve vzdělávání nebo v odborné přípravě, zejména při určování přístupu osob nebo věcně ovlivňující jejich přijetí do školských institucí a institucí odborného vzdělávání, jejich přidělování do těchto institucí nebo pro hodnocení osob v testech jako součásti nebo jako předpokladu jejich vzdělávání nebo pro posouzení vhodné úrovně vzdělávání jednotlivce nebo věcného vlivu úrovně vzdělávání a odborné přípravy , které tito jedinci obdrží, nebo pro určení přístupu nebo pro monitorování a detekci zakázaného chování studentů během testů, neboť takovéto systémy mohou určovat vzdělávací a profesní průběh života lidí a tak ovlivňovat jejich schopnost zajišťovat si živobytí. Pokud budou tyto systémy navrženy a používány nesprávně, mohou být mimořádně obtěžující a mohou porušovat právo na vzdělávání a odbornou přípravu i právo nebýt diskriminován a fixovat historické vzorce diskriminace , například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace.

(36)

Jako vysoce rizikové mohou být klasifikovány systémy UI používané při zaměstnávání, řízení pracovníků a při přístupu k samostatné výdělečné činnosti, zejména při náboru a výběru osob, při rozhodování o povýšení nebo propuštění a při přidělování úkolů, monitorování nebo hodnocení osob ve smluvních pracovněprávních vztazích, protože mohou významně ovlivnit budoucí kariérní vyhlídky a  živobytí těchto osob. Příslušné smluvní pracovněprávní vztahy by měly zahrnovat zaměstnance a osoby poskytující služby prostřednictvím platforem, jak je uvedeno v pracovním programu Komise na rok 2021 . Tyto osoby by v zásadě neměly být považovány za uživatele ve smyslu tohoto nařízení . Tyto systémy mohou v průběhu celého procesu náboru a při hodnocení, povyšování nebo udržování osob ve smluvních pracovněprávních vztazích fixovat historické vzorce diskriminace, například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace. Systémy UI používané k monitorování výkonnosti a chování těchto osob mohou ovlivnit rovněž jejich práva na ochranu údajů a soukromí.

(36)

Jako vysoce rizikové by měly být klasifikovány také systémy UI používané při zaměstnávání, řízení pracovníků a při přístupu k samostatné výdělečné činnosti, zejména při náboru a výběru osob, při rozhodování o povýšení nebo propuštění nebo které mají věcný dopad na přijímání, povýšení nebo propuštění, a při personalizovaném přidělování úkolů na základě chování jednotlivce , jeho osobních vlastností nebo biometrických údajů, systémy pro monitorování nebo hodnocení osob ve smluvních pracovněprávních vztazích, protože mohou významně ovlivnit budoucí kariérní vyhlídky , živobytí a  pracovní práva těchto osob. Příslušné smluvní pracovněprávní vztahy by měly ve významné míře zahrnovat zaměstnance a osoby poskytující služby prostřednictvím platforem, jak je uvedeno v pracovním programu Komise na rok 2021. Tyto systémy mohou v průběhu celého procesu náboru a při hodnocení, povyšování nebo udržování osob ve smluvních pracovněprávních vztazích fixovat historické vzorce diskriminace, například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace. Systémy UI používané k monitorování výkonnosti a chování těchto osob mohou rovněž oslabit podstatu jejich základních práv na ochranu údajů a soukromí a mít na tato práva dopad . Toto nařízení se použije, aniž jsou dotčeny pravomoci Unie a členských států stanovit konkrétnější pravidla pro používání systémů UI v souvislosti se zaměstnáním.

(37)

Další oblastí, ve které si používání systémů UI zaslouží zvláštní pozornost, je přístup k určitým základním soukromým a veřejným službám a výhodám nezbytným pro plné zapojení osob do společnosti nebo pro zlepšení jejich životní úrovně. Jako vysoce rizikové systémy UI by měly být klasifikovány zejména systémy UI používané k hodnocení rizika úvěrů nebo úvěruschopnosti fyzických osob, protože určují přístup těchto osob k finančním zdrojům nebo k základním službám, jako je bydlení, elektřina a telekomunikační služby. Systémy UI používané k tomuto účelu mohou vést k diskriminaci osob nebo skupin a fixovat historické vzorce diskriminace, například na základě rasového nebo etnického původu, zdravotního postižení, věku a sexuální orientace, nebo vytvářet nové formy diskriminačních dopadů. Vzhledem k velmi omezenému rozsahu tohoto dopadu a dostupným alternativám na trhu je vhodné stanovit výjimku pro systémy UI užívané pro účely posouzení úvěruschopnosti a hodnocení rizika úvěrů, pokud je uvedou do provozu malí poskytovatelé pro svou vlastní potřebu . Fyzické osoby, které žádají o dávky sociálního zabezpečení a veřejné asistenční služby u orgánů veřejné správy, případně kterým jsou tyto dávky a služby poskytovány, jsou zpravidla na těchto dávkách a službách závislé a nacházejí se ve vztahu k odpovědným orgánům ve zranitelném postavení. Využívání systémů UI k určování toho, zda by tyto orgány měly tyto výhody a služby zamítnout, omezit, zrušit nebo žádat jejich navrácení, může mít významný dopad na živobytí daných osob a může porušovat jejich základní práva, jako je právo na sociální ochranu, na zákaz diskriminace, na lidskou důstojnost nebo na účinnou právní ochranu. Tyto systémy by proto měly být klasifikovány jako vysoce rizikové. Toto nařízení by však nemělo bránit rozvoji a využívání inovativních přístupů ve veřejné správě, pro kterou by mohlo být širší využívání vyhovujících a bezpečných systémů UI prospěšné, pokud tyto systémy nepředstavují vysoké riziko pro právnické a fyzické osoby. A konečně by měly být jako vysoce rizikové klasifikovány rovněž systémy UI používané při dispečinku pohotovostních služeb nebo stanovení priorit při tomto dispečinku, protože rozhodují v situacích, které jsou velmi kritické pro život a zdraví osob a jejich majetek.

(37)

Další oblastí, ve které si používání systémů UI zaslouží zvláštní pozornost, je přístup k určitým základním soukromým a veřejným službám , včetně služeb zdravotní péče, a základním službám, mimo jiné také bydlení, elektřině, vytápění/chlazení a internetu, a výhodám nezbytným pro plné zapojení osob do společnosti nebo pro zlepšení jejich životní úrovně. Jako vysoce rizikové systémy UI by měly být klasifikovány zejména systémy UI používané k hodnocení rizika úvěrů nebo úvěruschopnosti fyzických osob, protože určují přístup těchto osob k finančním zdrojům nebo k základním službám, jako je bydlení, elektřina a telekomunikační služby. Systémy UI používané k tomuto účelu mohou vést k diskriminaci osob nebo skupin a fixovat historické vzorce diskriminace, například na základě rasového nebo etnického původu, genderu, zdravotního postižení, věku a sexuální orientace, nebo vytvářet nové formy diskriminačních dopadů. Systémy UI stanovené právem Unie pro účely odhalování podvodů při nabízení finančních služeb by však neměly být podle tohoto nařízení považovány za vysoce rizikové. Fyzické osoby, které žádají o dávky sociálního zabezpečení a veřejné asistenční služby u orgánů veřejné správy, včetně služeb zdravotní péče a základních služeb, mimo jiné pokud jde o bydlení, elektřinu, vytápění/chlazení a internet, a kterým jsou případně tyto dávky a služby poskytovány, jsou zpravidla na těchto dávkách a službách závislé a nacházejí se ve vztahu k odpovědným orgánům ve zranitelném postavení. Využívání systémů UI k určování toho, zda by tyto orgány měly tyto výhody a služby zamítnout, omezit, zrušit nebo žádat jejich navrácení, může mít významný dopad na živobytí daných osob a může porušovat jejich základní práva, jako je právo na sociální ochranu, na zákaz diskriminace, na lidskou důstojnost nebo na účinnou právní ochranu. Podobně mohou mít systémy UI určené k rozhodování nebo věcnému ovlivňování rozhodnutí o způsobilosti fyzických osob pro zdravotní a životní pojištění rovněž významný dopad na živobytí osob a mohou porušovat jejich základní práva, například omezením přístupu ke zdravotní péči nebo zachováním diskriminace na základě osobních charakteristik. Tyto systémy by proto měly být klasifikovány jako vysoce rizikové. Toto nařízení by však nemělo bránit rozvoji a využívání inovativních přístupů ve veřejné správě, pro kterou by mohlo být širší využívání vyhovujících a bezpečných systémů UI prospěšné, pokud tyto systémy nepředstavují vysoké riziko pro právnické a fyzické osoby. A konečně by měly být jako vysoce rizikové klasifikovány rovněž systémy UI používané pro hodnocení a klasifikaci tísňových volání fyzických osob nebo při dispečinku pohotovostních služeb nebo stanovení priorit při tomto dispečinku, protože rozhodují v situacích, které jsou velmi kritické pro život a zdraví osob a jejich majetek.

(37a)

Vzhledem k úloze a odpovědnosti policejních a soudních orgánů a k dopadu rozhodnutí, která přijímají za účelem prevence, vyšetřování, odhalování či stíhání trestných činů nebo výkonu trestů, je třeba klasifikovat některé zvláštní případy použití aplikací UI v oblasti vymáhání práva jako vysoce rizikové, zejména existuje-li možnost, že by měly významný dopad na život nebo základní práva jednotlivců.

(38)

Opatření donucovacích orgánů zahrnující určitá použití systémů UI se vyznačují značným stupněm nerovnováhy sil a mohou vést ke sledování fyzické osoby, jejímu zatčení nebo zbavení svobody, jakož i k dalším nepříznivým dopadům na základní práva zaručená Listinou. Zejména v případě, že systém UI nebyl trénován na vysoce kvalitních datech, nesplňuje odpovídající požadavky na přesnost nebo spolehlivost nebo není před uvedením na trh nebo jiným uvedením do provozu řádně navržen a otestován, může dojít k vyčleňování osob diskriminačním nebo jinak nesprávným nebo nespravedlivým způsobem. Kromě toho by mohl být omezen výkon důležitých základních procesních práv, jako je právo na účinnou právní ochranu a na spravedlivý proces, jakož i právo na obhajobu a presumpce neviny, zejména pokud tyto systémy UI nejsou dostatečně transparentní, vysvětlitelné a zdokumentované. Je proto vhodné označit za vysoce rizikové celou řadu systémů UI určených k použití v kontextu prosazování práva, kde je přesnost, spolehlivost a transparentnost obzvláště důležitá, s cílem zabránit nepříznivým dopadům, zachovat důvěru veřejnosti a zajistit odpovědnost a účinné opravné prostředky. S ohledem na povahu dotčených činností a na rizika s nimi spojená by tyto vysoce rizikové systémy UI měly zahrnovat zejména systémy UI určené k využívání donucovacími orgány k individuálnímu hodnocení rizik , polygrafy a  podobné nástroje, případně systémy užívané k detekci emočního stavu fyzických osob , k odhalování tzv . deep fakes, k vyhodnocování spolehlivosti důkazů v trestním řízení , k predikci výskytu nebo opakování skutečné nebo potenciální trestné činnosti na základě profilování fyzických osob nebo k  posuzování osobnostních a povahových rysů nebo předchozí trestné činnosti fyzických osob nebo skupin , k profilování v průběhu odhalování, vyšetřování nebo stíhání trestných činů, jakož i k analýze trestné činnosti ve vztahu k fyzickým osobám. Systémy UI výslovně určené k použití daňovými a celními orgány při správním řízení by neměly být považovány za vysoce rizikové systémy UI používané donucovacími orgány za účelem prevence, odhalování, vyšetřování a stíhání trestných činů.

(38)

Opatření donucovacích orgánů zahrnující určitá použití systémů UI se vyznačují značným stupněm nerovnováhy sil a mohou vést ke sledování fyzické osoby, jejímu zatčení nebo zbavení svobody, jakož i k dalším nepříznivým dopadům na základní práva zaručená Listinou. Zejména v případě, že systém UI nebyl trénován na vysoce kvalitních datech, nesplňuje odpovídající požadavky na výkonnost, přesnost nebo spolehlivost nebo není před uvedením na trh nebo jiným uvedením do provozu řádně navržen a otestován, může dojít k vyčleňování osob diskriminačním nebo jinak nesprávným nebo nespravedlivým způsobem. Kromě toho by mohl být omezen výkon důležitých základních procesních práv, jako je právo na účinnou právní ochranu a na spravedlivý proces, jakož i právo na obhajobu a presumpce neviny, zejména pokud tyto systémy UI nejsou dostatečně transparentní, vysvětlitelné a zdokumentované. Je proto vhodné označit za vysoce rizikové celou řadu systémů UI určených k použití v kontextu prosazování práva, kde je přesnost, spolehlivost a transparentnost obzvláště důležitá, s cílem zabránit nepříznivým dopadům, zachovat důvěru veřejnosti a zajistit odpovědnost a účinné opravné prostředky. S ohledem na povahu dotčených činností a na rizika s nimi spojená by tyto vysoce rizikové systémy UI měly zahrnovat zejména systémy UI určené k využívání donucovacími orgány nebo jejich jménem nebo orgány , institucemi a  jinými subjekty Unie v rámci podpory donucovacích orgánů , jako např . polygrafy a podobné nástroje , pokud je jejich použití povoleno příslušným unijním a vnitrostátním právem, a k  vyhodnocování spolehlivosti důkazů v trestním řízení , k profilování v průběhu odhalování, vyšetřování nebo stíhání trestných činů, jakož i k analýze trestné činnosti ve vztahu k fyzickým osobám. Systémy UI výslovně určené k použití daňovými a celními orgány při správním řízení by neměly být klasifikovány jako vysoce rizikové systémy UI používané donucovacími orgány za účelem prevence, odhalování, vyšetřování a stíhání trestných činů. Využívání nástrojů UI donucovacími a soudními orgány by se nemělo stát faktorem nerovnosti, sociálního rozkolu nebo vyloučení. Dopad používání nástrojů UI na práva podezřelých osob na obhajobu by neměl být opomíjen, zejména pokud jde o obtíže při získávání důležitých informací o jejich fungování a následné problémy při vznesení námitek proti jejich výsledkům u soudu, zejména ze strany vyšetřovaných osob.

(39)

Systémy UI využívané pro účely migrace, azylu a řízení ochrany hranic ovlivňují osoby, které jsou často v obzvláště zranitelném postavení a jsou závislé na výsledku činnosti příslušných orgánů veřejné moci. Přesnost, nediskriminační povaha a transparentnost systémů UI používaných v těchto kontextech jsou proto obzvláště důležité pro zajištění dodržování základních práv dotčených osob, zejména jejich práva na volný pohyb, na zákaz diskriminace, na ochranu soukromého života a osobních údajů, na mezinárodní ochranu a na řádnou správu. Je proto vhodné označit jako vysoce rizikové ty systémy UI, které jsou určeny k použití příslušnými orgány veřejné moci pověřenými úkoly v oblasti migrace, azylu a řízení ochrany hranic, jako jsou například polygrafy a podobné nástroje, případně nástroje určené k detekci emočního stavu fyzické osoby; k posuzování určitých rizik, která představují fyzické osoby vstupující na území členského státu nebo žádající o vízum nebo azyl; k ověření pravosti příslušných dokladů fyzických osob; jako pomoc příslušným orgánům veřejné správy při posuzování žádostí o azyl, vízum a povolení k pobytu a  souvisejících stížností , pokud jde o cíl, jímž je zjištění způsobilosti fyzických osob žádajících o určitý status. Systémy UI v oblasti migrace, azylu a řízení ochrany hranic, na které se vztahuje toto nařízení, by měly splňovat příslušné procesní požadavky stanovené směrnicí Evropského parlamentu a Rady 2013/32/EU (49), nařízením Evropského parlamentu a Rady (ES) č. 810/2009 (50) a dalšími příslušnými právními předpisy.

(39)

Systémy UI využívané pro účely migrace, azylu a řízení ochrany hranic ovlivňují osoby, které jsou často v obzvláště zranitelném postavení a jsou závislé na výsledku činnosti příslušných orgánů veřejné moci. Přesnost, nediskriminační povaha a transparentnost systémů UI používaných v těchto kontextech jsou proto obzvláště důležité pro zajištění dodržování základních práv dotčených osob, zejména jejich práva na volný pohyb, na zákaz diskriminace, na ochranu soukromého života a osobních údajů, na mezinárodní ochranu a na řádnou správu. Je proto vhodné označit jako vysoce rizikové ty systémy UI, které jsou určeny k použití příslušnými orgány veřejné moci nebo jejích jménem nebo orgány, institucemi a jinými subjekty Unie pověřenými úkoly v oblasti migrace, azylu a řízení ochrany hranic, jako jsou například polygrafy a podobné nástroje, je-li jejich použití povoleno podle příslušného unijního a vnitrostátního práva, případně nástroje určené k detekci emočního stavu fyzické osoby , a k posuzování určitých rizik, která představují fyzické osoby vstupující na území členského státu nebo žádající o vízum nebo azyl; k ověření pravosti příslušných dokladů fyzických osob; jako pomoc příslušným orgánům veřejné správy při posuzování a hodnocení věrohodnosti důkazů souvisejících s žádostmi o azyl, vízum a povolení k pobytu a  souvisejících stížností , pokud jde o cíl, jímž je zjištění způsobilosti fyzických osob žádajících o určitý status ; kmonitorování, sledování nebo zpracování osobních údajů v souvislosti se správou hranic, a to za účelem odhalování, rozpoznávání nebo identifikace fyzických osob; k předpovídání nebo odhadování trendů souvisejících s migračními pohyby a překračováním hranic . Systémy UI v oblasti migrace, azylu a řízení ochrany hranic, na které se vztahuje toto nařízení, by měly splňovat příslušné procesní požadavky stanovené směrnicí Evropského parlamentu a Rady 2013/32/EU (49), nařízením Evropského parlamentu a Rady (ES) č. 810/2009 (50) a dalšími příslušnými právními předpisy. Členské státy nebo orgány, instituce nebo jiné subjekty Unie by za žádných okolností neměly používat systémy UI při řízení migrace, azylu a ochrany hranic jako prostředek k obcházení svých mezinárodních závazků vyplývajících z Úmluvy o právním postavení uprchlíků ze dne 28. července 1951 ve znění protokolu ze dne 31. ledna 1967, ani by tyto systémy neměly být využívány k jakémukoli porušování zásady nenavracení nebo k odepření bezpečných a účinných legálních cest na území Unie, včetně práva na mezinárodní ochranu.

(40)

Určité systémy UI určené k výkonu spravedlnosti a demokratických procesů by měly být klasifikovány jako vysoce rizikové s ohledem na jejich potenciálně významný dopad na demokracii, právní stát a individuální svobody, jakož i na právo na účinnou právní ochranu a na spravedlivý proces. Jako vysoce rizikové je vhodné kvalifikovat systémy UI, jejichž cílem je poskytovat pomoc justičním orgánům při zkoumání a výkladu skutečností a práva a při uplatňování práva na konkrétní soubor skutečností, zejména z důvodu řešení rizik možného zkreslení, chyb a neprůhlednosti. Tato kvalifikace by se však neměla vztahovat na systémy UI určené pro čistě pomocné správní činnosti, které neovlivňují faktický výkon spravedlnosti v jednotlivých případech, jako je například anonymizace nebo pseudonymizace soudních rozhodnutí, dokumentů nebo údajů, komunikace mezi zaměstnanci, administrativní úkoly nebo přidělování zdrojů.

(40)

Určité systémy UI určené k výkonu spravedlnosti a demokratických procesů by měly být klasifikovány jako vysoce rizikové s ohledem na jejich potenciálně významný dopad na demokracii, právní stát a individuální svobody, jakož i na právo na účinnou právní ochranu a na spravedlivý proces. Jako vysoce rizikové je vhodné klasifikovat systémy UI, které mají být používány soudním orgánem nebo správním subjektem nebo jejich jménem s cílem poskytovat pomoc justičním orgánům nebo správním subjektům při zkoumání a výkladu skutečností a práva a při uplatňování práva na konkrétní soubor skutečností nebo které jsou používány obdobným způsobem v rámci alternativního řešení sporů , zejména z důvodu řešení rizik možného zkreslení, chyb a neprůhlednosti . Využívání nástrojů umělé inteligence může podpořit rozhodovací pravomoci soudců nebo nezávislost soudnictví, ale nemělo by je nahrazovat, neboť konečné rozhodnutí musí i nadále přijímat člověk . Tato kvalifikace by se však neměla vztahovat na systémy UI určené pro čistě pomocné správní činnosti, které neovlivňují faktický výkon spravedlnosti v jednotlivých případech, jako je například anonymizace nebo pseudonymizace soudních rozhodnutí, dokumentů nebo údajů, komunikace mezi zaměstnanci, administrativní úkoly nebo přidělování zdrojů.

(40a)

S cílem řešit rizika nepřiměřeného vnějšího zasahování do volebního práva zakotveného v článku 39 Listiny a nepřiměřených dopadů na demokratické procesy, demokracii a právní stát by systémy UI, které jsou určeny k ovlivňování výsledku voleb nebo referenda nebo hlasování fyzických osob ve volbách nebo referendech, měly být klasifikovány jako vysoce rizikové systémy UI, s výjimkou systémů UI, jejichž výstupu nejsou fyzické osoby přímo vystaveny, jako jsou nástroje používané k organizaci, optimalizaci a strukturování politických kampaní z administrativního a logistického hlediska.

(40b)

Vzhledem k množství fyzických osob, které využívají služby poskytované platformami sociálních médií označenými jako velmi velké online platformy, mohou být tyto online platformy využívány způsobem, který výrazně ovlivňuje bezpečnost v online prostředí, formování veřejného mínění a diskurzu, volební a demokratické procesy a společenské otázky. Je proto vhodné, aby se na systémy UI, které tyto online platformy používají ve svých doporučovacích systémech, vztahovalo toto nařízení, a zajistilo se tak, aby tyto systémy UI splňovaly požadavky stanovené tímto nařízením, včetně technických požadavků na správu údajů, technickou dokumentaci a sledovatelnost, transparentnost, lidský dohled, přesnost a spolehlivost. Dodržování tohoto nařízení by mělo těmto velmi velkým online platformám umožnit, aby plnily své širší povinnosti v oblasti posuzování rizik a zmírňování rizik stanovené v článcích 34 a 35 nařízení (EU) 2022/2065. Povinnostmi stanovenými v tomto nařízení není dotčeno nařízení (EU) 2022/2065 a měly by doplňovat povinnosti požadované podle nařízení (EU) 2022/2065, pokud byla platforma sociálního média označena za velmi velkou online platformu. Vzhledem k celoevropskému dopadu platforem sociálních médií označených jako velmi velké online platformy by orgány určené podle nařízení (EU) 2022/2065 měly jednat jako donucovací orgány pro účely prosazování tohoto ustanovení.

(41)

Skutečnost, že daný systém UI je podle tohoto nařízení klasifikován jako vysoce rizikový, by neměla být vykládána v tom smyslu, že používání tohoto systému musí být nezbytně zákonné podle jiných aktů práva Unie nebo podle vnitrostátních právních předpisů slučitelných s právem Unie, které se týkají například ochrany osobních údajů, používání polygrafů a podobných nástrojů nebo jiných systémů ke zjišťování emočního stavu fyzických osob. K jakémukoli takovému využívání by mělo i nadále docházet pouze v souladu s příslušnými požadavky vyplývajícími z Listiny a z příslušných aktů sekundárního práva Unie a vnitrostátního práva. Toto nařízení by nemělo být chápáno tak, že poskytuje právní základ pro zpracování osobních údajů, případně včetně zvláštních kategorií osobních údajů.

(41)

Skutečnost, že daný systém UI je podle tohoto nařízení klasifikován jako rizikový systém UI , by neměla být vykládána v tom smyslu, že používání tohoto systému musí být nezbytně zákonné nebo nezákonné podle jiných aktů práva Unie nebo podle vnitrostátních právních předpisů slučitelných s právem Unie, které se týkají například ochrany osobních údajů.

(41a)

V současnosti se na systémy UI již vztahuje nebo s nimi souvisí řada právně závazných pravidel na evropské, celostátní nebo mezinárodní úrovni, mimo jiné primární právo EU (Smlouvy Evropské unie a její Listina základních práv), sekundární právo EU (jako je obecné nařízení o ochraně osobních údajů, směrnice o odpovědnosti za výrobky, nařízení o volném toku neosobních údajů, antidiskriminační směrnice, spotřebitelské právo a směrnice o bezpečnosti a ochraně zdraví při práci), smlouvy OSN o lidských právech a úmluvy Rady Evropy (jako je Evropská úmluva o lidských právech) a vnitrostátní právní předpisy. Kromě horizontálně uplatňovaných pravidel existují různá pravidla pro konkrétní oblasti platná pro jednotlivé aplikace UI (například nařízení o zdravotních prostředcích v odvětví zdravotnictví).

(42)

Ke zmírnění rizik, která vyplývají uživatelům a dotčeným osobám z vysoce rizikových systémů UI uváděných na trh Unie nebo jinak uváděných do provozu na tomto trhu, by měly být uplatňovány určité povinné požadavky s přihlédnutím k určenému účelu používání tohoto systému a v souladu se systémem řízení rizik, který stanoví poskytovatel.

(42)

Ke zmírnění rizik, která vyplývají provozovatelům a dotčeným osobám z vysoce rizikových systémů UI uváděných na trh Unie nebo jinak uváděných do provozu na tomto trhu, by měly být uplatňovány určité povinné požadavky s přihlédnutím k určenému účelu a důvodně předvídatelnému nesprávnému použití tohoto systému a v souladu se systémem řízení rizik, který stanoví poskytovatel. Tyto požadavky by měly být objektivní, vhodné pro daný účel, přiměřené a účinné, aniž by vytvářely nepřiměřenou regulační zátěž nebo náklady pro provozovatele.

(43)

Na vysoce rizikové systémy UI by se měly vztahovat požadavky týkající se kvality použitých souborů dat, technické dokumentace a uchovávání záznamů, transparentnosti a poskytování informací uživatelům , lidského dohledu a spolehlivosti, přesnosti a kybernetické bezpečnosti. Tyto požadavky jsou nezbytným předpokladem účinného zmírňování rizik pro zdraví, bezpečnost a základní práva v závislosti na určeném účelu tohoto systému; žádná další opatření méně omezující obchod nejsou rozumně dostupná, a tudíž nedochází k bezdůvodným omezením obchodu.

(43)

Na vysoce rizikové systémy UI by se měly vztahovat požadavky týkající se kvality a významu použitých souborů dat, technické dokumentace a uchovávání záznamů, transparentnosti a poskytování informací provozovatelům , lidského dohledu a spolehlivosti, přesnosti a kybernetické bezpečnosti. Tyto požadavky jsou nezbytným předpokladem účinného zmírňování rizik pro zdraví, bezpečnost a základní práva , jakož i pro životní prostředí, demokracii a právní stát, a to v závislosti na určeném účelu tohoto systému nebo na jeho důvodně předvídatelném nesprávném použití; žádná další opatření méně omezující obchod nejsou rozumně dostupná, a tudíž nedochází k bezdůvodným omezením obchodu.

(44)

Pro výkonnost celé řady systémů UI má zásadní význam vysoká kvalita dat , zejména pokud jsou používány techniky zahrnující trénování modelů s cílem zajistit, aby vysoce rizikový systém UI fungoval dle předpokladu a bezpečně a aby se nestal zdrojem diskriminace, kterou právo Unie zakazuje. Soubory vysoce kvalitních tréninkových dat, dat pro ověřování platnosti a testovacích dat vyžadují zavedení vhodných postupů správy a řízení dat. Soubory tréninkových dat, dat pro ověřování platnosti a testovacích dat by měly být dostatečně relevantní, reprezentativní, bez chyb a  úplné s ohledem na určený účel systému. Měly by rovněž vykazovat příslušné statistické vlastnosti, včetně údajů o  osobách nebo skupinách osob, pro které má být daný vysoce rizikový systém UI používán. Soubory tréninkových dat, dat pro ověřování platnosti a testovacích dat by měly s ohledem na svůj určený účel zohledňovat zejména rysy, vlastnosti nebo prvky, které jsou specifické pro konkrétní zeměpisné, behaviorální nebo funkční prostředí nebo kontext, ve kterém má být systém UI používán. V zájmu ochrany práva jiných osob na zabránění diskriminaci, která by mohla vyplynout ze zkreslení v rámci systémů UI, by poskytovatelé měli mít možnost zpracovávat také zvláštní kategorie osobních údajů jako záležitost významného veřejného zájmu s cílem zajistit sledování, detekci a opravu tohoto zkreslení ve vztahu k vysoce rizikovým systémům UI.

(44)

Přístup k vysoce kvalitním datům má zásadní úlohu při poskytování struktury a zajištění výkonnosti celé řady systémů UI , zejména pokud jsou používány techniky zahrnující trénování modelů s cílem zajistit, aby vysoce rizikový systém UI fungoval dle předpokladu a bezpečně a aby se nestal zdrojem diskriminace, kterou právo Unie zakazuje. Soubory vysoce kvalitních tréninkových dat, dat pro ověřování platnosti a testovacích dat vyžadují zavedení vhodných postupů správy a řízení dat. Soubory tréninkových dat a případně soubory dat pro ověřování platnosti a testovacích dat , včetně označování, by měly být dostatečně relevantní, reprezentativní, náležitě prověřené z hlediska chyb a  co nejúplnější s ohledem na určený účel systému. Měly by rovněž vykazovat příslušné statistické vlastnosti, včetně údajů osobách nebo skupinách osob, v souvislosti s nimiž má být daný vysoce rizikový systém UI používán , se zvláštním důrazem na zmírnění možného zkreslení v souborech dat, jež by mohlo vést k ohrožení základních práv nebo diskriminačním výsledkům pro osoby, jichž se vysoce rizikový systém UI týká. Zkreslení mohou být inherentní součástí základních datových souborů, zejména pokud jsou používána historická data, která byla vložena vývojáři algoritmů nebo generována při zavádění systémů v reálných podmínkách. Výsledky poskytnuté systémy UI jsou ovlivněny takovýmito zkresleními, která mají tendenci postupně zvyšovat, a tudíž zachovávat a posilovat existující diskriminaci, zejména v případě osob patřících k určitým zranitelným etnickým skupinám nebo rasizovaným komunitám. Soubory tréninkových dat, dat pro ověřování platnosti a testovacích dat by měly s ohledem na svůj určený účel zohledňovat zejména rysy, vlastnosti nebo prvky, které jsou specifické pro konkrétní zeměpisné , kontextuální , behaviorální nebo funkční prostředí nebo kontext, ve kterém má být systém UI používán. V zájmu ochrany práva jiných osob na zabránění diskriminaci, která by mohla vyplynout ze zkreslení v rámci systémů UI, by poskytovatelé ve výjimečných případech a po uplatnění všech příslušných podmínek stanovených v tomto nařízení a v nařízení (EU) 2016/679, směrnici (EU) 2016/680 a v nařízení (EU) 2018/1725 měli mít možnost zpracovávat také zvláštní kategorie osobních údajů jako záležitost významného veřejného zájmu s cílem zajistit detekci a opravu tohoto zkreslení ve vztahu k vysoce rizikovým systémům UI. Negativní zkreslení by mělo být chápáno jako zkreslení, které vytváří přímý nebo nepřímý diskriminační účinek vůči fyzické osobě. Požadavky týkající se správy dat lze splnit využitím třetích stran, které nabízejí certifikované služby souladu s předpisy, včetně ověřování správy dat, integrity datových souborů a trénování, validace a testování dat.

(45)

Při vývoji vysoce rizikových systémů UI by měli mít některé subjekty, jako jsou poskytovatelé, oznámené subjekty a další příslušné subjekty, například centra pro digitální inovace, pokusná zkušební zařízení a výzkumní pracovníci, přístup k vysoce kvalitním datovým souborům ve svých příslušných oborech činnosti, které souvisejí s tímto nařízením. Zásadní význam pro zajištění důvěryhodného, odpovědného a nediskriminačního přístupu k vysoce kvalitním datům pro účely trénování, ověřování a testování systémů UI budou mít společné evropské datové prostory vytvořené Komisí, jakož i usnadnění sdílení údajů ve veřejném zájmu mezi podniky a s vládou. Například v oblasti zdraví umožní společný evropský prostor pro data z oblasti veřejného zdraví nediskriminační přístup k údajům o zdraví a trénování algoritmů umělé inteligence na těchto souborech dat, a to způsobem, který bude chránit soukromí, bude bezpečný, včasný, transparentní a důvěryhodný a bude u něj zajištěna vhodná institucionální správa. Poskytování vysoce kvalitních dat pro účely trénování, ověřování a testování systémů UI mohou podporovat rovněž odpovídající příslušné orgány, včetně odvětvových, které poskytují nebo podporují přístup k datům.

(45)

Při vývoji a posuzování vysoce rizikových systémů UI by měli mít některé subjekty, jako jsou poskytovatelé, oznámené subjekty a další příslušné subjekty, například centra pro digitální inovace, pokusná zkušební zařízení a výzkumní pracovníci, přístup k vysoce kvalitním datovým souborům ve svých příslušných oborech činnosti, které souvisejí s tímto nařízením. Zásadní význam pro zajištění důvěryhodného, odpovědného a nediskriminačního přístupu k vysoce kvalitním datům pro účely trénování, ověřování a testování systémů UI budou mít společné evropské datové prostory vytvořené Komisí, jakož i usnadnění sdílení údajů ve veřejném zájmu mezi podniky a s vládou. Například v oblasti zdraví umožní společný evropský prostor pro data z oblasti veřejného zdraví nediskriminační přístup k údajům o zdraví a trénování algoritmů umělé inteligence na těchto souborech dat, a to způsobem, který bude chránit soukromí, bude bezpečný, včasný, transparentní a důvěryhodný a bude u něj zajištěna vhodná institucionální správa. Poskytování vysoce kvalitních dat pro účely trénování, ověřování a testování systémů UI mohou podporovat rovněž odpovídající příslušné orgány, včetně odvětvových, které poskytují nebo podporují přístup k datům.

(45a)

Právo na soukromí a na ochranu osobních údajů musí být zaručeno během celého životního cyklu systému UI. V tomto ohledu, pokud zpracování údajů představuje významná rizika pro základní práva jednotlivců, mají velký význam zásady minimalizace údajů a záměrné a standardní ochrany údajů, jak jsou stanoveny v právních předpisech Unie o ochraně údajů. Poskytovatelé a uživatelé systémů UI by měli zavést nejmodernější technická a organizační opatření na ochranu těchto práv. Tato opatření by měla zahrnovat nejen anonymizaci a šifrování, ale také využívání stále dostupnější technologie, která umožňují vkládat do dat algoritmy a získávat cenné informace bez přenosu mezi stranami nebo bez zbytečného kopírování samotných nezpracovaných nebo strukturovaných dat.

(46)

Pro ověření souladu s požadavky tohoto nařízení má zásadní význam, aby byly k dispozici informace, jak byly vysoce rizikové systémy UI vytvořeny a jak fungují po celou dobu své životnosti. To vyžaduje vedení záznamů a dostupnost technické dokumentace obsahující informace nezbytné k posouzení souladu daného systému UI s příslušnými požadavky. Tyto informace by měly zahrnovat obecné vlastnosti, schopnosti a omezení tohoto systému, použité algoritmy, data, postupy při trénování, testování a ověřování, jakož i dokumentaci příslušného systému řízení rizik. Technická dokumentace by měla být průběžně aktualizována.

(46)

Pro ověření souladu s požadavky tohoto nařízení má zásadní význam, aby byly k dispozici srozumitelné informace, jak byly vysoce rizikové systémy UI vytvořeny a jak fungují po celou dobu své životnosti. To vyžaduje vedení záznamů a dostupnost technické dokumentace obsahující informace nezbytné k posouzení souladu daného systému UI s příslušnými požadavky. Tyto informace by měly zahrnovat obecné vlastnosti, schopnosti a omezení tohoto systému, použité algoritmy, data, postupy při trénování, testování a ověřování, jakož i dokumentaci příslušného systému řízení rizik. Technická dokumentace by měla být řádně aktualizována po celou dobu životního cyklu systému UI . Systémy UI mohou mít během svého životního cyklu významný dopad na životní prostředí a vysokou spotřebu energie. V zájmu lepšího pochopení dopadu systémů UI na životní prostředí by technická dokumentace vypracovaná poskytovateli měla obsahovat informace o spotřebě energie systému UI, včetně spotřeby během vývoje a očekávané spotřeby během používání. Tyto informace by měly zohledňovat příslušné unijní a vnitrostátní právní předpisy. Tyto oznamované informace by měly být srozumitelné, srovnatelné a ověřitelné a za tímto účelem by Komise měla vypracovat pokyny týkající se harmonizované metodiky pro jejich výpočet a oznamování. S cílem zajistit, aby byla možná jediná dokumentace, by měly být pojmy a definice související s touto požadovanou dokumentací a veškerou dokumentací požadovanou v příslušných právních předpisech Unie co nejvíce sladěny.

(46a)

Systémy UI by měly zohlednit nejmodernější metody a příslušné platné normy, pokud jde o snižování spotřeby energie, využívání zdrojů a odpad, jakož i zvyšování energetické účinnosti a celkové účinnosti systému. Environmentálními aspekty systémů UI, které jsou důležité z hlediska cílů tohoto nařízení, jsou spotřeba energie systému UI ve fázi vývoje, trénování a zavádění, jakož i zaznamenávání, vykazování a uchovávání těchto údajů. Návrh systémů UI by měl umožnit měření a zaznamenávání spotřeby energie a zdrojů v každé fázi vývoje, trénování a zavádění. Monitorování a vykazování emisí ze systémů UI musí být spolehlivé, transparentní, konzistentní a přesné. Aby bylo zajištěno jednotné uplatňování tohoto nařízení a stabilní právní ekosystém pro poskytovatele a provozovatele na jednotném trhu, měla by Komise vypracovat společnou specifikaci pro metodiku, aby byl splněn požadavek týkající se podávání zpráv a dokumentace v souvislosti se spotřebou energie a zdrojů během vývoje, trénování a zavádění. Tyto společné specifikace týkající se metodiky měření mohou vytvořit základ, na němž může Komise po provedení posouzení dopadů, které zohlední stávající právní předpisy, lépe rozhodnout, zda jsou zapotřebí budoucí regulační zásahy.

(46b)

Za účelem dosažení cílů tohoto nařízení a s cílem přispět k environmentálním cílům Unie při současném zajištění hladkého fungování vnitřního trhu může být nezbytné stanovit doporučení a pokyny a případně cíle v oblasti udržitelnosti. Za tímto účelem je Komise oprávněna vypracovat metodiku, která přispěje k vytvoření klíčových ukazatelů výkonnosti a referenční hodnoty pro cíle v oblasti udržitelného rozvoje. Cílem by mělo být v první řadě umožnit spravedlivé srovnání mezi možnostmi zavádění UI poskytujícími pobídky k podpoře využívání účinnějších technologií UI, které řeší problémy v oblasti energie a zdrojů. Aby bylo dosaženo tohoto cíle, mělo by toto nařízení poskytnout prostředky pro stanovení základního sběru údajů o emisích spojených s vývojem, trénováním a zaváděním.

(47a)

Tyto požadavky na transparentnost a vysvětlitelnost rozhodnutí přijímaných na základě UI by měly působit proti odrazujícímu účinku digitální asymetrie a tzv. temných vzorců, které se zaměřují na jednotlivce a získání jejich informovaného souhlasu.

(49)

Vysoce rizikové systémy UI by měly po celou dobu svého životního cyklu fungovat konzistentně a splňovat příslušnou úroveň přesnosti, spolehlivosti a kybernetické bezpečnosti v souladu s obecně uznávaným nejnovějším vývojem. Uživatelé by měli být informováni o  úrovni a  měřítkách přesnosti .

(49)

Vysoce rizikové systémy UI by měly po celou dobu svého životního cyklu fungovat konzistentně a splňovat příslušnou úroveň přesnosti, spolehlivosti a kybernetické bezpečnosti v souladu s obecně uznávaným nejnovějším vývojem. Metriky výkonnosti a jejich očekávaná úroveň by měly být definovány s primárním cílem, kterým je omezit rizika a negativní dopady systémů UI. O očekávané úrovni metriky výkonnosti by měli být provozovatelé informováni jasným, transparentním a  snadno srozumitelným způsobem . Prohlášení o metrice výkonnosti nelze považovat za důkaz budoucích úrovní, nýbrž je třeba použít příslušné metody k zajištění jednotných úrovní během používání. Zatímco pro stanovení norem existují normalizační organizace, je nutná koordinace referenčního srovnávání, aby bylo možné stanovit, jak by měly být tyto standardizované požadavky a vlastnosti systémů UI měřeny. Evropský úřad pro umělou inteligenci by měl sdružovat vnitrostátní a mezinárodní orgány pro metrologii a referenční srovnávání a poskytovat pokyny k řešení technických aspektů toho, jak měřit odpovídající úroveň přesnosti a spolehlivosti dat.

(50)

U vysoce rizikových systémů UI je klíčovým požadavkem technická spolehlivost. Tyto systémy by měly být odolné vůči rizikům souvisejícím s omezeními systému (například chyby, poruchy, nekonzistentnost, neočekávané situace), jakož i vůči svévolným zásahům, které mohou ohrozit bezpečnost systému UI a vést ke škodlivému nebo jinak nežádoucímu chování. Neschopnost ochrany před těmito riziky by mohla vést k dopadům na bezpečnost nebo negativně ovlivnit základní práva, například v důsledku chybných rozhodnutí nebo nesprávných či zkreslených výstupů systému UI.

(50)

U vysoce rizikových systémů UI je klíčovým požadavkem technická spolehlivost. Tyto systémy by měly být odolné vůči rizikům souvisejícím s omezeními systému (například chyby, poruchy, nekonzistentnost, neočekávané situace), jakož i vůči svévolným zásahům, které mohou ohrozit bezpečnost systému UI a vést ke škodlivému nebo jinak nežádoucímu chování. Neschopnost ochrany před těmito riziky by mohla vést k dopadům na bezpečnost nebo negativně ovlivnit základní práva, například v důsledku chybných rozhodnutí nebo nesprávných či zkreslených výstupů systému UI. Uživatelé systému UI by měli přijmout opatření k zajištění toho, aby možný kompromis mezi spolehlivostí a přesností dat nevedl k diskriminaci nebo negativním výsledkům pro menšinové podskupiny.

(51)

Zásadní úlohu při zajišťování odolnosti systémů UI proti pokusům o změnu jejich použití, chování nebo výkonnosti nebo o ohrožení jejich bezpečnostních vlastností třetími stranami, které se škodlivým záměrem zneužívají zranitelných míst tohoto systému, hraje kybernetická bezpečnost. Kybernetické útoky na systémy UI mohou využívat aktiva specifická pro UI, jako jsou například soubory tréninkových dat (například tzv. data poisoning) nebo trénované modely (například nepřátelské útoky), nebo zneužívat slabých míst digitálních aktiv daného systému UI nebo příslušné infrastruktury IKT. Pro zajištění úrovně kybernetické bezpečnosti odpovídající těmto rizikům by proto poskytovatelé vysoce rizikových systémů UI měli přijmout vhodná opatření, případně současně zohlednit i příslušnou infrastrukturu IKT.

(51)

Zásadní úlohu při zajišťování odolnosti systémů UI proti pokusům o změnu jejich použití, chování nebo výkonnosti nebo o ohrožení jejich bezpečnostních vlastností třetími stranami, které se škodlivým záměrem zneužívají zranitelných míst tohoto systému, hraje kybernetická bezpečnost. Kybernetické útoky na systémy UI mohou využívat aktiva specifická pro UI, jako jsou například soubory tréninkových dat (například tzv. data poisoning) nebo trénované modely (například nepřátelské útoky nebo útoky na důvěrnost ), nebo zneužívat slabých míst digitálních aktiv daného systému UI nebo příslušné infrastruktury IKT. Pro zajištění úrovně kybernetické bezpečnosti odpovídající těmto rizikům by proto poskytovatelé vysoce rizikových systémů UI a rovněž oznámené subjekty, příslušné vnitrostátní orgány a orgány dohledu nad trhem měli přijmout vhodná opatření, případně současně zohlednit i příslušnou infrastrukturu IKT. Vysoce rizikové systémy UI by měly být doplněny bezpečnostními a opravnými řešeními po celou dobu životnosti produktu, nebo v případě, že není systém závislý na konkrétním produktu, po dobu, kterou musí výrobce uvést.

(53a)

Unie a členské státy jsou jakožto signatáři Úmluvy Organizace spojených národů o právech osob se zdravotním postižením ze zákona povinny chránit osoby se zdravotním postižením před diskriminací a podporovat jejich rovnost, zajistit, aby osoby se zdravotním postižením měly na rovnoprávném základě s ostatními přístup k informačním a komunikačním technologiím a systémům, a zaručit respektování soukromí osob se zdravotním postižením. Vzhledem k rostoucím významu a nárůstu používání systémů UI by uplatňování zásad univerzálního designu na veškeré nové technologie a služby mělo zajistit plný, rovný a neomezený přístup každému, na koho mohou mít technologie UI vliv, nebo kdo je používá, včetně osob se zdravotním postižením, a to způsobem, který by plně zohlednil jejich neodmyslitelnou důstojnost a rozmanitost. Je proto nutné, aby poskytovatelé zajistili plný soulad s požadavky na přístupnost, včetně směrnice (EU) 2016/2102 a směrnice (EU) 2019/882. Poskytovatelé by měli zajistit soulad s těmito požadavky již od fáze návrhu. Nezbytná opatření by proto měla být v co největší míře začleněna již do návrhu vysoce rizikového systému UI.

(54)

Poskytovatel by měl zavést spolehlivý systém řízení jakosti, zajistit provedení požadovaného postupu posuzování shody, vypracovat příslušnou dokumentaci a zavést spolehlivý systém monitorování po uvedení na trh. Orgány veřejné moci, které uvádějí do provozu vysoce rizikové systémy UI pro vlastní potřebu, mohou přijímat a provádět pravidla pro systém řízení jakosti jako součást systému řízení jakosti přijatého na vnitrostátní nebo regionální úrovni, případně s přihlédnutím ke zvláštnostem daného odvětví a k pravomocím a organizaci příslušného orgánu veřejné moci.

(54)

Poskytovatel by měl zavést spolehlivý systém řízení jakosti, zajistit provedení požadovaného postupu posuzování shody, vypracovat příslušnou dokumentaci a zavést spolehlivý systém monitorování po uvedení na trh. U poskytovatelů, kteří již zavedli systémy řízení kvality založené na normách, jako je ISO 9001 nebo jiné příslušné normy, by neměl být očekáván žádný plný duplicitní systém řízení kvality, ale spíše by se jejich stávající systémy měly přizpůsobit určitým aspektům spojeným s dodržováním zvláštních požadavků tohoto nařízení. To by se mělo rovněž odrazit v budoucích normalizačních činnostech nebo pokynech přijatých v tomto ohledu Komisí. Orgány veřejné moci, které uvádějí do provozu vysoce rizikové systémy UI pro vlastní potřebu, mohou přijímat a provádět pravidla pro systém řízení jakosti jako součást systému řízení jakosti přijatého na vnitrostátní nebo regionální úrovni, případně s přihlédnutím ke zvláštnostem daného odvětví a k pravomocím a organizaci příslušného orgánu veřejné moci.

(56)

Aby bylo umožněno prosazování tohoto nařízení a byly vytvořeny rovné podmínky pro provozovatele, a rovněž s přihlédnutím k různým formám zpřístupňování digitálních produktů, je důležité zajistit, aby osoby usazené v Unii mohly za všech okolností poskytnout orgánům veškeré nezbytné informace o souladu systému UI. Poskytovatelé usazení mimo Unii proto v případě, že dodávají do Unie systémy UI, u nichž nelze identifikovat dovozce, předem jmenují formou písemného pověření svého zplnomocněného zástupce usazeného v Unii.

(56)

Aby bylo umožněno prosazování tohoto nařízení a byly vytvořeny rovné podmínky pro provozovatele, a rovněž s přihlédnutím k různým formám zpřístupňování digitálních produktů, je důležité zajistit, aby osoby usazené v Unii mohly za všech okolností poskytnout orgánům veškeré nezbytné informace o souladu systému UI. Poskytovatelé usazení mimo Unii proto v případě, že dodávají do Unie systémy UI, předem jmenují formou písemného pověření svého zplnomocněného zástupce usazeného v Unii.

(58)

Vzhledem k povaze systémů UI a rizikům z hlediska bezpečnosti a základních práv, která mohou souviset s jejich používáním, a to i pokud jde o potřebu zajistit řádné monitorování výkonnosti daného systému UI v reálných podmínkách, je vhodné stanovit konkrétní odpovědnost uživatelů . Uživatelé by zejména měli vysoce rizikové systémy UI využívat v souladu s návodem k použití a měly by být stanoveny některé další povinnosti týkající se monitorování fungování systémů UI a případně uchovávání záznamů.

(58)

Vzhledem k povaze systémů UI a rizikům z hlediska bezpečnosti a základních práv, která mohou souviset s jejich používáním, a to i pokud jde o potřebu zajistit řádné monitorování výkonnosti daného systému UI v reálných podmínkách, je vhodné stanovit konkrétní odpovědnost provozovatelů . Provozovatelé by zejména měli vysoce rizikové systémy UI využívat v souladu s návodem k použití a měly by být stanoveny některé další povinnosti týkající se monitorování fungování systémů UI a případně uchovávání záznamů.

(58a)

Zatímco rizika spojená se systémy UI mohou vyplývat ze způsobu, jakým jsou tyto systémy navrhovány, mohou rizika rovněž vzniknout v souvislosti s tím, jak jsou tyto systémy používány. Provozovatelé vysoce rizikového systému UI proto hrají zásadní úlohu při zajišťování ochrany základních práv a doplňují povinnosti poskytovatele při vývoji systému UI. Provozovatelé mají nejlepší předpoklady k tomu, aby posoudili, jak bude vysoce rizikový systém UI konkrétně používán, a mohou proto identifikovat potenciální rizika, která se ve fázi vývoje nepředpokládala, a to díky přesnější znalosti kontextu používání a osob nebo skupin osob, na které bude mít systém pravděpodobně dopad, včetně marginalizovaných a zranitelných skupin. Provozovatelé by měli určit vhodné struktury správy a řízení v tomto konkrétním kontextu použití, jako jsou opatření pro lidský dohled, postupy vyřizování stížností a postupy pro zjednávání nápravy, protože rozhodnutí v rámci správních struktur mohou mít zásadní význam pro zmírnění hrozeb pro základní práva v konkrétních případech použití. S cílem účinně zajistit ochranu základních práv by měl tedy provozovatel vysoce rizikových systémů UI před jejich uvedením do provozu provést posouzení dopadů na základní práva. Posouzení dopadů by mělo být doprovázeno podrobným plánem popisujícím opatření nebo nástroje, které pomohou zmírnit rizika pro základní práva, která by měla být určena nejpozději v době uvedení systému do provozu. Nelze-li takový plán určit, měl by se provozovatel zdržet uvedení systému do provozu. Při provádění tohoto posouzení dopadů by měli provozovatelé informovat vnitrostátní dozorový orgán a v co největší možné míře příslušné zúčastněné strany, jakož i zástupce skupin osob, které by mohly být systémem UI dotčeny, s cílem shromáždit relevantní informace, které jsou považovány za nezbytné pro provedení posouzení dopadů, a jsou vybízení k tomu, aby souhrn svého posouzení dopadů na základní práva zveřejnili na svých internetových stránkách. Tyto povinnosti by se neměly vztahovat na malé a střední podniky, pro které by vzhledem k nedostatečným zdrojům mohlo být obtížné takové konzultace provádět. Provozovatelé by však měli rovněž usilovat o zapojení těchto zástupců do provádění posouzení dopadů na základní práva. Vzhledem k potenciálnímu dopadu a potřebě demokratického dohledu a kontroly by provozovatelé vysoce rizikových systémů UI, kteří jsou veřejnými orgány nebo orgány, institucemi a jinými subjekty Unie, jakož i provozovatelé, kteří jsou podniky určenými za strážce přístupu podle nařízení (EU) 2022/1925, měli mít také povinnost registrovat používání jakéhokoli vysoce rizikového systému UI ve veřejné databázi. Ostatní provozovatelé se mohou zaregistrovat na dobrovolném základě.

(59)

Je vhodné předjímat, že uživatelem systému UI by měla být fyzická nebo právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, pod jehož vedením je systém UI provozován, s výjimkou případů, kdy je systém používán v rámci osobní neprofesionální činnosti.

(59)

Je vhodné předjímat, že provozovatelem systému UI by měla být fyzická nebo právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, pod jehož vedením je systém UI provozován, s výjimkou případů, kdy je systém používán v rámci osobní neprofesionální činnosti.

(60)

S ohledem na složitost hodnotového řetězce umělé inteligence by měly příslušné třetí strany, zejména ty, které se podílejí na prodeji a  dodávkách softwaru, softwarových nástrojů a  součástí a  předtrénovaných modelů a  dat, případně strany , které jsou poskytovateli síťových služeb , podle potřeby spolupracovat s  poskytovateli a uživateli s cílem umožnit jim dodržování povinností podle tohoto nařízení, jakož i s příslušnými orgány zřízenými podle tohoto nařízení .

(60)

V rámci hodnotového řetězce UI mnoho subjektů často dodává nástroje a služby, ale také součásti nebo procesy, které poskytovatel následně začleňuje do systému UI, a to i v souvislosti se shromažďováním a předběžným zpracováním údajů, trénováním modelu, opětovným trénováním modelu, testováním a hodnocením modelu, integrací do softwaru nebo jinými aspekty vývoje modelu. Zúčastněné subjekty mohou svou nabídku přímo nebo nepřímo komerčně zpřístupnit prostřednictvím rozhraní, jako jsou aplikační programovací rozhraní (API), distribuovaných v rámci svobodných licencí a licencí s otevřeným zdrojovým kódem, ale také stále více prostřednictvím platforem pracovníků v oblasti UI, trénovaných parametrů pro další prodej, souprav pro svépomocné vytváření modelů nebo nabízení placeného přístupu k modelu sloužícímu jako struktura pro vývoj a trénování modelů. S ohledem na tuto složitost hodnotového řetězce UI by všechny příslušné třetí strany, zejména ty, které se podílejí na vývoji, prodeji a  komerčních dodávkách softwarových nástrojů,  součástí, předtrénovaných modelů nebo dat začleněných do systému UI , nebo poskytovatelé síťových služeb měli zpřístupnit požadované informace, trénování nebo odborné znalosti , aniž by tím byla ohrožena jejich vlastní práva duševního vlastnictví nebo obchodní tajemství , a případně spolupracovat s  poskytovateli s cílem umožnit jim kontrolu nad všemi aspekty systému UI spadajícího do působnosti tohoto nařízení, které jsou relevantní pro dodržování předpisů . Aby bylo možné nákladově efektivní řízení hodnotového řetězce UI, musí každá třetí strana, která poskytovateli dodává nástroj, službu, součást nebo proces, které poskytovatel později začlení do systému UI, výslovně zveřejnit úroveň kontroly.

(60a)

Pokud má jedna strana silnější vyjednávací pozici, existuje riziko, že by tato strana mohla využít tuto pozici na úkor druhé smluvní strany při sjednávání dodávek nástrojů, služeb, součástí nebo procesů, které jsou používány ve vysoce rizikovém systému UI nebo jsou do něj integrovány, nebo nápravných opatření v případě porušení nebo ukončení souvisejících povinností. Tato smluvní nerovnováha poškozuje zejména mikropodniky, malé a střední podniky, jakož i začínající podniky, pokud nejsou ve vlastnictví nebo subdodavatelem podniku, který je schopen subdodavatele odpovídajícím způsobem kompenzovat, neboť nejsou v pozici, kdy by mohly skutečně vyjednávat o podmínkách smluvního ujednání a nemají jinou volbu než přijmout smluvní podmínky typu „ber nebo nech být“. Nepřiměřené smluvní podmínky upravující poskytování nástrojů, služeb, součástí nebo procesů, které jsou používány ve vysoce rizikovém systému UI nebo jsou do něj začleněny, nebo prostředky nápravy v případě porušení nebo ukončení souvisejících povinností by proto v případě, že jim byly jednostranně uloženy, neměly být pro tyto mikropodniky, malé nebo střední podniky a začínající podniky závazné.

(60b)

Pravidla týkající se smluvních podmínek by měla zohledňovat zásadu smluvní svobody jako pojem, který je ve vztazích mezi podniky zásadní. Zkoušce nepřiměřenosti by tudíž neměly podléhat všechny smluvní podmínky, ale pouze ty, které jsou jednostranně uloženy mikropodnikům, malým a středním podnikům a začínajícím podnikům. To se týká situací typu „ber nebo nech být“, kdy jedna strana stanoví určitou smluvní podmínku a mikropodnik, malý a střední podnik nebo začínající podnik nemůže obsah této podmínky ovlivnit navzdory snaze o jeho vyjednání. Smluvní podmínka, která byla pouze předložena jednou stranou a přijata mikropodnikem, malým a středním nebo začínajícím podnikem, nebo podmínka, která je sjednána a následně dohodnuta změněným způsobem mezi smluvními stranami, by neměla být považována za jednostranně uloženou.

(60c)

Kromě toho by se pravidla týkající se nepřiměřených smluvních podmínek měla vztahovat pouze na ty prvky smlouvy, které se týkají dodávek nástrojů, služeb, součástí nebo procesů, které jsou používány ve vysoce rizikovém systému UI nebo jsou do něj začleněny, nebo prostředků nápravy v případě porušení nebo ukončení souvisejících povinností. Zkouška nepřiměřenosti stanovená v tomto nařízení by se neměla vztahovat na jiné části téže smlouvy, které s těmito prvky nesouvisejí.

(60d)

Kritéria pro určení nepřiměřených smluvních podmínek by se měla uplatňovat pouze na neúměrné smluvní podmínky, kdy dochází ke zneužití silnější vyjednávací pozice. Převážná většina smluvních podmínek, které jsou z obchodního hlediska výhodnější pro jednu stranu než pro druhou, včetně těch, které jsou běžné ve smlouvách mezi podniky, jsou běžným vyjádřením zásady smluvní svobody a platí i nadále. Pokud smluvní podmínka není uvedena na seznamu podmínek, které jsou vždy považovány za nepřiměřenou, použije se obecné ustanovení o nepřiměřenosti. V tomto ohledu by seznam nepřiměřených smluvních podmínek měl sloužit jako měřítko pro výklad obecného ustanovení o nepřiměřenosti.

(60e)

Základní modely jsou novinkou a v jejich případě jsou modely umělé inteligence vyvíjeny z algoritmů navržených k optimalizaci všeobecnosti a všestrannosti výstupů. Tyto modely jsou často trénovány na široké škále zdrojů údajů a na velkém množství údajů, aby mohly plnit celou řadu navazujících úkolů, včetně některých, pro které nebyly konkrétně vyvinuty a vytrénovány. Základní model může být unimodální nebo multimodální a může být trénován různými metodami, jako je učení pod dohledem nebo posílené učení. Systémy UI se specifickým účelem nebo systémy UI s obecným účelem mohou být provedením základního modelu, což znamená, že každý základní model může být opětovně použit v nesčetných navazujících systémech UI nebo systémech UI s obecným účelem. Tyto modely mají rostoucí význam pro mnoho navazujících aplikací a systémů.

(60f)

V případě základních modelů poskytovaných jako služba, například prostřednictvím přístupu k rozhraní API, by spolupráce s navazujícími poskytovateli měla probíhat po celou dobu, kdy je tato služba poskytována a podporována, aby bylo možné odpovídajícím způsobem zmírnit riziko, pokud poskytovatel základního modelu nepřevede trénovací model, jakož i rozsáhlé a vhodné informace o datových souborech a procesu vývoje systému, nebo neomezí službu, jako je přístup k API, takovým způsobem, aby navazující poskytovatel byl schopen plně dodržovat toto nařízení bez další podpory původního poskytovatele základního modelu.

(60g)

Vzhledem k povaze a složitosti hodnotového řetězce systémů UI je nezbytné objasnit úlohu aktérů, kteří přispívají k vývoji systémů UI. Panuje značná nejistota ohledně toho, jak se budou základní modely vyvíjet, a to jak z hlediska typologie modelů, tak z hlediska samosprávy. Je proto nezbytné vyjasnit právní situaci poskytovatelů základních modelů. S ohledem na jejich složitost a neočekávaný dopad, nedostatečnou kontrolu navazujícího poskytovatele UI nad vývojem základního modelu a následnou nerovnováhu sil a s cílem zajistit spravedlivé sdílení odpovědnosti v celém hodnotovém řetězci UI by tyto modely měly podléhat přiměřeným a konkrétnějším požadavkům a povinnostem podle tohoto nařízení, a sice že by základní modely měly posuzovat a zmírňovat možná rizika a škody prostřednictvím vhodného návrhu, testování a analýzy, měly by provádět opatření v oblasti správy údajů, včetně posouzení zkreslení, a měly by splňovat požadavky na technický design, aby se zajistila odpovídající úroveň výkonnosti, předvídatelnost, interpretovatelnost, kontrolovatelnost, bezpečnost a kybernetická bezpečnost, a tyto modely by měly být v souladu s environmentálními normami. Tyto povinnosti by měly být doplněny normami. Základní modely by rovněž měly mít povinnosti týkající se informací a měly by připravovat veškerou nezbytnou technickou dokumentaci pro potenciální navazující poskytovatele, aby tak byli schopni plnit své povinnosti podle tohoto nařízení. Generativní základní modely by měly zajistit transparentnost, pokud jde o skutečnost, že obsah generuje systém UI, nikoli lidé. Tyto konkrétní požadavky a povinnosti neznamenají, že základní modely jsou považovány za vysoce rizikové systémy UI, ale měly by zaručit dosažení cílů tohoto nařízení, jimiž je zajištění vysoké úrovně ochrany základních práv, zdraví a bezpečnosti, životního prostředí, demokracie a právního státu. Předtrénované modely vyvinuté pro užší, méně obecnější a omezenější soubor aplikací, které nelze přizpůsobit široké škále úkolů, jako jsou jednoduché víceúčelové systémy UI, by neměly být považovány za základní modely pro účely tohoto nařízení vzhledem k jejich větší interpretovatelnosti, která snižuje nepředvídatelnost jejich chování.

(60h)

Vzhledem k povaze základních modelů chybí odborné znalosti v oblasti posuzování shody a metody auditu prováděné třetí stranou se stále vyvíjejí. Samotné odvětví proto vyvíjí nové způsoby posuzování základních modelů, které částečně splňují cíl auditu (např. hodnocení modelů, tzv. červené týmy nebo metody ověřování a ověřování strojového učení). Tato interní posouzení základních modelů by měla být široce použitelná (např. nezávisle na distribučních kanálech, způsobu, metodách vývoje) s cílem řešit rizika specifická pro tyto modely s přihlédnutím k nejmodernějším postupům v daném odvětví a měla by se zaměřit na rozvoj dostatečného technického porozumění modelu a kontroly nad ním, řízení důvodně předvídatelných rizik a rozsáhlé analýzy a testování modelu prostřednictvím vhodných opatření, například zapojením nezávislých hodnotitelů. Vzhledem k tomu, že základní modely představují rychle rozvíjející se novinku v oblasti umělé inteligence, je vhodné, aby Komise a Úřad pro umělou inteligenci sledovaly a pravidelně posuzovaly legislativní a správní rámec těchto modelů, a zejména generativních systémů UI založených na těchto modelech, které vyvolávají významné otázky týkající se vytváření obsahu, který je v rozporu s právem Unie a pravidly autorského práva, a možného nesprávného použití. Je třeba vyjasnit, že tímto nařízením by neměly být dotčeny právní předpisy Unie v oblasti autorského práva a práv s ním souvisejících, včetně směrnic Evropského parlamentu a Rady 2001/29/ES, 2004/48/ES a (EU) 2019/790.

(61)

Klíčovou úlohu při poskytování technických řešení zajišťujících dodržování tohoto nařízení poskytovatelům by měla hrát normalizace. Jeden z prostředků, které poskytovatelům umožní prokázat soulad s požadavky tohoto nařízení, by mělo představovat dodržování harmonizovaných norem definovaných v nařízení Evropského parlamentu a Rady (EU) č. 1025/ (54). V oblastech, kde harmonizované normy buď neexistují, nebo jsou nedostatečné, by však Komise mohla přijmout společné technické specifikace .

(61)

Klíčovou úlohu při poskytování technických řešení zajišťujících dodržování tohoto nařízení poskytovatelům by měla hrát normalizace. Jeden z prostředků, které poskytovatelům umožní prokázat soulad s požadavky tohoto nařízení, by mělo představovat dodržování harmonizovaných norem definovaných v nařízení Evropského parlamentu a Rady (EU) č. 1025/ (54). K zajištění účinnosti norem jakožto politického nástroje Unie a vzhledem k významu norem pro zajištění souladu s požadavky tohoto nařízení a pro konkurenceschopnost podniků je nezbytné zajistit vyvážené zastoupení zájmů, a to podporou účasti všech příslušných zúčastněných stran při vypracovávání norem . Normalizační proces by měl být transparentní z hlediska právnických a fyzických osob, které se normalizační činnosti účastní.

(61a)

V zájmu usnadnění souladu by Komise měla první žádosti o normalizaci vydat nejpozději dva měsíce po vstupu tohoto nařízení v platnost. To by mělo sloužit ke zlepšení právní jistoty, a tím podpořit investice a inovace v oblasti UI, jakož i konkurenceschopnost a růst trhu Unie, a zároveň posílit správu se zapojením mnoha zúčastněných stran zastupující všechny příslušné evropské zúčastněné strany, jako je Úřad pro umělou inteligenci, evropské normalizační organizace a subjekty nebo skupiny odborníků zřízené podle příslušných odvětvových právních předpisů Unie, jakož i průmysl, malé a střední podniky, začínající podniky, občanská společnost, výzkumní pracovníci a sociální partneři, a v konečném důsledku by to mělo usnadnit celosvětovou spolupráci v oblasti normalizace v oblasti UI způsobem, který je v souladu s hodnotami Unie. Při přípravě žádosti o normalizaci by Komise měla konzultovat Úřad pro umělou inteligenci a poradní fórum pro UI s cílem shromáždit příslušné odborné znalosti.

(61b)

V případě, kdy mají být systémy UI používány na pracovišti, měly by být harmonizované normy omezeny na technické specifikace a postupy.

(61c)

Komise by měla mít možnost přijmout za určitých podmínek společné specifikace, pokud neexistuje žádná příslušná harmonizovaná norma, nebo řešit konkrétní otázky týkající se základních práv. Během celého procesu vypracovávání návrhu by Komise měla pravidelně konzultovat Úřad pro umělou inteligenci a jeho poradní fórum, evropské normalizační organizace a subjekty nebo odborné skupiny zřízené podle příslušných odvětvových právních předpisů Unie, jakož i příslušné zúčastněné strany, jako jsou průmysl, malé a střední podniky, začínající podniky, občanská společnost, výzkumní pracovníci a sociální partneři.

(61d)

Při přijímání společných specifikací by Komise měla usilovat o sladění právních předpisů v oblasti UI s podobně smýšlejícími globálními partnery, což je klíčové pro podporu inovací a přeshraničních partnerství v oblasti umělé inteligence, neboť koordinace s podobně smýšlejícími partnery v mezinárodních normalizačních orgánech má velký význam.

(62)

Aby byla zajištěna vysoká úroveň důvěryhodnosti vysoce rizikových systémů UI, mělo by být u těchto systémů před jejich uvedením na trh nebo do provozu provedeno posouzení shody.

(62)

Aby byla zajištěna vysoká úroveň důvěryhodnosti vysoce rizikových systémů UI, mělo by být u těchto systémů před jejich uvedením na trh nebo do provozu provedeno posouzení shody. Pro účely zvýšení důvěry v hodnotový řetězec a poskytnutí jistoty podnikům ohledně výkonnosti jejich systémů, mohou třetí strany, které dodávají součásti UI, dobrovolně požádat o posouzení shody třetí stranou.

(64)

Vzhledem k  rozsáhlejším zkušenostem profesionálních ověřovatelů před uvedením na trh v oblasti bezpečnosti produktů a k odlišné povaze souvisejících rizik je vhodné alespoň v počáteční fázi uplatňování tohoto nařízení omezit oblast působnosti posuzování shody vysoce rizikových systémů UI třetími stranami v případech, které se netýkají produktů. Posuzování shody těchto systémů by proto měl provádět zpravidla poskytovatel na vlastní odpovědnost s jedinou výjimkou, kterou tvoří systémy UI určené pro biometrickou identifikaci osob na dálku, u nichž by mělo být předpokládáno zapojení oznámeného subjektu do posuzování shody, pokud nejsou tyto systémy zakázány.

(64)

Vzhledem ke složitosti vysoce rizikových systémů UI a rizikům, která jsou s nimi spojena, je nezbytné vytvořit přiměřenější kapacitu pro uplatňování posuzování shody třetích stran u vysoce rizikových systémů UI. Nicméně vzhledem k  současným zkušenostem profesionálních ověřovatelů před uvedením na trh v oblasti bezpečnosti produktů a k odlišné povaze souvisejících rizik je vhodné alespoň v počáteční fázi uplatňování tohoto nařízení omezit oblast působnosti posuzování shody vysoce rizikových systémů UI třetími stranami v případech, které se netýkají produktů. Posuzování shody těchto systémů by proto měl provádět zpravidla poskytovatel na vlastní odpovědnost s jedinou výjimkou, kterou tvoří systémy UI určené pro biometrickou identifikaci osob na dálku nebo systémy UI určené k použití za účelem vyvozování závěrů o osobních charakteristikách fyzických osob na základě biometrických údajů či údajů, které z biometrických údajů vycházejí, včetně systémů rozpoznávání emocí , u nichž by mělo být předpokládáno zapojení oznámeného subjektu do posuzování shody, pokud nejsou tyto systémy zakázány.

(65)

Příslušné vnitrostátní orgány by v souladu s tímto nařízením měly určit oznámené subjekty pro účely posouzení shody systémů UI určených pro biometrickou identifikaci osob na dálku třetími stranami pod podmínkou, že splňují určitý soubor požadavků, zejména požadavku na nezávislost, způsobilost a neexistenci střetu zájmů.

(65)

Příslušné vnitrostátní orgány by v souladu s tímto nařízením měly , pokud je to požadováno, určit oznámené subjekty pro účely posouzení shody třetími stranami pod podmínkou, že splňují určitý soubor požadavků, zejména požadavku na nezávislost, způsobilost a neexistenci střetu zájmů a minimálních požadavků na kybernetickou bezpečnost . Členské státy by měly podporovat určení dostatečného počtu subjektů pro posuzování shody, aby byla certifikace proveditelná včas. Postupy posuzování, určování, oznamování a sledování subjektů pro posuzování shody by měly být v členských státech prováděny co nejjednotněji s cílem odstranit administrativní překážky na hranicích a zajistit využití potenciálu vnitřního trhu.

(65a)

V souladu se závazky EU podle Dohody Světové obchodní organizace o technických překážkách obchodu je vhodné maximalizovat uznávání výsledků testů provedených příslušnými subjekty pro posuzování shody, bez ohledu na to, kde jsou usazeny, je-li to nezbytné k prokázání shody s příslušnými požadavky tohoto nařízení. Komise by za tímto účelem měla aktivně prozkoumat možné mezinárodní nástroje a zejména usilovat o možné uzavření dohod o vzájemném uznávání se zeměmi, které jsou na srovnatelné úrovni technického rozvoje a které mají kompatibilní přístup k UI a posuzování shody.

(66)

V souladu s obecně zavedeným pojmem „podstatná změna“ u produktů regulovaných harmonizačními právními předpisy Unie je vhodné provést nové posouzení shody systému UI pokaždé, když dojde ke změně, která může ovlivnit soulad daného systému s tímto nařízením, nebo pokud se změní určený účel tohoto systému. U systémů UI, které se i po uvedení na trh nebo do provozu dále „učí“ (tj. automaticky přizpůsobují způsob výkonu funkcí), je navíc nezbytné stanovit pravidla určující, že změny algoritmu a jeho výkonnosti, které byly předem stanoveny poskytovatelem a posouzeny v okamžiku posuzování shody, by neměly představovat podstatnou změnu.

(66)

V souladu s obecně zavedeným pojmem „podstatná změna“ u produktů regulovaných harmonizačními právními předpisy Unie je vhodné provést nové posouzení shody vysoce rizikového systému UI pokaždé, když dojde k neplánované změně, která jde nad rámec změn kontrolovaných nebo předem stanovených poskytovatelem, včetně průběžného učení, a která může vytvořit nové nepřijatelné riziko a významně ovlivnit soulad daného vysoce rizikového systému UI s tímto nařízením, nebo pokud se změní určený účel tohoto systému. U systémů UI, které se i po uvedení na trh nebo do provozu dále „učí“ (tj. automaticky přizpůsobují způsob výkonu funkcí), je navíc nezbytné stanovit pravidla určující, že změny algoritmu a jeho výkonnosti, které byly předem stanoveny poskytovatelem a posouzeny v okamžiku posuzování shody, by neměly představovat podstatnou změnu. Totéž by mělo platit pro aktualizace systému UI z bezpečnostních důvodů obecně a za účelem ochrany před vyvíjejícími se hrozbami manipulace se systémem za předpokladu, že nepředstavují podstatnou změnu.

(67)

Vysoce rizikové systémy UI by měly být opatřeny označením CE prokazujícím jejich shodu s tímto nařízením, aby jim byl umožněn volný pohyb v rámci vnitřního trhu. Členské státy by neměly vytvářet neodůvodněné překážky uvádění na trh nebo do provozu u vysoce rizikových systémů UI, které jsou v souladu s požadavky stanovenými v tomto nařízení a jsou opatřeny označením CE.

(67)

Vysoce rizikové systémy UI by měly být opatřeny označením CE prokazujícím jejich shodu s tímto nařízením, aby jim byl umožněn volný pohyb v rámci vnitřního trhu. Na fyzických vysoce rizikových systémech UI by mělo být připevněno fyzické označení CE, které může být doplněno digitálním označením CE. U pouze digitálních vysoce rizikových systémů UI by se mělo používat digitální označení CE. Členské státy by neměly vytvářet neodůvodněné překážky uvádění na trh nebo do provozu u vysoce rizikových systémů UI, které jsou v souladu s požadavky stanovenými v tomto nařízení a jsou opatřeny označením CE.

(68)

Rychlá dostupnost inovativních technologií může mít za určitých podmínek zásadní význam pro zdraví a bezpečnost osob i pro společnost jako celek. Je proto vhodné, aby členské státy mohly z výjimečných důvodů veřejné bezpečnosti nebo ochrany života a zdraví fyzických osob a  ochrany průmyslového a  obchodního vlastnictví povolit uvedení na trh nebo do provozu v případě systémů UI, u nichž nebylo provedeno posouzení shody.

(68)

Rychlá dostupnost inovativních technologií může mít za určitých podmínek zásadní význam pro zdraví a bezpečnost osob , životní prostředí a změnu klimatu i pro společnost jako celek. Je proto vhodné, aby členské státy mohly z výjimečných důvodů ochrany života a zdraví fyzických osob, ochrany životního prostředí a  ochrany kritické infrastruktury povolit uvedení na trh nebo do provozu systémů UI, u nichž nebylo provedeno posouzení shody.

(69)

Z důvodu usnadnění práce Komise a členských států v oblasti umělé inteligence a zvýšení transparentnosti vůči veřejnosti by poskytovatelé vysoce rizikových systémů UI s výjimkou těch, které se vztahují k produktům spadajícím do oblasti působnosti příslušných stávajících harmonizačních právních předpisů Unie, měli mít povinnost zaregistrovat svůj vysoce rizikový systém UI do databáze EU, kterou zřídí a bude spravovat Komise. Komise by měla být správcem této databáze v souladu s nařízením Evropského parlamentu a Rady (EU) 2018/1725 (55). Aby byla zajištěna plná funkčnost této databáze při jejím zavedení, měl by postup při vytváření databáze zahrnovat vypracování funkčních specifikací ze strany Komise a nezávislou zprávu o auditu.

(69)

Z důvodu usnadnění práce Komise a členských států v oblasti umělé inteligence a zvýšení transparentnosti vůči veřejnosti by poskytovatelé vysoce rizikových systémů UI s výjimkou těch, které se vztahují k produktům spadajícím do oblasti působnosti příslušných stávajících harmonizačních právních předpisů Unie, měli mít povinnost zaregistrovat svůj vysoce rizikový systém UI a základní modely do databáze EU, kterou zřídí a bude spravovat Komise. Tato databáze by měla být volně a veřejně přístupná, snadno srozumitelná a strojově čitelná. Databáze by rovněž měla být uživatelsky přívětivá a snadno splavná a měla by přinejmenším umožňovat široké veřejnosti vyhledávat v databázi konkrétní vysoce rizikové systémy, místa, kategorie rizika podle přílohy IV a klíčová slova. Provozovatelé, kteří jsou orgány veřejné správy nebo orgány, institucemi a jinými subjekty Unie, nebo provozovatelé jednající jejich jménem a provozovatelé, kteří jsou podniky určenými jako strážci podle nařízení (EU)2022/1925, by se rovněž měli před prvním uvedením do provozu nebo použitím vysoce rizikového systému UI a po každé podstatné změně zaregistrovat v databázi EU. Ostatní provozovatelé by měli mít právo tak učinit dobrovolně. Veškeré podstatné změny vysoce rizikových systémů UI se rovněž zaregistrují v databázi EU. Komise by měla být správcem této databáze v souladu s nařízením Evropského parlamentu a Rady (EU) 2018/1725 (55). Aby byla zajištěna plná funkčnost této databáze při jejím zavedení, měl by postup při vytváření databáze zahrnovat vypracování funkčních specifikací ze strany Komise a nezávislou zprávu o auditu. Komise by měla při plnění svých úkolů správce údajů v databázi EU zohlednit kybernetickou bezpečnost a rizika. Aby byla databáze co nejvíce dostupná a využívaná veřejností, měla by včetně informací, které jsou jejím prostřednictvím zpřístupňovány, splňovat požadavky směrnice 2019/882.

(71)

Umělá inteligence je rychle se vyvíjející skupina technologií, která vyžaduje nové formy regulačního dohledu a bezpečný prostor pro experimentování při současném zajištění odpovědné inovace a integrace vhodných záruk a opatření ke zmírnění rizika. K zajištění právního rámce příznivého pro vznik inovací , použitelného i v  budoucnosti a  odolného vůči narušení je třeba podporovat příslušné vnitrostátní orgány jednoho nebo více členských států ve vytváření regulačních pískovišť umělé inteligence s cílem usnadnit vývoj a testování inovativních systémů UI pod přísným regulačním dohledem dříve , než budou tyto systémy uvedeny na trh nebo jinak uvedeny do provozu .

(71)

Umělá inteligence je rychle se vyvíjející skupina technologií, která vyžaduje regulační dohled a bezpečný a kontrolovaný prostor pro experimentování při současném zajištění odpovědné inovace a integrace vhodných záruk a opatření ke zmírnění rizika. Aby byl zajištěn právní rámec, který podporuje inovace , obstojí i v  budoucnu a  odolný vůči narušení , měly by členské státy zřídit alespoň jedno regulační pískoviště pro umělou inteligenci s cílem usnadnit vývoj a testování inovativních systémů UI pod přísným regulačním dohledem před uvedením těchto systémů na trh nebo jiným způsobem do provozu. Je skutečně žádoucí, aby dalším krokem, který by měl být učiněn závazným na základě stanovených kritérií, bylo zřízení regulačních pískovišť, jejichž zřízení je v současné době ponecháno na uvážení členských států. Toto povinně zřizované pískoviště by mohlo rovněž být zřízeno společně s jedním nebo několika dalšími členskými státy, pokud by pokrývalo příslušnou vnitrostátní úroveň dotčených členských států. Další pískoviště mohou být rovněž zřízena na různých úrovních, včetně úrovně napříč členskými státy, s cílem usnadnit přeshraniční spolupráci a součinnost. S výjimkou povinného pískoviště na vnitrostátní úrovni by členské státy měly mít rovněž možnost zřizovat virtuální nebo hybridní pískoviště. Všechna regulační pískoviště by měla být schopna pojmout jak fyzické, tak virtuální produkty. Zřizující orgány by rovněž měly zajistit, aby regulační pískoviště měla pro své fungování odpovídající finanční a lidské zdroje.

(72)

Cílem těchto regulačních pískovišť by měla být podpora inovací UI na základě vytvoření kontrolovaného experimentálního a testovacího prostředí ve fázi vývoje a  před uvedením na trh s cílem zajistit soulad inovativních systémů UI s tímto nařízením a s  dalšími příslušnými právními předpisy Unie a členských států; dále posílení právní jistoty inovátorů, dohledu příslušných orgánů a  jejich porozumění příležitostem , vznikajícím rizikům a  dopadům používání UI , jakož i urychlení přístupu na trhy , mimo jiné odstraněním překážek pro malé a  střední podniky a začínající podniky . Aby bylo zajištěno jednotné provádění v celé Unii a úspory z rozsahu, je vhodné stanovit společná pravidla pro zavádění regulačních pískovišť a rámec spolupráce mezi příslušnými orgány, které se podílejí na dohledu nad těmito pískovišti. Toto nařízení by mělo poskytnout právní základ pro použití osobních údajů shromážděných pro jiné účely k vývoji určitých systémů UI ve veřejném zájmu v rámci regulačního pískoviště UI v souladu s čl. 6 odst. 4 nařízení (EU) 2016/679 a s článkem 6 nařízení (EU) 2018/1725 , aniž je dotčen čl. 4 odst. 2 směrnice (EU) 2016/680 . Účastníci pískoviště by měli zajistit vhodné záruky a spolupracovat s příslušnými orgány , mimo jiné tím, že budou postupovat podle jejich pokynů a  budou jednat rychle a  v dobré víře s cílem zmírnit veškerá vysoká rizika pro bezpečnost a základní práva , která případně vzniknou v průběhu vývoje a  experimentování v rámci pískoviště. Chování účastníků pískoviště by mělo být zohledněno při rozhodování příslušných orgánů o tom, zda uloží správní pokutu podle čl. 83 odst. 2 nařízení 2016/679 a podle článku 57 směrnice 2016/680.

(72)

Cíli těchto regulačních pískovišť by mělo být : v případě zřizujících orgánů: aby lépe porozuměly technickému vývoji, zlepšily metody dohledu a  poskytovaly pokyny vývojářům a poskytovatelům systémů UI s cílem dosáhnout souladu s tímto nařízením nebo případně dalšími platnými právními předpisy Unie a členských států , jakož i s Listinou základních práv ; v případě potenciálních poskytovatelů: umožnit a usnadnit jim testování a vývoj inovativních řešení souvisejících se systémy UI ve fázi před uvedením na trh s cílem zvýšit právní jistotu, umožnit větší učení v oblasti regulace pro zřizující orgány v kontrolovaném prostředí s cílem vypracovat lepší pokyny a  určit možná budoucí zlepšení právního rámce prostřednictvím řádného legislativního postupu. Veškerá významná rizika , která budou zjištěna během vývoje a  testování těchto systémů , budou mít za následek okamžité zmírnění , a pokud se to nezdaří, pozastavení procesu vývoje a  testování, dokud k tomuto zmírnění nedojde . Aby bylo zajištěno jednotné provádění v celé Unii a úspory z rozsahu, je vhodné stanovit společná pravidla pro zavádění regulačních pískovišť a rámec spolupráce mezi příslušnými orgány, které se podílejí na dohledu nad těmito pískovišti. Členské státy by měly zajistit, aby regulační pískoviště byla široce dostupná v celé Unii , přičemž účast na nich by měla zůstat dobrovolná . Je obzvláště důležité zajistit, aby malé a  střední podniky a  začínající podniky měly k těmto pískovištím snadný přístup , byly aktivně zapojeny do vývoje a  testování inovativních systémů UI a podílely se na něm , aby mohly přispívat svým know-how a  zkušenostmi .

(72a)

Toto nařízení by mělo poskytnout právní základ pro použití osobních údajů shromážděných pro jiné účely k vývoji určitých systémů UI ve veřejném zájmu v rámci regulačního pískoviště UI, a to pouze za podmínek určených v souladu s čl. 6 odst. 4 nařízení (EU) 2016/679 a s článkem 6 nařízení (EU) 2018/1725, aniž je dotčen čl. 4 odst. 2 směrnice (EU) 2016/680. Potenciální poskytovatelé na pískovišti by měli zajistit vhodné záruky a spolupracovat s příslušnými orgány, mimo jiné tím, že budou postupovat podle jejich pokynů a budou jednat rychle a v dobré víře s cílem zmírnit veškerá vysoká rizika pro bezpečnost, zdraví, životní prostředí a základní práva, která případně vzniknou v průběhu vývoje a experimentování v rámci pískoviště. Jednání potenciálních poskytovatelů na pískovišti by mělo být zohledněno při rozhodování příslušných orgánů o dočasném nebo trvalém pozastavení jejich účasti na pískovišti a o tom, zda uložit správní pokutu podle čl. 83 odst. 2 nařízení 2016/679 a článku 57 směrnice 2016/680.

(72b)

Aby bylo zajištěno, že umělá inteligence povede k sociálně a environmentálně prospěšným výsledkům, měly by členské státy podporovat a prosazovat výzkum a vývoj umělé inteligence na podporu sociálně a environmentálně prospěšných výsledků tím, že na to přidělí dostatečné zdroje, včetně veřejného financování a financování Unie, a poskytnou projektům vedeným občanskou společností přednostní přístup k regulačním pískovištím. Tyto projekty by měly být založeny na zásadě interdisciplinární spolupráce mezi vývojáři umělé inteligence, odborníky na nerovnost a nediskriminaci, přístupnost, spotřebitelská, environmentální a digitální práva, jakož i akademickými pracovníky.

(73)

V zájmu podpory a ochrany inovací je důležité, aby byly obzvláště zohledněny zájmy malých poskytovatelů a uživatelů systémů UI. Za tímto účelem by členské státy měly vyvíjet iniciativy zaměřené na tyto provozovatele, a to včetně zvyšování povědomí a informační komunikace. Oznámené subjekty by navíc měly zohledňovat zvláštní zájmy a potřeby malých poskytovatelů při stanovování poplatků za posuzování shody. Značné náklady pro poskytovatele a další provozovatele, zejména jedná-li se o poskytovatele a provozovatele menšího rozsahu, mohou představovat náklady na překlady související s povinnou dokumentací a s komunikací s úřady. Členské státy by případně měly zajistit, aby jedním z jazyků, který určí a přijmou pro účely dokumentace příslušných poskytovatelů a komunikace s provozovateli, byl jazyk, kterému obecně rozumí co nejvyšší počet přeshraničních uživatelů.

(73)

V zájmu podpory a ochrany inovací je důležité, aby byly obzvláště zohledněny zájmy malých poskytovatelů a uživatelů systémů UI. Za tímto účelem by členské státy měly vyvíjet iniciativy zaměřené na tyto provozovatele, a to včetně gramotnosti v oblasti umělé inteligence, zvyšování povědomí a informační komunikace. Členské státy musí využít stávající kanály, a případně vytvořit speciální kanál pro komunikaci s malými, středními a začínajícími podniky, uživateli a dalšími inovátory, kde by byly poskytovány pokyny a který by reagoval na dotazy týkající se provádění tohoto nařízení. Tyto stávající kanály by mohly mimo jiné zahrnovat skupiny agentury ENISA pro reakci na počítačové bezpečnostní incidenty, vnitrostátní úřady pro ochranu údajů, platformu pro umělou inteligenci na vyžádání, evropská centra pro digitální inovace, další důležité nástroje financované na základě programů EU a testovací a experimentální zařízení zřízená Komisí a členskými státy na vnitrostátní úrovni nebo na úrovni Unie. Tyto kanály případně musí spolupracovat na vytváření synergií a zajištění jednotných pokynů pro začínající, malé a střední podniky a uživatele. Oznámené subjekty by navíc měly zohledňovat zvláštní zájmy a potřeby malých poskytovatelů při stanovování poplatků za posuzování shody. Komise pravidelně posuzuje náklady malých, středních a začínajících podniků na certifikaci a dodržování předpisů, mj. na základě transparentních konzultací s malými, středními a začínajícími podniky a uživateli, a spolupracuje s členskými státy na snižování těchto nákladů. Značné náklady pro poskytovatele a další provozovatele, zejména jedná-li se o poskytovatele a provozovatele menšího rozsahu, mohou představovat například náklady na překlady související s povinnou dokumentací a s komunikací s úřady. Členské státy by případně měly zajistit, aby jedním z jazyků, který určí a přijmou pro účely dokumentace příslušných poskytovatelů a komunikace s provozovateli, byl jazyk, kterému obecně rozumí co nejvyšší počet přeshraničních uživatelů. Střední podniky, které nedávno přešly z kategorie malých do kategorie středních podniků ve smyslu přílohy doporučení 2003/361/ES (článek 16), musí mít přístup k těmto iniciativám a pokynům po dobu, kterou členské státy považují za vhodnou, neboť tyto nové střední podniky někdy nemusejí mít k dispozici právní zdroje a odbornou přípravu nezbytné k zajištění řádného pochopení a dodržování ustanovení.

(74)

K provádění tohoto nařízení s cílem minimalizovat rizika v oblasti provádění vyplývající z nedostatku věcných a odborných znalostí na trhu, jakož i usnadnit dodržování povinností poskytovatelů a oznámených subjektů podle tohoto nařízení, by mohly potenciálně přispět platformy pro UI na vyžádání, evropská centra pro digitální inovace a zkušební a experimentální zařízení zřízená Komisí a členskými státy na vnitrostátní úrovni nebo na úrovni EU. Tyto organizace mohou poskytovatelům a oznámeným subjektům poskytovat zejména technickou a vědeckou podporu v rámci svých úkolů a oblastí působnosti.

(74)

K provádění tohoto nařízení s cílem minimalizovat rizika v oblasti provádění vyplývající z nedostatku věcných a odborných znalostí na trhu, jakož i usnadnit dodržování povinností poskytovatelů a oznámených subjektů podle tohoto nařízení, by měly přispět platformy pro UI na vyžádání, evropská centra pro digitální inovace a zkušební a experimentální zařízení zřízená Komisí a členskými státy na vnitrostátní úrovni nebo na úrovni EU. Tyto organizace mohou poskytovatelům a oznámeným subjektům poskytovat zejména technickou a vědeckou podporu v rámci svých úkolů a oblastí působnosti.

(76)

V zájmu usnadnění hladkého , účinného a  harmonizovaného provádění tohoto nařízení by měla být zřízena Evropská rada pro umělou inteligenci. Tato rada by měla odpovídat za řadu poradenských úkolů, včetně vydávání stanovisek, doporučení, rad nebo pokynů v záležitostech souvisejících s prováděním tohoto nařízení, včetně technických specifikací nebo stávajících norem týkajících se požadavků stanovených v tomto nařízení a  poskytování poradenství a pomoci Komisi v  konkrétních otázkách týkajících se umělé inteligence .

(76)

S cílem zabránit roztříštěnosti , zajistit optimální fungování jednotného trhu, zajistit účinné a  harmonizované provádění tohoto nařízení , dosáhnout vysoké úrovně důvěryhodnosti a ochrany zdraví a bezpečnosti, základních práv, životního prostředí, demokracie a právního státu v celé Unii, pokud jde o systémy UI, aktivně podporovat vnitrostátní orgány dohledu, orgány, instituce a jiné subjekty Unie v záležitostech týkajících se tohoto nařízení a zvýšit využívání umělé inteligence v celé Unii by měl být zřízen Úřad Evropské unie pro umělou inteligenci. Úřad EU pro umělou inteligenci by měl mít právní subjektivitu, měl by jednat zcela nezávisle, měl by odpovídat za řadu poradních a koordinačních úkolů, včetně vydávání stanovisek, doporučení, poradenství nebo pokynů k záležitostem souvisejícím s prováděním tohoto nařízení, a měl by být financován a personálně vybaven odpovídajícím způsobem. Členské státy by měly spolu s Komisí, evropským inspektorem ochrany údajů a Agenturou pro základní práva zajistit strategické řízení a kontrolu úřadu pro UI prostřednictvím správní rady úřadu. Za řízení činností sekretariátu úřadu pro umělou inteligenci a za zastupování kanceláře pro umělou inteligenci by měl odpovídat výkonný ředitel. Zúčastněné strany by se měly na činnosti Úřadu pro umělou inteligenci formálně podílet prostřednictvím poradního fóra, jež by mělo zajistit různorodé a vyvážené zastoupení zúčastněných stran a mělo by Úřadu pro umělou inteligenci poskytovat poradenství v záležitostech, které se týkají tohoto nařízení.  V  případě, že se zřízení Úřadu pro umělou inteligenci ukáže jako nedostatečné k zajištění plně jednotného uplatňování tohoto nařízení na úrovni Unie, jakož i účinných přeshraničních donucovacích opatření, měla by být zvážena možnost vytvoření agentury pro umělou inteligenci .

(77)

Při uplatňování a prosazování tohoto nařízení hrají klíčovou roli členské státy. V tomto ohledu by měl každý členský stát určit jeden nebo více příslušných vnitrostátních orgánů pro účely dohledu nad uplatňováním a prováděním tohoto nařízení . V zájmu zvýšení efektivity organizace na straně členských států a  stanovení oficiálního kontaktního místa pro veřejnost a další protistrany na úrovni členských států a Unie by měl každý členský stát určit jeden vnitrostátní orgán jako vnitrostátní dozorový orgán .

(77)

Každý členský stát by měl určit vnitrostátní dozorový orgán pro účely dohledu nad uplatňováním a prováděním tohoto nařízení. Ten by měl rovněž zastupovat svůj členský stát ve správní radě úřadu pro umělou inteligenci; s cílem zvýšit účinnost organizace na straně členských států a  zřídit oficiální kontaktní místo pro veřejnost a další protějšky na úrovni členských států a Unie . Každý vnitrostátní dozorový orgán by měl při plnění svých úkolů a výkonu svých pravomocí v souladu s tímto nařízením jednat zcela nezávisle .

(77a)

Vnitrostátní dozorové orgány by měly sledovat uplatňování ustanovení podle tohoto nařízení a přispívat k jejich jednotnému uplatňování v celé Unii. Za tímto účelem by vnitrostátní dozorové orgány měly spolupracovat mezi sebou, s příslušnými vnitrostátními orgány, s Komisí a s Úřadem pro umělou inteligenci.

(77b)

Člen či členové a pracovníci každého dozorového úřadu jsou, v souladu s právem Unie nebo členského státu, během funkčního období i po jeho skončení vázáni služebním tajemstvím, pokud jde o veškeré důvěrné informace, o nichž se během plnění svých úkolů či výkonu svých pravomocí dozvědí. Během jejich funkčního období by se tato povinnost zachovávat služební tajemství měla vztahovat zejména na obchodní tajemství a na oznamování porušení tohoto nařízení fyzickými osobami.

(78)

Všichni poskytovatelé vysoce rizikových systémů UI by měli mít zaveden systém monitorování po uvedení na trh s cílem zajistit, že budou schopni zohlednit zkušenosti s používáním vysoce rizikových systémů UI při zlepšování svých systémů a procesu návrhu a vývoje, případně že budou schopni včas přijmout veškerá případná nápravná opatření. Tento systém je rovněž klíčovým předpokladem zajištění účinnějšího a včasnějšího řešení potenciálních rizik vyplývajících ze systémů UI, které se po uvedení na trh nebo do provozu dále „učí“. Poskytovatelé by měli mít v této souvislosti rovněž povinnost zavést systém hlášení veškerých závažných incidentů nebo porušení vnitrostátních právních předpisů a právních předpisů Unie na ochranu základních práv, k nimž dojde v důsledku používání jejich systémů UI, příslušným orgánům.

(78)

Všichni poskytovatelé vysoce rizikových systémů UI by měli mít zaveden systém monitorování po uvedení na trh s cílem zajistit, že budou schopni zohlednit zkušenosti s používáním vysoce rizikových systémů UI při zlepšování svých systémů a procesu návrhu a vývoje, případně že budou schopni včas přijmout veškerá případná nápravná opatření. Tento systém je rovněž klíčovým předpokladem zajištění účinnějšího a včasnějšího řešení potenciálních rizik vyplývajících ze systémů UI, které se po uvedení na trh nebo do provozu dále „učí“ nebo vyvíjejí . Poskytovatelé by měli mít v této souvislosti rovněž povinnost zavést systém hlášení veškerých závažných incidentů nebo porušení vnitrostátních právních předpisů a právních předpisů Unie , včetně těch, které chrání základní práva a práva spotřebitelů, v důsledku používání jejich systémů UI příslušným orgánům , a podniknout vhodné nápravné kroky. Provozovatelé by měli rovněž hlásit příslušným orgánům jakékoli závažné incidenty nebo porušení vnitrostátního práva a práva Unie vyplývající z používání jejich systému UI, pokud se o těchto závažných incidentech nebo porušeních dozví.

(79)

V zájmu zajištění náležitého a účinného vymáhání požadavků a povinností stanovených tímto nařízením, které představuje harmonizační právní předpis Unie, by se měl v plném rozsahu uplatňovat systém dozoru nad trhem a souladu výrobků s předpisy stanovený nařízením (EU) 2019/1020. Vnitrostátní orgány veřejné správy nebo veřejnoprávní subjekty dohlížející na uplatňování právních předpisů Unie na ochranu základních práv, včetně orgánů pro rovné zacházení, by rovněž měly mít přístup k veškeré dokumentaci vytvořené podle tohoto nařízení, pokud je to nutné pro výkon jejich pověření.

(79)

V zájmu zajištění náležitého a účinného vymáhání požadavků a povinností stanovených tímto nařízením, které představuje harmonizační právní předpis Unie, by se měl v plném rozsahu uplatňovat systém dozoru nad trhem a souladu výrobků s předpisy stanovený nařízením (EU) 2019/1020. Pro účely tohoto nařízení by vnitrostátní dozorové orgány měly působit jako orgány dozoru nad trhem se systémy UI, na něž se vztahuje toto nařízení, s výjimkou systémů UI, na něž se vztahuje příloha II tohoto nařízení. V případě systémů UI, na něž se vztahují právní akty uvedené v příloze II, by příslušnými orgány podle těchto právních aktů měly zůstat vedoucí orgán. Vnitrostátní dozorové orgány a příslušné orgány v právních aktech uvedených v příloze II by měly v případě potřeby spolupracovat. Je-li to vhodné, měly by příslušné orgány v právních aktech uvedených v příloze II vyslat do vnitrostátního dozorového orgánu kvalifikované pracovníky, aby jim pomohli při plnění jeho úkolů. Pro účely tohoto nařízení by vnitrostátní dozorové orgány měly mít stejné pravomoci a povinnosti jako orgány dozoru nad trhem podle nařízení (EU) 2019/1020. Vnitrostátní orgány veřejné správy nebo veřejnoprávní subjekty dohlížející na uplatňování právních předpisů Unie na ochranu základních práv, včetně orgánů pro rovné zacházení, by rovněž měly mít přístup k veškeré dokumentaci vytvořené podle tohoto nařízení, pokud je to nutné pro výkon jejich pověření. Po vyčerpání všech ostatních rozumných způsobů posouzení/ověření shody a na základě odůvodněné žádosti by měl být vnitrostátnímu dozorovému orgánu umožněn přístup k souborům tréninkových dat, dat pro ověřování platnosti a testovacím modelům vysoce rizikového systému UI, včetně jeho příslušných parametrů modelu a jejich prováděcího/provozního prostředí. V případě jednodušších softwarových systémů spadajících do oblasti působnosti tohoto nařízení, které nejsou založeny na vyškolených modelech, a pokud byly vyčerpány všechny ostatní způsoby ověření shody, může mít vnitrostátní dozorový orgán výjimečně na odůvodněnou žádost přístup ke zdrojovému kódu. Pokud byl vnitrostátnímu dozorovému orgánu udělen přístup k souborům údajů o trénování, ověřování platnosti a testování v souladu s tímto nařízením, měl by být tento přístup zajištěn prostřednictvím vhodných technických prostředků a nástrojů, včetně přístupu na místě a ve výjimečných případech dálkového přístupu. Vnitrostátní dozorový orgán by měl s veškerými informacemi včetně případně zdrojového kódu, softwaru a získaných údajů nakládat jako s důvěrnými informacemi a dodržovat příslušné právní předpisy Unie o ochraně duševního vlastnictví a obchodního tajemství. Vnitrostátní dozorový orgán by měl veškeré informace získané po ukončení vyšetřování vymazat.

(80)

Právní předpisy Unie týkající se finančních služeb zahrnují pravidla a požadavky vnitřní správy a řízení rizik, které se vztahují na regulované finanční instituce v průběhu poskytování těchto služeb, včetně případů, kdy využívají systémy UI. V zájmu zajištění jednotného uplatňování a vymáhání povinností vyplývajících z tohoto nařízení a příslušných pravidel a požadavků právních předpisů Unie o finančních službách by měly být jako příslušné orgány pro účely dohledu nad prováděním tohoto nařízení, včetně činností dozoru nad trhem ve vztahu k systémům UI poskytovaným nebo používaným finančními institucemi, které jsou předmětem regulace nebo dozoru, určeny orgány odpovědné za dohled nad právními předpisy o finančních službách a jejich vymáhání, tam, kde je to relevantní, včetně Evropské centrální banky. V zájmu dalšího posílení souladu mezi tímto nařízením a pravidly platnými pro úvěrové instituce podléhající směrnici Evropského parlamentu a Rady 2013/36/EU (56) je rovněž vhodné začlenit postup posuzování shody a některé procesní povinnosti poskytovatelů v souvislosti s řízením rizik, monitorováním po uvedení na trh a dokumentací do stávajících povinností a postupů podle směrnice 2013/36/EU. Aby nedocházelo k překrývání, je třeba počítat rovněž s omezenými výjimkami ve vztahu k systému řízení kvality poskytovatelů a k povinnosti monitorování uložené uživatelům vysoce rizikových systémů UI v rozsahu, v jakém se vztahují na úvěrové instituce podléhající směrnici 2013/36/EU.

(80)

Právní předpisy Unie týkající se finančních služeb zahrnují pravidla a požadavky vnitřní správy a řízení rizik, které se vztahují na regulované finanční instituce v průběhu poskytování těchto služeb, včetně případů, kdy využívají systémy UI. V zájmu zajištění jednotného uplatňování a vymáhání povinností vyplývajících z tohoto nařízení a příslušných pravidel a požadavků právních předpisů Unie o finančních službách by měly být jako příslušné orgány pro účely dohledu nad prováděním tohoto nařízení, včetně činností dozoru nad trhem ve vztahu k systémům UI poskytovaným nebo používaným finančními institucemi, které jsou předmětem regulace nebo dozoru, určeny orgány odpovědné za dohled nad právními předpisy o finančních službách a jejich vymáhání, tam, kde je to relevantní, včetně Evropské centrální banky. V zájmu dalšího posílení souladu mezi tímto nařízením a pravidly platnými pro úvěrové instituce podléhající směrnici Evropského parlamentu a Rady 2013/36/EU (56) je rovněž vhodné začlenit postup posuzování shody a některé procesní povinnosti poskytovatelů v souvislosti s řízením rizik, monitorováním po uvedení na trh a dokumentací do stávajících povinností a postupů podle směrnice 2013/36/EU. Aby nedocházelo k překrývání, je třeba počítat rovněž s omezenými výjimkami ve vztahu k systému řízení kvality poskytovatelů a k povinnosti monitorování uložené poskytovatelům vysoce rizikových systémů UI v rozsahu, v jakém se vztahují na úvěrové instituce podléhající směrnici 2013/36/EU.

(80a)

Vzhledem k cílům tohoto nařízení, totiž zajištění rovnocenné úrovně ochrany zdraví, bezpečnosti a základních práv fyzických osob, zajištění ochrany právního státu a demokracie a s přihlédnutím k tomu, že zmírnění rizik systému UI proti těmto právům nemusí být uspokojivě dosaženo na vnitrostátní úrovni nebo mohou být předmětem rozdílného výkladu, což by v konečném důsledku mohlo vést k nerovnoměrné úrovni ochrany fyzických osob a způsobit roztříštěnost trhu, by vnitrostátní dozorové orgány měly být zmocněny k provádění společných šetření nebo k využívání ochranného postupu Unie stanoveného v tomto nařízení za účelem účinného prosazování. Společná šetření by měla být zahájena, pokud má vnitrostátní dozorový orgán dostatečné důvody domnívat se, že porušení tohoto nařízení představuje rozsáhlé protiprávní jednání nebo rozsáhlé protiprávní jednání s unijním rozměrem, nebo pokud systém UI nebo základní model představuje riziko, které má nebo pravděpodobně bude mít dopad na nejméně 45 milionů osob ve více než jednom členském státě.

(82)

Je důležité, aby systémy UI související s produkty, které podle tohoto nařízení nejsou vysoce rizikové, a proto nemusí splňovat požadavky, které jsou v něm stanoveny , byly při uvedení na trh nebo do provozu přesto bezpečné. Jako záchranná síť pro přispění k tomuto cíli by se uplatnila směrnice Evropského parlamentu a Rady 2001/95/ES (57).

(82)

Je důležité, aby systémy UI související s produkty, které podle tohoto nařízení nejsou vysoce rizikové, a proto nemusí splňovat požadavky, které jsou stanoveny pro vysoce rizikové systémy UI , byly při uvedení na trh nebo do provozu přesto bezpečné. Jako záchranná síť pro přispění k tomuto cíli by se uplatnila směrnice Evropského parlamentu a Rady 2001/95/ES (57).

(83)

V zájmu zajištění důvěryhodné a konstruktivní spolupráce příslušných orgánů na úrovni Unie a na vnitrostátní úrovni by měly všechny strany zapojené do uplatňování tohoto nařízení respektovat důvěrnost informací a údajů získaných při plnění svých úkolů.

(83)

V zájmu zajištění důvěryhodné a konstruktivní spolupráce příslušných orgánů na úrovni Unie a na vnitrostátní úrovni by všechny strany zapojené do uplatňování tohoto nařízení měly usilovat o transparentnost a otevřenost a zároveň respektovat důvěrnost informací a údajů získaných při plnění svých úkolů zavedením technických a organizačních opatření na ochranu bezpečnosti a důvěrnosti získaných informací při výkonu svých činností, včetně ochrany práv duševního vlastnictví a zájmů veřejné a národní bezpečnosti. Pokud činnosti Komise, příslušných vnitrostátních orgánů a oznámených subjektů podle tohoto nařízení povedou k porušení práv duševního vlastnictví, měly by členské státy stanovit vhodná opatření a nápravná opatření k zajištění dodržování práv duševního vlastnictví při uplatňování směrnice 2004/48/ES.

(84)

Členské státy by měly přijmout veškerá nezbytná opatření k zajištění toho, aby byla ustanovení tohoto nařízení prováděna, a to i stanovením účinných, přiměřených a odrazujících sankcí za jejich porušení. U určitých konkrétních porušení by členské státy měly zohlednit rozpětí a  kritéria stanovená v tomto nařízení . Evropský inspektor ochrany údajů by měl být oprávněn ukládat pokuty orgánům, institucím a subjektům Unie spadajícím do oblasti působnosti tohoto nařízení.

(84)

Dodržování tohoto nařízení by mělo být vymahatelné na základě pokut, které ukládá vnitrostátní dozorový orgán v rámci řízení vedeného podle postupu stanoveného v tomto nařízení. Členské státy by měly přijmout veškerá nezbytná opatření k zajištění toho, aby byla ustanovení tohoto nařízení prováděna, a to i stanovením účinných, přiměřených a odrazujících sankcí za jejich porušení. Za účelem posílení a harmonizace správních sankcí za porušení tohoto nařízení by měly být stanoveny horní hranice pro stanovení správních pokut za určitá konkrétní porušení ; Při posuzování výše pokut by příslušné vnitrostátní orgány měly v každém jednotlivém případě zohlednit všechny relevantní okolnosti konkrétní situace, s náležitým ohledem zejména na povahu, závažnost a dobu trvání protiprávního jednání a jeho důsledků a  na velikost poskytovatele, zejména pokud je poskytovatelem malý nebo střední podnik nebo začínající podnik . Evropský inspektor ochrany údajů by měl být oprávněn ukládat pokuty orgánům, institucím a subjektům Unie spadajícím do oblasti působnosti tohoto nařízení. Sankce a náklady na soudní spory podle tohoto nařízení by neměly být předmětem smluvních doložek ani jiných ujednání.

(84a)

Vzhledem k tomu, že práva a svobody fyzických a právnických osob a skupin fyzických osob mohou být vážně ohroženy systémy UI, je nezbytné, aby fyzické a právnické osoby nebo skupiny fyzických osob měly smysluplný přístup k mechanismům oznamování a nápravy a měly právo na přístup k přiměřeným a účinným opravným prostředkům. Měli by mít možnost hlásit porušení tohoto nařízení svému vnitrostátnímu dozorovému orgánu a měli by mít právo podat stížnost na poskytovatele nebo provozovatele systémů UI. Provozovatelé by měli případně zajistit interní mechanismy pro podávání stížností, které mají moci používat fyzické a právnické osoby nebo skupiny fyzických osob. Aniž jsou dotčeny jakékoli jiné správní nebo mimosoudní opravné prostředky, měly by mít fyzické a právnické osoby a skupiny fyzických nebo právnických osob rovněž právo na účinný soudní opravný prostředek, pokud jde o právně závazné rozhodnutí vnitrostátního dozorového orgánu nebo Komise, které se jich týká, nebo pokud vnitrostátní dozorový orgán nevyřídí stížnost, neinformuje stěžovatele o pokroku nebo předběžném výsledku podané stížnosti nebo neplní svou povinnost dospět ke konečnému rozhodnutí ohledně stížnosti.

(84b)

Dotčené osoby by měly být o tom, že se na ně vztahuje používání vysoce rizikového systému UI, vždy informovány, pokud provozovatelé používají vysoce rizikový systém UI, aby jim pomohl při rozhodování nebo přijímání rozhodnutí týkajících se fyzických osob. Tyto informace mohou dotčeným osobám poskytnout základ pro uplatnění jejich práva na vysvětlení podle tohoto nařízení. Pokud provozovatelé poskytnou dotčeným osobám vysvětlení podle tohoto nařízení, měli by zohlednit úroveň odborných znalostí a znalostí průměrného spotřebitele nebo jednotlivce.

(84c)

Právo Unie o ochraně oznamovatelů (směrnice (EU) 2019/1937) se plně vztahuje na akademické pracovníky, návrháře, vývojáře, přispěvatele projektů, auditory, manažery produktů, inženýry a hospodářské subjekty, kteří získají informace o porušování práva Unie ze strany poskytovatele systému UI nebo jeho systému UI.

(85)

Za účelem zajištění toho, že v případě potřeby bude možné regulační rámec upravit, by měla být na Komisi přenesena pravomoc přijímat akty v souladu s článkem 290 Smlouvy o fungování EU, pokud jde o změnu technik a přístupů uvedených v příloze I pro účely definice systémů UI, harmonizačních právních předpisů Unie uvedených v příloze II, vysoce rizikových systémů UI uvedených v příloze III, ustanovení týkajících se technické dokumentace uvedených v příloze IV, obsahu EU prohlášení o shodě uvedeného v příloze V, ustanovení týkajících se postupů posuzování shody v přílohách VI a VII a ustanovení zavádějících vysoce rizikové systémy UI, na které by se měl vztahovat postup posuzování shody založený na posouzení systému řízení kvality a posouzení technické dokumentace. Je obzvláště důležité, aby Komise v rámci přípravné činnosti vedla odpovídající konzultace, a to i na odborné úrovni, a aby tyto konzultace probíhaly v souladu se zásadami stanovenými v interinstitucionální dohodě o zdokonalení tvorby právních předpisů ze dne 13. dubna 2016 (58). Pro zajištění rovné účasti na vypracovávání aktů v přenesené pravomoci obdrží Evropský parlament a Rada veškeré dokumenty současně s odborníky z členských států a jejich odborníci mají automaticky přístup na setkání skupin odborníků Komise, jež se věnují přípravě aktů v přenesené pravomoci.

(85)

Za účelem zajištění toho, že v případě potřeby bude možné regulační rámec upravit, by měla být na Komisi přenesena pravomoc přijímat akty v souladu s článkem 290 Smlouvy o fungování EU, pokud jde o změnu harmonizačních právních předpisů Unie uvedených v příloze II, vysoce rizikových systémů UI uvedených v příloze III, ustanovení týkajících se technické dokumentace uvedených v příloze IV, obsahu EU prohlášení o shodě uvedeného v příloze V, ustanovení týkajících se postupů posuzování shody v přílohách VI a VII a ustanovení zavádějících vysoce rizikové systémy UI, na které by se měl vztahovat postup posuzování shody založený na posouzení systému řízení kvality a posouzení technické dokumentace. Je obzvláště důležité, aby Komise v rámci přípravné činnosti vedla odpovídající konzultace, a to i na odborné úrovni, a aby tyto konzultace probíhaly v souladu se zásadami stanovenými v interinstitucionální dohodě o zdokonalení tvorby právních předpisů ze dne 13. dubna 2016 (58) . Do těchto konzultací by měl být zapojen vyvážený výběr zúčastněných stran, včetně spotřebitelských organizací, občanské společnosti, sdružení zastupujících dotčené osoby, zástupců podniků z různých odvětví a různých velikostí, jakož i výzkumných pracovníků a vědců . Pro zajištění rovné účasti na vypracovávání aktů v přenesené pravomoci obdrží Evropský parlament a Rada veškeré dokumenty současně s odborníky z členských států a jejich odborníci mají automaticky přístup na setkání skupin odborníků Komise, jež se věnují přípravě aktů v přenesené pravomoci.

(85a)

Vzhledem k rychlému technickému vývoji a požadovaným technickým odborným znalostem při posuzování vysoce rizikových systémů UI by Komise měla alespoň jednou ročně pravidelně přezkoumávat provádění tohoto nařízení, zejména zakázané systémy UI, povinnosti transparentnosti a seznam vysoce rizikových oblastí a případů použití, přičemž by měla konzultovat Úřad pro UI a příslušné zúčastněné strany.

(87a)

Vzhledem k tomu, že spolehlivé informace o využívání zdrojů a energie, produkci odpadů a dalších dopadech systémů UI a souvisejících technologií IKT na životní prostředí, včetně softwaru, hardwaru a zejména datových center, jsou omezené, měla by Komise zavést odpovídající metodiku pro měření dopadu a účinnosti tohoto nařízení na životní prostředí s ohledem na cíle Unie v oblasti životního prostředí a klimatu.

(89)

V souladu s čl. 42 odst. 2 nařízení (EU) 2018/1725 byl konzultován evropský inspektor ochrany údajů a Evropský sbor pro ochranu osobních údajů, a jejich stanovisko bylo vydáno dne […].

(89)

V souladu s čl. 42 odst. 2 nařízení (EU) 2018/1725 byl konzultován evropský inspektor ochrany údajů a Evropský sbor pro ochranu osobních údajů, a jejich stanovisko bylo vydáno dne 18. června 2021 .

1.

d)

harmonizovaná pravidla transparentnosti pro systémy UI určené k interakci s fyzickými osobami, pro systémy rozpoznávání emocí a pro systémy biometrické kategorizace, jakož i pro systémy UI používané k vytváření obrazového, zvukového nebo video obsahu nebo k manipulaci s ním ;

d)

harmonizovaná pravidla transparentnosti pro některé systémy UI;

e)

pravidla monitorování trhu a  dozoru nad ním.

e)

pravidla řízení, monitorování trhu, dozoru nad správou trhu a prosazování tohoto nařízení;

ea)

opatření na podporu inovací se zvláštním zaměřením na malé a střední podniky a začínající podniky, včetně zřizování regulačních pískovišť a cílených opatření ke snížení regulační zátěže malých a středních podniků a začínajících podniků;

eb)

pravidla pro zřízení a fungování Úřadu Unie pro umělou inteligenci (Úřad pro umělou inteligenci).

b)

uživatele systémů UI nacházející se v Unii;

b)

provozovatelé systémů UI, kteří mají místo usazení nebo kteří se nacházejí v Unii;

c)

poskytovatele a uživatele systémů UI, kteří se nacházejí ve třetí zemi, pokud se výstup systému používá v Unii.

c)

poskytovatelům a provozovatelům systémů UI, kteří mají místo usazení nebo kteří se nacházejí ve třetí zemi, kde se uplatňuje právo některého členského státu na základě mezinárodního práva veřejného, nebo pokud je výstup vytvořený systémem určen k použití v Unii;

ca)

poskytovatelé uvádějící na trh nebo do provozu systémy UI uvedené v článku 5 mimo Unii, pokud se poskytovatel nebo distributor těchto systémů nachází v Unii;

cb)

dovozci a distributoři systémů UI, jakož i zplnomocnění zástupci poskytovatelů systémů UI, pokud tito dovozci, distributoři nebo zplnomocnění zástupci mají sídlo nebo se nacházejí v Unii;

cc)

dotčené osoby ve smyslu čl. 3 odst. 8a, které se nacházejí v Unii a jejichž zdraví, bezpečnost nebo základní práva jsou nepříznivě ovlivněny používáním systému UI, který je uváděn na trh nebo do provozu v Unii.

a)

nařízení (ES) č. 300/2008;

b)

nařízení (EU) č. 167/2013;

c)

nařízení (EU) č. 168/2013;

d)

směrnice 2014/90/EU;

e)

směrnice (EU) 2016/797;

f)

nařízení (EU) 2018/858;

g)

nařízení (EU) 2018/1139;

h)

nařízení (EU) 2019/2144.

(1)

„systémem umělé inteligence“ (systém UI) software, který je vyvinut pomocí jedné nebo více technik a přístupů uvedených v příloze I, a který může pro danou sadu cílů definovaných člověkem generovat výstupy, jako je například obsah, predikce, doporučení nebo rozhodnutí ovlivňující prostředí, s nimiž komunikují;

(1)

„systémem umělé inteligence“ (systém UI) strojový systém, který je navržen tak, aby fungoval s různou úrovní autonomie, a který může pro explicitní nebo implicitní cíle generovat výstupy, jako jsou předpovědi, doporučení nebo rozhodnutí, které ovlivňují fyzické nebo virtuální prostředí;

(1a)

(1b)

(1c)

(1d)

(1e)

(3)

(4)

„uživatelem“ jakákoli fyzická nebo právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, které v rámci své pravomoci využívají systém UI, s výjimkou případů, kdy je tento systém UI využíván při osobní neprofesionální činnosti;

(4)

„uživatelem“ jakákoli fyzická nebo právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, které v rámci své pravomoci využívají systém UI, s výjimkou případů, kdy je tento systém UI využíván při osobní neprofesionální činnosti;

(8)

„provozovatelem“ poskytovatel, uživatel, zplnomocněný zástupce, dovozce a distributor;

(8)

„provozovatelem“ poskytovatel, zavádějící subjekt, zplnomocněný zástupce, dovozce a distributor;

(8a)

(11)

„uvedením do provozu“ dodání systému UI k prvnímu použití přímo uživateli nebo pro vlastní použití na trhu Unie za určeným účelem;

(11)

„uvedením do provozu“ dodání systému UI k prvnímu použití přímo uživateli nebo pro vlastní použití na trhu Unie za určeným účelem;

(13)

„důvodně předvídatelným nesprávným použitím“ použití systému UI způsobem, který není v souladu s jeho určeným účelem, avšak může vyplývat z důvodně předvídatelného lidského chování nebo z interakce s jinými systémy;

(13)

„důvodně předvídatelným nesprávným použitím“ použití systému UI způsobem, který není v souladu s jeho určeným účelem uvedeným v návodu k použití stanoveném poskytovatelem, ale který může vyplývat z důvodně předvídatelného lidského chování nebo interakce s jinými systémy, včetně jiných systémů UI;

(14)

„bezpečnostní součástí produktu nebo systému“ součást produktu nebo systému, která plní bezpečnostní funkci pro daný produkt nebo systém, případně jejíž porucha nebo chybné fungování ohrožuje zdraví a bezpečnost osob nebo majetku;

(14)

„bezpečnostní součástí produktu nebo systému“ v souladu s harmonizačními právními předpisy Unie uvedenými v příloze II součást výrobku nebo systému, která plní bezpečnostní funkci pro daný produkt nebo systém, nebo jejíž selhání či špatné fungování ohrožuje zdraví a bezpečnost osob nebo majetku ;