(1)

Účelom tohto nariadenia je zlepšiť fungovanie vnútorného trhu stanovením jednotného právneho rámca, najmä pokiaľ ide o vývoj, uvádzanie na trh, uvádzanie do prevádzky a používanie systémov umelej inteligencie (ďalej len „systémy AI“) v Únii v súlade s hodnotami Únie, podporovať zavádzanie dôveryhodnej umelej inteligencie (ďalej len „AI“ – artificial intelligence) sústredenej na človeka a zároveň zaistiť vysokú úroveň ochrany zdravia, bezpečnosti a základných práv zakotvených v Charte základných práv Európskej únie (ďalej len „charta“), vrátane ochrany demokracie, právneho štátu a životného prostredia, chrániť pred škodlivými účinkami systémov AI v Únii a podporovať inovácie. Týmto nariadením sa zabezpečuje voľný pohyb tovaru a služieb založených na AI cez hranice, čím sa členským štátom zabraňuje ukladať obmedzenia na vývoj, uvádzanie na trh a používanie systémov AI, pokiaľ to toto nariadenie výslovne nepovoľuje.

(2)

Toto nariadenie by sa malo uplatňovať v súlade s hodnotami Únie zakotvenými v charte, čím sa uľahčí ochrana fyzických osôb, podnikov, demokracie, právneho štátu a životného prostredia a zároveň sa podporia inovácie a zamestnanosť a Únia sa stane lídrom v zavádzaní dôveryhodnej AI.

(3)

Systémy AI možno ľahko nasadiť vo veľkej škále odvetví hospodárstva a mnohých oblastiach spoločnosti, a to aj cezhranične, a môžu ľahko obiehať po celej Únii. Niektoré členské štáty už zvažujú prijatie vnútroštátnych pravidiel na zabezpečenie toho, aby bola AI dôveryhodná a bezpečná a aby sa vyvíjala a používala v súlade s povinnosťami týkajúcimi sa základných práv. Rozdielne vnútroštátne pravidlá môžu viesť k fragmentácii vnútorného trhu a znížiť právnu istotu pre prevádzkovateľov, ktorí vyvíjajú, dovážajú alebo používajú systémy AI. Mala by sa preto zabezpečiť konzistentná a vysoká úroveň ochrany v celej Únii, aby sa dospelo k dôveryhodnej AI, pričom by sa malo zabrániť rozdielom, ktoré bránia voľnému obehu, inováciám, nasadzovaniu a zavádzaniu systémov AI a súvisiacich výrobkov a služieb v rámci vnútorného trhu, a to stanovením jednotných povinností pre prevádzkovateľov a zaručením jednotnej ochrany prevažujúcich dôvodov verejného záujmu a práv osôb na celom vnútornom trhu na základe článku 114 Zmluvy o fungovaní Európskej únie (ďalej len „ZFEÚ“). Pokiaľ toto nariadenie obsahuje osobitné pravidlá ochrany jednotlivcov pri spracúvaní osobných údajov týkajúce sa obmedzení používania systémov AI na diaľkovú biometrickú identifikáciu na účely presadzovania práva, používania systémov AI na posudzovanie rizík fyzických osôb na účely presadzovania práva a používania systémov AI s biometrickou kategorizáciou na účely presadzovania práva, je vhodné, pokiaľ ide o uvedené osobitné pravidlá, aby bol základom tohto nariadenia článok 16 ZFEÚ. Pokiaľ ide o tieto osobitné pravidlá a použitie článku 16 ZFEÚ, je vhodné konzultovať s Európskym výborom pre ochranu údajov.

(4)

AI je rýchlo sa rozvíjajúca skupina technológií, ktorá prispieva k širokému spektru hospodárskych, environmentálnych a spoločenských prínosov vo všetkých odvetviach a spoločenských činnostiach. Zlepšením predpovedí, optimalizáciou operácií a prideľovania zdrojov a personalizáciou digitálnych riešení, ktoré sú k dispozícii jednotlivcom a organizáciám, môže využívanie AI poskytnúť podnikom kľúčové konkurenčné výhody a podporiť sociálne a environmentálne priaznivé výsledky, napríklad v oblasti zdravotnej starostlivosti, poľnohospodárstva, bezpečnosti potravín, vzdelávania a odbornej prípravy, médií, športu a kultúry, riadenia infraštruktúry, energetiky, dopravy a logistiky, verejných služieb, bezpečnosti, spravodlivosti, efektívneho využívania zdrojov a energie, monitorovania životného prostredia, zachovania a obnovy biodiverzity a ekosystémov a zmierňovania zmeny klímy a adaptácie na ňu.

(5)

AI môže zároveň v závislosti od okolností týkajúcich sa jej konkrétnej aplikácie, použitia a úrovne technologického vývoja vytvárať riziká a ujmu pre verejné záujmy a základné práva, ktoré sú chránené právom Únie. Toto poškodzovanie môže byť hmotné aj nehmotné vrátane fyzickej, psychickej, spoločenskej alebo ekonomickej ujmy.

(6)

Vzhľadom na veľký vplyv, ktorý AI môže mať na spoločnosť, a na potrebu budovať dôveru je nevyhnutné, aby sa AI a jej regulačný rámec rozvíjali v súlade s hodnotami Únie zakotvenými v článku 2 Zmluvy o Európskej únii (ďalej len „Zmluva o EÚ“), základnými právami a slobodami zakotvenými v zmluvách a podľa článku 6 Zmluvy o EÚ v charte. Nevyhnutnou podmienkou je, aby AI bola technológiou sústredenou na človeka. Mala by slúžiť ako nástroj pre ľudí s konečným cieľom zvyšovať ich blahobyt.

(7)

S cieľom zabezpečiť jednotnú a vysokú úroveň ochrany verejných záujmov, pokiaľ ide o zdravie, bezpečnosť a základné práva, by sa mali stanoviť spoločné pravidlá pre vysokorizikové systémy AI. Tieto pravidlá by mali byť v súlade s chartou a mali by byť nediskriminačné a v súlade so záväzkami Únie v oblasti medzinárodného obchodu. Mali by zohľadňovať aj Európske vyhlásenie o digitálnych právach a zásadách v digitálnom desaťročí a etické usmernenia pre dôveryhodnú AI expertnej skupiny na vysokej úrovni pre umelú inteligenciu.

(8)

Na podporu rozvoja, využívania a zavádzania AI na vnútornom trhu je preto potrebný právny rámec Únie, ktorým sa stanovujú harmonizované pravidlá v oblasti AI a ktorý zároveň spĺňa vysokú úroveň ochrany verejných záujmov, ako sú zdravie a bezpečnosť, a ochrany základných práv vrátane ochrany demokracie, právneho štátu a životného prostredia, ako sú uznané a chránené právom Únie. Na dosiahnutie tohto cieľa by sa mali stanoviť pravidlá upravujúce uvádzanie určitých systémov AI na trh, do prevádzky a ich používanie, čím sa zabezpečí hladké fungovanie vnútorného trhu a umožní sa, aby tieto systémy využívali zásadu voľného pohybu tovaru a služieb. Tieto pravidlá by mali byť jasné a spoľahlivé pri ochrane základných práv, mali by podporovať nové inovačné riešenia, byť nápomocné európskemu ekosystému verejných a súkromných aktérov vytvárajúcich systémy AI v súlade s hodnotami Únie a mali by uvoľňovať potenciál digitálnej transformácie vo všetkých regiónoch Únie. Stanovením uvedených pravidiel, ako aj opatrení na podporu inovácie s osobitným dôrazom na malé a stredné podniky (ďalej len „MSP“) vrátane startupov v tomto nariadení sa podporí cieľ presadzovať európsky prístup k AI sústredený na človeka a stať sa svetovým lídrom v rozvoji bezpečnej, dôveryhodnej a etickej AI, ako to vyjadrila Európska rada (5), a zabezpečí sa ochrana etických zásad, ako to osobitne požaduje Európsky parlament (6).

(9)

Harmonizované pravidlá uplatniteľné na uvádzanie vysokorizikových systémov AI na trh, do prevádzky a na ich používanie by sa mali stanoviť v súlade s nariadením Európskeho parlamentu a Rady (ES) č. 765/2008 (7), rozhodnutím Európskeho parlamentu a Rady č. 768/2008/ES (8) a s nariadením Európskeho parlamentu a Rady (EÚ) 2019/1020 (9) (ďalej len „nový legislatívny rámec“). Harmonizované pravidlá stanovené v tomto nariadení by sa mali uplatňovať vo všetkých odvetviach a v súlade s novým legislatívnym rámcom by nimi nemali byť dotknuté existujúce právne predpisy Únie, najmä pokiaľ ide o ochranu údajov, ochranu spotrebiteľa, základné práva, zamestnanosť, ochranu pracovníkov a bezpečnosť výrobkov, ktoré sa týmto nariadením dopĺňajú. V dôsledku toho všetky práva a prostriedky nápravy stanovené takýmto právom Únie pre spotrebiteľov a iné osoby, na ktoré môžu mať systémy AI negatívny vplyv, a to aj pokiaľ ide o náhradu možných škôd podľa smernice Rady 85/374/EHS (10), zostávajú nedotknuté a plne uplatniteľné. Okrem toho by toto nariadenie v kontexte zamestnania a ochrany pracovníkov nemalo mať vplyv na právo Únie v oblasti sociálnej politiky a vnútroštátne pracovné právo, ktoré je v súlade s právom Únie, pokiaľ ide o podmienky zamestnávania a pracovné podmienky vrátane ochrany zdravia a bezpečnosti pri práci a vzťahu medzi zamestnávateľmi a pracovníkmi. Týmto nariadením by nemalo byť dotknuté ani vykonávanie základných práv uznaných v členských štátoch a na úrovni Únie vrátane práva na štrajk alebo slobody štrajkovať alebo prijímať iné opatrenia, na ktoré sa vzťahujú osobitné systémy odvetvových vzťahov v členských štátoch, ako aj práva rokovať o kolektívnych dohodách, uzatvárať a presadzovať ich alebo prijímať kolektívne opatrenia v súlade s vnútroštátnym právom. Týmto nariadením by nemali byť dotknuté ustanovenia zamerané na zlepšenie pracovných podmienok v oblasti práce pre platformy stanovené v smernici Európskeho parlamentu a Rady o zlepšení pracovných podmienok v oblasti práce pre platformy. Okrem toho je cieľom tohto nariadenia posilniť účinnosť takýchto existujúcich práv a prostriedkov nápravy stanovením osobitných požiadaviek a povinností, a to aj pokiaľ ide o transparentnosť, technickú dokumentáciu a vedenie záznamov o systémoch AI. Povinnosti uložené rôznym prevádzkovateľom zapojeným do hodnotového reťazca AI podľa tohto nariadenia by sa zároveň mali uplatňovať bez toho, aby bolo dotknuté vnútroštátne právo, ktoré je v súlade s právom Únie a ktorým sa obmedzuje používanie určitých systémov AI v prípadoch, keď takéto právo nepatrí do rozsahu pôsobnosti tohto nariadenia alebo sleduje iné legitímne ciele verejného záujmu, než sú ciele tohto nariadenia. Toto nariadenie by napríklad nemalo mať vplyv na vnútroštátne pracovné právo a právne predpisy o ochrane maloletých, teda osôb mladších ako 18 rokov, s prihliadnutím na všeobecnú poznámku č. 25 (2021) Dohovoru OSN o právach dieťaťa v súvislosti s digitálnym prostredím, pokiaľ sa osobitne netýkajú systémov AI a sú zamerané na iné legitímne ciele verejného záujmu.

(10)

Základné právo na ochranu osobných údajov je zaručené najmä nariadeniami Európskeho parlamentu a Rady (EÚ) 2016/679 (11) a (EÚ) 2018/1725 (12) a smernicou Európskeho parlamentu a Rady (EÚ) 2016/680 (13). Súkromný život a dôvernosť komunikácií dodatočne chráni smernica Európskeho parlamentu a Rady 2002/58/ES (14), okrem iného prostredníctvom stanovenia podmienok akéhokoľvek uchovávania osobných a iných ako osobných údajov, ktoré boli uložené v koncovom zariadení a ku ktorým sa pristupuje prostredníctvom tohto zariadenia. Uvedené legislatívne akty Únie vytvárajú základ udržateľného a zodpovedného spracúvania údajov vrátane prípadov, keď súbory údajov obsahujú kombináciu osobných a iných ako osobných údajov. Cieľom tohto nariadenia nie je ovplyvniť uplatňovanie existujúcich právnych predpisov Únie upravujúcich spracúvanie osobných údajov vrátane úloh a právomocí nezávislých dozorných orgánov zodpovedných za monitorovanie súladu s týmito nástrojmi. Nie sú ním dotknuté ani povinnosti poskytovateľov systémov AI a subjektov nasadzujúcich systémy AI v ich úlohe prevádzkovateľov alebo sprostredkovateľov vyplývajúce z práva Únie alebo vnútroštátneho práva o ochrane osobných údajov, pokiaľ dizajn, vývoj alebo používanie systémov AI zahŕňa spracúvanie osobných údajov. Takisto je vhodné objasniť, že dotknuté osoby naďalej požívajú všetky práva a záruky, ktoré im takéto právo Únie priznáva, vrátane práv súvisiacich s výlučne automatizovaným individuálnym rozhodovaním vrátane profilovania. Harmonizované pravidlá uvádzania na trh, uvádzania do prevádzky a používania systémov AI stanovené v tomto nariadení by mali uľahčiť účinné vykonávanie a umožniť uplatňovanie práv dotknutých osôb a iných prostriedkov nápravy zaručených právom Únie o ochrane osobných údajov a iných základných práv.

(11)

Týmto nariadením by nemali byť dotknuté ustanovenia o zodpovednosti poskytovateľov sprostredkovateľských služieb stanovené v nariadení Európskeho parlamentu a Rady (EÚ) 2022/2065 (15).

(12)

Pojem „systém AI“ v tomto nariadení by sa mal jasne vymedziť a mal by sa úzko zosúladiť s prácou medzinárodných organizácií, ktoré sa zaoberajú AI, s cieľom zabezpečiť právnu istotu, uľahčiť medzinárodné zbližovanie a širokú akceptáciu, a zároveň poskytnúť flexibilitu na prispôsobenie sa rýchlemu technologickému vývoju v tejto oblasti. Okrem toho by vymedzenie malo byť založené na kľúčových charakteristikách systémov AI, ktorými sa odlišuje od jednoduchších tradičných softvérových systémov alebo programovacích prístupov, a nemalo by sa vzťahovať na systémy, ktoré sú založené na pravidlách vymedzených výlučne fyzickými osobami na automatické vykonávanie operácií. Kľúčovou charakteristikou systémov AI je ich spôsobilosť odvodzovať. Táto spôsobilosť odvodzovať sa týka procesu získavania výstupov, ako sú predpovede, obsah, odporúčania alebo rozhodnutia, ktoré môžu ovplyvniť fyzické alebo virtuálne prostredie, a spôsobilosti systémov AI odvodzovať zo vstupov alebo údajov modely alebo algoritmy, alebo oboje. Techniky, ktoré umožňujú odvodzovať pri budovaní systému AI, zahŕňajú prístupy strojového učenia, ktoré sa z údajov učia, ako dosiahnuť určité ciele, a prístupy založené na logike a vedomostiach, ktoré odvodzujú riešenie úloh zo zakódovaných poznatkov alebo symbolického znázornenia. Schopnosť systému AI odvodzovať presahuje základné spracúvanie údajov tým, že umožňuje učenie sa, odôvodňovanie alebo modelovanie. Pojem „strojový“ sa vzťahuje na skutočnosť, že systémy AI fungujú na strojoch. Odkaz na explicitné alebo implicitné ciele zdôrazňuje, že systémy AI môžu fungovať podľa explicitných definovaných cieľov alebo podľa implicitných cieľov. Ciele systému AI sa môžu líšiť od zamýšľaného účelu systému AI v konkrétnom kontexte. Na účely tohto nariadenia by sa pod prostrediami mali rozumieť kontexty, v ktorých systémy AI fungujú, zatiaľ čo výstupy generované systémom AI odrážajú rôzne funkcie vykonávané systémami AI a zahŕňajú predpovede, obsah, odporúčania alebo rozhodnutia. Systémy AI sú dizajnované tak, aby fungovali s rôznymi úrovňami autonómnosti, čo znamená, že pri svojej činnosti majú určitý stupeň nezávislosti od ľudskej účasti a určitý stupeň spôsobilosti fungovať bez ľudského zásahu. Adaptabilita, ktorú by systém AI mohol preukázať po nasadení, sa týka samovzdelávacích spôsobilostí, vďaka ktorým sa môže systém zmeniť počas používania. Systémy AI sa môžu používať samostatne alebo ako komponent výrobku bez ohľadu na to, či je tento systém do výrobku fyzicky integrovaný (zabudovaný) alebo či slúži funkčnosti tohto výrobku bez toho, aby doň bol integrovaný (nezabudovaný).

(13)

Pojem „nasadzujúci subjekt“ uvedený v tomto nariadení by sa mal vykladať ako akákoľvek fyzická alebo právnická osoba vrátane orgánu verejnej moci, verejnej agentúry alebo iného verejného subjektu, ktorá systém AI používa v rámci svojej právomoci, s výnimkou systému AI používaného počas osobnej neprofesionálnej činnosti. V závislosti od typu systému AI môže mať používanie systému vplyv na iné osoby, než je nasadzujúci subjekt.

(14)

Pojem „biometrické údaje“ použitý v tomto nariadení by sa mal vykladať so zreteľom na pojem biometrické údaje v zmysle vymedzenia v článku 4 bode 14 nariadenia (EÚ) 2016/679, článku 3 bode 18 nariadenia (EÚ) 2018/1725 a článku 3 bode 13 smernice (EÚ) 2016/680. Biometrické údaje môžu umožniť autentifikáciu, identifikáciu alebo kategorizáciu fyzických osôb a rozpoznávanie emócií fyzických osôb.

(15)

Pojem „biometrická identifikácia“ uvedený v tomto nariadení by sa mal vymedziť ako automatické rozpoznávanie fyzických, fyziologických a behaviorálnych ľudských znakov, ako sú tvár, pohyb očí, tvar tela, hlas, reč, chôdza, držanie tela, srdcová frekvencia, tlak krvi, vôňa, dynamika písania na klávesnici, na účely stanovenia totožnosti jednotlivca porovnaním biometrických údajov daného jednotlivca s biometrickými údajmi jednotlivcov uloženými v referenčnej databáze, bez ohľadu na to, či jednotlivec udelil súhlas alebo nie. To nezahŕňa systémy AI určené na biometrické overenie zahŕňajúce autentifikáciu, ktorého jediným účelom je potvrdiť, že konkrétna fyzická osoba je tou osobou, o ktorej tvrdí, že ňou je, a potvrdiť totožnosť fyzickej osoby výlučne na účely prístupu k službe, odomknutia zariadenia alebo získania bezpečnostného prístupu do priestorov.

(16)

Pojem „biometrická kategorizácia“ uvedený v tomto nariadení by sa mal vymedziť ako zaradenie fyzických osôb do osobitných kategórií na základe ich biometrických údajov. Takéto špecifické kategórie sa môžu týkať aspektov ako pohlavie, vek, farba vlasov, farba očí, tetovania, behaviorálne alebo osobnostné črty, jazyk, náboženstvo, príslušnosť k národnostnej menšine, sexuálna alebo politická orientácia. Nezahŕňa to systémy biometrickej kategorizácie, ktoré sú čisto vedľajšou funkciou neoddeliteľne spojenou s inou komerčnou službou, čo znamená, že táto funkcia sa z objektívnych technických dôvodov nemôže používať bez hlavnej služby, a integrácia uvedenej funkcie alebo funkcionality nie je prostriedkom obchádzania uplatniteľnosti pravidiel tohto nariadenia. Napríklad filtre, ktoré kategorizujú tvárové alebo telesné znaky používané na online trhoch, by mohli predstavovať takúto vedľajšiu funkciu, keďže sa môžu použiť len v súvislosti s hlavnou službou, ktorá spočíva v predaji výrobku tým, že sa spotrebiteľovi umožní nahliadnuť do zobrazenia výrobku na sebe a pomôcť mu pri rozhodovaní o kúpe. Filtre používané pri online službách sociálnych sietí, ktoré kategorizujú tvárové alebo telesné znaky s cieľom umožniť používateľom pridávať alebo upravovať obrázky alebo videá, by sa takisto mohli považovať za vedľajšiu funkciu, keďže takýto filter nemožno použiť bez hlavnej služby sociálnej siete spočívajúcej v zdieľaní obsahu online.

(17)

Pojem „systém diaľkovej biometrickej identifikácie“ uvedený v tomto nariadení by sa mal vymedziť funkčne ako systém AI určený na identifikáciu fyzických osôb bez ich aktívneho zapojenia, zvyčajne na diaľku, porovnávaním biometrických údajov osoby s biometrickými údajmi obsiahnutými v referenčnej databáze, a to bez ohľadu na konkrétne použité technológie, procesy alebo typy biometrických údajov. Takéto systémy diaľkovej biometrickej identifikácie sa zvyčajne používajú na vnímanie viacerých osôb alebo ich správania súčasne, a to s cieľom výrazne uľahčiť identifikáciu fyzických osôb bez ich aktívneho zapojenia. To nezahŕňa systémy AI určené na biometrické overenie zahŕňajúce autentifikáciu, ktorého jediným účelom je potvrdiť, že konkrétna fyzická osoba je tou osobou, o ktorej tvrdí, že ňou je, a potvrdiť totožnosť fyzickej osoby výlučne na účely prístupu k službe, odomknutia zariadenia alebo získania bezpečnostného prístupu do priestorov. Toto vylúčenie je odôvodnené skutočnosťou, že takéto systémy majú pravdepodobne malý vplyv na základné práva fyzických osôb v porovnaní so systémami diaľkovej biometrickej identifikácie, ktoré sa môžu použiť na spracúvanie biometrických údajov veľkého počtu osôb bez ich aktívneho zapojenia. V prípade systémov „v reálnom čase“ prebieha zachytávanie biometrických údajov, ich porovnávanie a identifikácia okamžite, takmer okamžite alebo v každom prípade bez výrazného časového odstupu. V tejto súvislosti by nemal existovať priestor na obchádzanie pravidiel tohto nariadenia o používaní predmetných systémov AI „v reálnom čase“ tým, že sa zavedú malé časové odstupy. Systémy „v reálnom čase“ zahŕňajú používanie materiálu „naživo“ alebo „s malým časovým posunom“, ako sú napríklad videozáznamy, generovaného kamerou alebo iným zariadením s podobnými funkciami. Naopak, v prípade systémov „následnej“ identifikácie už boli biometrické údaje zachytené a porovnanie a identifikácia sa uskutočňujú až s výrazným časovým odstupom. Ide o materiály, ako sú fotografie alebo videozáznamy generované kamerami priemyselnej televízie alebo súkromnými zariadeniami, ktoré boli vytvorené pred použitím tohto systému vo vzťahu k dotknutým fyzickým osobám.

(18)

Pojem „systém na rozpoznávanie emócií“ uvedený v tomto nariadení by sa mal vymedziť ako systém AI na účely identifikácie alebo odvodenia emócií alebo úmyslov fyzických osôb na základe ich biometrických údajov. Tento pojem sa vzťahuje na emócie alebo úmysly, ako sú šťastie, smútok, hnev, prekvapenie, znechutenie, rozpaky, vzrušenie, hanba, pohŕdanie, spokojnosť a zábava. Nezahŕňa fyzické stavy, ako je bolesť alebo únava vrátane napríklad systémov používaných na zisťovanie stavu únavy profesionálnych pilotov alebo vodičov na účely prevencie nehôd. Nezahŕňa ani samotné zisťovanie ľahko viditeľných výrazov, gest alebo pohybov, pokiaľ sa nepoužívajú na identifikáciu alebo odvodenie emócií. Tieto výrazy môžu byť základnými výrazmi tváre, ako je zamračenie alebo úsmev, alebo gestami, ako je pohyb rúk, ramien alebo hlavy, alebo charakteristickými znakmi hlasu osoby, ako je zdvihnutý hlas alebo šepot.

(19)

Na účely tohto nariadenia by sa pojem „verejne prístupný priestor“ mal vykladať tak, že sa vzťahuje na akýkoľvek fyzický priestor, ktorý je prístupný neurčenému počtu fyzických osôb a bez ohľadu na to, či je daný priestor v súkromnom alebo verejnom vlastníctve, bez ohľadu na činnosť, na ktorú sa priestor môže používať, napríklad na obchodovanie, ako napríklad predajne, reštaurácie, kaviarne, pre služby, ako napríklad banky, profesionálne činnosti, ubytovanie a pohostinské služby, na šport, ako napríklad plavecké bazény, posilňovne, štadióny, pre dopravu, ako napríklad autobusové zastávky, stanice metra a železničné stanice, letiská, dopravné prostriedky, na zábavu, ako napríklad kiná, divadlá, múzeá, koncertné a konferenčné siene, alebo na voľný čas alebo iné činnosti, ako napríklad verejné cesty a námestia, parky, lesy, ihriská. Priestor by sa mal klasifikovať ako verejne prístupný vtedy, ak bez ohľadu na potenciálne kapacitné alebo bezpečnostné obmedzenia podlieha prístup určitým vopred určeným podmienkam, ktoré môže splniť neurčený počet osôb, ako je kúpa vstupenky alebo cestovného lístka, predchádzajúca registrácia alebo určitá veková hranica. Naopak, priestor by sa nemal považovať za verejne prístupný, ak je prístup naň obmedzený na konkrétne a vymedzené fyzické osoby buď prostredníctvom práva Únie alebo vnútroštátneho práva priamo súvisiaceho s verejnou bezpečnosťou alebo ochranou, alebo prostredníctvom jasného prejavu vôle osoby, ktorá má nad daným priestorom príslušné právomoci. Samotná faktická možnosť prístupu, ako napríklad nezamknuté dvere alebo otvorená brána v oplotení, neznamená, že priestor je verejne prístupný, ak existujú náznaky alebo okolnosti, ktoré naznačujú opak, napríklad označenia zakazujúce alebo obmedzujúce prístup. Priestory spoločností a tovární, ako aj kancelárie a pracoviská, ku ktorým majú prístup len príslušní zamestnanci a poskytovatelia služieb, sú priestory, ktoré nie sú verejne prístupné. Verejne prístupné priestory by nemali zahŕňať väznice ani hraničnú kontrolu. Niektoré ďalšie priestory môžu zahŕňať verejne prístupné aj neverejne prístupné priestory, ako napríklad vstupná hala súkromnej obytnej budovy potrebná na vstup do ordinácie lekára alebo letisko. Nezahŕňajú online priestory, pretože nejde o fyzické priestory. To, či je daný priestor prístupný verejnosti, by sa však malo určovať od prípadu k prípadu so zreteľom na osobitosti konkrétnej situácie.

(20)

S cieľom získať čo najväčšie výhody systémov AI a zároveň chrániť základné práva, zdravie a bezpečnosť a umožniť demokratickú kontrolu by gramotnosť v oblasti AI mala vybaviť poskytovateľov, nasadzujúce subjekty a dotknuté osoby znalosťami potrebnými na prijímanie informovaných rozhodnutí týkajúcich sa systémov AI. Tieto znalosti sa môžu líšiť, pokiaľ ide o príslušný kontext, a môžu zahŕňať pochopenie správneho uplatňovania technických prvkov počas fázy vývoja systému AI, opatrenia, ktoré sa majú uplatňovať počas jeho používania, vhodné spôsoby výkladu výstupu systému AI a v prípade dotknutých osôb znalosti potrebné na pochopenie toho, ako na ne budú mať rozhodnutia prijaté s pomocou AI vplyv. V kontexte uplatňovania tohto nariadenia by gramotnosť v oblasti AI mala všetkým relevantným aktérom v hodnotovom reťazci AI poskytnúť spoľahlivé poznatky potrebné na zabezpečenie primeraného súladu a jeho správneho presadzovania. Okrem toho by rozsiahle vykonávanie opatrení týkajúcich sa gramotnosti v oblasti AI a zavedenie vhodných následných opatrení mohlo prispieť k zlepšeniu pracovných podmienok a v konečnom dôsledku k zachovaniu konsolidácie a inovačnej cesty dôveryhodnej AI v Únii. Európska rada pre umelú inteligenciu (ďalej len „rada pre AI“) by mala podporovať Komisiu pri presadzovaní gramotnosti v oblasti AI, informovanosti verejnosti a chápaní prínosov, rizík, záruk, práv a povinností v súvislosti s používaním systémov AI. V spolupráci s relevantnými zainteresovanými stranami by Komisia a členské štáty mali uľahčiť vypracovanie dobrovoľných kódexov správania na podporu gramotnosti v oblasti AI medzi osobami, ktoré sa zaoberajú vývojom, prevádzkou a používaním AI.

(21)

S cieľom zabezpečiť rovnaké podmienky a účinnú ochranu práv a slobôd fyzických osôb v celej Únii by sa pravidlá stanovené v tomto nariadení mali uplatňovať na poskytovateľov systémov AI nediskriminačným spôsobom bez ohľadu na to, či sú usadení v Únii alebo v tretej krajine, a na subjekty nasadzujúce systémy AI usadené v Únii.

(22)

Určité systémy AI by vzhľadom na svoju digitálnu povahu mali patriť do rozsahu pôsobnosti tohto nariadenia, aj keď sa v Únii neuvádzajú na trh ani do prevádzky, ani sa v nej nepoužívajú. Ide napríklad o prevádzkovateľa usadeného v Únii, ktorý zmluvne zadáva určité služby prevádzkovateľovi usadenému v tretej krajine v súvislosti s činnosťou vykonávanou systémom AI, ktorý by mohol byť označený ako vysokorizikový. Za týchto okolností by systém AI, ktorý používa prevádzkovateľ v tretej krajine, mohol spracúvať údaje zákonne zozbierané v Únii a prenášané z Únie a poskytovať zadávajúcemu prevádzkovateľovi v Únii výstup uvedeného systému AI vyplývajúci z tohto spracúvania bez toho, aby sa uvedený systém AI uvádzal na trh, do prevádzky alebo sa používal v Únii. S cieľom zabrániť obchádzaniu tohto nariadenia a zabezpečiť účinnú ochranu fyzických osôb nachádzajúcich sa v Únii by sa toto nariadenie malo vzťahovať aj na poskytovateľov systémov AI a subjekty nasadzujúce systémy AI, ktoré sú usadené v tretej krajine, a to v rozsahu, v akom je výstup generovaný týmito systémami určený na používanie v Únii. S cieľom zohľadniť existujúce dojednania a osobitné potreby budúcej spolupráce so zahraničnými partnermi, s ktorými sa vymieňajú informácie a dôkazy, by sa však toto nariadenie nemalo vzťahovať na orgány verejnej moci tretej krajiny a medzinárodné organizácie, ak konajú v rámci spolupráce alebo medzinárodných dohôd uzavretých na únijnej alebo vnútroštátnej úrovni v oblasti presadzovania práva a justičnej spolupráce s Úniou alebo členskými štátmi, pod podmienkou, že príslušná tretia krajina alebo medzinárodná organizácia poskytuje primerané záruky týkajúce sa ochrany základných práv a slobôd jednotlivcov. V relevantných prípadoch sa to môže vzťahovať na činnosti subjektov, ktoré tretie krajiny poverili vykonávaním osobitných úloh na podporu takejto spolupráce v oblasti presadzovania práva a justičnej spolupráce. Takéto rámce spolupráce alebo dohody boli zriadené dvojstranne medzi členskými štátmi a tretími krajinami alebo medzi Európskou úniou, Europolom a inými agentúrami Únie a tretími krajinami a medzinárodnými organizáciami. Orgány zodpovedné za dohľad nad orgánmi presadzovania práva a justičnými orgánmi podľa tohto nariadenia by mali posúdiť, či tieto rámce spolupráce alebo medzinárodné dohody obsahujú primerané záruky, pokiaľ ide o ochranu základných práv a slobôd jednotlivcov. Prijímajúce vnútroštátne orgány a prijímajúce inštitúcie, orgány, úrady a agentúry Únie využívajúce takéto výstupy v Únii zostávajú zodpovedné za zabezpečenie súladu ich využívania s právom Únie. Pri revízii uvedených medzinárodných dohôd alebo uzatváraní nových dohôd v budúcnosti by zmluvné strany mali vynaložiť maximálne úsilie na zosúladenie týchto dohôd s požiadavkami tohto nariadenia.

(23)

Toto nariadenie by sa malo vzťahovať aj na inštitúcie, orgány, úrady a agentúry Únie, ak konajú ako poskytovateľ systému AI alebo subjekt nasadzujúci systém AI.

(24)

V rozsahu, v akom sa systémy AI uvádzajú na trh, uvádzajú do prevádzky alebo s úpravami alebo bez nich používajú na vojenské alebo obranné účely alebo na účely národnej bezpečnosti, by takéto systémy mali byť vylúčené z rozsahu pôsobnosti tohto nariadenia bez ohľadu na to, ktorý typ subjektu vykonáva uvedené činnosti, napríklad či ide o verejný alebo súkromný subjekt. Pokiaľ ide o vojenské a obranné účely, takéto vylúčenie je odôvodnené článkom 4 ods. 2 Zmluvy o EÚ, ako aj osobitosťami obrannej politiky členských štátov a spoločnej obrannej politiky Únie, na ktoré sa vzťahuje hlava V kapitola 2 Zmluvy o EÚ a ktoré podliehajú medzinárodnému právu verejnému, ktoré je preto vhodnejším právnym rámcom na reguláciu systémov AI v kontexte používania smrtiacej sily a iných systémov AI v kontexte vojenských a obranných činností. Pokiaľ ide o účely národnej bezpečnosti, vylúčenie je odôvodnené skutočnosťou, že národná bezpečnosť zostáva výlučnou zodpovednosťou členských štátov v súlade s článkom 4 ods. 2 Zmluvy o EÚ, ako aj osobitnou povahou a operačnými potrebami činností v oblasti národnej bezpečnosti a osobitnými vnútroštátnymi pravidlami uplatniteľnými na tieto činnosti. Ak sa však systém AI, ktorý je vyvinutý, uvedený na trh, uvedený do prevádzky alebo používaný na vojenské alebo obranné účely alebo na účely národnej bezpečnosti, používa dočasne alebo trvalo na iné účely, napríklad na civilné alebo humanitárne účely, účely presadzovania práva alebo verejnej bezpečnosti, takýto systém by patril do rozsahu pôsobnosti tohto nariadenia. V takom prípade by subjekt, ktorý používa systém AI na iné ako vojenské alebo obranné účely alebo na účely národnej bezpečnosti, mal zabezpečiť súlad systému AI s týmto nariadením, pokiaľ systém už s ním nie je v súlade. Systémy AI uvedené na trh alebo do prevádzky na účely vylúčené z pôsobnosti, konkrétne vojenské alebo obranné účely alebo účely národnej bezpečnosti, a jeden alebo viacero účelov nevylúčených z pôsobnosti, napríklad civilné účely alebo presadzovanie práva atď., patria do rozsahu pôsobnosti tohto nariadenia a poskytovatelia týchto systémov by mali zabezpečiť ich súlad s týmto nariadením. V takýchto prípadoch by skutočnosť, že systém AI môže patriť do rozsahu pôsobnosti tohto nariadenia, nemala mať vplyv na možnosť subjektov vykonávajúcich činnosti v oblasti národnej bezpečnosti, obrany a vojenské činnosti, a to bez ohľadu na typ subjektu vykonávajúceho uvedené činnosti, používať systémy AI na účely národnej bezpečnosti, na vojenské a obranné účely, ktoré sú vylúčené z rozsahu pôsobnosti tohto nariadenia. Systém AI uvedený na trh na civilné účely alebo na účely presadzovania práva, ktorý sa s úpravami alebo bez nich používa na vojenské alebo obranné účely alebo na účely národnej bezpečnosti, by nemal patriť do rozsahu pôsobnosti tohto nariadenia bez ohľadu na typ subjektu vykonávajúceho tieto činnosti.

(25)

Toto nariadenie by malo podporovať inováciu, malo by rešpektovať slobodu vedy a nemalo by oslabovať výskumnú a vývojovú činnosť. Preto je potrebné vylúčiť z jeho pôsobnosti systémy a modely AI osobitne vyvinuté a uvedené do prevádzky výlučne na účely vedeckého výskumu a vývoja. Navyše je potrebné zabezpečiť, aby toto nariadenie iným spôsobom neovplyvňovalo vedeckú, výskumnú a vývojovú činnosť týkajúcu sa systémov alebo modelov AI pred ich uvedením na trh alebo do prevádzky. Pokiaľ ide o výskumnú, testovaciu a vývojovú činnosť zameranú na výrobky v oblasti systémov alebo modelov AI, ustanovenia tohto nariadenia by sa taktiež nemali uplatňovať pred uvedením týchto systémov a modelov do prevádzky alebo pred ich uvedením na trh. Týmto vylúčením nie je dotknutá povinnosť dodržiavať toto nariadenie, keď sa systém AI patriaci do rozsahu pôsobnosti tohto nariadenia uvádza na trh alebo do prevádzky ako výsledok takejto výskumnej a vývojovej činnosti, ani uplatňovanie ustanovení o regulačných experimentálnych prostrediach pre AI a testovaní v reálnych podmienkach. Navyše, bez toho, aby bolo dotknuté vylúčenie systémov AI osobitne vyvinutých a uvedených do prevádzky výlučne na účely vedeckého výskumu a vývoja, akýkoľvek iný systém AI, ktorý sa môže používať na vykonávanie akejkoľvek výskumnej a vývojovej činnosti, by mal naďalej podliehať ustanoveniam tohto nariadenia. Každá výskumná a vývojová činnosť by sa v každom prípade mala vykonávať v súlade s uznávanými etickými a profesijnými normami pre vedecký výskum, ako aj v súlade s uplatniteľným právom Únie.

(26)

Na účely zavedenia primeraného a účinného súboru záväzných pravidiel pre systémy AI by sa mal dodržiavať jasne vymedzený prístup založený na riziku. Týmto prístupom by sa mal typ a obsah takýchto pravidiel prispôsobiť intenzite a rozsahu rizík, ktoré môžu systémy AI vytvárať. Preto je potrebné zakázať určité neakceptovateľné praktiky využívajúce AI, stanoviť požiadavky na vysokorizikové systémy AI a povinnosti príslušných prevádzkovateľov, ako aj stanoviť povinnosti transparentnosti pre určité systémy AI.

(27)

Hoci je prístup založený na riziku základom pre primeraný a účinný súbor záväzných pravidiel, je dôležité pripomenúť etické usmernenia pre dôveryhodnú AI z roku 2019, ktoré vypracovala nezávislá expertná skupina na vysokej úrovni pre umelú inteligenciu vymenovaná Komisiou. V týchto usmerneniach expertná skupina na vysokej úrovni pre umelú inteligenciu stanovila sedem nezáväzných etických zásad pre AI, ktorých účelom je pomôcť zabezpečiť, aby bola AI dôveryhodná a etická. Uvedenými siedmimi zásadami sú ľudský faktor a dohľad; technická spoľahlivosť a bezpečnosť; súkromie a správa údajov; transparentnosť; rozmanitosť, nediskriminácia a spravodlivosť; spoločenský a environmentálny blahobyt a zodpovednosť. Bez toho, aby boli dotknuté právne záväzné požiadavky tohto nariadenia a akéhokoľvek iného uplatniteľného práva Únie, tieto usmernenia prispievajú k dizajnu súdržnej, dôveryhodnej a na človeka sústredenej AI v súlade s chartou a hodnotami, na ktorých je Únia založená. Podľa usmernení expertnej skupiny na vysokej úrovni pre umelú inteligenciu „ľudský faktor a dohľad“ znamená, že systémy AI sa vyvíjajú a používajú ako nástroj, ktorý slúži ľuďom, rešpektuje ľudskú dôstojnosť a osobnú samostatnosť a funguje spôsobom umožňujúcim primeranú kontrolu a dohľad človekom. „Technická spoľahlivosť a bezpečnosť“ znamená, že systémy AI sa vyvíjajú a používajú tak, aby sa umožnila spoľahlivosť v prípade problémov a odolnosť voči pokusom o zmenu použitia alebo výkonu systému AI na účely nezákonného používania tretími stranami a aby sa minimalizovala nechcená ujma. „Súkromie a správa údajov“ znamená, že systémy AI sa vyvíjajú a používajú v súlade s pravidlami ochrany súkromia a údajov pri súčasnom spracúvaní údajov podľa vysokých noriem kvality a integrity. „Transparentnosť“ znamená, že systémy AI sa vyvíjajú a používajú tak, aby umožňovali náležitú vysledovateľnosť a vysvetliteľnosť, pričom upozorňujú ľudí na to, že komunikujú a interagujú so systémom AI, a zároveň náležite informujú subjekty nasadzujúce systém AI o spôsobilostiach a obmedzeniach daného systému a dotknuté osoby o ich právach. „Rozmanitosť, nediskriminácia a spravodlivosť“ znamená, že systémy AI sa vyvíjajú a používajú tak, aby zapájali rôznych aktérov, podporovali rovnosť prístupu, rodovú rovnosť a kultúrnu rozmanitosť a zároveň predchádzali diskriminačným vplyvom a nespravodlivej zaujatosti, ktoré právo Únie a vnútroštátne právo zakazuje. „Spoločenský a environmentálny blahobyt“ znamená, že systémy AI sa vyvíjajú a používajú udržateľným spôsobom priaznivým pre životného prostredie, ako aj v prospech všetkých ľudí, pričom sa monitoruje a posudzuje dlhodobý vplyv na jednotlivca, spoločnosť a demokraciu. Uplatňovanie týchto zásad by sa malo podľa možnosti premietnuť do dizajnu a používania modelov AI. V každom prípade by mali slúžiť ako základ pre vypracovanie kódexov správania podľa tohto nariadenia. Všetky zainteresované strany vrátane priemyselných odvetví, akademickej obce, občianskej spoločnosti a normalizačných organizácií sa vyzývajú, aby tieto etické zásady podľa potreby zohľadnili pri vypracúvaní dobrovoľných najlepších postupov a noriem.

(28)

Hoci využívanie AI prináša mnoho výhod, možno ju zneužiť a môže sa stať zdrojom nových a výkonných nástrojov umožňujúcich manipulatívne a zneužívajúce praktiky a praktiky ovládania spoločnosti. Takéto praktiky sú mimoriadne škodlivé a zneužívajúce a mali by sa zakázať, pretože sú v rozpore s hodnotami Únie týkajúcimi sa rešpektovania ľudskej dôstojnosti, slobody, rovnosti, demokracie a právneho štátu a základných práv ukotvených v charte vrátane práva na nediskrimináciu, ochranu údajov a súkromia a práv dieťaťa.

(29)

Manipulatívne techniky, ktoré umožňuje AI, sa môžu použiť na presviedčanie osôb, aby sa správali neželaným spôsobom, alebo na ich zavádzanie nabádaním na rozhodnutia spôsobom, ktorý narúša a oslabuje ich samostatnosť, rozhodovacie schopnosti a slobodnú voľbu. Uvádzanie na trh, uvádzanie do prevádzky alebo používanie určitých systémov AI, ktorých cieľom alebo účinkom je podstatné narušenie ľudského správania, pri ktorom je pravdepodobné, že dôjde k značnej ujme, najmä dostatočne závažným nepriaznivým vplyvom na fyzické zdravie, psychické zdravie alebo finančné záujmy, je obzvlášť nebezpečné a malo by sa preto zakázať. Takéto systémy AI využívajú podprahové komponenty, ako sú zvukové a obrazové podnety alebo videopodnety, ktoré osoby nemôžu vnímať, keďže tieto podnety sú mimo ľudského vnímania, alebo iné manipulatívne alebo klamlivé techniky, ktoré narúšajú alebo oslabujú samostatnosť, rozhodovacie schopnosti alebo slobodnú voľbu osôb takým spôsobom, že si ľudia tieto techniky neuvedomujú, alebo ak si ich uvedomujú, napriek tomu môžu byť zavádzaní alebo nie sú schopní ich ovládať alebo im odolávať. To by sa mohlo uľahčiť napríklad rozhraniami medzi strojom a mozgom alebo virtuálnou realitou, pretože umožňujú vyšší stupeň kontroly toho, akým stimulom sú osoby vystavené, pokiaľ môžu výrazne škodlivým a podstatným spôsobom narušiť ich správanie. Systémy AI môžu okrem toho aj iným spôsobom zneužívať zraniteľnosti osôb alebo osobitných skupín osôb z dôvodu ich veku, zdravotného postihnutia v zmysle smernice Európskeho parlamentu a Rady (EÚ) 2019/882 (16) alebo osobitnej sociálnej alebo ekonomickej situácie, v dôsledku čoho môžu byť tieto osoby zraniteľnejšie voči zneužívaniu, ako napríklad osoby žijúce v extrémnej chudobe, etnické alebo náboženské menšiny. Takéto systémy AI sa môžu uvádzať na trh, uvádzať do prevádzky alebo používať s cieľom alebo účinkom podstatného narušenia správania osoby spôsobom, ktorý spôsobuje alebo pri ktorom je odôvodnené predpokladať, že spôsobí značnú ujmu tejto alebo inej osobe alebo skupinám osôb vrátane škôd, ktoré sa môžu časom kumulovať, a preto by sa mali zakázať. Môže sa stať, že úmysel narušiť správanie nie je možné predpokladať, ak narušenie vyplýva z faktorov mimo systému AI, ktoré nie sú pod kontrolou poskytovateľa alebo nasadzujúceho subjektu, konkrétne faktorov, ktoré poskytovateľ systému AI alebo subjekt nasadzujúci systém AI nemôže odôvodnene predvídať, a teda zmierňovať. V každom prípade nie je potrebné, aby poskytovateľ alebo subjekt nasadzujúci systém AI mal úmysel spôsobiť značnú ujmu, pokiaľ takáto ujma vyplýva z manipulatívnych alebo zneužívajúcich praktík využívajúcich AI. Zákazmi takýchto praktík využívajúcich AI sa dopĺňajú ustanovenia smernice Európskeho parlamentu a Rady 2005/29/ES (17), najmä to, že nekalé obchodné praktiky vedúce k hospodárskej alebo finančnej ujme pre spotrebiteľov sú zakázané za každých okolností bez ohľadu na to, či sú zavedené prostredníctvom systémov AI alebo inak. Zákazmi manipulatívnych a zneužívajúcich praktík v tomto nariadení by nemali byť dotknuté zákonné postupy v súvislosti s liečbou, ako je psychologická liečba duševnej choroby alebo fyzická rehabilitácia, ak sa tieto praktiky vykonávajú v súlade s platnými lekárskymi normami a právnymi predpismi, napríklad výslovný súhlas fyzických osôb alebo ich právnych zástupcov. Okrem toho by sa bežné a legitímne obchodné praktiky, napríklad v oblasti reklamy, ktoré sú v súlade s uplatniteľným právom, nemali samy osebe považovať za škodlivé manipulatívne praktiky využívajúce AI.

(30)

Mali by sa zakázať systémy biometrickej kategorizácie založené na biometrických údajoch fyzických osôb, ako je tvár alebo odtlačky prstov, s cieľom alebo odvodiť politické názory osôb, členstvo v odboroch, náboženské alebo filozofické presvedčenie, rasu, sexuálny život alebo sexuálnu orientáciu. Tento zákaz by sa nemal vzťahovať na zákonné označovanie, filtrovanie alebo kategorizáciu súborov biometrických údajov získaných v súlade s právom Únie alebo vnútroštátnym právom v oblasti biometrických údajov, ako je triedenie obrázkov podľa farby vlasov alebo farby očí, ktoré možno použiť napríklad v oblasti presadzovania práva.

(31)

Systémy AI na sociálne bodovanie fyzických osôb používané orgánmi verejnej moci alebo súkromnými aktérmi môžu viesť k diskriminačným výsledkom a vylúčeniu určitých skupín. Môžu porušovať právo na dôstojnosť a nediskrimináciu a hodnoty rovnosti a spravodlivosti. Takéto systémy AI hodnotia alebo klasifikujú fyzické osoby alebo skupiny fyzických osôb na základe viacerých dátových bodov týkajúcich sa ich spoločenského správania vo viacerých kontextoch alebo známych, odvodených či predpokladaných osobných alebo osobnostných charakteristík za určité časové obdobia. Sociálne skóre získané na základe takýchto systémov AI môže viesť k škodlivému alebo nepriaznivému zaobchádzaniu s fyzickými osobami alebo celými skupinami takýchto osôb v sociálnych kontextoch nesúvisiacich s kontextom, v ktorom boli údaje pôvodne vygenerované alebo zhromaždené, prípadne k poškodzujúcemu zaobchádzaniu, ktoré je neprimerané alebo neodôvodnené vzhľadom na závažnosť ich spoločenského správania. Systémy AI, ktoré zahŕňajú takéto neprijateľné bodovacie praktiky a vedú k takýmto škodlivým alebo nepriaznivým výsledkom, by sa preto mali zakázať. Tento zákaz by nemal mať vplyv na zákonné postupy hodnotenia fyzických osôb vykonávané na špecifické účely v súlade s právom Únie a vnútroštátnym právom.

(32)

Používanie systémov AI na diaľkovú biometrickú identifikáciu fyzických osôb „v reálnom čase“ vo verejne prístupných priestoroch na účely presadzovania práva sa považuje za obzvlášť rušivý zásah do práv a slobôd dotknutých osôb, keďže môže ovplyvniť súkromie veľkej časti obyvateľstva, vyvoláva pocit neustáleho sledovania a nepriamo odrádza od využívania slobody zhromažďovania a iných základných práv. Technické nepresnosti systémov AI určených na diaľkovú biometrickú identifikáciu fyzických osôb môžu viesť ku skresleným výsledkom a mať diskriminačné účinky. Takéto možné skreslené výsledky a diskriminačné účinky sú obzvlášť relevantné z hľadiska veku, etnickej príslušnosti, rasy, pohlavia alebo zdravotného postihnutia. Okrem toho, bezprostrednosť vplyvu a obmedzené možnosti ďalších kontrol alebo opráv v súvislosti s používaním takýchto systémov fungujúcich „v reálnom čase“ so sebou prinášajú zvýšené riziká z hľadiska práv a slobôd dotknutých osôb v súvislosti s činnosťami presadzovania práva alebo v ich dôsledku.

(33)

Používanie týchto systémov na účely presadzovania práva by sa preto malo zakázať s výnimkou taxatívne vymenovaných a úzko vymedzených situácií, keď je toto použitie nevyhnutne potrebné na dosiahnutie významného verejného záujmu, ktorého význam prevažuje nad rizikami. Tieto situácie zahŕňajú pátranie po určitých obetiach trestných činov vrátane nezvestných osôb; určité ohrozenie života alebo fyzickej bezpečnosti fyzických osôb alebo hrozby teroristického útoku; a lokalizáciu alebo identifikáciu páchateľov trestných činov uvedených v prílohe k tomuto nariadeniu alebo osôb podozrivých zo spáchania týchto trestných činov, ak za tieto trestné činy možno v dotknutom členskom štáte uložiť trest odňatia slobody alebo ochranné opatrenie spojené s obmedzením osobnej slobody s hornou hranicou trestnej sadzby najmenej štyri roky a podľa ich vymedzenia v práve tohto členského štátu. Takáto hranica trestu odňatia slobody alebo ochranného opatrenia spojeného s obmedzením osobnej slobody v súlade s vnútroštátnym právom prispieva k zabezpečeniu toho, že daný trestný čin bude dostatočne závažný na to, aby sa ním dalo potenciálne odôvodniť použitie systémov diaľkovej biometrickej identifikácie „v reálnom čase“. Okrem toho zoznam trestných činov uvedený v prílohe k tomuto nariadeniu vychádza z 32 trestných činov uvedených v rámcovom rozhodnutí Rady 2002/584/SVV (18), pričom sa zohľadňuje skutočnosť, že niektoré z uvedených trestných činov sú v praxi pravdepodobne relevantnejšie ako iné v tom zmysle, že nevyhnutnosť a primeranosť použitia diaľkovej biometrickej identifikácie „v reálnom čase“ by mohli byť pravdepodobne veľmi rôznorodé jednak z hľadiska praktického vykonávania lokalizácie alebo identifikácie páchateľa jednotlivých uvedených trestných činov alebo osôb podozrivých z ich spáchania a jednak vzhľadom na pravdepodobné rozdiely v závažnosti, pravdepodobnosti a rozsahu spôsobenej ujmy alebo možných negatívnych dôsledkov. Bezprostredné ohrozenie života alebo fyzickej bezpečnosti fyzických osôb by mohlo vyplývať aj zo závažného narušenia kritickej infraštruktúry v zmysle vymedzenia uvedeného v článku 2 bode 4 smernice Európskeho parlamentu a Rady (EÚ) 2022/2557 (19), ak by narušenie alebo zničenie takejto kritickej infraštruktúry viedlo k bezprostrednému ohrozeniu života alebo fyzickej bezpečnosti osoby, a to aj v dôsledku vážnej ujmy na poskytovaní základných dodávok pre obyvateľstvo alebo výkone základných funkcií štátu. Okrem toho by sa týmto nariadením mala zachovať možnosť orgánov presadzovania práva, kontroly hraníc, imigračných alebo azylových orgánov vykonávať kontroly totožnosti v prítomnosti dotknutej osoby v súlade s podmienkami stanovenými v práve Únie a vo vnútroštátnom práve pre takéto kontroly. Orgány presadzovania práva, kontroly hraníc, imigračné alebo azylové orgány by konkrétne mali mať možnosť využívať informačné systémy v súlade s právom Únie alebo vnútroštátnym právom na identifikáciu osôb, ktoré sa počas kontroly totožnosti buď odmietnu identifikovať, alebo nie sú schopné uviesť alebo preukázať svoju totožnosť, a to bez toho, aby sa podľa tohto nariadenia vyžadovalo získanie povolenia vopred. Môže ísť napríklad o osobu zapojenú do trestného činu, ktorá nie je ochotná alebo z dôvodu úrazu alebo zdravotného stavu nie je schopná uviesť svoju totožnosť orgánom presadzovania práva.

(34)

S cieľom zabezpečiť, aby sa tieto systémy používali zodpovedným a primeraným spôsobom, je tiež dôležité stanoviť, že v každej z týchto taxatívne vymenovaných a úzko vymedzených situácií by sa mali zohľadniť určité prvky, najmä pokiaľ ide o povahu situácie, ktorá viedla k predloženiu žiadosti, o dôsledky využívania týchto systémov na práva a slobody všetkých dotknutých osôb a o záruky a podmienky zabezpečené pri tomto používaní. Okrem toho by sa používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva malo nasadzovať len na potvrdenie totožnosti špecificky zacieleného jednotlivca a malo by sa obmedziť na to, čo je nevyhnutne potrebné, pokiaľ ide o časové obdobie, ako aj geografický a osobný rozsah, najmä so zreteľom na dôkazy alebo indície týkajúce sa hrozieb, obetí alebo páchateľa. Používanie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch by sa malo povoliť len vtedy, ak príslušný orgán presadzovania práva ukončil posúdenie vplyvu na základné práva a, pokiaľ sa v tomto nariadení nestanovuje inak, zaregistroval systém v databáze, ako sa stanovuje v tomto nariadení. Referenčná databáza osôb by mala byť vhodná pre každý prípad použitia v každej z uvedených situácií.

(35)

Každé použitie systému diaľkovej biometrickej identifikácie „v reálnom čase“ vo verejne prístupných priestoroch na účely presadzovania práva by malo podliehať výslovnému a osobitnému povoleniu justičného orgánu alebo nezávislého správneho orgánu členského štátu, ktorého rozhodnutie je záväzné. Takéto povolenie by sa v zásade malo získať pred použitím systému AI s cieľom identifikovať osobu alebo osoby. Výnimky z tohto pravidla by mali byť povolené v riadne odôvodnených naliehavých situáciách, teda v situáciách, v ktorých je natoľko potrebné použiť predmetné systémy, že je naozaj objektívne nemožné získať povolenie pred začatím použitia systému AI. V takýchto naliehavých situáciách by sa používanie systému AI malo obmedziť na absolútne nevyhnutné minimum a malo by podliehať primeraným zárukám a podmienkam stanoveným vo vnútroštátnom práve a špecifikovaným v kontexte každého jednotlivého naliehavého prípadu použitia samotným orgánom presadzovania práva. Okrem toho by orgán presadzovania práva mal v takýchto situáciách požiadať o takéto povolenie a zároveň uviesť dôvody, prečo oň nemohol požiadať skôr, a to bez zbytočného odkladu a najneskôr do 24 hodín. Ak sa takéto povolenie zamietne, používanie systémov biometrickej identifikácie v reálnom čase spojených s daným povolením by sa malo s okamžitou účinnosťou ukončiť a všetky údaje súvisiace s takýmto použitím by sa mali zlikvidovať a vymazať. Takéto údaje zahŕňajú vstupné údaje priamo získané systémom AI v priebehu používania takéhoto systému, ako aj výsledky a výstupy používania spojeného s daným povolením. Nemalo by zahŕňať vstupy, ktoré sú zákonne získané v súlade s iným právom Únie alebo vnútroštátnym právom. V každom prípade, žiadne rozhodnutie, ktoré má nepriaznivé právne účinky na osobu, by sa nemalo prijať výlučne na základe výstupu systému diaľkovej biometrickej identifikácie.

(36)

S cieľom vykonávať svoje úlohy v súlade s požiadavkami stanovenými v tomto nariadení, ako aj vo vnútroštátnych predpisoch by mal byť o každom použití systému biometrickej identifikácie v reálnom čase informovaný príslušný orgán dohľadu nad trhom a vnútroštátny orgán pre ochranu údajov. Orgány dohľadu nad trhom a vnútroštátne orgány pre ochranu údajov, ktoré boli informované, by mali Komisii predkladať výročnú správu o používaní systémov biometrickej identifikácie v reálnom čase.

(37)

Navyše je vhodné v rámci podrobne opísanom týmto nariadením stanoviť, že takéto použitie na území členského štátu v súlade s týmto nariadením by malo byť možné len vtedy a do takej miery, do akej sa dotknutý členský štát rozhodol výslovne stanoviť možnosť povoliť toto použitie vo svojich podrobných pravidlách vnútroštátneho práva. V dôsledku toho sa členské štáty môžu podľa tohto nariadenia naďalej na základe vlastného uváženia rozhodnúť, že takúto možnosť vôbec nestanovia alebo ju stanovia len v súvislosti s niektorými z cieľov, ktorými možno odôvodniť povolené použitie určené v tomto nariadení. Takéto vnútroštátne pravidlá by sa mali oznámiť Komisii do 30 dní od ich prijatia.

(38)

Používanie systémov AI na diaľkovú biometrickú identifikáciu fyzických osôb v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva nevyhnutne zahŕňa spracúvanie biometrických údajov. Pravidlá tohto nariadenia, ktorými sa s výhradou určitých výnimiek takéto používanie zakazuje a ktoré sú založené na článku 16 ZFEÚ, by sa mali uplatňovať ako lex specialis, pokiaľ ide o pravidlá spracúvania biometrických údajov uvedené v článku 10 smernice (EÚ) 2016/680, čím by sa takéto používanie a spracúvanie príslušných biometrických údajov upravovalo vyčerpávajúcim spôsobom. Takéto používanie a spracúvanie by preto malo byť možné, len pokiaľ je zlučiteľné s rámcom stanoveným v tomto nariadení, a mimo tohto rámca by nemal existovať priestor na to, aby príslušné orgány, ak konajú na účely presadzovania práva, používali takéto systémy a spracúvali takéto údaje v súvislosti s týmto použitím z dôvodov uvedených v článku 10 smernice (EÚ) 2016/680. V tejto súvislosti nie je cieľom tohto nariadenia poskytnúť právny základ pre spracúvanie osobných údajov podľa článku 8 smernice (EÚ) 2016/680. Na používanie systémov na diaľkovú biometrickú identifikáciu v reálnom čase vo verejne prístupných priestoroch na iné účely ako na presadzovanie práva, a to aj príslušnými orgánmi, by sa však nemal vzťahovať osobitný rámec týkajúci sa takéhoto použitia na účely presadzovania práva stanovený v tomto nariadení. Takéto použitie na iné účely ako na presadzovanie práva by preto nemalo podliehať požiadavke povolenia podľa tohto nariadenia a uplatniteľných podrobných pravidiel vnútroštátneho práva, na základe ktorých sa toto povolenie môže vykonávať.

(39)

Každé spracúvanie biometrických údajov a iných osobných údajov súvisiace s používaním systémov AI na biometrickú identifikáciu, okrem spracúvania v súvislosti s používaním systémov na diaľkovú biometrickú identifikáciu fyzických osôb „v reálnom čase“ vo verejne prístupných priestoroch na účely presadzovania práva, ako sa stanovuje v tomto nariadení, by malo naďalej spĺňať všetky požiadavky vyplývajúce z článku 10 smernice (EÚ) 2016/680. Pokiaľ ide o iné účely ako presadzovanie práva, v článku 9 ods. 1 nariadenia (EÚ) 2016/679 a v článku 10 ods. 1 nariadenia (EÚ) 2018/1725 zakazuje spracúvanie biometrických údajov s výhradou obmedzených výnimiek stanovených v uvedených článkoch. Používanie diaľkovej biometrickej identifikácie na iné účely ako na účely presadzovania práva už podliehalo rozhodnutiam vnútroštátnych orgánov pre ochranu údajov o zákaze v kontexte uplatňovania článku 9 ods. 1 nariadenia (EÚ) 2016/679.

(40)

V súlade s článkom 6a Protokolu č. 21 o postavení Spojeného kráľovstva a Írska s ohľadom na priestor slobody, bezpečnosti a spravodlivosti, ktorý je pripojený k Zmluve o EÚ a ZFEÚ, nie je Írsko viazané pravidlami stanovenými v článku 5 ods. 1 prvom pododseku písm. g) v rozsahu, v akom sa uplatňuje na použitie systémov biometrickej kategorizácie pri činnostiach v oblasti policajnej spolupráce a justičnej spolupráce v trestných veciach, v článku 5 ods. 1 prvom pododseku písm. d) v rozsahu, v akom sa uplatňuje na používanie systémov AI, na ktoré sa vzťahuje uvedené ustanovenie, v článku 5 ods. 1 prvom pododseku písm. h), článku 5 ods. 2 až 6 a v článku 26 ods. 10 tohto nariadenia, prijatými na základe článku 16 ZFEÚ, ktoré sa týkajú spracúvania osobných údajov členskými štátmi pri vykonávaní činností, ktoré patria do rozsahu pôsobnosti tretej časti hlavy V kapitoly 4 alebo kapitoly 5 ZFEÚ, ak Írsko nie je viazané pravidlami, ktorými sa spravujú formy justičnej spolupráce v trestných veciach alebo policajnej spolupráce, v rámci ktorých sa musia dodržiavať ustanovenia prijaté na základe článku 16 ZFEÚ.

(41)

V súlade s článkami 2 a 2a Protokolu č. 22 o postavení Dánska, ktorý je pripojený k Zmluve o EÚ a ZFEÚ, nie je Dánsko viazané pravidlami stanovenými v článku 5 ods. 1 prvom pododseku písm. g) v rozsahu, v akom sa uplatňuje na použitie systémov biometrickej kategorizácie pri činnostiach v oblasti policajnej spolupráce a justičnej spolupráce v trestných veciach, v článku 5 ods. 1 prvom pododseku písm. d) v rozsahu, v akom sa uplatňuje na používanie systémov AI, na ktoré sa vzťahuje uvedené ustanovenie, v článku 5 ods. 1 prvom pododseku písm. h), článku 5 ods. 2 až 6 a v článku 26 ods. 10 tohto nariadenia, prijatými na základe článku 16 ZFEÚ, ktoré sa týkajú spracúvania osobných údajov členskými štátmi pri vykonávaní činností, ktoré patria do rozsahu pôsobnosti tretej časti hlavy V kapitoly 4 alebo kapitoly 5 ZFEÚ, ani nepodlieha ich uplatňovaniu.

(42)

V súlade s prezumpciou neviny by sa fyzické osoby v Únii mali vždy posudzovať podľa ich skutočného správania. Fyzické osoby by sa nikdy nemali posudzovať podľa správania predpokladaného AI výlučne na základe ich profilovania, osobnostných čŕt alebo charakteristík, ako je štátna príslušnosť, miesto narodenia, miesto bydliska, počet detí, výška dlhu alebo typ ich vozidla, bez odôvodneného podozrenia, že daná osoba je zapojená do trestnej činnosti na základe objektívnych overiteľných skutočností a bez ich ľudského posúdenia. Preto by sa malo zakázať vykonávanie posudzovania rizika fyzických osôb s cieľom posúdiť pravdepodobnosť spáchania trestného činu takýmito osobami alebo s cieľom predpovedať skutočný alebo potenciálny trestný čin výlučne na základe profilovania fyzických osôb alebo posúdenia ich osobnostných čŕt a charakteristík. Takýto zákaz v žiadnom prípade ale neodkazuje na analýzu rizika ani sa netýka analýzy rizika, ktorá nie je založená na profilovaní jednotlivcov ani na osobnostných črtách a charakteristikách jednotlivcov, ako sú systémy AI využívajúce analýzu rizika na posúdenie pravdepodobnosti finančného podvodu zo strany podnikov na základe podozrivých transakcií, alebo nástroje analýzy rizika na predpovedanie pravdepodobnosti lokalizácie omamných látok alebo nezákonného tovaru colnými orgánmi, napríklad na základe známych pašeráckych trás.

(43)

Uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov AI, ktoré vytvárajú alebo rozširujú databázy na rozpoznávanie tváre prostredníctvom necielenej extrakcie podôb tváre z internetu alebo zo záznamov CCTV, by sa mali zakázať, pretože takáto prax zvyšuje pocit hromadného sledovania a môže viesť k hrubému porušovaniu základných práv vrátane práva na súkromie.

(44)

Existujú vážne obavy v súvislosti s vedeckým základom systémov AI, ktorých cieľom je identifikovať alebo odvodzovať emócie, najmä preto, že prejav emócií sa v jednotlivých kultúrach a situáciách a dokonca aj v prípade jedného jednotlivca značne líši. Medzi hlavné nedostatky takýchto systémov patrí obmedzená spoľahlivosť, nedostatočná špecifickosť a obmedzená možnosť zovšeobecnenia. Systémy AI, ktoré identifikujú alebo odvodzujú emócie alebo zámery fyzických osôb na základe ich biometrických údajov, preto môžu viesť k diskriminačným výsledkom a môžu zasahovať do práv a slobôd dotknutých osôb. Vzhľadom na nerovnováhu moci v kontexte práce alebo vzdelávania v kombinácii s rušivým charakterom týchto systémov by takéto systémy mohli viesť k škodlivému alebo nepriaznivému zaobchádzaniu s niektorými fyzickými osobami alebo celými skupinami fyzických osôb. Preto by sa malo zakázať uvádzanie na trh, uvádzanie do prevádzky alebo používanie systémov AI na zisťovanie emocionálneho stavu jednotlivcov v situáciách súvisiacich s pracoviskom a vzdelávaním. Tento zákaz by sa nemal vzťahovať na systémy AI uvádzané na trh výlučne zo zdravotných alebo bezpečnostných dôvodov, ako sú systémy určené na terapeutické použitie.

(45)

Postupy, ktoré sú zakázané právom Únie, okrem iného právom v oblasti ochrany údajov, nediskriminácie, ochrany spotrebiteľa a právom hospodárskej súťaže, by nemali byť týmto nariadením dotknuté.

(46)

Vysokorizikové systémy AI by sa mali uviesť na trh Únie alebo do prevádzky alebo by sa mali využívať len vtedy, ak spĺňajú určité povinné požiadavky. Týmito požiadavkami by sa malo zabezpečiť, aby vysokorizikové systémy AI, ktoré sú dostupné v Únii alebo ktorých výstupy sú v Únii inak využívané, nepredstavovali neprijateľné riziká pre dôležité verejné záujmy Únie uznané a chránené právom Únie. Na základe nového legislatívneho rámca, ako sa uvádza v oznámení Komisie s názvom „Modrá príručka na vykonávanie právnych predpisov EÚ týkajúcich sa výrobkov 2022“ (20), všeobecným pravidlom je, že viac ako jeden právny akt z harmonizačných právnych predpisov Únie, ako sú nariadenia Európskeho parlamentu a Rady (EÚ) 2017/745 (21) a (EÚ) 2017/746 (22) alebo smernica Európskeho parlamentu a Rady 2006/42/ES (23), sa môže uplatňovať na jeden výrobok, keďže sprístupnenie alebo uvedenie do prevádzky sa môže uskutočniť len vtedy, keď je výrobok v súlade so všetkými uplatniteľnými harmonizačnými právnymi predpismi Únie. S cieľom zabezpečiť konzistentnosť a zabrániť zbytočnému administratívnemu zaťaženiu alebo nákladom by poskytovatelia výrobku, ktorý obsahuje jeden alebo viacero vysokorizikových systémov AI, na ktoré sa vzťahujú požiadavky tohto nariadenia a požiadavky harmonizačných právnych predpisov Únie uvedených v prílohe k tomuto nariadeniu, mali mať flexibilitu, pokiaľ ide o operačné rozhodnutia týkajúce sa zabezpečenia súladu výrobku obsahujúceho jeden alebo viacero systémov AI so všetkými uplatniteľnými požiadavkami harmonizačných právnych predpisov Únie optimálnym spôsobom. Systémy AI označené ako vysokorizikové by sa mali obmedziť na tie, ktoré majú významný škodlivý vplyv na zdravie, bezpečnosť a základné práva osôb v Únii, a takéto obmedzenie by malo minimalizovať akékoľvek prípadné obmedzenie medzinárodného obchodu.

(47)

Systémy AI by mohli mať nepriaznivý vplyv na zdravie a bezpečnosť osôb, najmä ak takéto systémy fungujú ako bezpečnostné komponenty výrobkov. V súlade s cieľmi harmonizačných právnych predpisov Únie uľahčiť voľný pohyb výrobkov na vnútornom trhu a zabezpečiť, aby sa na trh dostali len bezpečné a inak vyhovujúce výrobky, je dôležité, aby sa riadne predchádzalo bezpečnostným rizikám, ktoré môže výrobok ako celok vytvárať svojimi digitálnymi komponentmi vrátane systémov AI, a aby sa tieto riziká náležite zmierňovali. Napríklad čoraz autonómnejšie roboty, či už v kontexte výroby alebo osobnej asistencie a starostlivosti, by mali byť schopné bezpečne fungovať a vykonávať svoje funkcie v zložitých prostrediach. Podobne v sektore zdravotníctva, kde existuje obzvlášť vysoké riziko v oblasti života a zdravia, by mali byť čoraz sofistikovanejšie diagnostické systémy a systémy podporujúce ľudské rozhodnutia spoľahlivé a presné.

(48)

Pri klasifikácii systému AI ako vysokorizikového je obzvlášť dôležitý rozsah nepriaznivého vplyvu systému AI na základné práva chránené chartou. Medzi tieto práva patrí právo na ľudskú dôstojnosť, rešpektovanie súkromného a rodinného života, ochrana osobných údajov, sloboda prejavu a právo na informácie, sloboda zhromažďovania a združovania, právo na nediskrimináciu, právo na vzdelávanie, ochrana spotrebiteľa, pracovné práva, práva osôb so zdravotným postihnutím, rodová rovnosť, práva duševného vlastníctva, právo na účinný prostriedok nápravy a na spravodlivý proces, právo na obhajobu a prezumpcia neviny a právo na dobrú správu vecí verejných. Okrem týchto práv je dôležité zdôrazniť, že deti majú osobitné práva zakotvené v článku 24 charty a v Dohovore Organizácie Spojených národov o právach dieťaťa, ďalej rozpracované vo všeobecnej poznámke č. 25 Dohovoru OSN o právach dieťaťa v súvislosti s digitálnym prostredím, ktoré si v oboch prípadoch vyžadujú zváženie zraniteľnosti detí a poskytnutie takejto ochrany a starostlivosti nevyhnutných pre ich blaho. Pri posudzovaní závažnosti ujmy, ktorú môže systém AI spôsobiť, a to aj v súvislosti so zdravím a bezpečnosťou osôb, by sa malo zohľadniť aj základné právo na vysokú úroveň ochrany životného prostredia zakotvené v charte a vykonávané v politikách Únie.

(49)

Pokiaľ ide o vysokorizikové systémy AI, ktoré sú bezpečnostnými komponentmi výrobkov alebo systémov, alebo ktoré sú samy výrobkami alebo systémami patriacimi do rozsahu pôsobnosti nariadenia Európskeho parlamentu a Rady (ES) č. 300/2008 (24), nariadenia Európskeho parlamentu a Rady (EÚ) č. 167/2013 (25), nariadenia Európskeho parlamentu a Rady (EÚ) č. 168/2013 (26), smernice Európskeho parlamentu a Rady 2014/90/EÚ (27), smernice Európskeho parlamentu a Rady (EÚ) 2016/797 (28), nariadenia Európskeho parlamentu a Rady (EÚ) 2018/858 (29), nariadenia Európskeho parlamentu a Rady (EÚ) 2018/1139 (30) a nariadenia Európskeho parlamentu a Rady (EÚ) 2019/2144 (31), je vhodné uvedené akty zmeniť s cieľom zaistiť, aby Komisia pri prijímaní akýchkoľvek relevantných delegovaných alebo vykonávacích aktov na základe uvedených aktov zohľadňovala povinné požiadavky na vysokorizikové systémy AI stanovené v tomto nariadení na základe technických a regulačných osobitostí jednotlivých odvetví bez toho, aby zasahovala do existujúcich mechanizmov správy, posudzovania zhody a presadzovania a do orgánov zriadených v rámci uvedených aktov.

(50)

Pokiaľ ide o systémy AI, ktoré sú bezpečnostnými komponentmi výrobkov alebo ktoré sú samy výrobkami, ktoré patria do rozsahu pôsobnosti určitých harmonizačných právnych predpisov Únie uvedených v prílohe k tomuto nariadeniu, je vhodné klasifikovať ich podľa tohto nariadenia ako vysokorizikové, pokiaľ v prípade dotknutého výrobku vykonáva postup posudzovania zhody orgán posudzovania zhody tretej strany podľa príslušných harmonizačných právnych predpisov Únie. Medzi takéto výrobky patria najmä strojové zariadenia, hračky, výťahy, zariadenia a ochranné systémy určené na použitie v potenciálne výbušnej atmosfére, rádiové zariadenia, tlakové zariadenia, vybavenie rekreačných plavidiel, lanovkové zariadenia, spotrebiče spaľujúce plynné palivá, zdravotnícke pomôcky, diagnostické zdravotnícke pomôcky in vitro, automobilový a letecký priemysel.

(51)

Klasifikácia systému AI ako vysokorizikového podľa tohto nariadenia by nemala nevyhnutne znamenať, že sa výrobok, ktorého bezpečnostným komponentom je systém AI, alebo samotný systém AI ako výrobok považuje za vysokorizikový podľa kritérií stanovených v príslušných harmonizačných právnych predpisoch Únie, ktoré sa vzťahujú na daný výrobok. Platí to najmä pre nariadenia (EÚ) 2017/745 a (EÚ) 2017/746, kde sa pre výrobky so stredným a vysokým rizikom vyžaduje posudzovanie zhody treťou stranou.

(52)

Pokiaľ ide o samostatné systémy AI, konkrétne iné vysokorizikové systémy AI ako tie, ktoré sú bezpečnostnými komponentmi výrobkov alebo ktoré sú samy výrobkami, je vhodné klasifikovať ich ako vysokorizikové, ak vzhľadom na svoj zamýšľaný účel predstavujú vysoké riziko poškodenia zdravia a bezpečnosti alebo základných práv osôb, pričom sa berie do úvahy závažnosť možnej ujmy a pravdepodobnosť jej výskytu, a ak sa využívajú vo viacerých oblastiach uvedených v tomto nariadení, ktoré sú jasne vopred vymedzené. Identifikácia týchto systémov je založená na rovnakej metodike a kritériách, aké sa predpokladajú aj v prípade akýchkoľvek budúcich zmien zoznamu vysokorizikových systémov AI, ktoré by Komisia mala byť splnomocnená prijímať prostredníctvom delegovaných aktov s cieľom zohľadniť rýchle tempo technologického vývoja, ako aj potenciálne zmeny v používaní systémov AI.

(53)

Takisto je dôležité upresniť, že môžu existovať osobitné prípady, v ktorých systémy AI uvedené vo vopred vymedzených oblastiach špecifikovaných v tomto nariadení nevedú k významnému riziku ujmy na právnych záujmoch chránených v týchto oblastiach, pretože podstatne neovplyvňujú rozhodovanie ani nespôsobujú týmto záujmom podstatnú ujmu. Na účely tohto nariadenia by sa mal systém AI, ktorý významne neovplyvňuje výsledok rozhodovania, chápať ako systém AI, ktorý nemá vplyv na podstatu, a teda na výsledok rozhodovania, či už ľudského alebo automatizovaného. Systém AI, ktorý významne neovplyvňuje výsledok rozhodovania, by mohol zahŕňať situácie, v ktorých je splnená jedna alebo viaceré z ďalej uvedených podmienok. Prvou takouto podmienkou by malo byť, že systém AI má plniť úzku procedurálnu úlohu, ako je systém AI, ktorý transformuje neštruktúrované údaje na štruktúrované údaje; systém AI, ktorý klasifikuje prichádzajúce dokumenty do kategórií; alebo systém AI, ktorý sa používa na odhaľovanie duplikátov medzi veľkým počtom aplikácií. Tieto úlohy sú takej úzkej a obmedzenej povahy, že predstavujú len obmedzené riziká, ktoré sa nezvýšia používaním systému AI v kontexte, ktorý sa v prílohe k tomuto nariadeniu uvádza ako vysokorizikové použitie. Druhou podmienkou by malo byť, že systém AI vykonáva úlohu s cieľom zlepšiť výsledok predtým ukončenej ľudskej činnosti, ktorá môže byť relevantná na účely vysokorizikových použití uvedených v prílohe k tomuto nariadeniu. Vzhľadom na tieto vlastnosti poskytuje systém AI len ďalšiu vrstvu k ľudskej činnosti s následne zníženým rizikom. Táto podmienka by sa vzťahovala napríklad na systémy AI, ktorých cieľom je zlepšiť jazyk používaný v predchádzajúcich dokumentoch, napríklad v súvislosti s profesionálnym tónom, akademickým štýlom jazyka alebo zosúladením textu s určitou brandovou komunikáciou. Treťou podmienkou by malo byť, že systém AI je určený na odhaľovanie vzorcov rozhodovania alebo odchýlok od predchádzajúcich vzorcov rozhodovania. Riziko by sa znížilo, pretože používanie systému AI sa riadi predtým dokončeným ľudským posúdením, ktoré nemá nahradiť ani ovplyvniť bez náležitého ľudského preskúmania. Medzi takéto systémy AI patria napríklad tie, ktoré sa vzhľadom na určitý známkovací vzorec učiteľa môžu použiť na ex post kontrolu toho, či sa učiteľ neodchýlil od známkovacieho vzorca, aby sa upozornilo na možné nezrovnalosti alebo anomálie. Štvrtou podmienkou by malo byť, že systém AI má plniť úlohu, ktorá je len prípravou na posúdenie relevantné na účely systémov AI uvedených v prílohe k tomuto nariadeniu, čím sa možný vplyv výstupu systému z hľadiska rizika pre posúdenie, ktoré sa má vykonať, výrazne zníži. Táto podmienka sa týka najmä inteligentných riešení na spracovanie súborov, ktoré zahŕňajú rôzne funkcie ako indexovanie, vyhľadávanie, spracovanie textu a reči alebo prepojenie údajov s inými zdrojmi údajov, alebo systémy AI používané na preklad pôvodných dokumentov. V každom prípade by sa systémy AI používané vo vysokorizikových prípadoch použitia uvedených v prílohe k tomuto nariadeniu mali považovať za systémy predstavujúce významné riziko ujmy na zdraví, bezpečnosti alebo základných právach, ak systém AI zahŕňa profilovanie v zmysle článku 4 bodu 4 nariadenia (EÚ) 2016/679 alebo článku 3 bodu 4 smernice (EÚ) 2016/680 alebo článku 3 bodu 5 nariadenia (EÚ) 2018/1725. S cieľom zabezpečiť vysledovateľnosť a transparentnosť by mal poskytovateľ, ktorý sa na základe vyššie uvedených podmienok domnieva, že systém AI nie je vysokorizikový, vypracovať dokumentáciu posúdenia pred uvedením tohto systému na trh alebo do prevádzky a na požiadanie by mal túto dokumentáciu poskytnúť vnútroštátnym príslušným orgánom. Takýto poskytovateľ by mal byť povinný zaregistrovať systém AI v databáze Únie zriadenej podľa tohto nariadenia. S cieľom poskytnúť ďalšie usmernenia pre praktické vykonávanie podmienok, za ktorých systémy AI uvedené v prílohe k tomuto nariadeniu výnimočne nepredstavujú vysoké riziko, by Komisia mala po konzultácii s radou pre AI poskytnúť usmernenia, v ktorých sa uvedie, že praktické vykonávanie doplnené komplexným zoznamom praktických príkladov prípadov použitia systémov AI, ktoré sú vysokorizikové, a prípadov použitia, ktoré nie sú vysokorizikové.

(54)

Keďže biometrické údaje predstavujú osobitnú kategóriu osobných údajov, je vhodné klasifikovať ako vysokorizikové niekoľko prípadov kritického použitia biometrických systémov, pokiaľ ich použitie povoľuje príslušné právo Únie a vnútroštátne právo. Technické nepresnosti systémov AI určených na diaľkovú biometrickú identifikáciu fyzických osôb môžu viesť ku skresleným výsledkom a mať diskriminačné účinky. Riziko takýchto skreslených výsledkov a diskriminačných účinkov je obzvlášť relevantné z hľadiska veku, etnickej príslušnosti, rasy, pohlavia alebo zdravotného postihnutia. Systémy diaľkovej biometrickej identifikácie by sa preto mali klasifikovať ako vysokorizikové vzhľadom na riziká, ktoré predstavujú. Takáto klasifikácia nezahŕňa systémy AI určené na biometrické overenie zahŕňajúce autentifikáciu, ktorých jediným účelom je potvrdiť, že konkrétna fyzická osoba je tou osobou, o ktorej tvrdí, že ňou je, a potvrdiť totožnosť fyzickej osoby výlučne na účely prístupu k službe, odomknutia zariadenia alebo získania bezpečnostného prístupu do priestorov. Okrem toho by sa systémy AI určené na biometrickú kategorizáciu podľa citlivých atribútov alebo charakteristík chránených podľa článku 9 ods. 1 nariadenia (EÚ) 2016/679 na základe biometrických údajov, pokiaľ nie sú zakázané podľa tohto nariadenia, a systémy na rozpoznávanie emócií, ktoré nie sú zakázané podľa tohto nariadenia, mali klasifikovať ako vysokorizikové. Biometrické systémy určené výlučne na účely umožnenia kybernetickej bezpečnosti a opatrení na ochranu osobných údajov, by sa nemali považovať za vysokorizikové systémy AI.

(55)

Pokiaľ ide o riadenie a prevádzku kritickej infraštruktúry, je vhodné klasifikovať ako vysokorizikové také systémy AI, ktoré sú určené na používanie ako bezpečnostné komponenty pri riadení a prevádzke kritickej digitálnej infraštruktúry, ako sa uvádza v bode 8 prílohy k smernici (EÚ) 2022/2557, cestnej premávky a pri dodávkach vody, plynu, tepla a elektrickej energie, keďže ich zlyhanie alebo porucha môžu ohroziť život a zdravie osôb vo veľkom rozsahu a viesť k značným narušeniam bežného vykonávania spoločenských a hospodárskych činností. Bezpečnostné komponenty kritickej infraštruktúry vrátane kritickej digitálnej infraštruktúry sú systémy používané na priamu ochranu fyzickej integrity kritickej infraštruktúry alebo zdravia a bezpečnosti osôb a majetku, ktoré však nie sú potrebné na fungovanie systému. Zlyhanie alebo porucha takýchto komponentov môže priamo viesť k rizikám pre fyzickú integritu kritickej infraštruktúry, a tým k rizikám pre zdravie a bezpečnosť osôb a majetku. Komponenty, ktoré sa majú používať výlučne na účely kybernetickej bezpečnosti, by sa nemali považovať za bezpečnostné komponenty. Príklady bezpečnostných komponentov takejto kritickej infraštruktúry môžu zahŕňať systémy monitorovania tlaku vody alebo systémy riadenia požiarneho poplachu v centrách cloud computingu.

(56)

Nasadzovanie systémov AI v oblasti vzdelávania je dôležité na podporu vysokokvalitného digitálneho vzdelávania a odbornej prípravy a na to, aby sa všetkým vzdelávajúcim sa osobám a učiteľom umožnilo získať a zdieľať potrebné digitálne zručnosti a kompetencie vrátane mediálnej gramotnosti a kritického myslenia, aby mohli zohrávať aktívnu úlohu v hospodárstve, spoločnosti a demokratických procesoch. Systémy AI používané v oblasti vzdelávania alebo odbornej prípravy, obzvlášť na určovanie prístupu alebo prijatia, na prideľovanie osôb do inštitúcií alebo programov vzdelávania a odbornej prípravy na všetkých stupňoch, na hodnotenie učebných výsledkov osôb, na posúdenie primeranej úrovne vzdelania pre jednotlivca a podstatné ovplyvňovanie úrovne vzdelávania a odbornej prípravy, ktoré jednotlivci dostanú alebo ku ktorým budú mať prístup, alebo na jeho monitorovanie a odhaľovanie zakázaného správania študentov počas testov by sa mali klasifikovať ako vysokorizikové systémy AI, pretože môžu určovať vzdelávací a profesijný priebeh života osoby, a tým môžu ovplyvňovať jej schopnosť zabezpečiť si živobytie. Ak sú takéto systémy dizajnované a používané nesprávne, môžu byť obzvlášť rušivé a môžu porušovať právo na vzdelanie a odbornú prípravu, ako aj právo nebyť diskriminovaný, a tým zachovávať zaužívané vzorce diskriminácie, napríklad žien, určitých vekových skupín, osôb so zdravotným postihnutím alebo osôb určitého rasového alebo etnického pôvodu alebo s určitou sexuálnou orientáciou.

(57)

Ako vysokorizikové by sa mali klasifikovať aj systémy AI používané v oblasti zamestnania, pri riadení pracovníkov a prístupe k samostatnej zárobkovej činnosti, najmä pri nábore a výbere osôb, pri prijímaní rozhodnutí ovplyvňujúcich vzťah súvisiaci s pracovnými podmienkami, pri kariérnom postupe v zamestnaní a ukončení zmluvného pracovnoprávneho vzťahu, pri prideľovaní úloh na základe individuálneho správania, osobných čŕt alebo charakteristík a pri monitorovaní alebo hodnotení osôb v zmluvných pracovnoprávnych vzťahoch, pretože tieto systémy môžu významne ovplyvniť budúce kariérne vyhliadky a živobytie týchto osôb a práva pracovníkov. Príslušné zmluvné pracovnoprávne vzťahy by mali zmysluplne zahŕňať zamestnancov a osoby poskytujúce služby prostredníctvom platforiem, ako sa uvádza v pracovnom programe Komisie na rok 2021. Takéto systémy môžu počas celého procesu prijímania do zamestnania a počas hodnotenia, povyšovania alebo udržiavania osôb v zmluvných pracovnoprávnych vzťahoch zachovávať zaužívané vzorce diskriminácie, napríklad žien, určitých vekových skupín, osôb so zdravotným postihnutím alebo osôb určitého rasového alebo etnického pôvodu alebo sexuálnej orientácie. Systémy AI používané na monitorovanie výkonu a správania týchto osôb môžu mať vplyv aj na ich základné práva na ochranu údajov a súkromia.

(58)

Ďalšou oblasťou, v ktorej si využívanie systémov AI zaslúži osobitnú pozornosť, je prístup k určitým základným súkromným a verejným službám a dávkam, ktoré sú potrebné na to, aby sa ľudia mohli plne zapojiť do spoločnosti alebo si mohli zlepšiť životnú úroveň, a ich využívanie. Najmä fyzické osoby, ktoré žiadajú orgány verejnej moci o základné dávky a služby verejnej pomoci alebo ktoré ich od týchto orgánov dostávajú, konkrétne služby zdravotnej starostlivosti, dávky sociálneho zabezpečenia, sociálne služby poskytujúce ochranu v prípadoch, ako je materstvo, choroba, pracovné úrazy, závislosť alebo staroba a strata zamestnania a sociálna pomoc a pomoc pri bývaní, sú zvyčajne závislé od týchto dávok a služieb a sú vo vzťahu k zodpovedným orgánom v zraniteľnom postavení. Ak sa systémy AI používajú na určenie toho, či by orgány mali takéto dávky a služby poskytnúť, zamietnuť, znížiť, zrušiť alebo žiadať o ich vrátenie, vrátane toho, či majú poberatelia oprávnený nárok na takéto dávky alebo služby, takéto systémy môžu mať významný vplyv na živobytie osôb a môžu porušovať ich základné práva, ako je právo na sociálnu ochranu, nediskrimináciu, ľudskú dôstojnosť alebo účinný prostriedok nápravy, a mali by sa preto klasifikovať ako vysokorizikové. Toto nariadenie by však nemalo brániť vývoju a využívaniu inovačných prístupov vo verejnej správe, pre ktorú by mohlo byť širšie využívanie vyhovujúcich a bezpečných systémov AI prospešné, za predpokladu, že tieto systémy nepredstavujú vysoké riziko pre právnické a fyzické osoby. Ako vysokorizikové by sa okrem toho mali klasifikovať aj systémy AI používané na bodové hodnotenie kreditného rizika alebo hodnotenie úverovej bonity fyzických osôb, pretože určujú prístup týchto osôb k finančným zdrojom alebo základným službám, ako sú bývanie, elektrická energia a telekomunikačné služby. Systémy AI používané na takéto účely môžu viesť k diskriminácii osôb alebo skupín a môžu zachovávať zaužívané vzorce diskriminácie, napríklad na základe rasového alebo etnického pôvodu, rodu, zdravotných postihnutí, veku alebo sexuálnej orientácie, alebo môžu vytvárať nové formy diskriminačných vplyvov. Systémy AI stanovené v práve Únie na účely odhaľovania podvodov pri ponúkaní finančných služieb a na prudenciálne účely výpočtu kapitálových požiadaviek úverových inštitúcií a poisťovní by sa však podľa tohto nariadenia nemali považovať za vysokorizikové. Okrem toho systémy AI, ktoré sa majú používať na posudzovanie rizika a stanovovanie cien v súvislosti s fyzickými osobami na účely zdravotného a životného poistenia, môžu mať tiež významný vplyv na živobytie osôb, a ak nie sú riadne dizajnované, vyvinuté a používané, môžu porušovať ich základné práva a viesť k vážnym dôsledkom pre život a zdravie ľudí vrátane finančného vylúčenia a diskriminácie. Napokon, ako vysokorizikové by sa mali klasifikovať aj systémy AI používané na hodnotenie a klasifikáciu tiesňových volaní fyzických osôb alebo na vysielanie alebo prioritizáciu vysielania záchranných služieb prvej reakcie, vrátane polície, hasičov a zdravotnej pomoci, ako aj systémy triedenia pacientov v rámci pohotovostnej zdravotnej starostlivosti, pretože prijímajú rozhodnutia v situáciách, ktoré sú veľmi kritické z hľadiska života a zdravia osôb a ich majetku.

(59)

Konanie orgánov presadzovania práva zahŕňajúce určité použitia systémov AI sa vzhľadom na ich úlohu a zodpovednosť vyznačuje značným stupňom nerovnováhy moci a môže viesť k sledovaniu, zadržaniu alebo pozbaveniu slobody fyzickej osoby, ako aj k iným nepriaznivým vplyvom na základné práva zaručené chartou. Najmä ak systém AI nie je trénovaný na vysokokvalitných údajoch, nespĺňa primerané požiadavky, pokiaľ ide o jeho výkon, presnosť alebo spoľahlivosť, alebo nie je pred uvedením na trh alebo do prevádzky riadne dizajnovaný a otestovaný, môže ľudí selektovať diskriminačným alebo inak nesprávnym či nespravodlivým spôsobom. Okrem toho by mohlo byť obmedzené uplatňovanie dôležitých procesných základných práv, ako je právo na účinný prostriedok nápravy a na spravodlivý proces, ako aj právo na obhajobu a prezumpcia neviny, najmä ak takéto systémy AI nie sú dostatočne transparentné, vysvetliteľné a zdokumentované. Preto je vhodné klasifikovať ako vysokorizikové viaceré systémy AI, pokiaľ je ich používanie povolené na základe relevantného práva Únie alebo vnútroštátneho práva, určené na používanie v kontexte presadzovania práva, kde je presnosť, spoľahlivosť a transparentnosť obzvlášť dôležitá, aby sa zabránilo nepriaznivým vplyvom, zachovala dôvera verejnosti a zabezpečila zodpovednosť a účinná náprava. Vzhľadom na povahu predmetných činností a s nimi súvisiace riziká by tieto vysokorizikové systémy AI mali zahŕňať najmä systémy AI určené na používanie orgánmi presadzovania práva alebo v ich mene alebo inštitúciami, orgánmi, úradmi alebo agentúrami Únie na podporu orgánov presadzovania práva na posúdenie rizika, že sa fyzická osoba stane obeťou trestných činov, ako sú polygrafy a podobné nástroje, na hodnotenie spoľahlivosti dôkazov v priebehu vyšetrovania alebo stíhania trestných činov, a pokiaľ sa to týmto nariadením nezakazuje, aj na posúdenie rizika, že fyzická osoba spácha alebo opakovane spácha trestný čin, a to nielen na základe profilovania fyzických osôb, alebo na základe posúdenia osobnostných čŕt a charakteristík alebo trestnej činnosti fyzických osôb alebo skupín v minulosti, na profilovanie v priebehu odhaľovania, vyšetrovania alebo stíhania trestných činov. Systémy AI, ktoré sú osobitne určené na používanie v správnych konaniach daňovými a colnými orgánmi, ako aj finančnými spravodajskými jednotkami vykonávajúcimi administratívne úlohy spočívajúce v analýze informácií podľa právnych predpisov Únie v oblasti boja proti praniu špinavých peňazí, by sa nemali klasifikovať ako vysokorizikové systémy AI používané orgánmi presadzovania práva na účely predchádzania trestným činom, ich odhaľovania, vyšetrovania a stíhania. Používanie nástrojov AI orgánmi presadzovania práva a inými relevantnými orgánmi by sa nemalo stať faktorom nerovnosti alebo vylúčenia. Vplyv používania nástrojov AI na právo podozrivých osôb na obhajobu by sa nemal ignorovať, predovšetkým pokiaľ ide o ťažkosti pri získavaní zmysluplných informácií o fungovaní takýchto systémov a z toho vyplývajúce ťažkosti pri napadnutí ich výsledkov na súde, najmä zo strany vyšetrovaných fyzických osôb.

(60)

Systémy AI používané v oblastiach migrácie, azylu a riadenia kontroly hraníc majú vplyv na osoby, ktoré sú často v mimoriadne zraniteľnom postavení a ktoré sú závislé od výsledku konania príslušných orgánov verejnej moci. Presnosť, nediskriminačný charakter a transparentnosť systémov AI používaných v tomto kontexte sú preto mimoriadne dôležité na zaručenie dodržiavania základných práv dotknutých osôb, najmä ich práva na voľný pohyb, nediskrimináciu, ochranu súkromia a osobných údajov, medzinárodnú ochranu a dobrú správu vecí verejných. Je preto vhodné klasifikovať ako vysokorizikové tie systémy AI, pokiaľ je ich používanie povolené na základe relevantného práva Únie alebo vnútroštátneho práva, ktoré majú používať príslušné orgány verejnej moci alebo sa majú používať v ich mene, alebo ktoré majú používať inštitúcie, orgány, úrady alebo agentúry Únie poverené úlohami v oblasti migrácie, azylu a riadenia kontroly hraníc, ako napríklad polygrafy a podobné nástroje, na posudzovanie určitých rizík, ktoré predstavujú fyzické osoby vstupujúce na územie členského štátu alebo žiadajúce o vízum alebo azyl, na pomoc príslušným orgánom verejnej moci pri skúmaní žiadostí o azyl, víza a povolenia na pobyt, vrátane súvisiaceho posúdenia spoľahlivosti dôkazov, a súvisiacich sťažností, pokiaľ ide o cieľ zistiť oprávnenosť fyzických osôb žiadajúcich o určitý status, na účely odhaľovania, rozpoznávania alebo identifikácie fyzických osôb v kontexte migrácie, azylu a riadenia kontroly hraníc s výnimkou overovania cestovných dokladov. Systémy AI v oblasti migrácie, azylu a riadenia kontroly hraníc, na ktoré sa vzťahuje toto nariadenie, by mali spĺňať príslušné procedurálne požiadavky stanovené v nariadení Európskeho parlamentu a Rady (ES) č. 810/2009 (32), smernici Európskeho parlamentu a Rady 2013/32/EÚ (33) a iných príslušných právnych predpisoch Únie. Používanie systémov AI v oblasti migrácie, azylu a riadenia kontroly hraníc by členské štáty alebo inštitúcie, orgány, úrady alebo agentúry Únie za žiadnych okolností nemali využívať ako prostriedok na obchádzanie svojich medzinárodných záväzkov podľa Dohovoru OSN o právnom postavení utečencov podpísaného v Ženeve 28. júla 1951 a zmeneného protokolom z 31. januára 1967. Tieto systémy by sa nemali používať ani na to, aby sa akýmkoľvek spôsobom porušovala zásada zákazu vyhostenia alebo vrátenia, alebo aby sa odopierali bezpečné a účinné zákonné spôsoby vstupu na územie Únie vrátane práva na medzinárodnú ochranu.

(61)

Niektoré systémy AI určené na výkon spravodlivosti a demokratických procesov by sa mali klasifikovať ako vysokorizikové vzhľadom na ich potenciálne významný vplyv na demokraciu, právny štát, osobné slobody, ako aj právo na účinný prostriedok nápravy a na spravodlivý proces. Ako vysokorizikové je vhodné kvalifikovať systémy AI určené na použitie zo strany justičného orgánu alebo v jeho mene na pomoc justičným orgánom pri skúmaní a výklade skutkových okolností a práva a pri uplatňovaní práva na konkrétny súbor skutkových okolností, najmä z dôvodu riešenia rizík možného skreslenia, chýb a nepriehľadnosti. Systémy AI, ktoré majú používať subjekty alternatívneho riešenia sporov na tieto účely, by sa takisto mali považovať za vysokorizikové, ak výsledky konania o alternatívnom riešení sporov majú pre strany právne účinky. Používanie nástrojov AI môže podporiť rozhodovaciu právomoc sudcov alebo nezávislosť súdnictva, ale nemalo by ju nahrádzať: konečné rozhodovanie musí zostať ľudskou činnosťou. Kvalifikácia systémov AI ako vysokorizikových by sa však nemala vzťahovať na systémy AI určené na čisto pomocné administratívne činnosti, ktoré nemajú vplyv na samotný výkon spravodlivosti v jednotlivých prípadoch, ako napríklad anonymizácia alebo pseudonymizácia súdnych rozhodnutí, dokumentov alebo údajov, komunikácia medzi zamestnancami alebo administratívne úlohy.

(62)

Bez toho, aby boli dotknuté pravidlá stanovené v nariadení Európskeho parlamentu a Rady (EÚ) 2024/900 (34), a s cieľom riešiť riziká neprimeraného vonkajšieho zasahovania do práva voliť zakotveného v článku 39 charty a riziká neprimeraných účinkov na demokraciu a právny štát by sa systémy AI, ktoré sa majú používať na ovplyvňovanie výsledku volieb alebo referenda alebo volebného správania fyzických osôb pri výkone ich hlasovania vo voľbách alebo referendách, mali klasifikovať ako vysokorizikové systémy AI s výnimkou systémov AI, ktorých výstupom nie sú fyzické osoby priamo vystavené, ako sú nástroje používané na organizovanie, optimalizáciu a štruktúrovanie politických kampaní z administratívneho a logistického hľadiska.

(63)

Skutočnosť, že systém AI sa podľa tohto nariadenia klasifikuje ako vysokorizikový systém AI, by sa nemala vykladať ako naznačujúca, že používanie tohto systému je zákonné podľa iných aktov práva Únie alebo vnútroštátneho práva zlučiteľného s právom Únie, ako napríklad práva v oblasti ochrany osobných údajov, používania polygrafov a podobných nástrojov alebo iných systémov na zisťovanie emocionálneho stavu fyzických osôb. Akékoľvek takéto použitie by sa malo naďalej vykonávať výlučne v súlade s uplatniteľnými požiadavkami vyplývajúcimi z charty a z uplatniteľných aktov sekundárneho práva Únie a vnútroštátneho práva. Toto nariadenie by sa nemalo vykladať tak, že poskytuje právny základ pre spracúvanie osobných údajov v relevantných prípadoch vrátane osobitných kategórií osobných údajov, pokiaľ sa v tomto nariadení výslovne neustanovuje inak.

(64)

S cieľom zmierniť riziká, ktoré vyplývajú z vysokorizikových systémov AI uvedených na trh alebo do prevádzky, a zabezpečiť vysokú úroveň dôveryhodnosti, by sa na vysokorizikové systémy AI mali uplatňovať určité povinné požiadavky, pričom by sa mal zohľadniť zamýšľaný účel a kontext používania systému AI a podľa systému riadenia rizík, ktorý má zaviesť poskytovateľ. Opatrenia prijaté poskytovateľmi na dosiahnutie súladu s povinnými požiadavkami tohto nariadenia by mali zohľadňovať všeobecne uznávaný aktuálny stav vývoja AI a mali by byť primerané a účinné na splnenie cieľov tohto nariadenia. Na základe nového legislatívneho rámca, ako sa objasňuje v oznámení Komisie s názvom „Modrá príručka na vykonávanie právnych predpisov EÚ týkajúcich sa výrobkov 2022“, všeobecným pravidlom je, že viac ako jeden právny akt z harmonizačných právnych predpisov Únie sa môže uplatňovať na jeden výrobok, keďže sprístupnenie alebo uvedenie do prevádzky sa môže uskutočniť len vtedy, keď je výrobok v súlade so všetkými uplatniteľnými harmonizačnými právnymi predpismi Únie. Nebezpečenstvá systémov AI, na ktoré sa vzťahujú požiadavky tohto nariadenia, sa týkajú iných aspektov ako existujúce harmonizačné právne predpisy Únie, a preto by požiadavky tohto nariadenia dopĺňali existujúci súbor harmonizačných právnych predpisov Únie. Napríklad strojové zariadenia alebo zdravotnícke pomôcky obsahujúce systém AI by mohli predstavovať riziká, ktoré sa neriešia v základných zdravotných a bezpečnostných požiadavkách stanovených v príslušných harmonizovaných právnych predpisoch Únie, keďže toto odvetvové právo sa nezaoberá rizikami špecifickými pre systémy AI. Je preto potrebné súbežné a komplementárne uplatňovanie rôznych legislatívnych aktov. S cieľom zabezpečiť konzistentnosť a zabrániť zbytočnému administratívnemu zaťaženiu a nákladom by poskytovatelia výrobku, ktorý obsahuje jeden alebo viacero vysokorizikových systémov AI, na ktoré sa vzťahujú požiadavky tohto nariadenia a požiadavky harmonizačných právnych predpisov Únie založených na novom legislatívnom rámci a uvedených v prílohe k tomuto nariadeniu, mali mať flexibilitu, pokiaľ ide o operačné rozhodnutia o tom, ako zabezpečiť súlad výrobku obsahujúceho jeden alebo viacero systémov AI so všetkými uplatniteľnými požiadavkami daných harmonizovaných právnych predpisov Únie optimálnym spôsobom. Uvedená flexibilita by mohla znamenať napríklad rozhodnutie poskytovateľa začleniť časť potrebných postupov testovania a podávania správ, informácií a dokumentácie požadovaných podľa tohto nariadenia do existujúcej dokumentácie a postupov požadovaných podľa existujúcich harmonizačných právnych predpisov Únie založených na novom legislatívnom rámci a uvedených v prílohe k tomuto nariadeniu. To by v žiadnom prípade nemalo oslabiť povinnosť poskytovateľa dodržiavať všetky uplatniteľné požiadavky.

(65)

Systém riadenia rizík by mal pozostávať z nepretržitého iteratívneho procesu plánovaného a prebiehajúceho počas celého životného cyklu vysokorizikového systému AI. Tento proces by mal byť zameraný na identifikáciu a zmiernenie relevantných rizík systémov AI v oblasti zdravia, bezpečnosti a základných práv. Systém riadenia rizík by sa mal pravidelne preskúmavať a aktualizovať, aby sa zabezpečila jeho trvalá účinnosť, ako aj odôvodnenie a dokumentácia všetkých významných rozhodnutí a opatrení prijatých podľa tohto nariadenia. Týmto procesom by sa malo zabezpečiť, aby poskytovateľ identifikoval riziká alebo nepriaznivé vplyvy a vykonal zmierňujúce opatrenia zamerané na známe a odôvodnene predvídateľné riziká systémov AI pre zdravie, bezpečnosť a základné práva vzhľadom na ich zamýšľaný účel a rozumne predvídateľné nesprávne použitie vrátane možných rizík vyplývajúcich z interakcie medzi systémom AI a prostredím, v ktorom funguje. Systém riadenia rizík by mal prijať najvhodnejšie opatrenia na riadenie rizík vzhľadom na aktuálny stav vývoja AI. Pri určovaní najvhodnejších opatrení na riadenie rizík by mal poskytovateľ zdokumentovať a vysvetliť prijaté rozhodnutia a v prípade potreby by mal zapojiť odborníkov a externé zainteresované strany. Pri identifikácii odôvodnene predvídateľného nesprávneho použitia vysokorizikových systémov AI by sa poskytovateľ mal zaoberať použitím systémov AI, na ktoré sa síce priamo nevzťahuje zamýšľaný účel a ktoré sú stanovené v návode na použitie, možno však odôvodnene očakávať, že budú výsledkom ľahko predvídateľného ľudského správania v kontexte osobitných vlastností a používania konkrétneho systému AI. Všetky známe alebo predvídateľné okolnosti súvisiace s používaním vysokorizikového systému AI v súlade s jeho zamýšľaným účelom alebo za podmienok odôvodnene predvídateľného nesprávneho použitia, ktoré môžu viesť k rizikám pre zdravie a bezpečnosť alebo pre základné práva, by sa mali zahrnúť do návodu na použitie, ktorý poskytuje poskytovateľ. Cieľom je zabezpečiť, aby ich nasadzujúci subjekt poznal a zohľadnil pri používaní vysokorizikového systému AI. Identifikácia a vykonávanie opatrení na zmiernenie rizika predvídateľného nesprávneho použitia podľa tohto nariadenia by si nemali vyžadovať osobitnú dodatočnú odbornú prípravu zo strany poskytovateľa pre vysokorizikový systém AI na riešenie predvídateľného nesprávneho použitia. Poskytovatelia sa však nabádajú, aby zvážili takéto dodatočné opatrenia odbornej prípravy s cieľom zmierniť odôvodnene predvídateľné nesprávne použitie, ak je to potrebné a vhodné.

(66)

Požiadavky by sa mali vzťahovať na vysokorizikové systémy AI, pokiaľ ide o riadenie rizík, kvalitu a relevantnosť použitých súborov údajov, technickú dokumentáciu a uchovávanie záznamov, transparentnosť a poskytovanie informácií nasadzujúcim subjektom, ľudský dohľad a spoľahlivosť, presnosť a kybernetickú bezpečnosť. Tieto požiadavky sú potrebné na účinné zmiernenie rizík pre zdravie, bezpečnosť a základné práva. Keďže nie sú primerane dostupné žiadne iné opatrenia menej obmedzujúce obchod, nie sú uvedené požiadavky neodôvodnenými obmedzeniami obchodu.

(67)

Pre poskytovanie štruktúry a zabezpečovanie výkonu mnohých systémov AI zohrávajú kľúčovú úlohu vysokokvalitné údaje a prístup k nim, najmä ak sa využívajú techniky zahŕňajúce trénovanie modelov s cieľom zabezpečiť, aby vysokorizikový systém AI fungoval podľa zamýšľaného účelu a bezpečne a aby sa nestal zdrojom diskriminácie zakázanej právom Únie. Súbory vysokokvalitných trénovacích, validačných a testovacích údajov si vyžadujú vykonávanie primeraných postupov správy a riadenia údajov. Súbory údajov na trénovanie, validáciu a testovanie vrátane štítkov by mali byť relevantné, dostatočne reprezentatívne a v čo najväčšej možnej miere bez chýb a úplné vzhľadom na zamýšľaný účel systému. S cieľom uľahčiť dodržiavanie právnych predpisov Únie v oblasti ochrany údajov, ako je nariadenie (EÚ) 2016/679, by postupy správy a riadenia údajov mali v prípade osobných údajov zahŕňať transparentnosť v súvislosti s pôvodným účelom zberu údajov. Súbory údajov by mali mať aj primerané štatistické vlastnosti, a to aj pokiaľ ide o osoby alebo skupiny osôb, v súvislosti s ktorými sa má vysokorizikový systém AI používať, s osobitným dôrazom na zmiernenie možného skreslenia v súboroch údajov, ktoré by mohlo ovplyvniť zdravie a bezpečnosť osôb, mať negatívny vplyv na základné práva alebo viesť k diskriminácii zakázanej podľa práva Únie, najmä ak výstupy údajov ovplyvňujú vstupy pre budúce operácie (uzavretý kruh spätnej väzby). Skreslenie môže byť napríklad inherentné v základných súboroch údajov, najmä ak sa používajú historické údaje alebo údaje vygenerované pri implementácii systémov v reálnych podmienkach. Výsledky poskytované systémami AI by mohli byť ovplyvnené takýmto inherentným skreslením, ktoré má tendenciu postupne sa zvyšovať, a tým aj zachovávať a prehlbovať existujúcu diskrimináciu, najmä v prípade osôb patriacich k určitým zraniteľným skupinám vrátane rasových a etnických skupín. Požiadavka, aby boli súbory údajov v čo najväčšej miere úplné a bez chýb, by nemala mať v súvislosti s vývojom a testovaním systémov AI vplyv na používanie techník na zachovanie súkromia. Súbory údajov by mali v rozsahu, v akom si to vyžaduje zamýšľaný účel, zohľadňovať najmä znaky, charakteristiky alebo prvky, ktoré sú špecifické pre konkrétne geografické, kontextuálne, behaviorálne alebo funkčné podmienky, za ktorých sa má systém AI používať. Požiadavky týkajúce sa správy údajov možno splniť využitím tretích strán, ktoré ponúkajú certifikované služby dodržiavania predpisov vrátane overovania správy údajov, integrity súborov údajov a postupov trénovania, validácie a testovania údajov, pokiaľ je zabezpečený súlad s požiadavkami na údaje stanovenými v tomto nariadení.

(68)

Pokiaľ ide o vývoj a posudzovanie vysokorizikových systémov AI, niektorí aktéri, ako sú poskytovatelia, notifikované osoby a iné príslušné subjekty, ako napríklad centrá digitálnych inovácií, testovacie a experimentálne zariadenia a výskumní pracovníci, by mali mať prístup k súborom vysokokvalitných údajov a využívať ich v rámci oblastí svojich činností, ktoré súvisia s týmto nariadením. Pri poskytovaní dôveryhodného, zodpovedného a nediskriminačného prístupu k vysokokvalitným údajom na účely trénovania, validácie a testovania systémov AI budú mať zásadný význam spoločné európske dátové priestory zriadené Komisiou a uľahčenie výmeny údajov medzi podnikmi a s verejnou správou vo verejnom záujme. Napríklad v oblasti zdravia uľahčí európsky priestor pre údaje týkajúce sa zdravia nediskriminačný prístup k údajom týkajúcim sa zdravia a trénovanie algoritmov AI na týchto súboroch údajov, a to bezpečným, včasným, transparentným a dôveryhodným spôsobom chrániacim súkromie, pričom sa zabezpečí primerané inštitucionálne riadenie. Relevantné príslušné orgány vrátane sektorových orgánov, ktoré poskytujú alebo podporujú prístup k údajom, môžu takisto podporovať poskytovanie vysokokvalitných údajov na trénovanie, validáciu a testovanie systémov AI.

(69)

Právo na súkromie a ochranu osobných údajov musí byť zaručené počas celého životného cyklu systému AI. V tejto súvislosti sú pri spracúvaní údajov uplatniteľné zásady špecificky navrhnutej a štandardnej minimalizácie údajov a ochrany údajov stanovené v právnych predpisoch Únie o ochrane údajov. Opatrenia prijaté poskytovateľmi na zabezpečenie súladu s týmito zásadami môžu zahŕňať nielen anonymizáciu a šifrovanie, ale aj používanie technológie, ktorá umožňuje uplatňovanie algoritmov na údaje a umožňuje trénovanie systémov AI bez prenosu medzi stranami alebo kopírovania samotných nespracovaných alebo štruktúrovaných údajov bez toho, aby boli dotknuté požiadavky na správu údajov stanovené v tomto nariadení.

(70)

S cieľom chrániť právo iných osôb pred diskrimináciou, ktorá by mohla byť dôsledkom skreslenia v systémoch AI, by poskytovatelia mali výnimočne v rozsahu, v akom je to nevyhnutne potrebné na účely zabezpečenia zisťovania zaujatosti a nápravy v súvislosti s vysokorizikovými systémami AI, s výhradou primeraných záruk základných práv a slobôd fyzických osôb a po uplatnení všetkých uplatniteľných podmienok stanovených v tomto nariadení popri podmienkach stanovených v nariadeniach (EÚ) 2016/679 a (EÚ) 2018/1725 a smernici (EÚ) 2016/680, mať možnosť spracúvať aj osobitné kategórie osobných údajov ako záležitosť podstatného verejného záujmu v zmysle článku 9 ods. 2 písm. g) nariadenia (EÚ) 2016/679 a článku 10 ods. 2 písm. g) nariadenia (EÚ) 2018/1725.

(71)

Na umožnenie vysledovateľnosti týchto systémov, overenie súladu s požiadavkami podľa tohto nariadenia, ako aj monitorovanie ich prevádzky a ich monitorovanie po uvedení na trh je nevyhnutné mať zrozumiteľné informácie o tom, ako boli vysokorizikové systémy AI vyvinuté a ako fungujú počas celej svojej životnosti. To si vyžaduje vedenie záznamov a dostupnosť technickej dokumentácie obsahujúcej informácie, ktoré sú potrebné na posúdenie súladu systému AI s príslušnými požiadavkami a uľahčenie ich monitorovania po uvedení na trh. Takéto informácie by mali zahŕňať všeobecné charakteristiky, spôsobilosti a obmedzenia systému, algoritmy, údaje, postupy trénovania, testovania a validácie, ktoré boli použité, ako aj dokumentáciu o príslušnom systéme riadenia rizík vypracovanú jasne a komplexne. Technická dokumentácia by sa mala náležite aktualizovať počas celého životného cyklu systému AI. Vysokorizikové systémy AI by mali okrem toho technicky umožňovať automatické zaznamenávanie udalostí prostredníctvom logov počas celej životnosti systému.

(72)

S cieľom riešiť obavy súvisiace s neprehľadnosťou a zložitosťou určitých systémov AI a pomôcť nasadzujúcim subjektom plniť si povinnosti podľa tohto nariadenia by sa v prípade vysokorizikových systémov AI mala pred ich uvedením na trh alebo do prevádzky vyžadovať transparentnosť. Vysokorizikové systémy AI by mali byť dizajnované tak, aby umožnili nasadzujúcim subjektom pochopiť, ako systém AI funguje, vyhodnotiť jeho funkčnosť a pochopiť jeho silné stránky a obmedzenia. K vysokorizikovým systémom AI by mali byť priložené vhodné informácie vo forme návodu na použitie. Takéto informácie by mali zahŕňať charakteristiky, spôsobilosti a obmedzenia výkonu systému AI. Tie by zahŕňali informácie o možných známych a predvídateľných okolnostiach súvisiacich s používaním vysokorizikového systému AI vrátane činností nasadzujúcich subjektov, ktoré môžu ovplyvniť správanie a výkon systému, pri ktorých môže systém AI viesť k rizikám pre zdravie, bezpečnosť a základné práva, o zmenách, ktoré poskytovateľ vopred určil a posúdil z hľadiska zhody, a o príslušných opatreniach ľudského dohľadu vrátane opatrení na uľahčenie výkladu výstupov systému AI nasadzujúcimi subjektmi. Transparentnosť vrátane sprievodného návodu na použitie by mala pomáhať nasadzujúcim subjektom pri používaní systému a podporovať ich informované rozhodovanie. Nasadzujúce subjekty by okrem iného mali mať lepšiu pozíciu na to, aby si mohli správne vybrať systém, ktorý majú v úmysle používať vzhľadom na povinnosti, ktoré sa na nich vzťahujú, mali by sa vzdelávať o zamýšľaných a vylúčených použitiach a používať systém AI správne a náležite. S cieľom zlepšiť čitateľnosť a prístupnosť informácií uvedených v návode na použitie by sa v prípade potreby mali uviesť názorné príklady, napríklad pokiaľ ide o obmedzenia a zamýšľané a vylúčené použitia systému AI. Poskytovatelia by mali zabezpečiť, aby všetka dokumentácia vrátane návodu na použitie obsahovala zmysluplné, komplexné, prístupné a zrozumiteľné informácie, pričom sa zohľadnia potreby a predvídateľné znalosti cieľových nasadzujúcich subjektov. Návod na použitie by mal byť k dispozícii v jazyku, ktorý je podľa dotknutého členského štátu ľahko zrozumiteľný pre cieľový nasadzujúci subjekt.

(73)

Vysokorizikové systémy AI by mali byť dizajnované a vyvinuté tak, aby fyzické osoby mohli dohliadať na ich fungovanie, zabezpečiť, aby sa používali podľa zámeru a aby sa ich vplyvy riešili počas životného cyklu systému. Na tento účel by mal poskytovateľ systému určiť pred jeho uvedením na trh alebo do prevádzky vhodné opatrenia na zabezpečenie ľudského dohľadu. Takýmito opatreniami by sa malo prípadne zaručiť najmä to, že do systému budú zabudované prevádzkové obmedzenia, ktoré samotný systém nedokáže potlačiť, a že systém bude reagovať na ľudského operátora a fyzické osoby, ktorým bol zverený ľudský dohľad, budú mať potrebnú spôsobilosť, odbornú prípravu a právomoc vykonávať túto úlohu. Takisto je podľa potreby nevyhnutné zabezpečiť, aby vysokorizikové systémy AI zahŕňali mechanizmy na usmernenie a informovanie fyzickej osoby, ktorej bol pridelený ľudský dohľad, aby mohla prijímať informované rozhodnutia, či, kedy a ako zasiahnuť s cieľom vyhnúť sa negatívnym dôsledkom alebo rizikám, alebo zastaviť systém, ak nefunguje tak, ako sa plánovalo. Vzhľadom na významné dôsledky pre osoby v prípade nesprávneho stanovenia zhody určitými systémami biometrickej identifikácie je vhodné stanoviť požiadavku posilneného ľudského dohľadu nad týmito systémami, aby nasadzujúci subjekt nemohol prijať žiadne opatrenie ani rozhodnutie na základe identifikácie vyplývajúcej zo systému, pokiaľ to samostatne neoverili a nepotvrdili aspoň dve fyzické osoby. Tieto osoby by mohli byť z jedného alebo viacerých subjektov a mohli by zahŕňať osobu, ktorá prevádzkuje alebo používa systém. Táto požiadavka by nemala spôsobovať zbytočnú záťaž alebo oneskorenia a mohlo by stačiť, aby sa samostatné overenia uvedenými týmito jednotlivými osobami automaticky zaznamenávali do logov generovaných systémom. Vzhľadom na osobitosti oblastí presadzovania práva, migrácie, kontroly hraníc a azylu by sa táto požiadavka nemala uplatňovať, keď sa podľa práva Únie alebo vnútroštátneho práva uplatňovanie uvedenej požiadavky považuje za neprimerané.

(74)

Vysokorizikové systémy AI by mali fungovať konzistentne počas celého svojho životného cyklu a mali by spĺňať primeranú úroveň presnosti, spoľahlivosti a kybernetickej bezpečnosti vzhľadom na ich zamýšľaný účel a v súlade so všeobecne uznávaným aktuálnym stavom vývoja. Komisia a relevantné organizácie a zainteresované strany sa nabádajú, aby náležite zvážili zmierňovanie rizík a negatívne vplyvy systému AI. Očakávaná úroveň parametrov výkonu by sa mala uviesť v sprievodnom návode na použitie. Poskytovatelia sa vyzývajú, aby uvedené informácie oznamovali nasadzujúcim subjektom jasným a ľahko zrozumiteľným spôsobom bez nezrozumiteľností alebo zavádzajúcich vyhlásení. Cieľom práva Únie v oblasti legálnej metrológie vrátane smerníc Európskeho parlamentu a Rady 2014/31/EÚ (35) a 2014/32/EÚ (36) je zabezpečiť presnosť meraní a pomôcť pri zabezpečovaní transparentnosti a spravodlivosti obchodných transakcií. V uvedenej súvislosti by Komisia v spolupráci s príslušnými zainteresovanými stranami a organizáciou, ako sú orgány v oblasti metrológie a referenčného porovnávania, mala podľa potreby podporovať vypracovanie referenčných hodnôt a metodík merania pre systémy AI. Komisia by pritom mala vziať na vedomie činnosť medzinárodných partnerov pracujúcich v oblasti metrológie a príslušných ukazovateľov merania súvisiacich s AI a spolupracovať s nimi.

(75)

Technická spoľahlivosť je kľúčovou požiadavkou pre vysokorizikové systémy AI. Mali by byť odolné voči škodlivému alebo inak nežiaducemu správaniu, ktoré môže vyplynúť z obmedzení systémov alebo prostredia, v ktorom systémy fungujú (napríklad chyby, poruchy, nezrovnalosti, neočakávané situácie). Preto by sa mali prijať technické a organizačné opatrenia na zabezpečenie spoľahlivosti vysokorizikových systémov AI, napríklad dizajnovaním a vývojom vhodných technických riešení na prevenciu alebo minimalizáciu škodlivého alebo inak nežiaduceho správania. Toto technické riešenie môže zahŕňať napríklad mechanizmy umožňujúce systému bezpečne prerušiť svoju prevádzku (plány pre prípad zlyhania) za určitých anomálií alebo ak sa prevádzka uskutočňuje mimo určitých vopred stanovených hraníc. Neschopnosť chrániť pred týmito rizikami by mohla mať vplyv na bezpečnosť alebo negatívne ovplyvniť základné práva, napríklad v dôsledku chybných rozhodnutí alebo nesprávnych alebo skreslených výstupov vygenerovaných systémom AI.

(76)

Kybernetická bezpečnosť zohráva kľúčovú úlohu pri zabezpečovaní odolnosti systémov AI voči pokusom o zmenu ich použitia, správania, výkonnosti alebo o ohrozenie ich bezpečnostných vlastností tretími stranami, ktoré so škodlivým úmyslom zneužívajú zraniteľné miesta systému. Kybernetické útoky na systémy AI môžu využívať aktíva špecifické pre AI, ako sú súbory trénovacích údajov (napríklad otrávenie údajov) alebo trénované modely (napríklad nepriateľské útoky alebo zasahovanie do členstva), alebo zneužívať zraniteľné miesta digitálnych aktív systému AI alebo základnej infraštruktúry informačných a komunikačných technológií. Na zabezpečenie úrovne kybernetickej bezpečnosti primeranej rizikám by preto poskytovatelia vysokorizikových systémov AI mali prijať vhodné opatrenia ako napríklad bezpečnostné kontroly a náležite pritom zohľadniť základnú infraštruktúru informačných a komunikačných technológií.

(77)

Bez toho, aby boli dotknuté požiadavky týkajúce sa spoľahlivosti a presnosti stanovené v tomto nariadení, môžu vysokorizikové systémy AI, ktoré patria do rozsahu pôsobnosti nariadenia Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami, v súlade s uvedeným nariadením preukázať súlad s kybernetickobezpečnostnými požiadavkami tohto nariadenia splnením základných požiadaviek kybernetickej bezpečnosti stanovených v uvedenom nariadení. Ak vysokorizikové systémy AI spĺňajú základné požiadavky nariadenia Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami, mali by sa považovať za systémy spĺňajúce požiadavky kybernetickej bezpečnosti stanovené v tomto nariadení, pokiaľ sa splnenie týchto požiadaviek preukáže v EÚ vyhlásení o zhode alebo jeho častiach vydanom podľa uvedeného nariadenia. Na tento účel by sa v posúdení kybernetickobezpečnostných rizík spojených s produktom s digitálnymi prvkami klasifikovanými ako vysokorizikový systém AI podľa tohto nariadenia, ktoré sa vykonáva podľa nariadenia Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami, mali zohľadniť riziká pre kybernetickú odolnosť systému AI, pokiaľ ide o pokusy neoprávnených tretích strán zmeniť jeho používanie, správanie alebo výkon vrátane zraniteľností špecifických pre AI, ako sú otrávenie údajov alebo nepriateľské útoky, ako aj prípadné riziká pre základné práva, ako sa vyžaduje v tomto nariadení.

(78)

Postup posudzovania zhody stanovený v tomto nariadení by sa mal uplatňovať v súvislosti so základnými požiadavkami kybernetickej bezpečnosti produktu s digitálnymi prvkami, na ktorý sa vzťahuje nariadenie Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami a ktorý je podľa tohto nariadenia klasifikovaný ako vysokorizikový systém AI. Toto pravidlo by však nemalo viesť k zníženiu potrebnej úrovne záruky pre kritické produkty s digitálnymi prvkami, na ktoré sa vzťahuje nariadenie Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami. Odchylne od tohto pravidla by preto vysokorizikové systémy AI, ktoré patria do rozsahu pôsobnosti nariadenia a zároveň sú kvalifikované ako významné a kritické produkty s digitálnymi prvkami podľa nariadenia Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami a na ktoré sa uplatňuje postup posudzovania zhody na základe vnútornej kontroly stanovený v prílohe k tomuto nariadeniu, mali podliehať ustanoveniam nariadenia Európskeho parlamentu a Rady o horizontálnych požiadavkách kybernetickej bezpečnosti pre produkty s digitálnymi prvkami týkajúcim sa posudzovania zhody, pokiaľ ide o základné požiadavky uvedeného nariadenia na kybernetickú bezpečnosť. V tomto prípade by sa na všetky ostatné aspekty, na ktoré sa vzťahuje toto nariadenie, mali uplatňovať príslušné ustanovenia o posudzovaní zhody na základe vnútornej kontroly stanovené v prílohe k tomuto nariadeniu. Na základe poznatkov a odborných znalostí agentúry ENISA v oblasti politiky kybernetickej bezpečnosti a úloh pridelených agentúre ENISA podľa nariadenia Európskeho parlamentu a Rady (EÚ) 2019/881 (37) by Komisia mala spolupracovať s agentúrou ENISA v otázkach týkajúcich sa kybernetickej bezpečnosti systémov AI.

(79)

Je vhodné, aby konkrétna fyzická alebo právnická osoba vymedzená ako poskytovateľ prevzala zodpovednosť za uvedenie vysokorizikového systému AI na trh alebo do prevádzky bez ohľadu na to, či je táto fyzická alebo právnická osoba osobou, ktorá systém dizajnovala alebo vyvinula.

(80)

Únia a členské štáty sú ako signatári Dohovoru OSN o právach osôb so zdravotným postihnutím právne zaviazané chrániť osoby so zdravotným postihnutím pred diskrimináciou a podporovať ich rovnosť, zabezpečiť, aby osoby so zdravotným postihnutím mali rovnaký prístup k informačným a komunikačným technológiám a systémom ako ostatní, a zabezpečiť rešpektovanie súkromia osôb so zdravotným postihnutím. Vzhľadom na rastúci význam a využívanie systémov AI by sa uplatňovaním zásad univerzálneho dizajnu na všetky nové technológie a služby mal zabezpečiť úplný a rovnaký prístup pre každého, koho sa technológie AI potenciálne týkajú alebo kto ich používa, vrátane osôb so zdravotným postihnutím, a to spôsobom, ktorý plne zohľadňuje ich prirodzenú dôstojnosť a rozmanitosť. Preto je nevyhnutné, aby poskytovatelia zabezpečili úplný súlad s požiadavkami na prístupnosť vrátane smernice Európskeho parlamentu a Rady (EÚ) 2016/2102 (38) a smernice (EÚ) 2019/882. Poskytovatelia by mali zabezpečiť súlad s týmito požiadavkami už v štádiu návrhu. Potrebné opatrenia by sa preto mali čo najviac začleniť do dizajnu vysokorizikového systému AI.

(81)

Poskytovateľ by mal zaviesť spoľahlivý systém riadenia kvality, zabezpečiť dokončenie požadovaného postupu posudzovania zhody, vypracovať príslušnú dokumentáciu a vytvoriť spoľahlivý systém monitorovania po uvedení na trh. Poskytovatelia vysokorizikových systémov AI, na ktorých sa vzťahujú povinnosti týkajúce sa systémov riadenia kvality podľa príslušných odvetvových právnych predpisov Únie, by mali mať možnosť zahrnúť prvky systému riadenia kvality stanoveného v tomto nariadení ako súčasť existujúceho systému riadenia kvality stanoveného v uvedených iných odvetvových právnych predpisov Únie. Pri budúcich normalizačných činnostiach alebo usmerneniach prijatých Komisiou by sa mala zohľadniť aj komplementárnosť medzi týmto nariadením a existujúcim odvetvovým právom Únie. Orgány verejnej moci, ktoré uvádzajú do prevádzky vysokorizikové systémy AI pre vlastnú potrebu, môžu prijať a vykonávať pravidlá systému riadenia kvality ako súčasť systému riadenia kvality prijatého na vnútroštátnej prípadne regionálnej úrovni, pričom zohľadnia osobitosti odvetvia a právomoci a organizáciu dotknutého orgánu verejnej moci.

(82)

S cieľom umožniť presadzovanie tohto nariadenia a vytvoriť rovnaké podmienky pre prevádzkovateľov je pri zohľadnení rôznych foriem sprístupňovania digitálnych produktov dôležité zabezpečiť, aby osoba usadená v Únii mohla za každých okolností poskytnúť orgánom všetky potrebné informácie o súlade systému AI. Preto poskytovatelia usadení v tretích krajinách by mali vymenovať písomným mandátom pred sprístupnením svojich systémov AI v Únii splnomocneného zástupcu usadeného v Únii. V prípade poskytovateľov, ktorí nie sú usadení v Únii, zohráva tento splnomocnený zástupca kľúčovú úlohu pri zabezpečovaní súladu vysokorizikových systémov AI uvedených na trh alebo do prevádzky v Únii týmito poskytovateľmi a slúži ako ich kontaktná osoba usadená v Únii.

(83)

Vzhľadom na povahu a zložitosť hodnotového reťazca systémov AI a v súlade s novým legislatívnym rámcom je nevyhnutné zabezpečiť právnu istotu a uľahčiť súlad s týmto nariadením. Preto je potrebné objasniť úlohu a osobitné povinnosti príslušných prevádzkovateľov v uvedenom hodnotovom reťazci, ako sú dovozcovia a distribútori, ktorí môžu prispievať k vývoju systémov AI. V určitých situáciách by takíto prevádzkovatelia mohli konať vo viac ako jednej role súčasne, a preto by mali kumulatívne plniť všetky príslušné povinnosti spojené s týmito rolami. Prevádzkovateľ by napríklad mohol konať súčasne ako distribútor a dovozca.

(84)

V záujme zabezpečenia právnej istoty je potrebné objasniť, že za určitých osobitných podmienok by sa každý distribútor, dovozca, nasadzujúci subjekt alebo iná tretia strana mali považovať za poskytovateľa vysokorizikového systému AI, a preto by mali prevziať všetky príslušné povinnosti. Bolo by to tak v prípade, ak by táto strana uviedla svoje meno alebo ochrannú známku na vysokorizikovom systéme AI, ktorý už bol uvedený na trh alebo do prevádzky, bez toho, aby boli dotknuté zmluvné dojednania, v ktorých sa stanovuje, že povinnosti sú pridelené inak. Bolo by to tak aj v prípade, ak táto strana vykoná podstatnú zmenu vysokorizikového systému AI, ktorý už bol uvedený na trh alebo už do prevádzky, a to tak, že zostane vysokorizikovým systémom AI v súlade s týmto nariadením, alebo ak zmení zamýšľaný účel systému AI vrátane systému AI na všeobecné účely, ktorý nebol klasifikovaný ako vysokorizikový a už bol uvedený na trh alebo do prevádzky, a to tak, že systém AI sa stane vysokorizikovým systémom AI v súlade s týmto nariadením. Uvedené ustanovenia by sa mali uplatňovať bez toho, aby boli dotknuté konkrétnejšie ustanovenia zavedené v určitých harmonizačných právnych predpisoch Únie založených na novom legislatívnom rámci, spolu s ktorými by sa malo uplatňovať toto nariadenie. Napríklad článok 16 ods. 2 nariadenia (EÚ) 2017/745, v ktorom sa stanovuje, že určité zmeny by sa nemali považovať za úpravy pomôcky, ktoré by mohli ovplyvniť jej súlad s uplatniteľnými požiadavkami, by sa mal naďalej uplatňovať na vysokorizikové systémy AI, ktoré sú zdravotníckymi pomôckami v zmysle uvedeného nariadenia.

(85)

Systémy AI na všeobecné účely sa môžu používať ako vysokorizikové systémy AI samy osebe alebo môžu byť komponentmi iných vysokorizikových systémov AI. Vzhľadom na osobitnú povahu systémov AI na všeobecné účely a s cieľom zabezpečiť spravodlivé rozdelenie zodpovednosti v rámci hodnotového reťazca AI by poskytovatelia takýchto systémov mali bez ohľadu na to, či ich iní poskytovatelia používajú ako vysokorizikové systémy AI ako také alebo ako komponenty vysokorizikových systémov AI, a ak sa nestanovuje inak v tomto nariadení, mali úzko spolupracovať s poskytovateľmi príslušných vysokorizikových systémov AI s cieľom umožniť ich súlad s príslušnými povinnosťami podľa tohto nariadenia a spolupracovať aj s príslušnými orgánmi zriadenými podľa tohto nariadenia.

(86)

Ak by sa za podmienok stanovených v tomto nariadení poskytovateľ, ktorý pôvodne uviedol systém AI na trh alebo do prevádzky, už nemal považovať za poskytovateľa na účely tohto nariadenia a ak tento poskytovateľ výslovne nevylúčil zmenu systému AI na vysokorizikový systém AI, tento bývalý poskytovateľ by mal napriek tomu úzko spolupracovať a sprístupniť potrebné informácie a poskytnúť odôvodnene očakávaný technický prístup a inú pomoc, ktoré sú potrebné na splnenie povinností stanovených v tomto nariadení, najmä pokiaľ ide o súlad s posudzovaním zhody vysokorizikových systémov AI.

(87)

Ak sa navyše vysokorizikový systém AI, ktorý je bezpečnostným komponentom výrobku, ktorý patrí do rozsahu pôsobnosti harmonizačných právnych predpisov Únie založených na novom legislatívnom rámci, neuvádza na trh ani do prevádzky nezávisle od daného výrobku, výrobca výrobku vymedzený v uvedených právnych predpisoch by mal dodržiavať povinnosti poskytovateľa stanovené v tomto nariadení a mal by najmä zabezpečiť, aby systém AI zabudovaný do konečného výrobku spĺňal požiadavky tohto nariadenia.

(88)

V rámci hodnotového reťazca AI viaceré strany často dodávajú systémy, nástroje a služby AI, ale aj komponenty alebo procesy, ktoré poskytovateľ začlení do systému AI s rôznymi cieľmi vrátane trénovania modelov, pretrénovania modelov, testovania a hodnotenia modelov, integrácie do softvéru alebo iných aspektov vývoja modelu. Uvedené strany zohrávajú dôležitú úlohu v hodnotovom reťazci vo vzťahu k poskytovateľovi vysokorizikového systému AI, do ktorého sú ich systémy, nástroje, služby, komponenty alebo procesy AI integrované, a mali by tomuto poskytovateľovi poskytnúť na základe písomnej dohody potrebné informácie, spôsobilosti, technický prístup a inú pomoc na základe všeobecne uznávaného aktuálneho stavu vývoja, aby si tento poskytovateľ mohol v plnej miere plniť povinnosti stanovené v tomto nariadení, a to bez toho, aby boli ohrozené ich vlastné práva duševného vlastníctva alebo obchodné tajomstvá.

(89)

Tretie strany, ktoré sprístupňujú verejnosti nástroje, služby, procesy, alebo komponenty AI iné ako modely AI na všeobecné účely, by nemali byť povinné dodržiavať požiadavky zamerané na povinnosti v celom hodnotovom reťazci AI, najmä voči poskytovateľovi, ktorý ich použil alebo integroval, ak sa tieto nástroje, služby, procesy alebo komponenty AI sprístupňujú na základe bezplatnej licencie s otvoreným zdrojovým kódom. Vývojári nástrojov, služieb, procesov, alebo komponentov AI iných ako modely AI na všeobecné účely, dostupných zdarma a s otvoreným zdrojovým kódom, by sa mali nabádať, aby implementovali všeobecne prijaté postupy pre dokumentáciu, ako sú vzorové karty a údajové hárky, ako spôsob urýchlenia výmeny informácií v rámci hodnotového reťazca AI, čím sa umožní podpora dôveryhodných systémov AI v Únii.

(90)

Komisia by mohla vypracovať a odporučiť nezáväzné vzorové zmluvné podmienky medzi poskytovateľmi vysokorizikových systémov AI a tretími stranami, ktoré dodávajú nástroje, služby, komponenty alebo procesy, ktoré sa používajú vo vysokorizikových systémoch AI alebo integrujú do takýchto systémov, s cieľom uľahčiť spoluprácu v celom hodnotovom reťazci. Pri vypracúvaní nezáväzných vzorových zmluvných podmienok by Komisia mala zohľadniť možné zmluvné požiadavky uplatniteľné v konkrétnych odvetviach alebo obchodných prípadoch.

(91)

Vzhľadom na povahu systémov AI a riziká pre bezpečnosť a základné práva, ktoré môžu súvisieť s ich používaním, a to aj pokiaľ ide o potrebu zabezpečiť riadne monitorovanie výkonu systému AI v reálnom prostredí, je vhodné stanoviť osobitné povinnosti nasadzujúce subjekty. Nasadzujúce subjekty by hlavne mali prijať technické a organizačné opatrenia s cieľom zabezpečiť, že používajú vysokorizikové systémy AI v súlade s návodom na použitie a mali by sa stanoviť určité ďalšie povinnosti, pokiaľ ide o monitorovanie fungovania systémov AI a prípadne aj vedenie záznamov. Nasadzujúce subjekty by okrem toho mali zabezpečiť, aby osoby poverené implementáciou návodu na použitie a vykonávaním ľudského dohľadu, ako sa stanovuje v tomto nariadení, mali potrebnú spôsobilosť, najmä primeranú úroveň gramotnosti v oblasti AI, odbornú prípravu a právomoc riadne plniť tieto úlohy. Týmito povinnosťami by nemali byť dotknuté iné povinnosti nasadzujúcich subjektov v súvislosti s vysokorizikovými systémami AI podľa práva Únie alebo vnútroštátneho práva.

(92)

Týmto nariadením nie sú dotknuté povinnosti zamestnávateľov informovať pracovníkov alebo ich zástupcov a konzultovať s nimi podľa práva a praxe Únie alebo vnútroštátneho práva a praxe vrátane smernice Európskeho parlamentu a Rady 2002/14/ES (39), pokiaľ ide o rozhodnutia o uvedení do prevádzky alebo používaní systémov AI. Naďalej je potrebné zabezpečiť informovanie pracovníkov a ich zástupcov o plánovanom nasadení vysokorizikových systémov AI na pracovisku, keď nie sú splnené podmienky pre uvedené informovanie alebo informačné a konzultačné povinnosti stanovené v iných právnych nástrojoch. Takéto právo na informácie je navyše doplnkové a nevyhnutné z hľadiska cieľa ochrany základných práv, ktorý je základom tohto nariadenia. Preto by sa v tomto nariadení mala stanoviť požiadavka na informácie na tento účel bez toho, aby boli dotknuté akékoľvek existujúce práva pracovníkov.

(93)

Aj keď riziká súvisiace so systémami AI môžu vyplývať zo spôsobu, akým sú tieto systémy dizajnované, riziká môžu vyplývať aj z toho, ako sa tieto systémy AI používajú. Subjekty nasadzujúce vysokorizikový systém AI preto zohrávajú rozhodujúcu úlohu pri zabezpečovaní ochrany základných práv a dopĺňajú povinnosti poskytovateľa pri vývoji systému AI. Nasadzujúce subjekty majú najlepšie predpoklady na to, aby pochopili, ako sa bude vysokorizikový systém AI konkrétne používať, preto môžu identifikovať potenciálne významné riziká, ktoré sa vo fáze vývoja nepredpokladali, a to vďaka presnejším znalostiam kontextu používania, osôb alebo skupín osôb, ktorých sa to môže týkať, vrátane zraniteľných skupín. Subjekty nasadzujúce vysokorizikové systémy AI uvedené v prílohe k tomuto nariadeniu zároveň zohrávajú kritickú úlohu pri informovaní fyzických osôb a pri prijímaní rozhodnutí alebo prípadne pri pomoci s prijímaním rozhodnutí týkajúcich sa fyzických osôb by mali informovať fyzické osoby o tom, že sa na ne vzťahuje použitie vysokorizikového systému AI. Tieto informácie zahŕňajú zamýšľaný účel a typ rozhodnutí, ktoré prijímajú. Nasadzujúci subjekt by mal takisto informovať fyzické osoby o ich práve na vysvetlenie stanovenom v tomto nariadení. Pokiaľ ide o vysokorizikové systémy AI používané na účely presadzovania práva, uvedená povinnosť by sa mala implementovať v súlade s článkom 13 smernice (EÚ) 2016/680.

(94)

Každé spracúvanie biometrických údajov pri používaní systémov AI na biometrickú identifikáciu na účely presadzovania práva musí byť v súlade s článkom 10 smernice (EÚ) 2016/680, ktorý umožňuje takéto spracúvanie len vtedy, keď je to nevyhnutne potrebné, s výhradou primeraných záruk ochrany práv a slobôd dotknutej osoby a ak je to povolené právom Únie alebo členského štátu. Pri takomto používaní, ak je povolené, sa musia dodržiavať aj zásady stanovené v článku 4 ods. 1 smernice (EÚ) 2016/680 vrátane zákonnosti, spravodlivosti a transparentnosti, obmedzenia účelu, presnosti a obmedzenia uchovávania.

(95)

Bez toho, aby bolo dotknuté uplatniteľné právo Únie, najmä nariadenie (EÚ) 2016/679 a smernica (EÚ) 2016/680, vzhľadom na rušivý charakter systémov následnej diaľkovej biometrickej identifikácie, by používanie systémov následnej diaľkovej biometrickej identifikácie malo podliehať zárukám. Systémy následnej diaľkovej biometrickej identifikácie by sa mali vždy používať spôsobom, ktorý je primeraný, legitímny a nevyhnutne potrebný, a teda cielený, pokiaľ ide o osoby, ktoré sa majú identifikovať, miesto a časový rozsah a mali by vychádzať z uzavretého súboru údajov zo zákonne získaných videozáznamov. V každom prípade by sa systémy následnej diaľkovej biometrickej identifikácie nemali používať v rámci presadzovania práva s cieľom viesť k nerozlišujúcemu sledovaniu. Podmienky pre následnú diaľkovú biometrickú identifikáciu by v žiadnom prípade nemali poskytovať základ na obchádzanie podmienok zákazu a prísnych výnimiek pre diaľkovú biometrickú identifikáciu v reálnom čase.

(96)

S cieľom účinne zabezpečiť ochranu základných práv by subjekty nasadzujúce vysokorizikové systémy AI, ktoré sú subjektmi, ktoré sa spravujú verejným právom, alebo súkromnými subjektmi poskytujúcimi verejné služby a subjekty nasadzujúce určité vysokorizikové systémy AI uvedené v zozname v prílohe k tomuto nariadeniu, ako sú bankové alebo poisťovacie subjekty, mali pred ich uvedením do používania vykonať posúdenie vplyvu na základné práva. Služby dôležité pre jednotlivcov, ktoré sú verejného charakteru, môžu poskytovať aj súkromné subjekty. Súkromné subjekty poskytujúce takéto verejné služby sú spojené s úlohami vo verejnom záujme, ako napríklad v oblastiach vzdelávania, zdravotnej starostlivosti, sociálnych služieb, bývania, výkonu spravodlivosti. Cieľom posúdenia vplyvu na základné práva je, aby nasadzujúci subjekt identifikoval konkrétne riziká pre práva jednotlivcov alebo skupín jednotlivcov, ktorí by mohli byť dotknutí, a určiť opatrenia, ktoré sa majú prijať v prípade naplnenia uvedených rizík. Posúdenie vplyvu by sa malo vykonať pred nasadením vysokorizikového systému AI a malo by sa aktualizovať, keď nasadzujúci subjekt usúdi, že sa niektorý z relevantných faktorov zmenil. V posúdení vplyvu by sa mali určiť príslušné procesy nasadzujúceho subjektu, v ktorých sa bude vysokorizikový systém AI používať v súlade s jeho zamýšľaným účelom, a malo by obsahovať opis obdobia a frekvencie, v ktorých sa má systém používať, ako aj konkrétnych kategórií fyzických osôb a skupín, ktoré by mohli byť ovplyvnené v konkrétnom kontexte používania. Posúdenie by malo zahŕňať aj identifikáciu osobitných rizík ujmy, ktoré by mohli mať vplyv na základné práva uvedených osôb alebo skupín. Pri vykonávaní tohto posúdenia by nasadzujúci subjekt mal zohľadniť informácie relevantné pre riadne posúdenie vplyvu, okrem iného vrátane informácií, ktoré poskytovateľ vysokorizikového systému AI poskytol v návode na použitie. Vzhľadom na zistené riziká by nasadzujúce subjekty mali určiť opatrenia, ktoré sa majú prijať v prípade naplnenia uvedených rizík, vrátane napríklad mechanizmov správy a riadenia v tomto konkrétnom kontexte používania, ako sú mechanizmy ľudského dohľadu podľa návodu na použitie alebo postupy vybavovania sťažností a nápravy, keďže by mohli byť nápomocné pri zmierňovaní rizík pre základné práva v konkrétnych prípadoch použitia. Po vykonaní uvedeného posúdenia vplyvu by nasadzujúci subjekt mal informovať príslušný orgán dohľadu nad trhom. Na zhromažďovanie relevantných informácií potrebných na vykonanie posúdenia vplyvu by subjekty nasadzujúce vysokorizikový systém AI, najmä ak sa systémy AI používajú vo verejnom sektore, mohli do vykonávania takýchto posúdení vplyvu a koncipovania opatrení, ktoré sa majú prijať v prípade naplnenia rizík, zapojiť príslušné zainteresované strany vrátane zástupcov skupín osôb, ktoré by mohli byť ovplyvnené systémom AI, nezávislých expertov a organizácie občianskej spoločnosti. Európsky úrad pre umelú inteligenciu (ďalej len „úrad pre AI“) by mal vypracovať vzor dotazníka s cieľom uľahčiť dodržiavanie predpisov a znížiť administratívne zaťaženie nasadzujúcich subjektov.

(97)

Pojem modely AI na všeobecné účely by sa mal jasne vymedziť a oddeliť od pojmu systémy AI, aby sa umožnila právna istota. Toto vymedzenie by malo byť založené na kľúčových funkčných charakteristikách modelu AI na všeobecné účely, najmä na všeobecnej povahe a spôsobilosti kompetentne vykonávať širokú škálu rôznych úloh. Tieto modely sa zvyčajne trénujú na veľkých množstvách údajov prostredníctvom rôznych metód, ako je učenie sa pod vlastným dohľadom, učenie sa bez dohľadu alebo posilňovacie učenie. Modely AI na všeobecné účely sa môžu uvádzať na trh rôznymi spôsobmi, a to aj prostredníctvom knižníc, aplikačných programovacích rozhraní, priamym sťahovaním alebo fyzickým kopírovaním. Tieto modely sa môžu ďalej upravovať alebo dolaďovať na nové modely. Hoci sú modely AI základnými komponentmi systémov AI, samy osebe nepredstavujú systémy AI. Modely AI si vyžadujú pridanie ďalších komponentov, ako je napríklad používateľské rozhranie, aby sa z nich stali systémy AI. Modely AI sú zvyčajne integrované do systémov AI a tvoria ich súčasť. V tomto nariadení sa stanovujú osobitné pravidlá pre modely AI na všeobecné účely a modely AI na všeobecné účely, ktoré predstavujú systémové riziká, ktoré by sa mali uplatňovať aj vtedy, keď sú tieto modely integrované do systému AI alebo tvoria jeho súčasť. Malo by byť zrejmé, že povinnosti poskytovateľov modelov AI na všeobecné účely by sa mali uplatňovať po uvedení modelov AI na všeobecné účely na trh. Ak poskytovateľ modelu AI na všeobecné účely integruje vlastný model do svojho vlastného systému AI, ktorý je sprístupnený na trhu alebo do prevádzky, tento model by sa mal považovať za uvedený na trh, a preto by sa povinnosti stanovené v tomto nariadení pre modely mali naďalej uplatňovať popri povinnostiach týkajúcich sa systémov AI. Povinnosti stanovené pre modely by sa v žiadnom prípade nemali uplatňovať, ak sa vlastný model používa na čisto vnútorné procesy, ktoré nie sú nevyhnutné na poskytovanie výrobku alebo služby tretím stranám, a práva fyzických osôb nie sú dotknuté. Vzhľadom na ich potenciálne výrazne negatívne účinky by sa na modely AI na všeobecné účely so systémovým rizikom mali vždy vzťahovať príslušné povinnosti podľa tohto nariadenia. Vymedzenie pojmu by sa nemalo vzťahovať na modely AI používané pred ich uvedením na trh výlučne na účely činností v oblasti výskumu, vývoja a vytvárania prototypov. Týmto nie je dotknutá povinnosť dodržiavať toto nariadenie, keď sa po uskutočnení týchto činností uvádza model na trh.

(98)

Zatiaľ čo všeobecná povaha modelu by sa mohla okrem iného určiť aj na základe viacerých parametrov, modely s aspoň miliardou parametrov a trénované s veľkým množstvom údajov s využitím vlastného dohľadu vo veľkom rozsahu by sa mali považovať za modely, ktoré vykazujú významnú všeobecnú povahu a kompetentne vykonávajú širokú škálu osobitných úloh.

(99)

Veľké generatívne modely AI sú typickým príkladom modelu AI na všeobecné účely vzhľadom na to, že umožňujú flexibilnú tvorbu obsahu napríklad vo forme textu, zvuku, obrázkov alebo videa, pričom dokážu ľahko zvládnuť širokú škálu osobitných úloh.

(100)

Ak je model AI na všeobecné účely integrovaný do systému AI alebo je jeho súčasťou, tento systém by sa mal považovať za systém AI na všeobecné účely, ak je tento systém v dôsledku tejto integrácie spôsobilý slúžiť na rôzne účely. Systém AI na všeobecné účely sa môže používať priamo alebo môže byť integrovaný do iných systémov AI.

(101)

Poskytovatelia modelov AI na všeobecné účely majú osobitnú úlohu a zodpovednosť v hodnotovom reťazci AI, keďže modely, ktoré poskytujú, môžu tvoriť základ pre celý rad nadväzujúcich systémov, ktoré často poskytujú nadväzujúci poskytovatelia, čo si vyžaduje dobré pochopenie modelov a ich spôsobilostí, a to s cieľom umožniť integráciu takýchto modelov do ich výrobkov, ako aj plniť svoje povinnosti podľa tohto alebo iných nariadení. Preto by sa mali stanoviť primerané opatrenia v oblasti transparentnosti vrátane vypracovania a aktualizácie dokumentácie a poskytovania informácií o modeli AI na všeobecné účely na jeho používanie nadväzujúcimi poskytovateľmi. Poskytovateľ modelu AI na všeobecné účely by mal vypracovať a aktualizovať technickú dokumentáciu na účely jej sprístupnenia na požiadanie úradu pre AI a vnútroštátnym príslušným orgánom. V osobitných prílohách k tomuto nariadeniu by sa mal stanoviť minimálny súbor prvkov, ktoré sa majú zahrnúť do takejto dokumentácie. Vzhľadom na nepretržitý technologický vývoj by Komisia mala byť oprávnená meniť uvedené prílohy prostredníctvom delegovaných aktov.

(102)

Softvér a údaje vrátane modelov, ktoré sa vydávajú na základe bezplatnej licencie s otvoreným zdrojovým kódom, ktorá umožňuje ich otvorené zdieľanie a v rámci ktorej majú používatelia voľný prístup k nim alebo ich upraveným verziám, môžu ich voľne používať, upravovať a redistribuovať, majú potenciál prispieť k výskumu a inovácii na trhu a poskytnúť hospodárstvu Únie významné príležitosti na rast. Modely AI na všeobecné účely, ktoré sa vydávajú na základe bezplatných licencií s otvoreným zdrojovým kódom, by sa mali považovať za zabezpečujúce vysokú úroveň transparentnosti a otvorenosti, ak sú ich parametre vrátane váh, informácií o architektúre modelu a informácií o používaní modelu verejne dostupné. Licencia by sa mala považovať za bezplatnú a s otvoreným zdrojovým kódom aj vtedy, keď umožňuje používateľom prevádzkovať, kopírovať, distribuovať, študovať, meniť a zlepšovať softvér a údaje vrátane modelov pod podmienkou, že sa pôvodnému poskytovateľovi modelu pripíše kredit a že sa dodržia rovnaké alebo porovnateľné podmienky distribúcie.

(103)

Bezplatné komponenty AI s otvoreným zdrojovým kódom zahŕňajú softvér a údaje vrátane modelov a modelov AI na všeobecné účely, nástrojov, služieb alebo procesov systému AI. Bezplatné komponenty AI s otvoreným zdrojovým kódom možno poskytovať prostredníctvom rôznych kanálov vrátane ich vývoja v otvorených archívoch. Na účely tohto nariadenia by sa na komponenty AI, ktoré sa poskytujú za odplatu alebo inak speňažujú, a to aj prostredníctvom poskytovania technickej podpory alebo iných služieb, vrátane softvérovej platformy, ktoré súvisia s komponentom AI, alebo použitia osobných údajov z iných dôvodov než výlučne na zlepšenie bezpečnosti, kompatibility alebo interoperability softvéru, s výnimkou transakcií medzi mikropodnikmi, nemali vzťahovať výnimky poskytované bezplatným komponentom AI s otvoreným zdrojovým kódom. Sprístupnenie komponentov AI prostredníctvom otvorených archívov by samo osebe nemalo predstavovať speňaženie.

(104)

Poskytovatelia modelov AI na všeobecné účely, ktoré sa vydávajú na základe bezplatnej licencie s otvoreným zdrojovým kódom a ktorých parametre vrátane váh, informácií o architektúre modelu a informácií o používaní modelu sú verejne dostupné, by mali podliehať výnimkám, pokiaľ ide o požiadavky na transparentnosť týkajúce sa modelov AI na všeobecné účely, pokiaľ ich nemožno považovať za modely predstavujúce systémové riziko, pričom v takom prípade by sa okolnosť, že model je transparentný a sprevádzaný licenciou s otvoreným zdrojovým kódom, nemala považovať za dostatočný dôvod na vylúčenie dodržiavania povinností podľa tohto nariadenia. V každom prípade vzhľadom na to, že pri vydávaní modelov AI na všeobecné účely na základe bezplatnej licencie s otvoreným zdrojovým kódom sa nemusia nevyhnutne odhaliť podstatné informácie o súbore údajov použitom na trénovanie alebo doladenie modelu a o tom, ako sa tým zabezpečilo dodržiavanie autorského práva, výnimka stanovená pre modely AI na všeobecné účely z dodržiavania požiadaviek týkajúcich sa transparentnosti by sa nemala týkať povinnosti predložiť zhrnutie obsahu použitého na trénovanie modelu a povinnosti zaviesť politiku dodržiavania autorského práva Únie, najmä s cieľom identifikovať a rešpektovať výhrady práv vyjadrené podľa článku 4 ods. 3 smernice Európskeho parlamentu a Rady (EÚ) 2019/790 (40).

(105)

Modely AI na všeobecné účely, najmä veľké generatívne modely AI schopné generovať text, obrázky a iný obsah, predstavujú jedinečné inovačné príležitosti, ale aj výzvy pre umelcov, autorov a iných tvorcov a pre spôsob, akým sa ich tvorivý obsah vytvára, distribuuje, používa a spotrebúva. Vývoj a trénovanie takýchto modelov si vyžaduje prístup k obrovskému množstvu textov, obrázkov, videí a iných údajov. Techniky hĺbkovej analýzy textov a údajov sa môžu v tejto súvislosti vo veľkej miere používať na vyhľadávanie a analýzu takéhoto obsahu, ktorý môže byť chránený autorským právom a s ním súvisiacimi právami. Akékoľvek použitie obsahu chráneného autorským právom si vyžaduje povolenie príslušného nositeľa práv, pokiaľ sa neuplatňujú príslušné výnimky a obmedzenia autorského práva. Smernicou (EÚ) 2019/790 sa zaviedli výnimky a obmedzenia, ktoré za určitých podmienok umožňujú rozmnožovanie a extrakciu diel alebo iných predmetov ochrany na účely hĺbkovej analýzy textov a údajov. Podľa týchto pravidiel sa nositelia práv môžu rozhodnúť vyhradiť svoje práva na svoje diela alebo iné predmety ochrany s cieľom zabrániť hĺbkovej analýze textov a údajov, pokiaľ sa to neuskutočňuje na účely vedeckého výskumu. Ak boli práva na neposkytnutie prístupu výslovne vyhradené vhodným spôsobom, poskytovatelia modelov AI na všeobecné účely musia získať povolenie nositeľov práv, ak chcú vykonať hĺbkovú analýzu textov a údajov v súvislosti s takýmito dielami.

(106)

Poskytovatelia, ktorí uvádzajú modely AI na všeobecné účely na trh Únie, by mali zabezpečiť súlad s príslušnými povinnosťami stanovenými v tomto nariadení. Na tento účel by poskytovatelia modelov AI na všeobecné účely mali zaviesť politiku dodržiavania práva Únie v oblasti autorského práva a s ním súvisiacich práv, najmä s cieľom identifikovať a dodržiavať výhradu práv vyjadrenú nositeľmi práv podľa článku 4 ods. 3 smernice (EÚ) 2019/790. Každý poskytovateľ, ktorý uvádza model AI na všeobecné účely na trh Únie, by mal splniť túto povinnosť bez ohľadu na jurisdikciu, v ktorej sa uskutočňujú akty týkajúce sa autorských práv, ktoré sú základom trénovania uvedených modelov AI na všeobecné účely. Je to potrebné na zabezpečenie rovnakých podmienok medzi poskytovateľmi modelov AI na všeobecné účely, v rámci ktorých by žiadny poskytovateľ nemal mať možnosť získať konkurenčnú výhodu na trhu Únie uplatňovaním nižších noriem v oblasti autorských práv, ako sú normy stanovené v Únii.

(107)

S cieľom zvýšiť transparentnosť údajov, ktoré sa používajú pri predbežnom trénovaní a trénovaní modelov AI na všeobecné účely vrátane textu a údajov chránených autorským právom, je vhodné, aby poskytovatelia takýchto modelov vypracovali a zverejnili dostatočne podrobné zhrnutie obsahu použitého na trénovanie modelu AI na všeobecné účely. Pri náležitom zohľadnení potreby chrániť obchodné tajomstvo a dôverné obchodné informácie by toto zhrnutie malo byť vo všeobecnosti komplexné, pokiaľ ide o jeho rozsah pôsobnosti, a nie technicky podrobné, aby sa stranám s oprávnenými záujmami vrátane nositeľov autorských práv uľahčilo uplatňovanie a presadzovanie ich práv podľa práva Únie, napríklad uvedením hlavných zbierok alebo súborov údajov, ktoré boli súčasťou trénovania modelu, ako sú veľké súkromné alebo verejné databázy alebo archívy údajov, a poskytnutím opisného vysvetlenia k iným použitým zdrojom údajov. Je vhodné, aby úrad pre AI poskytol vzor zhrnutia, ktorý by mal byť jednoduchý, efektívny a mal by poskytovateľovi umožniť poskytnúť požadované zhrnutie v opisnej forme.

(108)

Pokiaľ ide o povinnosti uložené poskytovateľom modelov AI na všeobecné účely zaviesť politiku dodržiavania autorského práva Únie a zverejniť zhrnutie obsahu použitého na trénovanie, úrad pre AI by mal monitorovať, či poskytovateľ splnil tieto povinnosti bez toho, aby overil trénovacie údaje alebo pristúpil k ich posúdeniu podľa jednotlivých diel, pokiaľ ide o dodržiavanie autorských práv. Toto nariadenie nemá vplyv na presadzovanie pravidiel v oblasti autorského práva, ako sa stanovuje v práve Únie.

(109)

Dodržiavanie povinností, ktoré sa vzťahujú na poskytovateľov modelov AI na všeobecné účely by malo byť primerané a proporcionálne vzhľadom na typ poskytovateľa modelu, s výnimkou potreby dodržiavania predpisov v prípade osôb, ktoré vyvíjajú alebo používajú modely na neprofesionálne alebo vedecké výskumné účely, ktoré by sa však mali nabádať, aby tieto požiadavky dodržiavali dobrovoľne. Bez toho, aby bolo dotknuté autorské právo Únie, by sa pri dodržiavaní uvedených povinností mala náležite zohľadniť veľkosť poskytovateľa a mali by sa umožniť zjednodušené spôsoby dodržiavania predpisov pre MSP vrátane startupov, ktoré by nemali predstavovať nadmerné náklady a odrádzať od používania takýchto modelov. V prípade úpravy alebo doladenia modelu by sa povinnosti poskytovateľov modelov AI na všeobecné účely mali obmedziť na túto úpravu alebo doladenie, napríklad doplnením už existujúcej technickej dokumentácie informáciami o úpravách vrátane nových zdrojov tréningových údajov ako prostriedku na splnenie povinností týkajúcich sa hodnotového reťazca stanovených v tomto nariadení.

(110)

Modely AI na všeobecné účely by mohli predstavovať systémové riziká, ktoré zahŕňajú okrem iného akékoľvek skutočné alebo odôvodnene predvídateľné negatívne účinky v súvislosti so závažnými nehodami, narušeniami kritických odvetví a závažnými dôsledkami pre verejné zdravie a bezpečnosť; akékoľvek skutočné alebo odôvodnene predvídateľné negatívne účinky na demokratické procesy, verejnú a hospodársku bezpečnosť; šírenie nezákonného, falošného alebo diskriminačného obsahu. Systémové riziká by sa mali chápať tak, že sa zvyšujú spôsobilosťami modelu a dosahom modelu, môžu vzniknúť počas celého životného cyklu modelu a sú ovplyvnené podmienkami nesprávneho použitia, spoľahlivosťou modelu, spravodlivosťou modelu a bezpečnosťou modelu, úrovňou autonómnosti modelu, jeho prístupom k nástrojom, novými alebo kombinovanými modalitami, stratégiami vydávania a distribúcie, potenciálom odstrániť ochranné prvky a inými faktormi. V medzinárodných prístupoch sa doteraz identifikovala najmä potreba venovať pozornosť rizikám vyplývajúcim z potenciálneho úmyselného nesprávneho použitia alebo neúmyselných problémov kontroly týkajúcich sa zosúladenia s ľudským zámerom; chemickým, biologickým, rádiologickým a jadrovým rizikám, ako sú spôsoby, akými možno znížiť prekážky vstupu vrátane vývoja zbraní, získavania dizajnu alebo používania zbraní; umožneniu ofenzívnych kybernetických spôsobilostí, ako sú spôsoby odhaľovania, využívania alebo operačného využívania zraniteľnosti; účinkom interakcie a používania nástrojov, napríklad vrátane schopnosti kontrolovať fyzické systémy a zasahovať do kritickej infraštruktúry; rizikám vyplývajúcim z modelov vyhotovovania vlastných kópií alebo „samoreplikácie“ alebo trénovania iných modelov; spôsobom, akými môžu modely viesť k škodlivému skresleniu a diskriminácii s rizikami pre jednotlivcov, komunity alebo spoločnosti; uľahčovaniu dezinformácií alebo poškodzovania súkromia hrozbami pre demokratické hodnoty a ľudské práva; riziku, že konkrétna udalosť by mohla viesť k reťazovej reakcii so značnými negatívnymi účinkami, ktoré by mohli ovplyvniť celé mesto, celú oblasť činnosti alebo celú komunitu.

(111)

Je vhodné zaviesť metodiku pre klasifikáciu modelov AI na všeobecné účely ako modelu AI na všeobecné účely so systémovým rizikom. Keďže systémové riziká vyplývajú z mimoriadne vysokých spôsobilostí, mal by sa model AI na všeobecné účely považovať za model predstavujúci systémové riziká, ak má spôsobilosti s veľkým vplyvom, hodnotené na základe vhodných technických nástrojov a metodík, alebo významný vplyv na vnútorný trh z dôvodu jeho dosahu. Spôsobilosti s veľkým vplyvom v modeloch AI na všeobecné účely sú spôsobilosti, ktoré zodpovedajú spôsobilostiam zaznamenaným v najvyspelejších modeloch AI na všeobecné účely alebo ich prekračujú. Celú škálu spôsobilostí modelu možno lepšie pochopiť po jeho uvedení na trh alebo pri interakcii nasadzujúcich subjektov s modelom. Podľa aktuálneho stavu vývoja v čase nadobudnutia účinnosti tohto nariadenia je kumulatívny počet výpočtov použitých na trénovanie modelu AI na všeobecné účely meraný v operáciách s pohyblivou rádovou čiarkou jednou z relevantných aproximácií spôsobilostí modelu. Kumulatívny počet výpočtov použitých na trénovanie zahŕňa výpočty použité v rámci činností a metód, ktoré sú určené na posilnenie spôsobilostí modelu pred nasadením, ako je predbežné trénovanie, syntetické generovanie údajov a doladenie. Preto by sa mala stanoviť počiatočná prahová hodnota pre operácie s pohyblivou rádovou čiarkou, ktorá, ak je modelom AI na všeobecné účely splnená, vedie k predpokladu, že model je modelom AI na všeobecné účely so systémovými rizikami. Táto prahová hodnota by sa mala časom upraviť tak, aby odrážala technologické a priemyselné zmeny, ako sú algoritmické zlepšenia alebo zvýšená efektívnosť hardvéru, a mala by sa doplniť o referenčné hodnoty a ukazovatele spôsobilosti modelu. Úrad pre AI by mal spolupracovať s vedeckou obcou, priemyslom, občianskou spoločnosťou a ďalšími odborníkmi s cieľom poskytnúť na to podklady. Prahové hodnoty, ako aj nástroje a referenčné hodnoty na posudzovanie spôsobilostí s veľkým vplyvom by mali byť silnými predikátormi všeobecnej povahy, spôsobilostí a súvisiaceho systémového rizika modelov AI na všeobecné účely a mohli by zohľadňovať spôsob uvádzania modelu na trh alebo počet používateľov, na ktorých môže mať vplyv. Na doplnenie tohto systému by Komisia mala mať možnosť prijímať individuálne rozhodnutia označujúce model AI na všeobecné účely ako model AI na všeobecné účely so systémovým rizikom, ak zistí, že takýto model má spôsobilosti alebo vplyv rovnocenné tým, ktoré sú zachytené stanovenou prahovou hodnotou. Uvedené rozhodnutie by sa malo prijať na základe celkového posúdenia kritérií na určenie modelu AI na všeobecné účely so systémovým rizikom stanovených v prílohe k tomuto nariadeniu, ako je kvalita alebo veľkosť súboru tréningových údajov, počet korporátnych a koncových používateľov, modality jeho vstupov a výstupov, úroveň jeho autonómnosti a škálovateľnosti alebo nástroje, ku ktorým má prístup. Po odôvodnenej žiadosti poskytovateľa, ktorého model bol označený za model AI na všeobecné účely so systémovým rizikom, by Komisia mala žiadosť zohľadniť a môže rozhodnúť o prehodnotení, či model AI na všeobecné účely možno stále považovať za model predstavujúci systémové riziká.

(112)

Je tiež potrebné objasniť postup klasifikácie modelu AI na všeobecné účely so systémovým rizikom. Model AI na všeobecné účely, ktorý spĺňa príslušnú prahovú hodnotu pre spôsobilosti s veľkým vplyvom, by sa mal považovať za model AI na všeobecné účely so systémovým rizikom. Poskytovateľ by mal informovať úrad pre AI najneskôr dva týždne po splnení požiadaviek alebo po tom, ako sa zistí, že model AI na všeobecné účely bude spĺňať požiadavky, ktoré vedú k tomuto predpokladu. To je obzvlášť relevantné v súvislosti s prahovou hodnotou pre operácie s pohyblivou rádovou čiarkou, pretože trénovanie modelov AI na všeobecné účely si vyžaduje značné plánovanie, ktoré zahŕňa predbežné prideľovanie výpočtových zdrojov, a preto sú poskytovatelia modelov AI na všeobecné účely schopní vedieť, či by ich model dosiahol prahovú hodnotu pred ukončením trénovania. V súvislosti s uvedeným informovaním by poskytovateľ mal byť schopný preukázať, že model AI na všeobecné účely vzhľadom na svoje osobitné vlastnosti výnimočne nepredstavuje systémové riziká, a preto by sa nemal klasifikovať ako model AI na všeobecné účely so systémovými rizikami. Uvedené informácie sú pre úrad pre AI cenné pri predvídaní uvedenia modelov AI na všeobecné účely so systémovými rizikami na trh a poskytovatelia môžu začať s úradom pre AI včas spolupracovať. Uvedené informácie sú obzvlášť dôležité, pokiaľ ide o modely AI na všeobecné účely, ktoré sa majú vydať ako modely s otvoreným zdrojovým kódom, keďže po vydaní modelu s otvoreným zdrojovým kódom môže byť ťažšie vykonať potrebné opatrenia na zabezpečenie súladu s povinnosťami podľa tohto nariadenia.

(113)

Ak sa Komisia dozvie o skutočnosti, že model AI na všeobecné účely spĺňa požiadavky na to, aby sa klasifikoval ako model AI na všeobecné účely so systémovým rizikom, ktorá predtým buď nebola známa, alebo o ktorej príslušný poskytovateľ Komisiu neinformoval, Komisia by mala byť oprávnená takto ho označiť. Systém kvalifikovaných upozornení by mal zabezpečiť, aby vedecký panel informoval úrad pre AI popri jeho monitorovacích činnostiach o modeloch AI na všeobecné účely, ktoré by sa prípadne mali klasifikovať ako modely AI na všeobecné účely so systémovým rizikom.

(114)

Poskytovatelia modelov AI na všeobecné účely predstavujúcich systémové riziká by mali okrem povinností stanovených pre poskytovateľov modelov AI na všeobecné účely podliehať povinnostiam zameraným na identifikáciu a zmiernenie týchto rizík a zabezpečenie primeranej úrovne ochrany kybernetickej bezpečnosti bez ohľadu na to, či sa poskytujú ako samostatný model alebo sú zabudované do systému AI alebo produktu. Na dosiahnutie uvedených cieľov by sa v tomto nariadení malo od poskytovateľov vyžadovať, aby vykonávali potrebné hodnotenia modelov, najmä pred ich prvým uvedením na trh, vrátane vykonávania a zdokumentovania testovania modelov na nepriateľské útoky, prípadne aj prostredníctvom interného alebo nezávislého externého testovania. Okrem toho by poskytovatelia modelov AI na všeobecné účely so systémovými rizikami mali neustále posudzovať a zmierňovať systémové riziká, a to napríklad aj zavádzaním politík riadenia rizík, ako sú procesy zodpovednosti a správy a riadenia, vykonávaním monitorovania po uvedení na trh, prijímaním vhodných opatrení v rámci celého životného cyklu modelu a spoluprácou s príslušnými aktérmi v celom hodnotovom reťazci AI.

(115)

Poskytovatelia modelov AI na všeobecné účely so systémovými rizikami by mali posúdiť a zmierniť možné systémové riziká. Ak napriek úsiliu identifikovať riziká súvisiace s modelom AI na všeobecné účely, ktoré môžu predstavovať systémové riziká, a predchádzať im, vývoj alebo používanie modelu spôsobí závažný incident, poskytovateľ modelu AI na všeobecné účely by mal bez zbytočného odkladu sledovať incident a oznámiť všetky relevantné informácie a možné nápravné opatrenia Komisii a vnútroštátnym príslušným orgánom. Okrem toho by poskytovatelia mali zabezpečiť primeranú úroveň ochrany kybernetickej bezpečnosti modelu a jeho fyzickej infraštruktúry, ak je to vhodné, počas celého životného cyklu modelu. Pri ochrane kybernetickej bezpečnosti v súvislosti so systémovými rizikami spojenými so zlomyseľným používaním alebo útokmi by sa mal náležite zvážiť náhodný únik modelu, jeho nepovolené vydanie, obchádzanie bezpečnostných opatrení a ochrana pred kybernetickými útokmi, neoprávneným prístupom alebo krádežou modelu. Uvedená ochrana by sa mohla uľahčiť zabezpečením váh, algoritmov, serverov a súborov údajov modelu, napríklad prostredníctvom prevádzkových bezpečnostných opatrení v oblasti informačnej bezpečnosti, osobitných politík kybernetickej bezpečnosti, primeraných technických a zavedených riešení a kontrol kybernetického a fyzického prístupu, ktoré sú primerané príslušným okolnostiam a súvisiacim rizikám.

(116)

Úrad pre AI by mal podporovať a uľahčovať vypracovanie, preskúmanie a úpravu kódexov postupov s prihliadnutím na medzinárodné prístupy. Na účasť by mohli byť prizvaní všetci poskytovatelia modelov AI na všeobecné účely. S cieľom zabezpečiť, aby kódexy postupov odrážali aktuálny stav vývoja a náležite zohľadňovali rôznorodý súbor perspektív, by mal úrad pre AI spolupracovať s vnútroštátnymi príslušnými orgánmi a v prípade potreby by sa pri vypracúvaní takýchto kódexov mohol poradiť s organizáciami občianskej spoločnosti a inými príslušnými zainteresovanými stranami a odborníkmi vrátane vedeckého panelu. Kódexy postupov by sa mali vzťahovať na povinnosti poskytovateľov modelov AI na všeobecné účely a modelov AI na všeobecné účely predstavujúcich systémové riziká. Okrem toho, pokiaľ ide o systémové riziká, kódexy postupov by mali pomôcť zaviesť taxonómiu typov a povahy systémových rizík na úrovni Únie vrátane ich zdrojov. Kódexy postupov by sa mali zamerať aj na osobitné posúdenie rizika a zmierňujúce opatrenia.

(117)

Kódexy postupov by mali predstavovať ústredný nástroj na riadne dodržiavanie povinností stanovených v tomto nariadení pre poskytovateľov modelov AI na všeobecné účely. Poskytovatelia by mali mať možnosť odvolávať sa na kódexy postupov na preukázanie dodržiavania povinností. Komisia môže prostredníctvom vykonávacích aktov rozhodnúť o schválení kódexu postupov a udeliť mu všeobecnú platnosť v rámci Únie, alebo prípadne stanoviť spoločné pravidlá vykonávania príslušných povinností, ak pred nadobudnutím účinnosti tohto nariadenia nie je možné kódex postupov finalizovať alebo ho úrad pre AI nepovažuje za primeraný. Keď sa harmonizovaná norma uverejní a posúdi úradom pre AI ako vhodná na pokrytie príslušných povinností, súlad s európskou harmonizovanou normou by mal poskytovateľom poskytnúť predpoklad zhody. Poskytovatelia modelov AI na všeobecné účely by okrem toho mali byť schopní preukázať súlad pomocou alternatívnych primeraných prostriedkov, ak kódexy postupov alebo harmonizované normy nie sú k dispozícii alebo sa rozhodnú na ne neodvolávať.

(118)

Týmto nariadením sa regulujú systémy AI a modely AI uložením určitých požiadaviek a povinností relevantným aktérom trhu, ktorí ich uvádzajú na trh, uvádzajú do prevádzky alebo používajú v Únii, čím sa dopĺňajú povinnosti poskytovateľov sprostredkovateľských služieb, ktorí takéto systémy alebo modely začlenili do svojich služieb regulovaných nariadením (EÚ) 2022/2065. Pokiaľ sú takéto systémy alebo modely zabudované do určených veľmi veľkých online platforiem alebo veľmi veľkých internetových vyhľadávačov, podliehajú rámcu riadenia rizík stanovenému v nariadení (EÚ) 2022/2065. Príslušné povinnosti stanovené v tomto nariadení by sa preto mali považovať za splnené, pokiaľ sa v takýchto modeloch nevyskytnú a neidentifikujú významné systémové riziká, na ktoré sa nevzťahuje nariadenie (EÚ) 2022/2065. V tomto rámci sú poskytovatelia veľmi veľkých online platforiem a veľmi veľkých online vyhľadávačov povinní posúdiť potenciálne systémové riziká vyplývajúce z dizajnu, fungovania a používania ich služieb vrátane toho, ako môže koncepcia algoritmických systémov používaných v danej službe prispievať k takýmto rizikám, ako aj systémové riziká vyplývajúce z potenciálneho nesprávneho použitia. Títo poskytovatelia sú tiež povinní prijať primerané zmierňujúce opatrenia v súlade so základnými právami.

(119)

Vzhľadom na rýchle tempo inovácie a technologický vývoj digitálnych služieb v rozsahu pôsobnosti rôznych nástrojov práva Únie, najmä so zreteľom na používanie a vnímanie ich príjemcov, sa systémy AI, na ktoré sa vzťahuje toto nariadenie, môžu poskytovať ako sprostredkovateľské služby alebo ich časti v zmysle nariadenia (EÚ) 2022/2065, čo by sa malo vykladať technologicky neutrálnym spôsobom. Systémy AI sa napríklad môžu používať na poskytovanie internetových vyhľadávačov, najmä v rozsahu, v akom systém AI, ako je online chatbot, vyhľadáva v zásade na všetkých webových sídlach, potom začleňuje výsledky do svojich existujúcich poznatkov a využíva aktualizované poznatky na vytvorenie jediného výstupu, v ktorom sa kombinujú rôzne zdroje informácií.

(120)

Okrem toho povinnosti uložené poskytovateľom určitých systémov AI a subjektom nasadzujúcim určité systémy AI v tomto nariadení s cieľom umožniť odhaľovanie a zverejňovanie toho, že výstupy týchto systémov sú umelo generované alebo manipulované, sú osobitne relevantné na uľahčenie účinného vykonávania nariadenia (EÚ) 2022/2065. Týka sa to najmä povinností poskytovateľov veľmi veľkých online platforiem alebo veľmi veľkých internetových vyhľadávačov identifikovať a zmierňovať systémové riziká, ktoré môžu vyplynúť zo šírenia obsahu, ktorý bol umelo vytvorený alebo manipulovaný, najmä riziko skutočných alebo predvídateľných negatívnych účinkov na demokratické procesy, občiansku diskusiu a volebné procesy, a to aj prostredníctvom dezinformácií.

(121)

Normalizácia by mala zohrávať kľúčovú úlohu pri poskytovaní technických riešení poskytovateľom na zabezpečenie súladu s týmto nariadením v súlade s aktuálnym stavom vývoja s cieľom podporovať inováciu, ako aj konkurencieschopnosť a rast na vnútornom trhu. Dodržiavanie harmonizovaných noriem v zmysle vymedzenia v článku 2 bode 1 písm. c) nariadenia Európskeho parlamentu a Rady (EÚ) č. 1025/2012 (41), ktoré by za bežných okolností mali odzrkadľovať aktuálny stav vývoja, by malo byť pre poskytovateľov prostriedkom na preukázanie zhody s požiadavkami tohto nariadenia. Malo by sa preto podporovať vyvážené zastúpenie záujmov za účasti všetkých relevantných zainteresovaných strán pri vypracúvaní noriem, najmä MSP, spotrebiteľských organizácií a zainteresovaných strán v oblasti životného prostredia a sociálnej oblasti v súlade s článkami 5 a 6 nariadenia (EÚ) č. 1025/2012. S cieľom uľahčiť dodržiavanie predpisov by Komisia mala žiadosti o normalizáciu vydávať bez zbytočného odkladu. Pri príprave žiadosti o normalizáciu by Komisia mala konzultovať s poradným fórom a radou pre AI s cieľom zhromaždiť príslušné odborné poznatky. Ak však neexistujú relevantné odkazy na harmonizované normy, Komisia by mala mať možnosť stanoviť prostredníctvom vykonávacích aktov a po konzultácii s poradným fórom spoločné špecifikácie pre určité požiadavky podľa tohto nariadenia. Spoločná špecifikácia by mala byť výnimočným záložným riešením na uľahčenie povinnosti poskytovateľa dodržiavať požiadavky tohto nariadenia, ak žiadosť o normalizáciu neakceptovala žiadna z európskych normalizačných organizácií alebo ak príslušné harmonizované normy nedostatočne riešia obavy týkajúce sa základných práv, alebo ak harmonizované normy nie sú v súlade so žiadosťou, alebo ak dôjde k oneskoreniam pri prijímaní vhodnej harmonizovanej normy. Ak je takéto oneskorenie pri prijímaní harmonizovanej normy spôsobené technickou zložitosťou uvedenej normy, Komisia by to mala zohľadniť pred tým, ako zváži ustanovenie spoločných špecifikácií. Komisia sa vyzýva, aby pri vypracúvaní spoločných špecifikácií spolupracovala s medzinárodnými partnermi a medzinárodnými normalizačnými orgánmi.

(122)

Bez toho, aby bolo dotknuté používanie harmonizovaných noriem a spoločných špecifikácií, je vhodné predpokladať, že poskytovatelia vysokorizikového systému AI, ktorý bol trénovaný a testovaný na údajoch odrážajúcich konkrétne geografické, behaviorálne, kontextuálne alebo funkčné prostredie, v ktorom sa má systém AI používať, by mali byť v súlade s príslušným opatrením stanoveným v rámci požiadavky na správu údajov stanovenej v tomto nariadení. Bez toho, aby boli dotknuté požiadavky týkajúce sa spoľahlivosti a presnosti stanovené v tomto nariadení, v súlade s článkom 54 ods. 3 nariadenia (EÚ) 2019/881 by sa vysokorizikové systémy AI, ktoré boli certifikované alebo pre ktoré bolo vydané vyhlásenie o zhode v rámci schémy kybernetickej bezpečnosti podľa uvedeného nariadenia, na ktorý boli uverejnené odkazy v Úradnom vestníku Európskej únie, mali považovať za systémy, ktoré sú v súlade s požiadavkou na kybernetickú bezpečnosť podľa tohto nariadenia, pokiaľ certifikát kybernetickej bezpečnosti alebo vyhlásenie o zhode alebo ich časti pokrývajú požiadavku kybernetickej bezpečnosti stanovenú v tomto nariadení. Touto skutočnosťou zostáva nedotknutá nezáväzná povaha uvedenej schémy kybernetickej bezpečnosti.

(123)

Na zabezpečenie vysokej úrovne dôveryhodnosti vysokorizikových systémov AI by tieto systémy mali pred svojím uvedením na trh alebo do prevádzky podliehať posudzovaniu zhody.

(124)

S cieľom minimalizovať zaťaženie prevádzkovateľov a predchádzať prípadnej duplicite je vhodné, aby sa v prípade vysokorizikových systémov AI súvisiacich s výrobkami, na ktoré sa vzťahujú existujúce harmonizačné právne predpisy Únie založené na novom legislatívnom rámci, posudzoval súlad týchto systémov AI s požiadavkami tohto nariadenia v rámci posudzovania zhody, ktoré je už stanovené v uvedených právnych predpisov. Uplatniteľnosť požiadaviek tohto nariadenia by preto nemala mať vplyv na konkrétnu logiku, metodiku ani všeobecnú štruktúru posudzovania zhody podľa príslušných harmonizačných právnych predpisov Únie.

(125)

Vzhľadom na zložitosť vysokorizikových systémov AI a riziká, ktoré s nimi súvisia, je dôležité vyvinúť primeraný postup posudzovania zhody pre vysokorizikové systémy AI, do ktorého sú zapojené notifikované osoby, tzv. posudzovanie zhody treťou stranou. Vzhľadom na súčasné skúsenosti profesionálnych certifikačných subjektov, ktoré vykonávajú certifikáciu pred uvedením na trh v oblasti bezpečnosti výrobkov, a na odlišnú povahu súvisiacich rizík je však vhodné aspoň v počiatočnej fáze uplatňovania tohto nariadenia obmedziť rozsah uplatňovania posudzovania zhody treťou stranou v prípade iných vysokorizikových systémov AI, než tých, ktoré sa týkajú výrobkov. Posudzovanie zhody takýchto systémov by preto mal spravidla vykonávať poskytovateľ na vlastnú zodpovednosť, s jedinou výnimkou, ktorou sú systémy AI určené na použitie v biometrii.

(126)

S cieľom vykonávať podľa potreby posudzovania zhody treťou stranou by notifikované osoby mali byť notifikované podľa tohto nariadenia vnútroštátnymi príslušnými orgánmi za predpokladu, že spĺňajú súbor požiadaviek, najmä pokiaľ ide o nezávislosť, kompetentnosť, absenciu konfliktov záujmov a vhodné požiadavky na kybernetickú bezpečnosť. Notifikáciu týchto osôb by mali vnútroštátne príslušné orgány zasielať Komisii a ostatným členským štátom prostredníctvom elektronického nástroja notifikácie vyvinutého a riadeného Komisiou podľa článku R23 prílohy I k rozhodnutiu č. 768/2008/ES.

(127)

V súlade so záväzkami Únie vyplývajúcimi z Dohody Svetovej obchodnej organizácie o technických prekážkach obchodu je primerané uľahčiť vzájomné uznávanie výsledkov posudzovania zhody, ku ktorým dospeli príslušné orgány posudzovania zhody nezávislé od územia, na ktorom sú usadené, za predpokladu, že tieto orgány posudzovania zhody zriadené podľa práva tretej krajiny spĺňajú uplatniteľné požiadavky tohto nariadenia a Únia v tomto rozsahu uzavrela dohodu. V tejto súvislosti by Komisia mala na tento účel aktívne preskúmať možné medzinárodné nástroje, a najmä usilovať sa o uzavretie dohôd o vzájomnom uznávaní s tretími krajinami.

(128)

V súlade so všeobecne zaužívaným pojmom podstatnej zmeny pre výrobky regulované harmonizačnými právnymi predpismi Únie je vhodné, aby sa vždy, keď nastane zmena, ktorá môže ovplyvniť súlad vysokorizikového systému AI s týmto nariadením (napríklad zmena operačného systému alebo softvérovej architektúry), alebo ak sa zmení zamýšľaný účel systému, tento systém AI považoval za nový systém AI, ktorý by sa mal podrobiť novému posudzovaniu zhody. Zmeny algoritmu a výkonu systémov AI, ktoré sa po uvedení na trh alebo do prevádzky ďalej „učia“, čiže automaticky prispôsobujú spôsob vykonávania funkcií, by však nemali predstavovať podstatnú zmenu za predpokladu, že tieto zmeny vopred stanovil poskytovateľ a posúdili sa v čase posudzovania zhody.

(129)

Vysokorizikové systémy AI by mali mať označenie CE, ktoré by preukazovalo ich súlad s týmto nariadením, aby im bol umožnený voľný pohyb v rámci vnútorného trhu. V prípade vysokorizikových systémov AI zabudovaných do výrobku by sa malo umiestniť fyzické označenie CE, ktoré môže byť doplnené digitálnym označením CE. V prípade vysokorizikových systémov AI poskytovaných len digitálne by sa malo použiť digitálne označenie CE. Členské štáty by nemali vytvárať neodôvodnené prekážky uvedeniu na trh ani do prevádzky v prípade vysokorizikových systémov AI, ktoré spĺňajú požiadavky stanovené v tomto nariadení a majú označenie CE.

(130)

Rýchla dostupnosť inovačných technológií môže mať za určitých podmienok zásadný význam pre zdravie a bezpečnosť osôb, ochranu životného prostredia a zmenu klímy a pre spoločnosť ako celok. Je preto vhodné, aby orgány dohľadu nad trhom mohli z výnimočných dôvodov verejnej bezpečnosti alebo ochrany života a zdravia fyzických osôb, ochrany životného prostredia a ochrany kľúčových priemyselných a infraštruktúrnych aktív povoliť uvedenie na trh alebo do prevádzky systémov AI, ktoré neboli podrobené posudzovaniu zhody. V riadne odôvodnených situáciách stanovených v tomto nariadení môžu orgány presadzovania práva alebo orgány civilnej ochrany uviesť do prevádzky konkrétny vysokorizikový systém AI bez povolenia orgánu dohľadu nad trhom za predpokladu, že o takéto povolenie sa požiada počas používania alebo po ňom bez zbytočného odkladu.

(131)

S cieľom uľahčiť prácu Komisie a členských štátov v oblasti AI, ako aj zvýšiť transparentnosť voči verejnosti by sa od poskytovateľov vysokorizikových systémov AI, ktoré nesúvisia s výrobkami patriacimi do rozsahu pôsobnosti príslušných existujúcich harmonizačných právnych predpisov Únie, ako aj od poskytovateľov, ktorí sa domnievajú, že vysokorizikový systém AI uvedený vo vysokorizikových prípadoch použitia v prílohe k tomuto nariadeniu nie je na základe výnimky vysokorizikový, malo vyžadovať, aby seba a informácie o svojom systéme AI zaregistrovali v databáze Únie, ktorú má zriadiť a spravovať Komisia. Pred použitím systému AI uvedeného vo vysokorizikových prípadoch použitia v prílohe k tomuto nariadeniu by sa subjekty nasadzujúce vysokorizikové systémy AI, ktoré sú orgánmi verejnej moci, verejnými agentúrami alebo verejnými subjektmi, mali zaregistrovať v takejto databáze a zvoliť si systém, ktorý plánujú používať. Ostatné nasadzujúce subjekty by mali mať právo tak urobiť dobrovoľne. Táto časť databázy Únie by mala byť bezplatne verejne prístupná a informácie by mali byť ľahko vyhľadateľné, zrozumiteľné a strojovo čitateľné. Databáza Únie by tiež mala byť používateľsky ústretová, napríklad poskytovaním funkcií vyhľadávania, a to aj prostredníctvom kľúčových slov, čo širokej verejnosti umožní nájsť relevantné informácie, ktoré majú byť predložené pri registrácii vysokorizikových systémov AI, a informácie o prípadoch použitia vysokorizikových systémov AI, ktoré sa uvádzajú v prílohe k tomuto nariadeniu a ktorým vysokorizikové systémy AI zodpovedajú. V databáze Únie by sa mala zaregistrovať aj každá podstatná zmena vysokorizikových systémov AI. V prípade vysokorizikových systémov AI v oblasti presadzovania práva, migrácie, azylu a riadenia kontroly hraníc by sa registračné povinnosti mali splniť v bezpečnej neverejnej časti databázy Únie. Prístup k bezpečnej neverejnej časti by sa mal prísne obmedziť na Komisiu, ako aj orgány dohľadu nad trhom, pokiaľ ide o ich vnútroštátnu časť uvedenej databázy. Vysokorizikové systémy AI v oblasti kritickej infraštruktúry by sa mali registrovať len na vnútroštátnej úrovni. Prevádzkovateľom databázy Únie by mala byť Komisia v súlade s nariadením (EÚ) 2018/1725. Aby sa zaistila plná funkčnosť databázy Únie pri jej zavedení, postup pri vytváraní databázy by mal zahŕňať vývoj funkčných špecifikácií Komisiou a nezávislú audítorskú správu. Komisia by mala pri plnení svojich úloh prevádzkovateľa údajov v databáze Únie zohľadniť riziká kybernetickej bezpečnosti. V záujme maximalizácie dostupnosti a využívania databázy Únie verejnosťou by databáza Únie vrátane informácií, ktoré sa prostredníctvom nej sprístupňujú, mala spĺňať požiadavky podľa smernice (EÚ) 2019/882.

(132)

Určité systémy AI určené na interakciu s fyzickými osobami alebo generovanie obsahu môžu predstavovať osobitné riziko podvodu predstieraním identity alebo klamania bez ohľadu na to, či sú klasifikované ako vysokorizikové alebo nie. Používanie týchto systémov by preto malo za určitých okolností podliehať osobitným povinnostiam transparentnosti bez toho, aby boli dotknuté požiadavky a povinnosti týkajúce sa vysokorizikových systémov AI a s výhradou cielených výnimiek, aby sa zohľadnila osobitná potreba presadzovania práva. Fyzické osoby mali byť predovšetkým informované o tom, že interagujú so systémom AI, pokiaľ to nie je zrejmé z pohľadu fyzickej osoby, ktorá je primerane informovaná, pozorná a obozretná s prihliadnutím na okolnosti a kontext používania. Pri vykonávaní tejto povinnosti by sa mali zohľadniť charakteristiky fyzických osôb, ktoré z dôvodu ich veku alebo zdravotného postihnutia patria do zraniteľných skupín, a to v rozsahu, v akom je systém AI určený aj na interakciu s týmito skupinami. Okrem toho by fyzické osoby mali byť informované, keď sú vystavené systémom AI, ktoré spracúvaním ich biometrických údajov dokážu identifikovať alebo odvodiť emócie alebo zámery týchto osôb alebo ich zaradiť do osobitných kategórií. Takéto osobitné kategórie sa môžu týkať aspektov, ako je pohlavie, vek, farba vlasov, farba očí, tetovania, osobné črty, etnický pôvod, osobné preferencie a záujmy. Takéto informácie a oznámenia by sa mali poskytovať vo formátoch prístupných pre osoby so zdravotným postihnutím.

(133)

Rôzne systémy AI môžu vytvárať veľké množstvá syntetického obsahu, ktorý je pre ľudí čoraz ťažšie odlíšiť od obsahu vytvoreného človekom a autentického obsahu. Široká dostupnosť a zvyšujúce sa spôsobilosti týchto systémov majú významný vplyv na integritu a dôveru v informačný ekosystém, čo zvyšuje nové riziká mylných informácií a manipulácie vo veľkom rozsahu, podvodov, predstierania identity a klamania spotrebiteľov. Vzhľadom na tieto vplyvy, rýchle tempo technologického vývoja a potrebu nových metód a techník na vysledovanie pôvodu informácií je vhodné vyžadovať od poskytovateľov týchto systémov, aby začlenili technické riešenia, ktoré umožnia označovanie v strojovo čitateľnom formáte a zisťovanie toho, že výstup bol vytvorený alebo manipulovaný systémom AI a nie človekom. Takéto techniky a metódy by mali byť dostatočne spoľahlivé, interoperabilné, účinné a robustné, pokiaľ je to technicky možné, pričom by sa mali zohľadniť dostupné techniky alebo kombinácia takýchto techník, ako sú vodoznak, identifikácia metaúdajov, kryptografické metódy na preukázanie pôvodu a pravosti obsahu, metódy logovania, odtlačky prstov alebo iné vhodné techniky. Pri implementovaní tejto povinnosti by poskytovatelia mali zohľadňovať aj osobitosti a obmedzenia rôznych typov obsahu a relevantný technologický a trhový vývoj v tejto oblasti odrážajúci sa vo všeobecne uznávanom aktuálnom stave vývoja. Takéto techniky a metódy možno implementovať na úrovni systému AI alebo na úrovni modelu AI vrátane modelov AI na všeobecné účely vytvárajúcich obsah, čím sa uľahčí plnenie tejto povinnosti nadväzujúcim poskytovateľom systému AI. V záujme zachovania primeranosti je vhodné predpokladať, že táto povinnosť označovania by sa nemala vzťahovať na systémy AI, ktoré vykonávajú predovšetkým pomocnú funkciu pre štandardné redakčné úpravy, alebo systémy AI, ktoré podstatne nemenia vstupné údaje, ktoré poskytuje subjekt nasadzujúci systém AI, alebo ich sémantiku.

(134)

V nadväznosti na technické riešenia, ktoré používajú poskytovatelia systému AI, nasadzujúce subjekty, ktoré používajú systém AI na generovanie alebo manipulovanie obrazového obsahu, audioobsahu alebo videoobsahu, ktorý sa zjavne podobá existujúcim osobám, objektom, miestam, subjektom alebo udalostiam a ktorý by sa osobe falošne javil ako autentický alebo pravdivý (ďalej len „deep fake“), by takisto mali jasne a zreteľne zverejniť, že obsah bol umelo vytvorený alebo manipulovaný, a to zodpovedajúcim označením výstupu AI a zverejnením jeho umelého pôvodu. Dodržiavanie tejto povinnosti transparentnosti by sa nemalo vykladať tak, že naznačuje, že používanie systému AI alebo jeho výstupu bráni právu na slobodu prejavu a právu na slobodu umenia a vedeckého bádania, ktoré sú zaručené v charte, najmä ak je obsah súčasťou zjavne tvorivého, satirického, umeleckého, fiktívneho alebo analogického diela alebo programu s výhradou primeraných záruk pre práva a slobody tretích strán. V týchto prípadoch sa povinnosť transparentnosti v prípade deep fake stanovená v tomto nariadení obmedzuje na zverejnenie existencie takéhoto vytvoreného alebo manipulovaného obsahu primeraným spôsobom, ktorý nebráni zobrazovaniu alebo užívaniu diela vrátane jeho bežného využívania a používania pri zachovaní užitočnosti a kvality diela. Okrem toho je takisto vhodné stanoviť podobnú povinnosť zverejňovania v súvislosti s textom vytvoreným alebo manipulovaným AI v rozsahu, v akom sa uverejňuje na účely informovania verejnosti o záležitostiach verejného záujmu, pokiaľ obsah vytvorený AI neprešiel procesom ľudskej kontroly alebo redakčnej kontroly a pokiaľ fyzická alebo právnická osoba nenesie redakčnú zodpovednosť za uverejnenie obsahu.

(135)

Bez toho, aby bola dotknutá povinná povaha a úplná uplatniteľnosť povinností transparentnosti, môže Komisia takisto podporovať a uľahčovať vypracovanie kódexov postupov na úrovni Únie s cieľom uľahčiť účinnú implementáciu povinností týkajúcich sa odhaľovania a označovania umelo vytvoreného alebo manipulovaného obsahu vrátane podpory praktických opatrení na prípadné sprístupnenie mechanizmov odhaľovania a uľahčenie spolupráce s inými aktérmi v hodnotovom reťazci, šírenie obsahu alebo kontrolu jeho pravosti a pôvodu s cieľom umožniť verejnosti účinne rozlišovať obsah vytvorený AI.

(136)

Povinnosti uložené poskytovateľom a nasadzujúcim subjektom určitých systémov AI v tomto nariadení s cieľom umožniť odhaľovanie a zverejňovanie toho, že výstupy týchto systémov sú umelo generované alebo manipulované, sú osobitne relevantné na uľahčenie účinného vykonávania nariadenia (EÚ) 2022/2065. Týka sa to najmä povinností poskytovateľov veľmi veľkých online platforiem alebo veľmi veľkých internetových vyhľadávačov identifikovať a zmierňovať systémové riziká, ktoré môžu vyplynúť zo šírenia obsahu, ktorý bol umelo vytvorený alebo manipulovaný, najmä riziko skutočných alebo predvídateľných negatívnych účinkov na demokratické procesy, občiansku diskusiu a volebné procesy, a to aj prostredníctvom dezinformácií. Požiadavkou na označovanie obsahu vytvoreného systémami AI podľa tohto nariadenia nie je dotknutá povinnosť poskytovateľov hostingových služieb podľa článku 16 ods. 6 nariadenia (EÚ) 2022/2065 spracúvať oznámenia o nezákonnom obsahu prijaté podľa článku 16 ods. 1 uvedeného nariadenia a nemala by ovplyvňovať posúdenie a rozhodnutie o nezákonnosti konkrétneho obsahu. Toto posúdenie by sa malo vykonať výlučne s odkazom na pravidlá upravujúce zákonnosť obsahu.

(137)

Dodržiavanie povinností transparentnosti v prípade systémov AI, na ktoré sa vzťahuje toto nariadenie, by sa nemalo vykladať ako naznačujúce to, že používanie systému AI alebo jeho výstupov je podľa tohto nariadenia alebo iných právnych predpisov Únie a členských štátov zákonné, a nemali by ním byť dotknuté iné povinnosti transparentnosti uložené subjektom nasadzujúcim systémy AI stanovené v práve Únie alebo vo vnútroštátnom práve.

(138)

AI je rýchlo sa rozvíjajúca skupina technológií, ktorá si vyžaduje regulačný dohľad a bezpečný a kontrolovaný priestor na experimentovanie, pričom sa musí zabezpečiť zodpovedná inovácia a integrovanie primeraných záruk a opatrení na zmiernenie rizika. Na zabezpečenie právneho rámca, ktorý podporuje inováciu, je vhodný do budúcnosti a odolný voči narušeniu, by členské štáty mali zabezpečiť, aby ich vnútroštátne príslušné orgány zriadili na vnútroštátnej úrovni aspoň jedno regulačné experimentálne prostredie pre AI s cieľom uľahčiť vývoj a testovanie inovačných systémov AI pod prísnym regulačným dohľadom skôr, než sa tieto systémy uvedú na trh alebo inak uvedú do prevádzky. Členské štáty by mohli splniť túto povinnosť aj účasťou v už existujúcich regulačných experimentálnych prostrediach alebo spoločným zriadením experimentálneho prostredia s jedným alebo viacerými príslušnými orgánmi členských štátov, pokiaľ táto účasť poskytuje zúčastneným členským štátom rovnocennú úroveň vnútroštátneho pokrytia. Regulačné experimentálne prostredia pre AI by sa mohli zriadiť vo fyzickej, digitálnej alebo hybridnej forme a môžu zahŕňať fyzické, ako aj digitálne produkty. Zriaďujúce orgány by mali takisto zabezpečiť, aby regulačné experimentálne prostredia pre AI mali na svoje fungovanie primerané zdroje vrátane finančných a ľudských zdrojov.

(139)

Cieľmi regulačných experimentálnych prostredí pre AI by mala byť podpora inovácie v oblasti AI vytvorením kontrolovaného experimentálneho a testovacieho prostredia vo fáze vývoja a pred uvedením na trh, aby sa zabezpečil súlad inovačných systémov AI s týmto nariadením a iným relevantný právom Únie a vnútroštátnym právom. Okrem toho by sa regulačné experimentálne prostredia pre AI mali zamerať na zvýšenie právnej istoty inovátorov a dohľadu príslušných orgánov a pochopenie príležitostí, vznikajúcich rizík a vplyvov používania AI, na uľahčenie regulačného vzdelávania orgánov a podnikov, a to aj vzhľadom na budúce úpravy právneho rámca, na podporu spolupráce a výmeny najlepších postupov s orgánmi zapojenými do regulačných experimentálnych prostredí pre AI, a na urýchlenie prístupu na trhy, a to aj odstránením prekážok pre MSP vrátane startupov. Regulačné experimentálne prostredia pre AI by mali byť široko dostupné v celej Únii a osobitná pozornosť by sa mala venovať ich dostupnosti pre MSP vrátane startupov. Účasť v regulačnom experimentálnom prostredí pre AI by sa mala zamerať na otázky, ktoré vyvolávajú právnu neistotu pre poskytovateľov a potenciálnych poskytovateľov pri inovácii a experimentovaní s AI v Únii, a prispievať k regulačnému vzdelávaniu založenému na dôkazoch. Dohľad nad systémami AI v regulačnom experimentálnom prostredí pre AI by sa preto mal vzťahovať na ich vývoj, trénovanie, testovanie a validáciu pred ich uvedením na trh alebo do prevádzky, ako aj na pojem podstatná zmena a výskyt takýchto zmien, ktoré si môžu vyžadovať nový postup posudzovania zhody. Ak sa počas vývoja a testovania takýchto systémov AI zistia akékoľvek významné riziká, malo by sa pristúpiť k primeranému zmierneniu rizík, a ak to nie je možné, k pozastaveniu procesu vývoja a testovania. Vnútroštátne príslušné orgány, ktoré zriaďujú regulačné experimentálne prostredia pre AI, by mali v prípade potreby spolupracovať s inými relevantnými orgánmi vrátane tých, ktoré dohliadajú na ochranu základných práv, a mohli by umožniť zapojenie ďalších aktérov v rámci ekosystému AI, ako sú vnútroštátne alebo európske normalizačné organizácie, notifikované osoby, skúšobné a experimentálne zariadenia, výskumné a experimentálne laboratóriá, európske centrá digitálnych inovácií a príslušné zainteresované strany a organizácie občianskej spoločnosti. S cieľom zabezpečiť jednotné vykonávanie v celej Únii a úspory z rozsahu je vhodné stanoviť spoločné pravidlá pre zavádzanie regulačných experimentálnych prostredí pre AI a rámec pre spoluprácu medzi príslušnými orgánmi zapojenými do dohľadu nad experimentálnymi prostrediami. Regulačné experimentálne prostredia pre AI zriadené podľa tohto nariadenia by nemali mať vplyv na iné právne predpisy umožňujúce zriadenie iných experimentálnych prostredí zameraných na zabezpečenie súladu s iným právnym predpisom, než je toto nariadenie. V prípade potreby by relevantné príslušné orgány zodpovedné za tieto iné regulačné experimentálne prostredia mali zvážiť výhody používania týchto experimentálnych prostredí aj na účely zabezpečenia súladu systémov AI s týmto nariadením. Na základe dohody medzi vnútroštátnymi príslušnými orgánmi a účastníkmi regulačného experimentálneho prostredia pre AI sa testovanie v reálnych podmienkach môže vykonávať a môže sa naň dohliadať aj v rámci regulačného experimentálneho prostredia pre AI.

(140)

Toto nariadenie by malo poskytnúť právny základ pre poskytovateľov a potenciálnych poskytovateľov v regulačných experimentálnych prostrediach pre AI na používanie osobných údajov, ktoré boli získané na iné účely, pri vývoji určitých systémov AI vo verejnom záujme v rámci regulačného experimentálneho prostredia pre AI v súlade s článkom 6 ods. 4 a článkom 9 ods. 2 písm. g) nariadenia (EÚ) 2016/679 a článkami 5, 6 a 10 nariadenia (EÚ) 2018/1725, a bez toho, aby bol dotknutý článok 4 ods. 2 a článok 10 smernice (EÚ) 2016/680. Všetky ostatné povinnosti prevádzkovateľov a práva dotknutých osôb podľa nariadenia (EÚ) 2016/679, nariadenia (EÚ) 2018/1725 a smernice (EÚ) 2016/680 zostávajú uplatniteľné. Toto nariadenie by predovšetkým nemalo poskytovať právny základ v zmysle článku 22 ods. 2 písm. b) nariadenia (EÚ) 2016/679 a článku 24 ods. 2 písm. b) nariadenia (EÚ) 2018/1725. Poskytovatelia a potenciálni poskytovatelia v regulačnom experimentálnom prostredí pre AI by mali zabezpečiť primerané záruky a spolupracovať s príslušnými orgánmi, a to aj tým, že budú postupovať podľa ich usmernení a konať promptne a v dobrej viere s cieľom primerane zmierniť akékoľvek zistené vysoké riziká pre bezpečnosť, zdravie a základné práva, ktoré môžu vzniknúť počas vývoja, testovania a experimentácie v uvedenom experimentálnom prostredí.

(141)

S cieľom urýchliť proces vývoja a uvádzania na trh vysokorizikových systémov AI uvedených v prílohe k tomuto nariadeniu je dôležité, aby poskytovatelia alebo potenciálni poskytovatelia takýchto systémov mohli využívať aj osobitný režim testovania týchto systémov v reálnych podmienkach bez toho, aby sa zapojili do regulačného experimentálneho prostredia pre AI. V takýchto prípadoch by sa však pri zohľadnení možných dôsledkov takéhoto testovania na fyzické osoby malo zabezpečiť, aby sa nariadením zaviedli primerané a dostatočné záruky a podmienky pre poskytovateľov alebo potenciálnych poskytovateľov. Takéto záruky by okrem iného mali zahŕňať požadovanie informovaného súhlasu fyzických osôb s účasťou na testovaní v reálnych podmienkach s výnimkou presadzovania práva v prípadoch, keď by vyžiadanie informovaného súhlasu bránilo testovaniu systému AI. Súhlas účastníkov s účasťou na takomto testovaní podľa tohto nariadenia je odlišný od súhlasu dotknutých osôb so spracúvaním ich osobných údajov podľa príslušného práva o ochrane údajov a nie je ním dotknutý. Takisto je dôležité minimalizovať riziká a umožniť dohľad zo strany príslušných orgánov, a preto požadovať, aby potenciálni poskytovatelia predložili príslušnému orgánu dohľadu nad trhom plán testovania v reálnych podmienkach, registrovali testovanie v špecializovaných oddieloch v databáze Únie s určitými obmedzenými výnimkami, stanovili obmedzenia obdobia, počas ktorého možno testovanie vykonávať, a vyžadovali dodatočné záruky pre osoby patriace do určitých zraniteľných skupín, ako aj písomnú dohodu, v ktorej sa vymedzia úlohy a povinnosti potenciálnych poskytovateľov a nasadzujúcich subjektov a účinný dohľad zo strany príslušných pracovníkov zapojených do testovania v reálnych podmienkach. Okrem toho je vhodné stanoviť dodatočné záruky na zabezpečenie toho, aby sa predpovede, odporúčania alebo rozhodnutia systému AI mohli účinne zvrátiť a ignorovať a aby boli osobné údaje chránené a vymazané, keď účastníci stiahli svoj súhlas s účasťou na testovaní bez toho, aby boli dotknuté ich práva ako dotknutých osôb podľa právnych predpisov Únie v oblasti ochrany údajov. Pokiaľ ide o prenos údajov, je tiež vhodné stanoviť, že údaje zozbierané a spracúvané na účely testovania v reálnych podmienkach by sa mali prenášať do tretích krajín len za predpokladu, že sa implementujú primerané a uplatniteľné záruky podľa práva Únie, najmä v súlade so základňami pre prenos osobných údajov podľa práva Únie o ochrane údajov, zatiaľ čo v prípade iných ako osobných údajov sa zavedú primerané záruky v súlade s právom Únie, ako sú nariadenia Európskeho parlamentu a Rady (EÚ) 2022/868 (42) a (EÚ) 2023/2854 (43).

(142)

S cieľom zabezpečiť, aby AI viedla k sociálne a environmentálne prospešným výsledkom, sa členské štáty nabádajú, aby podporovali a propagovali výskum a vývoj riešení AI na podporu sociálne a environmentálne prospešných činností, ako sú riešenia založené na AI, s cieľom zvýšiť prístupnosť pre osoby so zdravotným postihnutím, riešiť sociálno-ekonomické nerovnosti alebo plniť environmentálne ciele, a to vyčlenením dostatočných zdrojov vrátane verejných finančných prostriedkov a finančných prostriedkov Únie, a vo vhodných prípadoch a za predpokladu, že sú splnené kritériá oprávnenosti a výberu, so zohľadnením najmä projektov, ktoré sledujú takéto ciele. Takéto projekty by mali byť založené na zásade interdisciplinárnej spolupráce medzi vývojármi AI, odborníkmi na nerovnosť a nediskrimináciu, prístupnosť, spotrebiteľské, environmentálne a digitálne práva, ako aj akademickými pracovníkmi.

(143)

V záujme podpory a ochrany inovácií je dôležité, aby sa osobitne prihliadalo na záujmy MSP vrátane startupov, ktoré sú poskytovateľmi systémov AI alebo subjektmi nasadzujúcimi systémy AI. Na tento účel by členské štáty mali vyvíjať iniciatívy zamerané na týchto prevádzkovateľov vrátane zvyšovania informovanosti a informačnej komunikácie. Členské štáty by mali poskytnúť MSP vrátane startupov, ktoré majú sídlo alebo pobočku v Únii, prednostný prístup do regulačných experimentálnych prostredí pre AI za predpokladu, že spĺňajú podmienky oprávnenosti a podmienky účasti a nebránia iným poskytovateľom a potenciálnym poskytovateľom v prístupe do experimentálnych prostredí za predpokladu, že sú splnené rovnaké podmienky a kritériá. Členské štáty by mali použiť existujúce kanály a v prípade potreby vytvoriť nové vyhradené kanály na komunikáciu s MSP vrátane startupov, subjektmi nasadzujúcimi systémy AI, ďalšími inovátormi a podľa potreby s miestnymi orgánmi verejnej moci s cieľom podporovať MSP v celom štádiu ich rozvoja poskytovaním usmernení a odpovedaním na otázky týkajúce sa vykonávania tohto nariadenia. Vo vhodných prípadoch by tieto kanály mali navzájom spolupracovať s cieľom vytvoriť synergie a zabezpečiť homogénnosť v ich usmerneniach pre MSP vrátane startupov a subjektov nasadzujúcich systémy AI. Členské štáty by taktiež mali uľahčovať účasť MSP a iných relevantných zainteresovaných strán na procese tvorby noriem. Pri stanovovaní poplatkov za posudzovanie zhody notifikovanými osobami by sa okrem toho mali zohľadňovať osobitné záujmy a potreby poskytovateľov, ktorí sú MSP vrátane startupov. Komisia by mala pravidelne posudzovať náklady MSP vrátane startupov na certifikáciu a dodržiavanie predpisov, a to aj transparentnými konzultáciami, a mala by spolupracovať s členskými štátmi na znižovaní týchto nákladov. Napríklad, značné náklady pre poskytovateľov a iných prevádzkovateľov, najmä menších prevádzkovateľov, môžu predstavovať náklady na preklady súvisiace s povinnou dokumentáciou a komunikáciou s orgánmi. Členské štáty by mali podľa možnosti zabezpečiť, aby jedným z jazykov, ktoré určili a akceptovali na účely dokumentácie vedenej príslušnými poskytovateľmi a komunikácie s prevádzkovateľmi, bol jazyk, ktorému vo všeobecnosti rozumie čo najväčší počet cezhraničných nasadzujúcich subjektov. S cieľom riešiť osobitné potreby MSP vrátane startupov by Komisia mala na žiadosť rady pre AI poskytnúť štandardizované vzory pre oblasti, na ktoré sa vzťahuje toto nariadenie. Okrem toho by Komisia mala dopĺňať úsilie členských štátov tým, že všetkým poskytovateľom a nasadzujúcim subjektom poskytne jednotnú informačnú platformu s ľahko použiteľnými informáciami o tomto nariadení, organizovaním vhodných komunikačných kampaní na zvýšenie informovanosti o povinnostiach vyplývajúcich z tohto nariadenia a hodnotením a podporou zbližovania najlepších postupov v postupoch verejného obstarávania v súvislosti so systémami AI. Stredné podniky, ktoré sa donedávna považovali za malé podniky v zmysle prílohy k odporúčaniu Komisie 2003/361/ES (44), by mali mať prístup k týmto podporným opatreniam, keďže týmto novým stredným podnikom môžu niekedy chýbať právne zdroje a odborná príprava potrebné na zabezpečenie riadneho pochopenia a dodržiavania tohto nariadenia.

(144)

S cieľom podporovať a chrániť inovácie by k dosiahnutiu cieľov tohto nariadenia mala prispievať platforma AI na požiadanie a všetky relevantné programy a projekty financovania Únie, ako je program Digitálna Európa alebo Horizont Európa, ktoré Komisia a členské štáty vykonávajú na vnútroštátnej úrovni alebo na úrovni Únie.

(145)

S cieľom minimalizovať riziká spojené s vykonávaním vyplývajúce z nedostatku poznatkov a odborných znalostí na trhu, ako aj uľahčiť poskytovateľom, najmä MSP vrátane startupov, a notifikovaným osobám plnenie ich povinností podľa tohto nariadenia by k vykonávaniu tohto nariadenia mali predovšetkým prispievať platforma AI na požiadanie, európske centrá digitálnych inovácií a testovacie a experimentálne zariadenia zriadené Komisiou a členskými štátmi na úrovni Únie alebo na vnútroštátnej úrovni. Platforma AI na požiadanie, európske centrá digitálnych inovácií a testovacie a experimentálne zariadenia sú v rámci svojho poslania a oblastí svojej pôsobnosti schopné poskytovať poskytovateľom a notifikovaným osobám najmä technickú a vedeckú podporu.

(146)

Okrem toho, vzhľadom na to, že niektorí prevádzkovatelia sú veľmi malí, a s cieľom zabezpečiť proporcionalitu v súvislosti s nákladmi na inovácie je vhodné umožniť mikropodnikom splniť jednu z najnákladnejších povinností, konkrétne zavedenie systému riadenia kvality, zjednodušeným spôsobom, čím by sa znížilo administratívne zaťaženie a náklady týchto podnikov bez toho, aby to malo vplyv na úroveň ochrany a potrebu súladu s požiadavkami na vysokorizikové systémy AI. Komisia by mala vypracovať usmernenia na spresnenie prvkov systému riadenia kvality, ktoré majú mikropodniky splniť týmto zjednodušeným spôsobom.

(147)

Je vhodné, aby Komisia v čo najväčšej možnej miere uľahčila prístup k testovacím a experimentálnym zariadeniam orgánom, skupinám alebo laboratóriám zriadeným alebo akreditovaným podľa akýchkoľvek príslušných harmonizačných právnych predpisov Únie, ktoré plnia úlohy v súvislosti s posudzovaním zhody výrobkov alebo zariadení, na ktoré sa uvedené harmonizačné právne predpisy Únie vzťahujú. Týka sa to najmä panelov odborníkov, odborných laboratórií a referenčných laboratórií v oblasti zdravotníckych pomôcok podľa nariadení (EÚ) 2017/745 a (EÚ) 2017/746.

(148)

Týmto nariadením by sa mal stanoviť rámec správy a riadenia, ktorý umožní koordináciu a podporu uplatňovania tohto nariadenia na vnútroštátnej úrovni, ako aj budovanie spôsobilostí na úrovni Únie a integráciu zainteresovaných strán v oblasti AI. Účinné vykonávanie a presadzovanie tohto nariadenia si vyžaduje rámec správy a riadenia, ktorý umožňuje koordináciu a budovanie centrálnej expertízy na úrovni Únie. Rozhodnutím Komisie (45) bol zriadený úrad pre AI, ktorého poslaním je rozvíjať odborné znalosti a spôsobilosti Únie v oblasti AI a prispievať k vykonávaniu právnych predpisov Únie v oblasti AI. Členské štáty by mali uľahčovať úlohy úradu pre AI s cieľom podporiť rozvoj odborných znalostí a spôsobilostí Únie na úrovni Únie a posilniť fungovanie digitálneho jednotného trhu. Okrem toho by sa mala zriadiť rada pre AI zložená zo zástupcov členských štátov, vedecký panel na integráciu vedeckej komunity a poradné fórum, prostredníctvom ktorého by zainteresované strany prispievali k vykonávaniu tohto nariadenia na úrovni Únie a na vnútroštátnej úrovni. Rozvoj odborných znalostí a spôsobilostí Únie by mal zahŕňať aj využívanie existujúcich zdrojov a odborných znalostí, najmä prostredníctvom synergií so štruktúrami vytvorenými v kontexte presadzovania iných právnych predpisov na úrovni Únie a synergií so súvisiacimi iniciatívami na úrovni Únie, ako je spoločný podnik EuroHPC a testovacie a experimentálne zariadenia AI v rámci programu Digitálna Európa.

(149)

Na uľahčenie bezproblémového, účinného a harmonizovaného vykonávania tohto nariadenia by sa mala zriadiť rada pre AI. Rada pre AI by mala zohľadňovať rôzne záujmy ekosystému AI a mala by byť zložená zo zástupcov členských štátov. Rada pre AI by mala byť zodpovedná za viacero poradných úloh vrátane vydávania stanovísk, odporúčaní a poradenstva alebo prispievania k usmerneniam v záležitostiach týkajúcich sa vykonávania tohto nariadenia vrátane otázok presadzovania, technických špecifikácií alebo existujúcich noriem týkajúcich sa požiadaviek stanovených v tomto nariadení, a poskytovania poradenstva Komisii a členským štátom a ich vnútroštátnym príslušným orgánom v špecifických otázkach súvisiacich s AI. S cieľom poskytnúť členským štátom určitú flexibilitu pri určovaní ich zástupcov v rade pre AI môžu byť takýmito zástupcami akékoľvek osoby z verejných subjektov, ktoré by mali mať príslušné kompetencie a právomoci na uľahčenie koordinácie na vnútroštátnej úrovni a prispievanie k plneniu úloh rady pre AI. Rada pre AI by mala zriadiť dve stále podskupiny s cieľom poskytnúť platformu na spoluprácu a výmenu informácií medzi orgánmi dohľadu nad trhom a notifikujúcimi orgánmi v otázkach týkajúcich sa dohľadu nad trhom, ako aj v otázkach týkajúcich sa notifikovaných osôb. Stála podskupina pre dohľad nad trhom by mala konať ako skupina pre administratívnu spoluprácu (ADCO) pre toto nariadenie v zmysle článku 30 nariadenia (EÚ) 2019/1020. V súlade s článkom 33 uvedeného nariadenia by Komisia mala podporovať činnosti stálej podskupiny pre dohľad nad trhom vykonávaním hodnotení alebo štúdií trhu, najmä s cieľom identifikovať aspekty tohto nariadenia, ktoré si vyžadujú osobitnú a naliehavú koordináciu medzi orgánmi dohľadu nad trhom. Na účely preskúmania konkrétnych otázok môže rada pre AI podľa potreby zriaďovať ďalšie stále alebo dočasné podskupiny. Rada pre AI by mala podľa potreby spolupracovať aj s príslušnými orgánmi, expertnými skupinami a sieťami Únie, ktoré pôsobia v kontexte príslušného práva Únie, a to najmä s tými, na ktorých činnosť sa vzťahuje príslušné právo Únie o údajoch, digitálnych produktoch a službách.

(150)

S cieľom zabezpečiť zapojenie zainteresovaných strán do vykonávania a uplatňovania tohto nariadenia by sa malo zriadiť poradné fórum, ktoré bude rade pre AI a Komisii poskytovať poradenstvo a technické odborné znalosti. S cieľom zabezpečiť rôznorodé a vyvážené zastúpenie zainteresovaných strán medzi komerčnými a nekomerčnými záujmami a v rámci kategórie obchodných záujmov, pokiaľ ide o MSP a iné podniky, by poradné fórum malo okrem iného zahŕňať priemysel, startupy, MSP, akademickú obec, občiansku spoločnosť vrátane sociálnych partnerov, ako aj Agentúru pre základné práva, agentúru ENISA, Európsky výbor pre normalizáciu (CEN), Európsky výbor pre normalizáciu v elektrotechnike (CENELEC) a Európsky inštitút pre telekomunikačné normy (ETSI).

(151)

Na podporu vykonávania a presadzovania tohto nariadenia, najmä monitorovacích činností úradu pre AI, pokiaľ ide o modely AI na všeobecné účely, by sa mal zriadiť vedecký panel nezávislých expertov. Nezávislí experti, ktorí tvoria vedecký panel, by sa mali vyberať na základe aktuálnych vedeckých alebo technických odborných znalostí v oblasti AI, mali by svoje úlohy vykonávať nestranne, objektívne a mali by zabezpečovať dôvernosť informácií a údajov získaných pri vykonávaní svojich úloh a činností. S cieľom umožniť posilnenie vnútroštátnych kapacít potrebných na účinné presadzovanie tohto nariadenia by členské štáty mali mať možnosť požiadať o podporu zo strany skupiny odborníkov tvoriacich vedecký panel pre ich činnosti v oblasti presadzovania práva.

(152)

S cieľom podporiť primerané presadzovanie, pokiaľ ide o systémy AI, a posilniť kapacity členských štátov by sa mali zriadiť podporné štruktúry Únie na testovanie AI, ktoré by sa mali sprístupniť členským štátom.

(153)

Pri uplatňovaní a presadzovaní tohto nariadenia zohrávajú kľúčovú úlohu členské štáty. V tejto súvislosti by mal každý členský štát určiť na účely dohľadu nad uplatňovaním a vykonávaním tohto nariadenia aspoň jeden notifikujúci orgán a aspoň jeden orgán dohľadu nad trhom ako vnútroštátne príslušné orgány. Členské štáty môžu rozhodnúť o vymenovaní akéhokoľvek druhu verejného subjektu na plnenie úloh vnútroštátnych príslušných orgánov v zmysle tohto nariadenia v súlade so svojimi osobitnými vnútroštátnymi organizačnými charakteristikami a potrebami. Aby sa zvýšila efektívnosť organizácie zo strany členských štátov a zriadilo jednotné kontaktné miesto vo vzťahu k verejnosti a iným protistranám na úrovni členských štátov a Únie, každý členský štát by mal určiť jeden orgán dohľadu nad trhom, aby konal ako jediné kontaktné miesto.

(154)

Vnútroštátne príslušné orgány by mali vykonávať svoje právomoci nezávisle, nestranne a bez zaujatosti s cieľom chrániť zásady objektivity svojich činností a úloh a zabezpečiť uplatňovanie a vykonávanie tohto nariadenia. Členovia týchto orgánov by sa mali zdržať akéhokoľvek konania nezlučiteľného s ich povinnosťami a mali by podliehať pravidlám dôvernosti podľa tohto nariadenia.

(155)

Všetci poskytovatelia vysokorizikových systémov AI by mali mať zavedený systém monitorovania po uvedení na trh, aby zabezpečili, že budú schopní zohľadniť skúsenosti s používaním vysokorizikových systémov AI na zlepšenie svojich systémov a procesu dizajnovania a vývoja, alebo aby mohli včas prijať akékoľvek možné nápravné opatrenia. V prípade potreby by monitorovanie po uvedení na trh malo zahŕňať analýzu interakcie s inými systémami AI vrátane iných zariadení a softvéru. Monitorovanie po uvedení na trh by sa nemalo vzťahovať na citlivé operačné údaje nasadzujúcich subjektov, ktoré sú orgánmi presadzovania práva. Tento systém je takisto kľúčový na zabezpečenie toho, aby sa možné riziká vyplývajúce zo systémov AI, ktoré sa po uvedení na trh alebo do prevádzky ďalej učia, mohli efektívnejšie a včas riešiť. V tejto súvislosti by sa od poskytovateľov malo vyžadovať, aby mali zavedený systém na ohlasovanie všetkých závažných incidentov vyplývajúcich z používania ich systémov AI relevantným orgánom, t. j. incidentov alebo porúch, ktoré vedú k smrti alebo vážnemu poškodeniu zdravia, závažnému a nezvratnému narušeniu riadenia a prevádzky kritickej infraštruktúry, porušeniam povinností podľa práva Únie určených na ochranu základných práv alebo k vážnej škode na majetku alebo životnom prostredí.

(156)

S cieľom zabezpečiť primerané a účinné presadzovanie požiadaviek a povinností stanovených v tomto nariadení, ktoré predstavuje harmonizačný právny predpis Únie, by sa mal v celom rozsahu uplatňovať systém dohľadu nad trhom a súladu výrobkov stanovený nariadením (EÚ) 2019/1020. Orgány dohľadu nad trhom určené podľa tohto nariadenia by mali mať všetky právomoci v oblasti presadzovania stanovené v tomto nariadení a v nariadení (EÚ) 2019/1020 a mali by svoje právomoci a povinnosti vykonávať nezávisle, nestranne a bez zaujatosti. Hoci väčšina systémov AI nepodlieha osobitným požiadavkám ani povinnostiam podľa tohto nariadenia, orgány dohľadu nad trhom môžu prijať opatrenia vo vzťahu ku všetkým systémom AI, ak predstavujú riziko podľa tohto nariadenia. Vzhľadom na osobitnú povahu inštitúcií, agentúr a orgánov Únie, ktoré patria do rozsahu pôsobnosti tohto nariadenia, je vhodné pre ne určiť ako príslušný orgán dohľadu nad trhom európskeho dozorného úradníka pre ochranu údajov. Tým by nemalo byť dotknuté určenie vnútroštátnych príslušných orgánov členskými štátmi. Činnosti dohľadu nad trhom by nemali mať vplyv na schopnosť subjektov pod dohľadom vykonávať svoje úlohy nezávisle, ak sa takáto nezávislosť vyžaduje podľa práva Únie.

(157)

Týmto nariadením nie sú dotknuté kompetencie, úlohy, právomoci ani nezávislosť príslušných vnútroštátnych orgánov verejnej moci alebo subjektov, ktoré dohliadajú na uplatňovanie práva Únie na ochranu základných práv, vrátane subjektov pre rovnaké zaobchádzanie a orgánov pre ochranu osobných údajov. Takéto vnútroštátne orgány verejnej moci alebo subjekty by mali mať aj prístup k všetkej dokumentácii vytvorenej podľa tohto nariadenia, pokiaľ je to potrebné pre ich mandát. Na zabezpečenie primeraného a včasného presadzovania v prípade systémov AI, ktoré predstavujú riziko pre zdravie, bezpečnosť a základné práva, by sa mal stanoviť osobitný ochranný postup. Postup pre takéto systémy AI predstavujúce riziko by sa mal uplatňovať na vysokorizikové systémy AI predstavujúce riziko, zakázané systémy, ktoré boli uvedené na trh, do prevádzky alebo používané v rozpore s ustanoveniam tohto nariadenia o zakázaných praktikách, a na systémy AI, ktoré boli sprístupnené v rozpore s požiadavkami na transparentnosť stanovenými v tomto nariadení a predstavujú riziko.

(158)

Právne predpisy Únie týkajúce sa finančných služieb zahŕňajú pravidlá a požiadavky vnútornej správy a riadenia a riadenia rizík, ktoré sa vzťahujú na regulované finančné inštitúcie počas poskytovania týchto služieb vrátane prípadov, keď využívajú systémy AI. S cieľom zabezpečiť jednotné uplatňovanie a presadzovanie povinností podľa tohto nariadenia a príslušných pravidiel a požiadaviek právnych aktov Únie v oblasti finančných služieb by mali byť príslušné orgány pre dohľad nad uvedenými právnymi aktmi a za ich presadzovanie, najmä príslušné orgány v zmysle vymedzenia v nariadení Európskeho parlamentu a Rady (EÚ) č. 575/2013 (46), smerniciach Európskeho parlamentu a Rady 2008/48/ES (47), 2009/138/ES (48), (EÚ) 2013/36/EÚ (49), 2014/17/EÚ (50) a (EÚ) 2016/97 (51) určené v rámci svojich príslušných právomocí za príslušné orgány na účely dohľadu nad vykonávaním tohto nariadenia vrátane činností dohľadu nad trhom, pokiaľ ide o systémy AI, poskytované alebo používané regulovanými finančnými inštitúciami podliehajúcimi dohľadu, pokiaľ členské štáty nerozhodnú o určení iného orgánu na plnenie týchto úloh dohľadu nad trhom. Tieto príslušné orgány by mali mať všetky právomoci podľa tohto nariadenia a nariadenia (EÚ) 2019/1020 na presadzovanie požiadaviek a povinností vyplývajúcich z tohto nariadenia vrátane právomocí vykonávať ex post činnosti dohľadu nad trhom, ktoré možno podľa potreby začleniť do ich existujúcich mechanizmov a postupov dohľadu podľa príslušných právnych predpisov Únie v oblasti finančných služieb. Je vhodné stanoviť, že keď vnútroštátne orgány zodpovedné za dohľad nad úverovými inštitúciami regulovanými podľa smernice 2013/36/EÚ, ktoré sa zúčastňujú na jednotnom mechanizme dohľadu zriadenom nariadením Rady (EÚ) č. 1024/2013 (52), konajú ako orgány dohľadu nad trhom podľa tohto nariadenia, mali by Európskej centrálnej banke bezodkladne oznamovať všetky informácie identifikované v priebehu svojich činností dohľadu nad trhom, ktoré môžu byť potenciálne zaujímavé pre úlohy Európskej centrálnej banky v oblasti prudenciálneho dohľadu, ako sa uvádza v uvedenom nariadení. Na účely ďalšieho zvýšenia jednotnosti medzi týmto nariadením a pravidlami platnými pre úverové inštitúcie regulované podľa smernice 2013/36/EÚ, je tiež vhodné integrovať niektoré procesné povinnosti poskytovateľov, pokiaľ ide o riadenie rizika, monitorovanie po uvedení na trh a dokumentáciu, do existujúcich povinností a postupov podľa smernice 2013/36/EÚ. Na zabránenie prekrývaniu by sa mali zvážiť aj obmedzené výnimky v súvislosti so systémom riadenia kvality poskytovateľov a s povinnosťou monitorovania uloženou subjektom nasadzujúcim vysokorizikové systémy AI, pokiaľ sa vzťahujú na úverové inštitúcie regulované smernicou 2013/36/EÚ. Rovnaký režim by sa mal uplatňovať na poisťovne a zaisťovne a holdingové poisťovne podľa smernice 2009/138/ES a sprostredkovateľov poistenia podľa smernice (EÚ) 2016/97 a ďalšie typy finančných inštitúcií, na ktoré sa vzťahujú požiadavky týkajúce sa vnútornej správy a riadenia, dojednaní alebo postupov podľa relevantného práva Únie v oblasti finančných služieb, s cieľom zaistiť jednotnosť a rovnaké zaobchádzanie vo finančnom sektore.

(159)

Každý orgán dohľadu nad trhom pre vysokorizikové systémy AI v oblasti biometrie uvedené v prílohe k tomuto nariadeniu, pokiaľ sa tieto systémy používajú na účely presadzovania práva, migrácie, azylu a riadenia kontroly hraníc, alebo na účely výkonu spravodlivosti a demokratických procesov, by mal mať účinné vyšetrovacie a nápravné právomoci vrátane aspoň právomoci získať prístup ku všetkým spracúvaným osobným údajom a ku všetkým informáciám potrebným na plnenie svojich úloh. Orgány dohľadu nad trhom by mali mať možnosť vykonávať svoje právomoci tak, že budú konať úplne nezávisle. Akýmikoľvek obmedzeniami ich prístupu k citlivým operačným údajom podľa tohto nariadenia by nemali byť dotknuté právomoci, ktoré im boli udelené smernicou (EÚ) 2016/680. Žiadne vylúčenie poskytovania údajov vnútroštátnym orgánom pre ochranu údajov podľa tohto nariadenia by nemalo mať vplyv na súčasné ani budúce právomoci týchto orgánov nad rámec rozsahu pôsobnosti tohto nariadenia.

(160)

Orgány dohľadu nad trhom a Komisia by mali mať možnosť navrhovať spoločné činnosti vrátane spoločných vyšetrovaní, ktoré majú vykonávať orgány dohľadu nad trhom alebo orgány dohľadu nad trhom spoločne s Komisiou a ktorých cieľom je podpora dodržiavania predpisov, identifikácia nesúladu, zvyšovanie informovanosti a poskytovanie usmernení v súvislosti s týmto nariadením, pokiaľ ide o konkrétne kategórie vysokorizikových systémov AI, o ktorých sa zistilo, že predstavujú vážne riziko v dvoch alebo viacerých členských štátoch. Spoločné činnosti na podporu dodržiavania predpisov by sa mali vykonávať v súlade s článkom 9 nariadenia (EÚ) 2019/1020. Úrad pre AI by mal poskytovať koordinačnú podporu pre spoločné vyšetrovania.

(161)

Je potrebné objasniť povinnosti a právomoci na úrovni Únie a na vnútroštátnej úrovni, pokiaľ ide o systémy AI, ktoré sú postavené na modeloch AI na všeobecné účely. Aby sa predišlo prekrývaniu právomocí, ak je systém AI založený na modeli AI na všeobecné účely a tento model a systém poskytuje ten istý poskytovateľ, dohľad by sa mal vykonávať na úrovni Únie prostredníctvom úradu pre AI, ktorý by mal mať na tento účel právomoci orgánu dohľadu nad trhom v zmysle nariadenia (EÚ) 2019/1020. Vo všetkých ostatných prípadoch sú za dohľad nad systémami AI naďalej zodpovedné vnútroštátne orgány dohľadu nad trhom. V prípade systémov AI na všeobecné účely, ktoré môžu nasadzujúce subjekty priamo používať aspoň na jeden účel, ktorý je klasifikovaný ako vysokorizikový, by však orgány dohľadu nad trhom mali spolupracovať s úradom pre AI s cieľom vykonávať hodnotenia dodržiavania predpisov a zodpovedajúcim spôsobom informovať radu pre AI a ostatné orgány dohľadu nad trhom. Okrem toho by orgány dohľadu nad trhom mali mať možnosť požiadať úrad pre AI o pomoc, ak orgán dohľadu nad trhom nie je schopný uzavrieť vyšetrovanie vysokorizikového systému AI z dôvodu, že nemá prístup k určitým informáciám týkajúcim sa modelu AI na všeobecné účely, na ktorom je vysokorizikový systém AI vybudovaný. V takýchto prípadoch by sa mal mutatis mutandis uplatňovať postup týkajúci sa vzájomnej pomoci v cezhraničných prípadoch uvedený v kapitole VI nariadenia (EÚ) 2019/1020.

(162)

S cieľom čo najlepšie využiť centralizované odborné znalosti a synergie Únie na úrovni Únie by právomoci dohľadu a presadzovania povinností mali vo vzťahu k poskytovateľom modelov AI na všeobecné účely patriť do právomoci Komisie. Úrad pre AI by mal byť schopný vykonávať všetky potrebné opatrenia na monitorovanie účinného vykonávania tohto nariadenia, pokiaľ ide o modely AI na všeobecné účely. Mal by byť schopný vyšetrovať možné porušenia pravidiel týkajúcich sa poskytovateľov modelov AI na všeobecné účely z vlastnej iniciatívy, a to na základe výsledkov svojich monitorovacích činností alebo na žiadosť orgánov dohľadu nad trhom v súlade s podmienkami stanovenými v tomto nariadení. Na podporu účinného monitorovania by mal úrad pre AI umožniť nadväzujúcim poskytovateľom podávať sťažnosti na možné porušenia pravidiel týkajúcich sa poskytovateľov modelov a systémov AI na všeobecné účely.

(163)

S cieľom doplniť systémy riadenia a správy modelov AI na všeobecné účely by mal vedecký panel podporovať monitorovacie činnosti úradu pre AI, pričom v určitých prípadoch môže úradu pre AI poskytovať kvalifikované upozornenia, ktoré povedú k následným opatreniam, ako sú vyšetrovania. Malo by tomu tak byť v prípade, keď má vedecký panel dôvodné podozrenie, že model AI na všeobecné účely predstavuje konkrétne a identifikovateľné riziko na úrovni Únie. Okrem toho by tomu tak malo byť v prípade, keď má vedecký panel dôvodné podozrenie, že model AI na všeobecné účely spĺňa kritériá, ktoré by viedli ku klasifikácii tohto modelu ako modelu AI na všeobecné účely so systémovým rizikom. S cieľom poskytnúť vedeckému panelu informácie potrebné na plnenie týchto úloh by mal existovať mechanizmus, prostredníctvom ktorého by vedecký panel mohol požiadať Komisiu, aby od poskytovateľa vyžadovala dokumentáciu alebo informácie.

(164)

Úrad pre AI by mal mať možnosť prijímať potrebné opatrenia na monitorovanie účinného vykonávania a dodržiavania povinností poskytovateľov modelov AI na všeobecné účely stanovených v tomto nariadení. Úrad pre AI by mal mať možnosť vyšetrovať možné porušenia v súlade s právomocami stanovenými v tomto nariadení, a to aj vyžiadaním dokumentácie a informácií, vykonávaním hodnotení, ako aj požadovaním opatrení od poskytovateľov modelov AI na všeobecné účely. S cieľom využiť nezávislé odborné znalosti by mal mať úrad pre AI pri vykonávaní hodnotení možnosť zapojiť nezávislých expertov do vykonávania hodnotení v jeho mene. Dodržiavanie povinností by malo byť vynútiteľné okrem iného prostredníctvom žiadostí o prijatie vhodných opatrení vrátane opatrení na zmiernenie rizika v prípade identifikovaných systémových rizík, ako aj prostredníctvom obmedzenia sprístupňovania na trhu, stiahnutia modelu z trhu alebo stiahnutia modelu od používateľa. Ako záruka v prípade, že je to potrebné nad rámec procesných práv stanovených v tomto nariadení, by poskytovatelia modelov AI na všeobecné účely mali mať procesné práva stanovené v článku 18 nariadenia (EÚ) 2019/1020, ktoré by sa mali mutatis mutandis uplatňovať bez toho, aby boli dotknuté konkrétnejšie procesné práva stanovené v tomto nariadení.

(165)

Vývoj systémov AI, ktoré nie sú vysokorizikové, v súlade s požiadavkami tohto nariadenia môže viesť k rozsiahlejšiemu zavádzaniu etickej a dôveryhodnej AI v Únii. Poskytovatelia systémov AI, ktoré nie sú vysokorizikové, by sa mali nabádať, aby vytvárali kódexy správania vrátane súvisiacich mechanizmov správy a riadenia s cieľom podporiť dobrovoľné uplatňovanie niektorých alebo všetkých povinných požiadaviek uplatniteľných na vysokorizikové systémy AI, prispôsobených zamýšľanému účelu systémov a nižšiemu súvisiacemu riziku a s prihliadnutím na dostupné technické riešenia a najlepšie odvetvové postupy, ako sú modely a dátové karty. Poskytovatelia všetkých vysokorizikových alebo nerizikových systémov a modelov AI a prípadne subjekty nasadzujúce takéto systémy a modely by sa tiež mali nabádať, aby dobrovoľne uplatňovali dodatočné požiadavky týkajúce sa napríklad prvkov únijných etických usmernení pre dôveryhodnú AI, environmentálnej udržateľnosti, opatrení týkajúcich sa gramotnosti v oblasti AI, inkluzívneho a rôznorodého dizajnu a vývoja systémov AI vrátane pozornosti venovanej zraniteľným osobám a prístupnosti pre osoby so zdravotným postihnutím, účasti zainteresovaných strán, podľa potreby za účasti relevantných zainteresovaných strán, ako sú podniky a organizácie občianskej spoločnosti, akademická obec a výskumné organizácie, odborové zväzy a organizácie na ochranu spotrebiteľa, pri navrhovaní a vývoji systémov AI, ako aj rozmanitosti vývojárskych tímov vrátane rodovej rovnováhy. Aby sa zabezpečila účinnosť dobrovoľných kódexov správania, mali by byť založené na jasných cieľoch a kľúčových ukazovateľoch výkonu na meranie dosahovania týchto cieľov. Mali by sa podľa potreby rozvíjať inkluzívnym spôsobom aj so zapojením relevantných zainteresovaných strán, ako sú podniky a organizácie občianskej spoločnosti, akademická obec a výskumné organizácie, odborové zväzy a organizácie na ochranu spotrebiteľa. Komisia môže vypracovať iniciatívy, a to aj odvetvovej povahy, na uľahčenie znižovania technických prekážok, ktoré bránia cezhraničnej výmene údajov na účely rozvoja AI, a to aj v oblasti infraštruktúry prístupu k údajom a sémantickej a technickej interoperability rôznych typov údajov.

(166)

Je dôležité, aby systémy AI týkajúce sa výrobkov, ktoré v súlade s týmto nariadením nie sú vysokorizikové, a preto sa v súvislosti s nimi nevyžaduje, aby spĺňali požiadavky stanovené pre vysokorizikové systémy AI, však boli pri uvádzaní na trh alebo do prevádzky bezpečné. S cieľom prispieť k dosiahnutiu tohto cieľa by sa ako záchranná sieť uplatňovalo nariadenie Európskeho parlamentu a Rady (EÚ) 2023/988 (53).

(167)

V záujme zabezpečenia dôvernej a konštruktívnej spolupráce príslušných orgánov na úrovni Únie a vnútroštátnej úrovni by všetky strany zapojené do uplatňovania tohto nariadenia mali rešpektovať dôvernosť informácií a údajov získaných pri výkone svojich úloh v súlade s právom Únie a vnútroštátnym právom. Svoje úlohy a činnosti by mali vykonávať takým spôsobom, aby chránili najmä práva duševného vlastníctva, dôverné obchodné informácie a obchodné tajomstvo, účinné vykonávanie tohto nariadenia, verejné záujmy a záujmy národnej bezpečnosti, integritu trestného a správneho konania a integritu utajovaných skutočností.

(168)

Dodržiavanie tohto nariadenia by malo byť vymáhateľné prostredníctvom ukladania sankcií a iných opatrení na presadzovanie práva. Členské štáty by mali prijať všetky opatrenia potrebné na zabezpečenie vykonávania ustanovení tohto nariadenia vrátane stanovenia účinných, primeraných a odrádzajúcich sankcií za ich porušenie a na dodržiavanie zásady ne bis in idem. S cieľom posilniť a harmonizovať správne sankcie za porušenie tohto nariadenia by sa mali ustanoviť horné hranice na stanovenie správnych pokút za určité konkrétne porušenia. Pri posudzovaní výšky pokút by členské štáty mali v každom jednotlivom prípade zohľadniť všetky relevantné okolnosti konkrétnej situácie s náležitým zreteľom najmä na povahu, závažnosť a trvanie porušenia a jeho dôsledky, ako aj na veľkosť poskytovateľa, najmä ak je poskytovateľom MSP alebo startup. Európsky dozorný úradník pre ochranu údajov by mal mať právomoc ukladať správne pokuty inštitúciám, agentúram a orgánom Únie, ktoré patria do rozsahu pôsobnosti tohto nariadenia.

(169)

Dodržiavanie povinností poskytovateľov modelov AI na všeobecné účely uložených podľa tohto nariadenia by malo byť vymáhateľné okrem iného prostredníctvom pokút. Na tento účel by sa mali stanoviť aj primerané úrovne pokút za porušenie týchto povinností vrátane nedodržania opatrení požadovaných Komisiou v súlade s týmto nariadením, s výhradou primeraných premlčacích lehôt v súlade so zásadou proporcionality. Všetky rozhodnutia prijaté Komisiou podľa tohto nariadenia môže preskúmať Súdny dvor Európskej únie v súlade so ZFEÚ vrátane neobmedzenej právomoci Súdneho dvora, pokiaľ ide o sankcie podľa článku 261 ZFEÚ.

(170)

V práve Únie a vo vnútroštátnom práve sa už stanovujú účinné prostriedky nápravy pre fyzické a právnické osoby, ktorých práva a slobody sú nepriaznivo ovplyvnené používaním systémov AI. Bez toho, aby boli dotknuté tieto prostriedky nápravy, každá fyzická alebo právnická osoba, ktorá má dôvody domnievať sa, že došlo k porušeniu tohto nariadenia, by mala byť oprávnená podať sťažnosť príslušnému orgánu dohľadu nad trhom.

(171)

Dotknuté osoby by mali mať právo dostať o vysvetlenie, keď sa rozhodnutie nasadzujúceho subjektu zakladá hlavne na výstupe z určitých vysokorizikových systémov AI, ktoré patria do rozsahu pôsobnosti tohto nariadenia, a keď má toto rozhodnutie právne účinky alebo podobne významne ovplyvňuje uvedené osoby spôsobom, ktorý podľa nich nepriaznivo ovplyvňuje ich zdravie, bezpečnosť alebo základné práva. Uvedené vysvetlenie by malo byť jasné a zmysluplné a malo by dotknutým osobám poskytnúť základ na uplatňovanie ich práv. Právo na vysvetlenie by sa nemalo vzťahovať na používanie systémov AI, pre ktoré z práva Únie alebo vnútroštátneho práva vyplývajú výnimky alebo obmedzenia, a malo by sa uplatňovať len v rozsahu, v akom toto právo ešte nie je stanovené v právnych predpisoch Únie.

(172)

Osoby nahlasujúce porušenia tohto nariadenia by mali byť chránené podľa práva Únie. Na nahlasovanie porušení tohto nariadenia a na ochranu osôb nahlasujúcich tieto porušenia by sa preto mala vzťahovať smernica Európskeho parlamentu a Rady (EÚ) 2019/1937 (54).

(173)

S cieľom zabezpečiť, aby sa regulačný rámec mohol v prípade potreby upraviť, by sa mala na Komisiu delegovať právomoc prijímať akty v súlade s článkom 290 ZFEÚ na účely zmeny podmienok, za ktorých sa systém AI nemá považovať za vysokorizikový, zoznamu vysokorizikových systémov AI, ustanovení týkajúcich sa technickej dokumentácie, obsahu EÚ vyhlásenia o zhode, ustanovení týkajúcich sa postupov posudzovania zhody, ustanovení, ktorými sa stanovujú vysokorizikové systémy AI, na ktoré by sa mal vzťahovať postup posudzovania zhody založený na posúdení systému riadenia kvality a posúdení technickej dokumentácie, prahovej hodnoty, referenčných hodnôt a ukazovateľov, a to aj doplnením týchto referenčných hodnôt a ukazovateľov, v pravidlách pre klasifikáciu modelov AI na všeobecné účely so systémovým rizikom, kritérií označovania modelov AI na všeobecné účely so systémovým rizikom, technickej dokumentácie pre poskytovateľov modelov AI na všeobecné účely a transparentnosti informácií pre poskytovateľov modelov AI na všeobecné účely. Je osobitne dôležité, aby Komisia počas prípravných prác uskutočnila príslušné konzultácie, a to aj na úrovni expertov, a aby tieto konzultácie vykonávala v súlade so zásadami stanovenými v Medziinštitucionálnej dohode z 13. apríla 2016 o lepšej tvorbe práva (55). Predovšetkým v záujme rovnakého zastúpenia pri príprave delegovaných aktov sa všetky dokumenty doručujú Európskemu parlamentu a Rade v rovnakom čase ako expertom z členských štátov, a experti Európskeho parlamentu a Rady majú systematicky prístup na zasadnutia skupín expertov Komisie, ktoré sa zaoberajú prípravou delegovaných aktov.

(174)

Vzhľadom na rýchly technologický vývoj a technické odborné znalosti potrebné na účinné uplatňovanie tohto nariadenia by Komisia mala toto nariadenie vyhodnotiť a preskúmať do 2. augusta 2029 a potom každé štyri roky a podať správu Európskemu parlamentu a Rade. Okrem toho, berúc do úvahy dôsledky pre rozsah pôsobnosti tohto nariadenia, by Komisia mala raz ročne posúdiť potrebu zmeniť zoznam vysokorizikových systémov AI a zoznam zakázaných praktík. Komisia by taktiež mala do 2. augusta 2028 a potom každé štyri roky vyhodnotiť potrebu zmeniť zoznam položiek vysokorizikových oblastí v prílohe k tomuto nariadeniu, systémy AI v rozsahu povinností týkajúcich sa transparentnosti, účinnosť systému dohľadu a správy a riadenia a pokrok vo vývoji normalizačných produktov týkajúcich sa energeticky efektívneho vývoja modelov AI na všeobecné účely vrátane potreby ďalších opatrení alebo krokov, a podať o tom správu Európskemu parlamentu a Rade. Komisia by mala do 2. augusta 2028 a potom každé tri roky vyhodnotiť vplyv a efektívnosť dobrovoľných kódexov správania na podporu uplatňovania požiadaviek stanovených pre vysokorizikové systémy AI v prípade systémov AI, ktoré nie sú vysokorizikové, a prípadne ďalších dodatočných požiadaviek na takéto systémy AI.

(175)

S cieľom zabezpečiť jednotné podmienky vykonávania tohto nariadenia by sa mali na Komisiu preniesť vykonávacie právomoci. Uvedené právomoci by sa mali vykonávať v súlade s nariadením Európskeho parlamentu a Rady (EÚ) č. 182/2011 (56).

(176)

Keďže cieľ tohto nariadenia, a to zlepšiť fungovanie vnútorného trhu a podporovať zavádzanie dôveryhodnej AI sústredenej na človeka a súčasne zabezpečiť vysokú úroveň ochrany zdravia, bezpečnosti, základných práv zakotvených v charte vrátane demokracie, právneho štátu a ochranu životného prostredia pred škodlivými účinkami systémov AI v Únii, a zároveň podporovať inovácie, nie je možné uspokojivo dosiahnuť na úrovni členských štátov a z dôvodu rozsahu alebo dôsledkov činnosti ho možno lepšie dosiahnuť na úrovni Únie, môže Únia prijať opatrenia v súlade so zásadou subsidiarity podľa článku 5 Zmluvy o EÚ. V súlade so zásadou proporcionality podľa uvedeného článku toto nariadenie neprekračuje rámec nevyhnutný na dosiahnutie tohto cieľa.

(177)

S cieľom zabezpečiť právnu istotu a primerané adaptačné obdobie pre prevádzkovateľov a zabrániť narušeniu trhu, a to aj zabezpečením kontinuity používania systémov AI, je vhodné, aby sa toto nariadenie uplatňovalo na vysokorizikové systémy AI, ktoré boli uvedené na trh alebo do prevádzky pred všeobecným dňom začatia jeho uplatňovania, len ak od uvedeného dňa dizajn alebo zamýšľaný účel týchto systémov prešli významnými zmenami. Je vhodné spresniť, že v tejto súvislosti by sa pojem významnej zmeny mal vykladať tak, že je vo svojej podstate rovnocenný s pojmom podstatnej zmeny, ktorý sa používa len v súvislosti s vysokorizikovými systémami AI podľa tohto nariadenia. Výnimočne a vzhľadom na verejnú zodpovednosť by prevádzkovatelia systémov AI, ktoré sú komponentmi rozsiahlych informačných systémov zriadených právnymi aktmi uvedenými v prílohe k tomuto nariadeniu, a prevádzkovatelia vysokorizikových systémov AI, ktoré majú používať orgány verejnej moci, mali prijať potrebné kroky na dosiahnutie súladu s požiadavkami tohto nariadenia do konca roka 2030 a do 2. augusta 2030.

(178)

Poskytovatelia vysokorizikových systémov AI sa vyzývajú, aby dobrovoľne začali plniť príslušné povinnosti stanovené v tomto nariadení už počas prechodného obdobia.

(179)

Toto nariadenie by sa malo uplatňovať od 2. augusta 2026. Vzhľadom na neprijateľné riziko spojené s používaním AI určitými spôsobmi by sa však zákazy, ako aj všeobecné ustanovenia tohto nariadenia, mali uplatňovať už od 2. februára 2025. Zatiaľ čo plný účinok týchto zákazov vyplýva zo zavedenia správy a riadenia a presadzovania tohto nariadenia, je dôležité predpokladať uplatňovanie zákazov, aby sa zohľadnili neprijateľné riziká a aby sa dosiahol vplyv na iné postupy, napríklad v občianskom práve. Taktiež platí, že infraštruktúra súvisiaca so správou a riadením a so systémom posudzovania zhody by však mala byť funkčná pred 2. augusta 2026, a preto by sa ustanovenia o notifikovaných osobách a štruktúre správy a riadenia mali uplatňovať od 2. augusta 2025. Vzhľadom na rýchle tempo technologického pokroku a prijímanie modelov AI na všeobecné účely by sa povinnosti poskytovateľov modelov AI na všeobecné účely mali začať uplatňovať od 2. augusta 2025. Kódexy postupov by mali byť pripravené do 2. mája 2025, aby sa poskytovateľom umožnilo včas preukázať plnenie predpisov. Úrad pre AI by mal zabezpečiť, aby pravidlá a postupy klasifikácie boli aktuálne vzhľadom na technologický vývoj. Okrem toho by členské štáty mali stanoviť pravidlá týkajúce sa sankcií vrátane správnych pokút, oznámiť ich Komisii a zabezpečiť ich riadne a účinné vykonávanie do dátumu začatia uplatňovania tohto nariadenia. Ustanovenia o sankciách by sa preto mali začať uplatňovať od 2. augusta 2025.

(180)

V súlade s článkom 42 ods. 1 a 2 nariadenia (EÚ) 2018/1725 sa konzultovalo s európskym dozorným úradníkom pre ochranu údajov a s Európskym výborom na ochranu údajov, ktorí 18. júna 2021 vydali svoje spoločné stanovisko,