(1)

Syftet med denna förordning är att förbättra den inre marknadens funktionssätt genom att fastställa en enhetlig rättslig ram för i synnerhet utveckling , saluföring och användning av artificiell intelligens i  enlighet med unionens värden . Denna förordnings syften baseras på ett antal tvingande hänsyn till allmänintresset , såsom en hög skyddsnivå för hälsa, säkerhet och grundläggande rättigheter , och säkerställer fri rörlighet över gränserna för AI-baserade varor och tjänster, vilket förhindrar att medlemsstaterna inför begränsningar av utvecklingen, saluföringen och användningen av AI-system, om sådana inte uttryckligen tillåts enligt denna förordning.

(1)

Syftet med denna förordning är att främja användningen av människocentrerad och tillförlitlig artificiell intelligens och att säkerställa en hög skyddsnivå för hälsa, säkerhet, grundläggande rättigheter , demokrati och rättsstatsprincipen samt miljön mot skadliga effekter av system för artificiell intelligens i  unionen och samtidigt stödja innovation och förbättra den inre marknadens funktionssätt . Denna förordning fastställer en enhetlig rättslig ram för i synnerhet utveckling, utsläppande på marknaden , ibruktagande och användning av artificiell intelligens i enlighet med unionens värden , och säkerställer fri rörlighet över gränserna för AI-baserade varor och tjänster, vilket förhindrar att medlemsstaterna inför begränsningar av utvecklingen, saluföringen och användningen av AI-system, om sådana inte uttryckligen tillåts enligt denna förordning. Vissa AI-system kan också påverka demokratin, rättsstatsprincipen och miljön. Dessa problem behandlas särskilt inom de kritiska sektorer och användningsfall som förtecknas i bilagorna till denna förordning.

(1a)

Denna förordning bör bevara unionens värden och underlätta spridningen av fördelarna med artificiell intelligens i samhället, skydda individer, företag, demokratin och rättsstatsprincipen och miljön från risker och samtidigt främja innovation och sysselsättning och göra Europa ledande på området.

(2)

System med artificiell intelligens ( AI-system) kan enkelt användas inom många olika ekonomiska sektorer och samhällssektorer, inklusive över gränser, och cirkulera i hela unionen. Vissa medlemsstater har redan undersökt antagandet av nationella regler för att säkerställa att artificiell intelligens är säker och att den utvecklas och används i enlighet med skyldigheter som rör grundläggande rättigheter. Olikartade nationella regler kan leda till fragmentering av den inre marknaden och minska rättssäkerheten för aktörer som utvecklar eller använder AI-system. En enhetlig och hög skyddsnivå bör därför säkerställas i hela unionen, och avvikelser som hindrar den fria rörligheten för AI-system och relaterade produkter och tjänster på den inre marknaden bör förhindras genom fastställande av enhetliga skyldigheter för operatörer och garanterande av ett enhetligt skydd för tvingande hänsyn till allmänintresset och personers rättigheter på hela den inre marknaden, baserat på artikel 114 i fördraget om Europeiska unionens funktionssätt (EUF-fördraget). I den utsträckning som förordningen omfattar särskilda regler för skydd av individer när det gäller behandling av personuppgifter i samband med användning av AI-system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser i brottsbekämpande syfte, är det, när det gäller dessa särskilda regler, lämpligt att basera denna förordning på artikel 16 i EUF-fördraget. Mot bakgrund av dessa särskilda regler och användningen av artikel 16 i EUF-fördraget är det lämpligt att samråda med Europeiska dataskyddsstyrelsen.

(2)

AI-system kan enkelt användas inom många olika ekonomiska sektorer och samhällssektorer, inklusive över gränser, och cirkulera i hela unionen. Vissa medlemsstater har redan undersökt antagandet av nationella regler för att säkerställa att artificiell intelligens är tillförlitlig och säker och att den utvecklas och används i enlighet med skyldigheter som rör grundläggande rättigheter. Olikartade nationella regler kan leda till fragmentering av den inre marknaden och minska rättssäkerheten för aktörer som utvecklar eller använder AI-system. En enhetlig och hög skyddsnivå bör därför säkerställas i hela unionen för att tillförlitlig AI ska uppnås , och avvikelser som hindrar den fria rörligheten för , samt innovation inom och användning och spridning av, AI-system och relaterade produkter och tjänster på den inre marknaden bör förhindras genom fastställande av enhetliga skyldigheter för operatörer och garanterande av ett enhetligt skydd för tvingande hänsyn till allmänintresset och personers rättigheter på hela den inre marknaden, baserat på artikel 114 i fördraget om Europeiska unionens funktionssätt (EUF-fördraget).

(2a)

Eftersom artificiell intelligens ofta förlitar sig på behandling av stora datavolymer, och många AI-system och applikationer vid behandling av personuppgifter, är det lämpligt att basera förordningen på artikel 16 i EUF-fördraget, som garanterar skydd för fysiska personer när det gäller behandling av personuppgifter och som tillhandahåller antagandet av regler för skydd av individer när det gäller behandling av personuppgifter.

(2b)

Den grundläggande rätten till skydd av personuppgifter garanteras särskilt genom förordningarna (EU) 2016/679 och (EU) 2018/1725 och direktiv (EU) 2016/680. Direktiv 2002/58/EG skyddar dessutom privatlivet och telehemlighet vid kommunikation och fastställer villkor för all lagring av personuppgifter och icke-personuppgifter i terminalutrustning och för åtkomst från terminalutrustning. Dessa rättsakter utgör grunden för hållbar och ansvarsfull databehandling, även när datamängderna innehåller en blandning av personuppgifter och icke-personuppgifter. Denna förordning syftar inte till att påverka tillämpningen av befintlig unionslagstiftning om behandling av personuppgifter, inbegripet uppgifter och befogenheter för de oberoende tillsynsmyndigheter som är behöriga att övervaka efterlevnaden av dessa instrument. Denna förordning påverkar inte de grundläggande rättigheterna till privatliv och skydd av personuppgifter som föreskrivs i unionsrätten om dataskydd och integritet och som fastställs i Europeiska unionens stadga om de grundläggande rättigheterna (stadgan).

(2c)

System för artificiell intelligens i unionen omfattas av relevant produktsäkerhetslagstiftning som ger en ram som skyddar konsumenterna mot farliga produkter i allmänhet, och sådan lagstiftning bör fortsätta att gälla. Denna förordning påverkar inte heller tillämpningen av bestämmelserna i andra unionsrättsakter om konsumentskydd och produktsäkerhet, inbegripet förordning (EU) 2017/2394, förordning (EU) 2019/1020 och direktiv 2001/95/EG om allmän produktsäkerhet och direktiv 2013/11/EU.

(2d)

I enlighet med artikel 114.2 i EUF-fördraget bör denna förordning komplettera och inte undergräva de anställdas rättigheter och intressen. Denna förordning bör därför inte påverka unionsrätten om socialpolitik och nationell arbetsrätt eller arbetsrättslig praxis, det vill säga alla rättsliga och avtalsreglerade bestämmelser om anställningsvillkor, arbetsförhållanden, inbegripet hälsa och säkerhet på arbetsplatsen, och förhållandet mellan arbetsgivare och arbetstagare, även vad gäller information, samråd och medverkan. Denna förordning bör inte påverka utövandet av de grundläggande rättigheter som erkänns i medlemsstaterna och på unionsnivå, inbegripet rätten eller friheten att strejka eller att vidta annan åtgärd som ingår i medlemsstaternas respektive arbetsmarknadsmodell, i enlighet med nationell lagstiftning och/eller praxis. Den bör inte heller påverka samrådsförfaranden, rätten att förhandla om, ingå och tillämpa kollektivavtal eller att vidta kollektiva åtgärder i enlighet med nationell lagstiftning och/eller praxis. Den bör under alla omständigheter inte hindra kommissionen från att föreslå särskild lagstiftning om rättigheter och friheter för arbetstagare som påverkas av AI-system.

(2e)

Denna förordning bör inte påverka de bestämmelser som syftar till att förbättra arbetsvillkoren för plattformsarbete enligt direktiv … [2021/414 (COD)]

(2f)

Denna förordning bör bidra till att stödja forskning och innovation och bör inte undergräva forsknings- och utvecklingsverksamheten och respektera den vetenskapliga forskningens frihet. Det är därför nödvändigt att från dess tillämpningsområde undanta AI-system som särskilt utvecklats enbart för vetenskaplig forskning och utveckling, och att säkerställa att förordningen inte på annat sätt påverkar vetenskaplig forskning om och utveckling av AI-system. All forsknings- och utvecklingsverksamhet bör under alla omständigheter genomföras i enlighet med stadgan och unionsrätten samt nationell rätt.

(3)

Artificiell intelligens tillhör en teknikfamilj under snabb utveckling som kan bidra till en mängd ekonomiska och samhälleliga vinster över hela spektrumet av näringslivssektorer och samhällsverksamheter. Artificiell intelligens kan ge bättre prognoser, optimera verksamheter och resurstilldelning och individanpassa digitala lösningar som finns tillgängliga för enskilda och organisationer och på så sätt ge företagen viktiga konkurrensfördelar och stödja socialt och miljömässigt fördelaktiga utfall, exempelvis inom hälso- och sjukvård, jordbruk, utbildning, infrastrukturförvaltning, energi, transport och logistik, offentliga tjänster, säkerhet, rättsväsen, resurs- och energieffektivitet samt begränsning av och anpassning till klimatförändringar.

(3)

Artificiell intelligens tillhör en teknikfamilj under snabb utveckling som kan bidra till , och redan bidrar till, en mängd ekonomiska , miljömässiga och samhälleliga vinster över hela spektrumet av näringslivssektorer och samhällsverksamheter om den utvecklas i enlighet med relevanta allmänna principer i överensstämmelse med EU-stadgan om grundläggande rättigheter och de värden som ligger till grund för unionen . Artificiell intelligens kan ge bättre prognoser, optimera verksamheter och resurstilldelning och individanpassa digitala lösningar som finns tillgängliga för enskilda och organisationer och på så sätt ge företagen viktiga konkurrensfördelar och stödja socialt och miljömässigt fördelaktiga utfall, exempelvis inom hälso- och sjukvård, jordbruk, livsmedelssäkerhet, utbildning, medier, sport och kultur, infrastrukturförvaltning, energi, transport och logistik, krishantering, offentliga tjänster, säkerhet, rättsväsen, resurs- och energieffektivitet , miljöövervakning, bevarande och återställande av biologisk mångfald och ekosystem samt begränsning av och anpassning till klimatförändringar.

(3a)

För att bidra till uppnåendet av målen om koldioxidneutralitet bör de europeiska företagen sträva efter att använda alla tillgängliga tekniska framsteg som kan bidra till uppnåendet av detta mål. Artificiell intelligens är en teknik som har potential för att användas för att behandla den ständigt växande mängd data som skapas genom industriella processer, miljöprocesser, hälso-och sjukvårdsprocesser och andra processer. För att underlätta investeringar i AI-baserade analyser och optimeringsverktyg bör denna förordning skapa en förutsägbar och proportionell miljö för industriella lösningar med låg risk.

(4)

Samtidigt kan artificiell intelligens, beroende på omständigheterna kring den specifika tillämpningen och användningen, ge upphov till risker och skada allmänna intressen och rättigheter som skyddas av unionsrätten. Dessa skador kan vara materiella eller immateriella.

(4)

Samtidigt kan artificiell intelligens, beroende på omständigheterna kring den specifika tillämpningen och användningen, samt nivån på den tekniska utvecklingen, ge upphov till risker och skada allmänna och privata intressen och fysiska personers grundläggande rättigheter som skyddas av unionsrätten. Dessa skador kan vara materiella eller immateriella , inbegripet fysiska, psykologiska, samhälleliga eller ekonomiska skador .

(4a)

Med tanke på den stora inverkan som artificiell intelligens kan ha på samhället, och behovet av att bygga upp förtroende, är det mycket viktigt att artificiell intelligens och dess regelverk utvecklas i enlighet med unionens värden som fastställs i artikel 2 i EU-fördraget, de grundläggande rättigheter och friheter som fastställs i fördragen, stadgan och internationell människorättslagstiftning. En förutsättning är att artificiell intelligens är en människocentrerad teknik. Den bör inte ersätta människors självständighet eller innebära att den individuella friheten går förlorad, och den bör i första hand tillgodose samhällets behov och det allmänna bästa. Skyddsåtgärder bör tillhandahållas för att säkerställa utvecklingen och användningen av artificiell intelligens med inbyggd etik som respekterar unionens värden och stadgan.

(5)

Därmed behövs en rättslig ram för unionen som omfattar harmoniserade regler för artificiell intelligens, för att främja utvecklingen, användningen och spridningen av artificiell intelligens på den inre marknaden, och som samtidigt uppnår en hög skyddsnivå för allmänintressen, såsom hälsa, säkerhet och grundläggande rättigheter, som erkänns och är skyddade enligt unionsrätten. För att uppnå detta syfte bör det fastställas regler som reglerar utsläppandet på marknaden och ibruktagandet av vissa AI-system, för att på så sätt säkerställa en fungerande inre marknad och göra det möjligt för dessa system att omfattas av principen om fri rörlighet för varor och tjänster. Genom fastställandet av dessa regler stöder denna förordning unionens mål att bli världsledande inom utvecklingen av säker, tillförlitlig och etisk artificiell intelligens, såsom fastställts av Europeiska rådet (33), och säkerställer skyddet av etiska principer, vilket särskilt har begärts av Europaparlamentet (34).

(5)

Därmed behövs en rättslig ram för unionen som omfattar harmoniserade regler för artificiell intelligens, för att främja utvecklingen, användningen och spridningen av artificiell intelligens på den inre marknaden, och som samtidigt uppnår en hög skyddsnivå för allmänintressen, såsom hälsa, säkerhet och grundläggande rättigheter, demokrati och rättsstatsprincipen och miljön, som erkänns och är skyddade enligt unionsrätten. För att uppnå detta syfte bör det fastställas regler som reglerar utvecklingen, utsläppandet på marknaden , ibruktagandet och användningen av vissa AI-system, för att på så sätt säkerställa en fungerande inre marknad och göra det möjligt för dessa system att omfattas av principen om fri rörlighet för varor och tjänster. Dessa regler bör vara tydliga och robusta när det gäller att skydda de grundläggande rättigheterna, stödja nya innovativa lösningar och möjliggöra ett europeiskt ekosystem av offentliga och privata aktörer som skapar AI-system i linje med unionens värden. Genom fastställandet av dessa regler , och åtgärder till stöd för innovation med särskild inriktning på små och medelstora företag och uppstartsföretag, stöder denna förordning unionens mål att främja AI tillverkad i Europa, och bli världsledande inom utvecklingen av säker, tillförlitlig och etisk artificiell intelligens, såsom fastställts av Europeiska rådet (33), och säkerställer skyddet av etiska principer, vilket särskilt har begärts av Europaparlamentet (34).

(5a)

För att främja utvecklingen av AI i linje med unionens värden måste unionen dessutom ta itu med de viktigaste luckorna och hindren som undergräver den digitala omställningens potential, inklusive bristen på digitalt utbildade arbetare, cybersäkerhetsfrågor, brist på investeringar och tillgång till investeringar samt befintliga och potentiella luckor mellan stora företag, små och medelstora företag och uppstartsföretag. Speciell uppmärksamhet bör fästas vid att säkerställa att fördelarna med AI och innovation vad gäller ny teknik gagnar alla regioner i unionen och att tillräckliga investeringar och resurser tillhandahålls särskilt för de regioner som eventuellt släpar efter när det gäller vissa digitala indikatorer.

(6)

Begreppet AI-system bör vara tydligt definierat för att säkerställa rättssäkerhet och samtidigt ge den flexibilitet som behövs för anpassning till framtida teknisk utveckling . Definitionen bör baseras på programvarans viktigaste funktionella egenskaper , i synnerhet förmågan att , för en viss uppsättning mänskligt definierade syften , generera sådana utdata som innehåll, prognoser eller rekommendationer, eller beslut som påverkar den miljö som systemet interagerar med, i en fysisk eller digital dimension . AI-system kan utformas för att arbeta med olika nivåer av autonomi och användas fristående eller som komponent i  en produkt, oavsett om systemet är fysiskt integrerat i  produkten (inbyggt) eller tjänar produktens funktioner utan att vara integrerat i produkten (ej inbyggt). Definitionen av AI-system bör kompletteras med en förteckning över specifika tekniker och metoder som används för utvecklingen av AI-system , vilken bör uppdateras i takt med marknadsutvecklingen och den tekniska utvecklingen genom att kommissionen antar delegerade akter om ändring av denna förteckning .

(6)

Begreppet AI-system i denna förordning bör vara tydligt definierat och nära anpassat till det arbete som utförs av internationella organisationer som arbetar med artificiell intelligens för att säkerställa rättssäkerhet , harmonisering och bred acceptans, samtidigt som den ger flexibilitet för att hantera den snabba tekniska utvecklingen på detta område . Definitionen bör dessutom baseras på de viktigaste funktionella egenskaperna hos artificiell intelligens , såsom dess inlärnings-, resonemangs- eller modelleringskapacitet , så att den kan skiljas från enklare programvarusystem och programmeringsmetoder. AI-system är utformade för att fungera med varierande grad av autonomi , vilket innebär att de åtminstone i viss mån är oberoende av mänsklig kontroll och av förmågan att fungera utan mänskligt ingripande. Termen ”maskinbaserad” avser det faktum att AI-system körs på maskiner. Hänvisningen till uttryckliga eller implicita mål understryker att AI-system kan fungera enligt uttryckliga människodefinierade mål eller underförstådda mål. AI-systemets mål kan skilja sig från AI-systemets avsedda ändamål i  ett specifikt sammanhang. Hänvisningen till förutsägelser omfattar innehåll, som i  denna förordning betraktas som en form av förutsägelse som en av de möjliga utdata som produceras av ett AI-system . I denna förordning bör miljöer förstås som de sammanhang där AI-systemen fungerar, medan utdata som genereras av AI-systemet , dvs. förutsägelser, rekommendationer eller beslut, svarar mot systemets mål, på grundval av indata från denna miljö. En sådan produktion påverkar ytterligare denna miljö, även genom att endast införa ny information till den.

(6a)

AI-system har ofta maskininlärningskapacitet som tillåter dem att anpassa sig och utföra nya uppgifter på ett självständigt sätt. Maskininlärning avser beräkningsprocessen för att optimera parametrarna för modellen utifrån data, som är en matematisk konstruktion som genererar utdata baserat på indata. Metoder för maskininlärning inbegriper exempelvis övervakad, oövervakad och förstärkt inlärning, med hjälp av en mängd olika tillvägagångssätt, inklusive djupinlärning med neurala nätverk. Denna förordning syftar till att hantera nya potentiella risker som kan uppstå genom delegering av kontroll till AI-system, särskilt till de AI-system som kan utvecklas efter införandet. Funktionen och resultaten för många av dessa AI-system bygger på abstrakta matematiska förhållanden som är svåra för människor att förstå, övervaka och spåra tillbaka till specifika indata. Dessa komplexa och ogenomskinliga kännetecken (svarta-lådan-faktorn) påverkar möjligheten till ansvarsskyldighet och förklarbarhet. Jämförelsevis enklare tekniker såsom kunskapsbaserade metoder, bayesisk beräkning eller beslutsträd kan också leda till luckor i lagstiftningen som behöver hanteras i denna förordning, i synnerhet när de används i kombination med maskininlärningsmetoder i hybridsystem.

(6b)

AI-system kan användas i ett fristående programvarusystem, integrerat i produkten (inbyggt), använt för att tjäna produktens funktioner utan att vara integrerat i produkten (ej inbyggt) eller användas som en AI-komponent i ett större system. Om detta större system inte skulle fungera utan AI-komponenten i fråga bör hela det större systemet betraktas som ett enda AI-system enligt denna förordning.

(7)

Begreppet biometriska uppgifter, som används i denna förordning är i linje med och bör tolkas i överensstämmelse med begreppet biometriska uppgifter enligt definitionen i artikel 4.14 i Europaparlamentets och rådets förordning (EU) 2016/679 (35) , artikel 3.18 i Europaparlamentets och rådets förordning (EU) 2018/1725  (36) och artikel 3.13 i Europaparlamentets och rådets direktiv (EU) 2016/68037  (37) .

(7)

Begreppet biometriska uppgifter, som används i denna förordning är i linje med och bör tolkas i överensstämmelse med definitionen i artikel 4.14 i Europaparlamentets och rådets förordning (EU) 2016/679 (35) . Biometribaserade uppgifter: uppgifter som erhållits genom särskild teknisk behandling och som avser en fysisk persons fysiska, fysiologiska eller beteendemässiga signaler, såsom ansiktsuttryck, rörelser, pulsfrekvens, röst, tangenttryckningar eller gång, vare sig de kan eller inte kan möjliggöra eller bekräfta den unika identifieringen av en fysisk person .

(7a)

biometrisk identifiering: användning av AI-system för automatiskt igenkänning av fysiska, fysiologiska, beteendemässiga och psykologiska mänskliga särdrag såsom ansikte, ögonrörelser, ansiktsuttryck, kroppsform, röst, tal, gång, hållning, hjärtfrekvens, blodtryck, lukt, tangenttryckningar, psykologiska reaktioner (ilska, ångest, sorg osv.) för att fastställa en enskild persons identitet genom att jämföra denna individs biometriska uppgifter med lagrade biometriska uppgifter tillhörande individer i en databas (en-till-många-identifiering), oavsett om individen har givit sitt medgivande eller inte.

(7b)

Begreppet biometrisk kategorisering såsom det används i detta direktiv bör definieras som att fysiska personer hänförs till särskilda kategorier eller att deras egenskaper och attribut uttyds, såsom kön, ålder, hårfärg, ögonfärg, tatueringar, etniskt eller socialt ursprung, hälsa, mental eller fysisk kapacitet, beteendemässiga eller personlighetsrelaterade egenskaper, språk, religion eller tillhörighet till en nationell minoritet eller sexuell eller politisk läggning, på grundval av deras biometriska eller biometribaserade uppgifter eller som kan uttydas från sådana data.

(8)

Begreppet system för biometrisk fjärridentifiering enligt denna förordning bör definieras utifrån funktion, som ett AI-system avsett för fjärridentifiering av fysiska personer genom jämförelse mellan en persons biometriska uppgifter och biometriska uppgifter i en referensdatabas, och utan någon förhandskunskap om huruvida den berörda personen kommer att vara närvarande och kan identifieras, oavsett den specifika teknik, process eller typ av biometriska uppgifter som används. Mot bakgrund av systemens olika kännetecken och de olika sätt som de används på, liksom de olika risker som är involverade, bör en åtskillnad göras mellan system för biometrisk identifiering ”i realtid” och ”i efterhand”. När det gäller system i realtid sker insamlingen av biometriska uppgifter, jämförelsen och identifieringen omedelbart, näst intill omedelbart eller under alla omständigheter utan betydande dröjsmål. I detta avseende bör det inte finnas något utrymme för att kringgå denna förordnings regler om användning i realtid av de berörda AI-systemen genom att tillhandahålla mindre fördröjningar. Realtidssystem involverar direktupptagningar eller näst intill direktupptagningar av material, såsom videoupptagningar, genererade med kamera eller annan utrustning med liknande funktion. Efterhandssystem baseras däremot på redan insamlade biometriska uppgifter och jämförelsen och identifieringen sker med en betydande fördröjning. Detta involverar sådant material som bilder eller videoupptagningar som genereras genom övervakningskameror (CCTV) eller privat utrustning och som har genererats före användningen av systemet vad gäller de berörda fysiska personerna.

(8)

Begreppet system för biometrisk fjärridentifiering enligt denna förordning bör definieras utifrån funktion, som ett AI-system avsett för fjärridentifiering av fysiska personer genom jämförelse mellan en persons biometriska uppgifter och biometriska uppgifter i en referensdatabas, och utan någon förhandskunskap om huruvida den berörda personen kommer att vara närvarande och kan identifieras, oavsett den specifika teknik, process eller typ av biometriska uppgifter som används , med undantag för verifieringssystem som enbart jämför en individs biometriska uppgifter med deras egna tidigare angivna biometriska uppgifter (en-till-en) . Mot bakgrund av systemens olika kännetecken och de olika sätt som de används på, liksom de olika risker som är involverade, bör en åtskillnad göras mellan system för biometrisk identifiering ”i realtid” och ”i efterhand”. När det gäller system i realtid sker insamlingen av biometriska uppgifter, jämförelsen och identifieringen omedelbart, näst intill omedelbart eller under alla omständigheter utan betydande dröjsmål. I detta avseende bör det inte finnas något utrymme för att kringgå denna förordnings regler om användning i realtid av de berörda AI-systemen genom att tillhandahålla mindre fördröjningar. Realtidssystem involverar direktupptagningar eller näst intill direktupptagningar av material, såsom videoupptagningar, genererade med kamera eller annan utrustning med liknande funktion. Efterhandssystem baseras däremot på redan insamlade biometriska uppgifter och jämförelsen och identifieringen sker med en betydande fördröjning. Detta involverar sådant material som bilder eller videoupptagningar som genereras genom övervakningskameror (CCTV) eller privat utrustning och som har genererats före användningen av systemet vad gäller de berörda fysiska personerna. Eftersom begreppet biometrisk identifiering är oberoende av en individs medgivande gäller denna definition även när varningsmeddelanden placeras på den plats som övervakas av systemet för biometrisk identifiering, och annulleras inte i praktiken genom förhandsregistrering.

(8a)

Identifiering av fysiska personer på distans anses skilja system för biometrisk fjärridentifiering från system för individuell verifiering på nära håll med hjälp av medel för biometrisk identifiering, vars enda syfte är att bekräfta huruvida en viss fysisk person som anmäler sig för identifiering är tillåten, till exempel för att få tillgång till en tjänst, en anordning eller lokaler.

(9)

I denna förordning bör begreppet allmänt tillgänglig plats förstås som varje fysisk plats som är tillgänglig för allmänheten, oavsett om platsen i fråga är i privat eller offentlig ägo. Därmed omfattar begreppet inte platser som är av privat art och som normalt inte är fritt tillgängliga för tredje part, inbegripet brottsbekämpande myndigheter, om inte dessa parter särskilt har bjudits in eller getts tillåtelse, såsom bostäder, privata klubbar, kontor, lager och fabriker. Onlineplatser omfattas inte heller eftersom de inte är fysiska platser. Enbart det faktum att vissa villkor kan gälla för att få tillträde till en viss plats, såsom inträdesbiljetter eller åldersgränser, betyder inte att platsen inte anses allmänt tillgänglig enligt denna förordning. Vid sidan av sådana offentliga platser som gator, berörda delar av offentliga byggnader och de flesta transportinfrastrukturer är normalt också sådana platser som biografer, teatrar, affärer och köpcentrum tillgängliga för allmänheten. Det bör dock avgöras från fall till fall om en viss plats är tillgänglig för allmänheten, med beaktande av den individuella situationens särdrag.

(9)

I denna förordning bör begreppet allmänt tillgänglig plats förstås som varje fysisk plats som är tillgänglig för allmänheten, oavsett om platsen i fråga är i privat eller offentlig ägo och oavsett de potentiella kapacitetsbegränsningarna . Därmed omfattar begreppet inte platser som är av privat art och som normalt inte är fritt tillgängliga för tredje part, inbegripet brottsbekämpande myndigheter, om inte dessa parter särskilt har bjudits in eller getts tillåtelse, såsom bostäder, privata klubbar, kontor, lager och fabriker. Onlineplatser omfattas inte heller eftersom de inte är fysiska platser. Enbart det faktum att vissa villkor kan gälla för att få tillträde till en viss plats, såsom inträdesbiljetter eller åldersgränser, betyder inte att platsen inte anses allmänt tillgänglig enligt denna förordning. Vid sidan av sådana offentliga platser som gator, berörda delar av offentliga byggnader och de flesta transportinfrastrukturer är normalt också sådana platser som biografer, teatrar, idrottsplatser, skolor, universitet, berörda delar av sjukhus och banker, nöjesparker, festivaler, affärer och köpcentrum tillgängliga för allmänheten. Det bör dock avgöras från fall till fall om en viss plats är tillgänglig för allmänheten, med beaktande av den individuella situationens särdrag.

(9a)

Det är viktigt att notera att AI-system bör respektera allmänna principer om inrättande av en ram på hög nivå som främjar en enhetlig människocentrerad strategi för etisk och tillförlitlig AI i överensstämmelse med Europeiska unionens stadga om de grundläggande rättigheterna och de värden som ligger till grund för unionen, inbegripet skydd av grundläggande rättigheter, självständigt mänskligt agerande samt mänsklig tillsyn, teknisk robusthet och säkerhet, integritet och dataförvaltning, transparens, icke-diskriminering och rättvisa samt samhällets och miljöns välbefinnande.

(9b)

AI-kunskaper avser sådan kompetens, kunskap och förståelse som gör det möjligt för leverantörer, användare och berörda personer att, med hänsyn till deras respektive rättigheter och skyldigheter i samband med denna förordning, använda AI-system på ett välgrundat sätt samt bli medvetna om möjligheterna och riskerna med AI, och den potentiella skada den kan vålla, och därmed främja den demokratiska kontrollen över AI. AI-kunskaper bör inte begränsas till lärande om verktyg och teknik, utan bör också syfta till att förse leverantörer och användare med de begrepp och färdigheter som krävs för att säkerställa efterlevnad och genomdrivande av denna förordning. Kommissionen, medlemsstaterna och leverantörer och användare av AI-system måste därför, i samarbete med alla berörda parter, främja utvecklingen av AI-kunskaper på tillräckligt hög nivå inom alla delar av samhället, hos människor av alla åldrar, även kvinnor och flickor, och framstegen inom detta område måste noga följas.

(10)

För att säkerställa lika villkor och ett effektivt skydd av individers rättigheter och friheter i hela unionen bör de regler som fastställs genom denna förordning tillämpas på leverantörer av AI-system på ett icke-diskriminerande sätt, oavsett om de är etablerade i unionen eller i ett tredjeland, och på användare av AI-system som är etablerade i unionen.

(10)

För att säkerställa lika villkor och ett effektivt skydd av individers rättigheter och friheter i hela unionen och på internationell nivå bör de regler som fastställs genom denna förordning tillämpas på leverantörer av AI-system på ett icke-diskriminerande sätt, oavsett om de är etablerade i unionen eller i ett tredjeland, och på användare av AI-system som är etablerade i unionen. För att unionen ska kunna respektera sina grundläggande värden bör AI-system som är avsedda att användas för metoder som anses vara oacceptabla enligt denna förordning också anses vara oacceptabla utanför unionen på grund av deras särskilt skadliga inverkan på de grundläggande rättigheterna enligt stadgan. Det är därför lämpligt att förbjuda att leverantörer som är bosatta i unionen exporterar sådana AI-system till tredjeländer.

(11)

Mot bakgrund av AI-systemens digitala natur bör vissa AI-system omfattas av denna förordning även om de varken släpps ut på marknaden, tas i bruk eller används i unionen. Detta är exempelvis fallet om en aktör som är etablerad i unionen lägger ut vissa tjänster på entreprenad hos en aktör som är etablerad utanför unionen och entreprenaden avser en aktivitet som ska utföras av ett AI-system som skulle klassificeras som hög risk och vars effekter påverkar fysiska personer som befinner sig i unionen. Under dessa omständigheter skulle det AI-system som används av aktören utanför unionen kunna behandla data som på lagligt sätt samlats in och överförts från unionen och förse den avtalsslutande aktören i unionen med utdata från detta AI-system som är resultatet av denna behandling, utan att det berörda AI-systemet släppts ut på marknaden, tagits i bruk eller använts i unionen. För att förhindra att denna förordning kringgås och säkerställa ett effektivt skydd av fysiska personer som befinner sig i unionen, bör den också tillämpas på leverantörer och användare av AI-system som är etablerade i tredjeländer, i den utsträckning som de utdata som produceras av AI-systemen används i unionen. För att ta hänsyn till befintliga arrangemang och särskilda behov av samarbete med utländska partner med vilka information och bevis utbyts, bör denna förordning dock inte tillämpas på offentliga myndigheter i tredjeländer eller internationella organisationer som agerar inom ramen för internationella avtal som ingåtts på nationell eller europeisk nivå och som avser brottsbekämpande och rättsligt samarbete med unionen eller dess medlemsstater. Sådana avtal har ingåtts bilateralt mellan medlemsstater och tredjeländer eller mellan Europeiska unionen, Europol och andra EU-organ och tredjeländer och internationella organisationer.

(11)

Mot bakgrund av AI-systemens digitala natur bör vissa AI-system omfattas av denna förordning även om de varken släpps ut på marknaden, tas i bruk eller används i unionen. Detta är exempelvis fallet om en aktör som är etablerad i unionen lägger ut vissa tjänster på entreprenad hos en aktör som är etablerad utanför unionen och entreprenaden avser en aktivitet som ska utföras av ett AI-system som skulle klassificeras som hög risk och vars effekter påverkar fysiska personer som befinner sig i unionen. Under dessa omständigheter skulle det AI-system som används av aktören utanför unionen kunna behandla data som på lagligt sätt samlats in och överförts från unionen och förse den avtalsslutande aktören i unionen med utdata från detta AI-system som är resultatet av denna behandling, utan att det berörda AI-systemet släppts ut på marknaden, tagits i bruk eller använts i unionen. För att förhindra att denna förordning kringgås och säkerställa ett effektivt skydd av fysiska personer som befinner sig i unionen, bör den också tillämpas på leverantörer och användare av AI-system som är etablerade i tredjeländer, i den utsträckning som de utdata som produceras av AI-systemen avses att användas i unionen. För att ta hänsyn till befintliga arrangemang och särskilda behov av samarbete med utländska partner med vilka information och bevis utbyts, bör denna förordning dock inte tillämpas på offentliga myndigheter i tredjeländer eller internationella organisationer som agerar inom ramen för internationella avtal som ingåtts på nationell eller europeisk nivå och som avser brottsbekämpande och rättsligt samarbete med unionen eller dess medlemsstater. Sådana avtal har ingåtts bilateralt mellan medlemsstater och tredjeländer eller mellan Europeiska unionen, Europol och andra EU-organ och tredjeländer och internationella organisationer. Detta undantag bör dock begränsas till betrodda länder och internationella organisationer som delar unionens värden.

(12)

Denna förordning bör också tillämpas på unionens institutioner, kontor, organ och byråer när de agerar som tillhandahållare eller användare av AI-system. AI-system som uteslutande utvecklas eller används för militära ändamål bör undantas från denna förordnings tillämpningsområde i de fall då användningen faller under den gemensamma utrikes- och säkerhetspolitikens exklusiva behörighet vilken regleras genom avdelning V i fördraget om Europeiska unionen (EU-fördraget). Denna förordning bör inte påverka tillämpningen av bestämmelserna om tjänstelevererande mellanhänders ansvar enligt Europaparlamentets och rådets direktiv 2000/31/EG [ändrat genom rättsakten om digitala tjänster].

(12a)

Programvara och data som delas öppet och där användarna fritt kan komma åt, använda, modifiera och vidaredistribuera dem eller modifierade versioner av dem, kan bidra till forskning och innovation på marknaden. Forskning av kommissionen visar också att fri programvara med öppen källkod kan bidra med mellan 65 och 95 miljarder euro till unionens BNP och att den kan ge betydande tillväxtmöjligheter till den europeiska ekonomin. Användarna tillåts köra, kopiera, distribuera, studera, ändra och förbättra programvara och data, inbegripet modeller genom fria licenser med öppen källkod. För att främja utvecklingen och användningen av AI, särskilt av små och medelstora företag, uppstartsföretag, och akademisk forskning men även av enskilda personer, bör denna förordning inte tillämpas på sådana fria AI-komponenter med öppen källkod, utom i den mån de släpps ut på marknaden eller tas i bruk av en leverantör som en del av ett AI-system med hög risk eller av ett AI-system som omfattas av avdelning II eller IV i denna förordning.

(12b)

Varken den gemensamma utvecklingen av fria AI-komponenter med öppen källkod eller att göra dem tillgängliga i öppna databaser bör utgöra ett utsläppande på marknaden eller ett ibruktagande. En kommersiell verksamhet i form av tillgängliggörande på marknaden kan dock kännetecknas av att det tas ut en avgift, med undantag för transaktioner mellan mikroföretag, för en fri AI-komponent med öppen källkod, men också genom att ta ut en avgift för tekniska stödtjänster, genom att tillhandahålla en programvaruplattform som leverantören använder för att monetarisera andra tjänster, eller genom att använda personuppgifter för andra syften än uteslutande för att förbättra programvarans säkerhet, kompatibilitet eller interoperabilitet.

(12c)

Utvecklare av fria AI-komponenter med öppen källkod bör enligt denna förordning inte vara tvungna att uppfylla krav som är inriktade på AI-värdekedjan och särskilt inte på den leverantör som har använt denna fria AI-komponent med öppen källkod. Utvecklare av fria AI-komponenter med öppen källkod bör dock uppmuntras att tillämpa allmänt vedertagen dokumentationspraxis, såsom modeller och datakort, som ett sätt att påskynda informationsutbytet längs AI-värdekedjan, vilket gör det möjligt att främja tillförlitliga AI-system i unionen.

(13)

För att säkerställa en konsekvent och hög skyddsnivå för allmänintressen på områdena hälsa, säkerhet och grundläggande rättigheter bör gemensamma bindande normer fastställas för alla AI-system med hög risk. Dessa normer bör vara förenliga med Europeiska unionens stadga om de grundläggande rättigheterna (stadgan) och bör vara icke-diskriminerande och i linje med unionens internationella handelsåtaganden.

(13)

För att säkerställa en konsekvent och hög skyddsnivå för allmänintressen på områdena hälsa, säkerhet och grundläggande rättigheter , liksom för demokratin, miljön och rättsstatsprincipen, bör gemensamma bindande normer fastställas för alla AI-system med hög risk. Dessa normer bör vara förenliga med stadgan, den europeiska gröna given, unionens förklaring om digitala rättigheter och de etiska riktlinjerna för tillförlitlig AI från högnivåexpertgruppen för artificiell intelligens, och bör vara icke-diskriminerande och i linje med unionens internationella handelsåtaganden.

(14)

För att införa en uppsättning proportionerliga och effektiva bindande regler för AI-system bör en tydligt definierad riskbaserad metod användas. Denna metod bör innebära att dessa reglers art och innehåll anpassas till intensiteten och omfattningen av de risker som AI-systemen kan generera. Det är därför nödvändigt att förbjuda vissa metoder för artificiell intelligens, fastställa vissa krav för AI-system med hög risk och skyldigheter för berörda operatörer samt fastställa transparenskrav för vissa AI-system.

(14)

För att införa en uppsättning proportionerliga och effektiva bindande regler för AI-system bör en tydligt definierad riskbaserad metod användas. Denna metod bör innebära att dessa reglers art och innehåll anpassas till intensiteten och omfattningen av de risker som AI-systemen kan generera. Det är därför nödvändigt att förbjuda vissa oacceptabla metoder för artificiell intelligens, fastställa vissa krav för AI-system med hög risk och skyldigheter för berörda operatörer samt fastställa transparenskrav för vissa AI-system.

(15)

Vid sidan av de många nyttiga användningsområdena för artificiell intelligens kan tekniken också missbrukas och tillhandahålla nya och kraftfulla verktyg för manipulation, utnyttjande och social kontroll. Sådana metoder är särskilt skadliga och bör förbjudas eftersom de strider mot unionens värden och respekten för människans värdighet, frihet, jämlikhet, demokrati och rättsstatsprincipen samt unionens grundläggande rättigheter, inbegripet rätten till icke-diskriminering, dataskydd och personlig integritet samt barnets rättigheter.

(15)

Vid sidan av de många nyttiga användningsområdena för artificiell intelligens kan tekniken också missbrukas och tillhandahålla nya och kraftfulla verktyg för manipulation, utnyttjande och social kontroll. Sådana metoder är särskilt skadliga och kränkande och bör förbjudas eftersom de strider mot unionens värden och respekten för människans värdighet, frihet, jämlikhet, demokrati och rättsstatsprincipen samt unionens grundläggande rättigheter, inbegripet rätten till icke-diskriminering, dataskydd och personlig integritet samt barnets rättigheter.

(16)

Utsläppandet på marknaden och ibruktagandet eller användningen av vissa AI-system avsedda att snedvrida mänskligt beteende, och som sannolikt kan medföra fysisk eller psykisk skada, bör förbjudas. Sådana AI-system använder subliminala komponenter som inte kan uppfattas av individer eller utnyttjar sårbarheter hos barn och människor på grund av deras ålder eller fysiska eller mentala funktionsnedsättningar . De gör detta i avsikt att väsentligt snedvrida en persons beteende på ett sätt som skadar eller sannolikt kan skada den personen eller en annan person. Avsikten kan inte presumeras om snedvridningen av mänskligt beteende är resultatet av faktorer utanför AI-systemet vilka är utom leverantörens eller användarens kontroll. Forskning för legitima syften som är relaterade till sådana AI-system bör inte hindras av förbudet, om denna forskning inte innefattar användning av AI-system i människa-maskin-relationer som utsätter fysiska personer för skada och om den utförs i enlighet med erkända etiska normer för vetenskaplig forskning.

(16)

Utsläppandet på marknaden och ibruktagandet eller användningen av vissa AI-system i syfte att väsentligen snedvrida eller som leder till en väsentlig snedvridning av mänskligt beteende, och som sannolikt kan medföra fysisk eller psykisk skada, bör förbjudas. Denna begränsning bör förstås som att den omfattar neuroteknik med hjälp av AI-system som används för att övervaka, använda eller påverka neurala data som samlats in genom hjärndatorgränssnitt i den mån de väsentligt snedvrider en fysisk persons beteende på ett sätt som orsakar eller sannolikt kommer att orsaka betydande skada för den personen eller en annan person. Sådana AI-system använder subliminala komponenter som inte kan uppfattas av individer eller utnyttjar sårbarheter hos individer och särskilda grupper eller personer på grund av kända eller förutsedda personlighetsdrag, ålder , funktionsnedsättningar, sociala eller ekonomiska situation . De gör detta i avsikt att eller med verkan att väsentligt snedvrida en persons beteende på ett sätt som väsentligen skadar eller sannolikt väsentligen kan skada den personen eller en annan person eller grupper med personer, inbegripet skador som kan ackumuleras över tid . Avsikten att snedvrida beteendet kan inte presumeras om snedvridningen är resultatet av faktorer utanför AI-systemet vilka är utom leverantörens eller användarens kontroll , vilket innebär faktorer som inte på ett rimligt sätt kan förutses eller lindras av leverantören eller användaren av AI-systemet. I vilket fall som helst är det inte nödvändigt att leverantören eller användaren har för avsikt att orsaka väsentlig skada, så länge sådan skada beror på manipulativa eller exploaterande AI-metoder. Förbuden mot sådana AI-metoder kompletterar bestämmelserna i direktiv 2005/29/EG, enligt vilka otillbörliga affärsmetoder är förbjudna, oavsett om de har använts med hjälp av AI-system eller på annat sätt. I sådana sammanhang bör lagliga affärsmetoder, till exempel på reklamområdet, som är förenliga med unionsrätten inte i sig anses strida mot förbudet. Forskning för legitima syften som är relaterade till sådana AI-system bör inte hindras av förbudet, om denna forskning inte innefattar användning av AI-system i människa-maskin-relationer som utsätter fysiska personer för skada och om den utförs i enlighet med erkända etiska normer för vetenskaplig forskning och grundas på specifikt informerat samtycke från de individer som utsätts för den, eller, i förekommande fall, deras förmyndare .

(16a)

AI-system som kategoriserar fysiska personer genom att hänföra dem till specifika kategorier, beroende på kända eller härledda känsliga eller skyddade egenskaper, är särskilt inkräktande, kränker den mänskliga värdigheten och innebär stor risk för diskriminering. Sådana egenskaper omfattar kön, könsidentitet, ras, etniskt ursprung, migrations- eller medborgarskapsstatus, politisk läggning, sexuell läggning, religion, funktionsnedsättning eller andra grunder på vilka diskriminering är förbjuden enligt artikel 21 i EU-stadgan om de grundläggande rättigheterna samt enligt artikel 9 i förordning (EU) 2016/769. Sådana system bör därför förbjudas.

(17)

AI-system som tillhandahåller social poängsättning av fysiska personer för allmänna syften för offentliga myndigheter, eller på deras vägnar, kan medföra diskriminering och uteslutning av vissa grupper. De kan strida mot rätten till värdighet och icke-diskriminering och värdena jämlikhet och rättvisa. Sådana AI-system utvärderar eller klassificerar fysiska personers tillförlitlighet på grundval av deras sociala beteende i olika sammanhang eller kända eller förutsedda personliga egenskaper. Den sociala poängsättning som erhålls från sådana AI-system kan leda till negativ eller ogynnsam behandling av fysiska personer eller hela grupper av fysiska personer i sociala sammanhang som saknar koppling till det sammanhang där berörda data ursprungligen genererades eller samlades in, eller till en negativ behandling som är oproportionerlig eller omotiverad i förhållande till hur allvarligt personernas sociala beteende är. Sådana AI-system bör därför förbjudas.

(17)

AI-system som tillhandahåller social poängsättning av fysiska personer för allmänna syften kan medföra diskriminering och uteslutning av vissa grupper. De strider mot rätten till värdighet och icke-diskriminering och värdena jämlikhet och rättvisa. Sådana AI-system utvärderar eller klassificerar fysiska personer eller grupper på grundval av flera datapunkter och händelser över tid relaterade till deras sociala beteende i olika sammanhang eller kända , härledda eller förutsedda personliga egenskaper. Den sociala poängsättning som erhålls från sådana AI-system kan leda till negativ eller ogynnsam behandling av fysiska personer eller hela grupper av fysiska personer i sociala sammanhang som saknar koppling till det sammanhang där berörda data ursprungligen genererades eller samlades in, eller till en negativ behandling som är oproportionerlig eller omotiverad i förhållande till hur allvarligt personernas sociala beteende är. Sådana AI-system bör därför förbjudas.

(18)

Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser för brottsbekämpningssyften anses särskilt inkräkta på de berörda personernas rättigheter och friheter, i och med att denna användning kan påverka privatlivet för en stor del av befolkningen, kan skapa en känsla av konstant övervakning och indirekt avskräcka från utövande av mötesfrihet och andra grundläggande rättigheter. De omedelbara effekterna och de begränsade möjligheterna för ytterligare kontroll eller korrigering när det gäller användningen av sådana system som fungerar i realtid innebär att de medför ökade risker för rättigheterna och friheterna för de personer som berörs av brottsbekämpningen.

(18)

Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser inkräktar särskilt på de berörda personernas rättigheter och friheter, och kan i slutändan påverka privatlivet för en stor del av befolkningen, skapa en känsla av konstant övervakning , ge parter som använder biometrisk identifiering på offentligt tillgängliga platser en position av okontrollerbar makt och indirekt avskräcka från utövande av mötesfrihet och andra grundläggande rättigheter i hjärtat av rättsstatsprincipen. Tekniska brister i AI-system som är avsedda för biometrisk fjärridentifiering av fysiska personer kan leda till snedvridna resultat och medföra diskriminerande effekter. Detta är särskilt relevant när det gäller ålder, etnicitet, kön eller funktionsnedsättning . De omedelbara effekterna och de begränsade möjligheterna för ytterligare kontroll eller korrigering när det gäller användningen av sådana system som fungerar i realtid innebär att de medför ökade risker för rättigheterna och friheterna för de personer som berörs av brottsbekämpningen. Användningen av sådana system bör därför vara förbjuden på allmänt tillgängliga platser. På samma sätt bör AI-system som används för analys av registrerade bilder av allmänt tillgängliga platser genom system för biometrisk fjärridentifiering ”i efterhand” också förbjudas, såvida det inte finns ett tillstånd före domstol för användning i samband med brottsbekämpning, när detta är absolut nödvändigt för den riktade sökning som är kopplad till ett specifikt allvarligt brott som redan ägt rum, och endast med förbehåll för ett rättsligt förhandstillstånd.

(19)

Användningen av sådana system för brottsbekämpning bör därför vara förbjuden, utom i de tre snävt definierade situationer som anges i den uttömmande förteckningen, i de fall då användningen är strikt nödvändig för att uppnå ett väsentligt allmänintresse, vars betydelse är större än riskerna. Dessa situationer inbegriper sökandet efter potentiella brottsoffer, inklusive försvunna barn, vissa hot mot fysiska personers liv eller fysiska säkerhet eller hot om en terroristattack, och avslöjande, lokalisering, identifiering eller lagföring av gärningsmän till eller misstänkta för brott som avses i rådets rambeslut 2002/584/RIF  (38) , om dessa brott i den berörda medlemsstaten kan leda till fängelse eller annan frihetsberövande åtgärd för en maxperiod av minst tre år, i enlighet med den medlemsstatens lagstiftning. En sådan tröskel för påföljden i enlighet med nationell lagstiftning bidrar till att säkerställa att brottet är allvarligt nog för att potentiellt motivera användningen av system för biometrisk fjärridentifiering i realtid. Av de 32 brott som finns förtecknade i rådets rambeslut 2002/584/RIF kommer vissa sannolikt att vara mer relevanta än andra, i och med att det kommer att variera mycket hur nödvändig och proportionerlig användningen av biometrisk fjärridentifiering i realtid kan förutses vara för det praktiska arbetet med avslöjande, lokalisering, identifiering eller lagföring av gärningsmän eller misstänkta när det gäller brott som anges i förteckningen, och med beaktande av de sannolika skillnaderna vad gäller allvarlighetsgrad, sannolikhet och omfattning på skadan eller de möjliga negativa konsekvenserna.

(20)

För att säkerställa att dessa system används på ett ansvarfullt och proportionerligt sätt är det också viktigt att fastställa att hänsyn bör tas till vissa faktorer i var och en av de tre snävt definierade situationerna i den uttömmande förteckningen, i synnerhet vad gäller arten av situation som ger upphov till begäran och användningens konsekvenser för alla berörda personers rättigheter och friheter samt de skyddsåtgärder och villkor som föreskrivs i samband med användningen. Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål bör omfattas av lämpliga tids- och platsmässiga begränsningar, med särskild hänsyn till bevis eller indikationer vad gäller hoten, offren eller gärningsmännen. Referensdatabasen över personer bör vara ändamålsenlig för varje användningsfall i var och en av de tre situationer som anges ovan.

(21)

Varje användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål bör vara föremål för ett uttryckligt och specifikt tillstånd som lämnas av en oberoende administrativ myndighet i en medlemsstat. Dessa tillstånd bör i princip erhållas före användningen, utom i vederbörligen motiverade brådskande situationer, alltså situationer då behovet av att använda de berörda systemen är sådant att det i praktiken är objektivt omöjligt att erhålla ett tillstånd innan användningen inleds. I sådana brådskande situationer bör användningen begränsas till det absoluta minimum som är nödvändigt och omfattas av lämpliga skyddsmekanismer och villkor som fastställs i nationell lagstiftning och som specificeras av den berörda brottsbekämpande myndigheten i samband med varje enskilt fall av brådskande användning. Den brottsbekämpande myndigheten bör i sådana situationer också sträva efter att erhålla ett tillstånd så snart som möjligt, och även ange skälen till att den inte kunnat ansöka om tillstånd tidigare.

(22)

Det är också lämpligt att, inom den uttömmande ram som fastställs genom denna förordning, föreskriva att en sådan användning på en medlemsstats territorium i enlighet med denna förordning endast bör vara möjlig i de fall och i den utsträckning som den berörda medlemsstaten har beslutat att uttryckligen föreskriva möjligheten att tillåta sådan användning i sina närmare bestämmelser i nationell lagstiftning. Enligt denna förordning behåller alltså medlemsstaterna sin frihet att inte alls föreskriva någon sådan möjlighet eller att endast föreskriva en sådan möjlighet med avseende på några av de syften som kan motivera användning som tillåten enligt denna förordning.

(23)

Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser för brottsbekämpande ändamål involverar med nödvändighet behandling av biometriska uppgifter. Reglerna i denna förordning som med vissa undantag förbjuder sådan användning, och som baseras på artikel 16 i EUF-fördraget bör tillämpas som lex specialis med avseende på de regler om behandling av biometriska uppgifter som anges i artikel 10 i direktiv (EU) 2016/680, och reglerar därmed sådan användning och behandling av berörda biometriska uppgifter på ett uttömmande sätt. Därför bör sådan användning och behandling endast vara möjlig i den utsträckning som den är förenlig med den ram som fastställs i denna förordning, utan att de behöriga myndigheterna har något utrymme, då de agerar i brottsbekämpande syfte, att utanför den ramen använda sådana system och behandla sådana data i samband med detta av de skäl som förtecknas i artikel 10 i direktiv (EU) 2016/680. I detta sammanhang är denna förordning inte avsedd att tillhandahålla en rättslig grund för behandling av personuppgifter enligt artikel 8 i direktiv 2016/680. Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för andra syften än brottsbekämpning, inbegripet av offentliga myndigheter, bör inte omfattas av den särskilda ram för sådan användning i brottsbekämpningssyfte som fastställs i denna förordning. Sådan användning för andra syften än brottsbekämpning bör därför inte omfattas av kravet på tillstånd enligt denna förordning och de tillämpliga närmare bestämmelser i nationell lagstiftning som kan ge verkan åt detta.

(24)

Användning av biometriska uppgifter och andra personuppgifter i samband med användningen av AI-system för biometrisk identifiering, som inte sker i samband med användning av system för biometrisk fjärridentifiering på allmänt tillgänglig plats i brottsbekämpningssyfte som regleras av denna förordning , inbegripet när sådana system används av behöriga myndigheter på allmänt tillgänglig plats för andra syften än brottsbekämpning , bör även fortsättningsvis uppfylla alla krav som följer av artikel 9.1 i förordning (EU) 2016/679, artikel 10.1 i förordning (EU) 2018/1725 och artikel 10 i direktiv (EU) 2016/680, såsom tillämpligt.

(24)

Användning av biometriska uppgifter och andra personuppgifter i samband med användningen av AI-system för biometrisk identifiering, som inte sker i samband med användning av system för biometrisk fjärridentifiering på allmänt tillgänglig plats som regleras av denna förordning, bör även fortsättningsvis uppfylla alla krav som följer av artikel 9.1 i förordning (EU) 2016/679, artikel 10.1 i förordning (EU) 2018/1725 och artikel 10 i direktiv (EU) 2016/680, såsom tillämpligt.

(25)

I enlighet med artikel 6a i protokoll nr 21 om Förenade kungarikets och Irlands ställning med avseende på området med frihet, säkerhet och rättvisa, fogat till EU-fördraget och EUF-fördraget, är Irland inte bundet av de bestämmelser i artikel 5.1 d. 2 och d.3 i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget och som avser medlemsstaternas behandling av personuppgifter när de bedriver verksamhet som omfattas av avdelning V kapitel 4 eller 5 i tredje delen av EUF-fördraget i det fall då Irland inte är bundet av bestämmelserna om formerna för straffrättsligt samarbete eller polissamarbete inom ramen för vilka de bestämmelser måste iakttas som fastställs på grundval av artikel 16 i EUF-fördraget.

(25)

I enlighet med artikel 6a i protokoll nr 21 om Förenade kungarikets och Irlands ställning med avseende på området med frihet, säkerhet och rättvisa, fogat till EU-fördraget och EUF-fördraget, är Irland inte bundet av de bestämmelser i artikel 5.1 d. i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget och som avser medlemsstaternas behandling av personuppgifter när de bedriver verksamhet som omfattas av avdelning V kapitel 4 eller 5 i tredje delen av EUF-fördraget i det fall då Irland inte är bundet av bestämmelserna om formerna för straffrättsligt samarbete eller polissamarbete inom ramen för vilka de bestämmelser måste iakttas som fastställs på grundval av artikel 16 i EUF-fördraget.

(26)

I enlighet med artiklarna 2 och 2a i protokoll nr 22 om Danmarks ställning, fogat till EU-fördraget och EUF-fördraget, är Danmark inte bundet av bestämmelserna i artikel 5.1 d .2 och d.3 i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget, eller tillämpningen av dessa, som avser medlemsstaternas behandling av personuppgifter när dessa utövar verksamhet som omfattas av tillämpningsområdet för kapitlen 4 och 5 i avdelning V i tredje delen av EUF-fördraget.

(26)

I enlighet med artiklarna 2 och 2a i protokoll nr 22 om Danmarks ställning, fogat till EU-fördraget och EUF-fördraget, är Danmark inte bundet av bestämmelserna i artikel 5.1 d i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget, eller tillämpningen av dessa, som avser medlemsstaternas behandling av personuppgifter när dessa utövar verksamhet som omfattas av tillämpningsområdet för kapitlen 4 och 5 i avdelning V i tredje delen av EUF-fördraget.

(26a)

AI-system som används av brottsbekämpande myndigheter eller för deras räkning för att göra förutsägelser, profileringar eller riskbedömningar baserade på profilering av fysiska personer eller dataanalyser av personlighetsdrag och särdrag, inbegripet personens belägenhet, eller tidigare brottsligt beteende av fysiska personer eller grupper av personer i syfte att förutsäga att ett eller flera faktiska eller potentiella brott eller annat kriminaliserat socialt beteende eller administrativa överträdelse inträffar eller upprepas, inbegripet system för att förutse bedrägerier, utgör en särskild risk för diskriminering av vissa personer eller grupper av personer, eftersom de kränker den mänskliga värdigheten samt den grundläggande rättsliga principen om oskuldspresumtion. Sådana AI-system bör därför förbjudas.

(26b)

Urskillningslös och oriktad skrapning av biometriska uppgifter från sociala medier eller övervakningskameror för att skapa eller utvidga databaser för ansiktsigenkänning bidrar till känslan av massövervakning och kan leda till grova kränkningar av de grundläggande rättigheterna, inbegripet rätten till integritet. Användningen av sådana system bör därför vara förbjuden.

(26c)

Det finns allvarliga farhågor om den vetenskapliga grunden för AI-system som syftar till att upptäcka känslor och fysiska eller fysiologiska särdrag såsom ansiktsuttryck, rörelser, pulsfrekvens eller röster. Känslor eller känslouttryck och uppfattningar av dessa varierar avsevärt mellan olika kulturer och situationer, och till och med hos en enda person. En av de viktigaste bristerna med sådan teknik är den begränsade tillförlitligheten (känslokategorier uttrycks varken på ett tillförlitligt sätt genom, eller förknippas otvetydigt med, en gemensam uppsättning fysiska eller fysiologiska rörelser), bristen på specificitet (fysiska eller fysiologiska uttryck matchar inte helt och hållet känslokategorier) och den begränsade möjligheten att generalisera (påverkan av sammanhang och kultur beaktas inte tillräckligt). Tillförlitlighetsproblem och, följaktligen, stora risker för missbruk kan särskilt uppstå vid användning av systemet i verkliga situationer som rör brottsbekämpning, gränsförvaltning, arbetsplatser och utbildningsinstitutioner. Utsläppande på marknaden, ibruktagande eller användning av AI-system som är avsedda att användas i dessa sammanhang för att upptäcka fysiska personers känslomässiga tillstånd bör därför förbjudas.

(26d)

Metoder som är förbjudna enligt unionslagstiftningen, inbegripet dataskyddslagstiftning, lagstiftning om icke-diskriminering, konsumentskyddslagstiftning och konkurrensrätt, bör inte påverkas av denna förordning.

(27)

AI-system med hög risk bör endast släppas ut på unionsmarknaden eller tas i bruk om de uppfyller vissa obligatoriska krav. Dessa krav bör säkerställa att AI-system med hög risk vilka finns tillgängliga i unionen eller vars utdata på annat sätt används i unionen inte utgör någon oacceptabel risk för viktiga allmänna intressen för unionen som erkänns och skyddas av unionsrätten. AI-system som identifieras som hög risk bör begränsas till sådana som har en betydande skadlig inverkan på hälsa, säkerhet och grundläggande rättigheter för personer i unionen och denna avgränsning minimerar de potentiella begränsningarna av den internationella handeln, i förekommande fall.

(27)

AI-system med hög risk bör endast släppas ut på unionsmarknaden, tas i bruk eller användas om de uppfyller vissa obligatoriska krav. Dessa krav bör säkerställa att AI-system med hög risk vilka finns tillgängliga i unionen eller vars utdata på annat sätt används i unionen inte utgör någon oacceptabel risk för viktiga allmänna intressen för unionen som erkänns och skyddas av unionsrätten , inbegripet grundläggande rättigheter, demokrati, rättsstatsprincipen eller miljön. För att säkerställa anpassning till sektorslagstiftningen och undvika överlappningar bör kraven för vissa AI-system med hög risk att ta hänsyn till sektorslagstiftning som redan innehåller tillräckliga krav för AI-system med hög risk som omfattas av denna akt, såsom förordning (EU) 2017/745 om medicintekniska produkter och förordning (EU) 2017/746 om medicintekniska produkter för in vitro-diagnostik och direktiv 2006/42/EG om maskiner . AI-system som identifieras som hög risk bör begränsas till sådana som har en betydande skadlig inverkan på hälsa, säkerhet och grundläggande rättigheter för personer i unionen och denna avgränsning minimerar de potentiella begränsningarna av den internationella handeln, i förekommande fall. Med tanke på den snabba tekniska utvecklingen och de potentiella förändringarna i användningen av AI-system bör förteckningen över högriskområden och användningsfall i bilaga III ändå bli föremål för permanent översyn genom regelbunden bedömning.

(28)

AI-system skulle kunna producera negativa effekter för personers hälsa och säkerhet, i synnerhet när sådana system fungerar som komponenter i produkter. I enlighet med syftena för unionens harmoniserade lagstiftning, som är att främja den fria rörligheten för produkter på den inre marknaden och säkerställa att endast säkra produkter som uppfyller kraven släpps ut på marknaden, är det viktigt att de säkerhetsrisker som kan genereras av produkten som helhet på grund av dess digitala komponenter, inklusive AI-system, förhindras och begränsas. Robotar som blir allt mer autonoma, oavsett om det är i samband med tillverkning eller personlig assistans och vård, bör också kunna arbeta säkert och utföra sina funktioner i komplexa miljöer. Inom vårdsektorn, där liv och hälsa i särskilt hög grad kan påverkas, bör de allt mer sofistikerade diagnossystemen och systemen som stöder mänskliga beslut vara tillförlitliga och noggranna. Omfattningen av de negativa effekter som AI-systemet har på de grundläggande rättigheter som skyddas av stadgan har särskilt stor betydelse när ett AI-system klassificeras som hög risk. Dessa rättigheter innefattar rätten till människans värdighet, respekt för privatlivet och familjelivet, skydd av personuppgifter, yttrandefrihet och informationsfrihet, mötesfrihet och organisationsfrihet samt icke-diskriminering, konsumentskydd, arbetstagares rättigheter, rättigheter för personer med funktionsnedsättning, rätten till ett effektivt rättsmedel och till en opartisk domstol, rätten till försvar och oskuldspresumtion samt rätten till god förvaltning. Vid sidan av dessa rättigheter är det viktigt att lyfta fram att barn har särskilda rättigheter i enlighet med artikel 24 i EU-stadgan och Förenta nationernas konvention om barnets rättigheter (som vidareutvecklas i konventionens allmänna kommentar nr 25 vad gäller den digitala miljön), som båda kräver att barns utsatthet beaktas och att de ges ett sådant skydd och sådan omsorg som krävs för deras välbefinnande. Även den grundläggande rättigheten till en hög nivå av miljöskydd, som också ingår i stadgan och genomförs i unionspolitik, bör beaktas vid bedömningen av allvarlighetsgraden i den skada som ett AI-system kan orsaka, inbegripet vad gäller människors hälsa och säkerhet.

(28)

AI-system skulle kunna ha negativa effekter för personers hälsa och säkerhet, i synnerhet när sådana system fungerar som säkerhetskomponenter i produkter. I enlighet med syftena för unionens harmoniserade lagstiftning, som är att främja den fria rörligheten för produkter på den inre marknaden och säkerställa att endast säkra produkter som uppfyller kraven släpps ut på marknaden, är det viktigt att de säkerhetsrisker som kan genereras av produkten som helhet på grund av dess digitala komponenter, inklusive AI-system, förhindras och begränsas. Robotar som blir allt mer autonoma, oavsett om det är i samband med tillverkning eller personlig assistans och vård, bör också kunna arbeta säkert och utföra sina funktioner i komplexa miljöer. Inom vårdsektorn, där liv och hälsa i särskilt hög grad kan påverkas, bör de allt mer sofistikerade diagnossystemen och systemen som stöder mänskliga beslut vara tillförlitliga och noggranna.

(28a)

Omfattningen av de negativa effekter som AI-systemet har på de grundläggande rättigheter som skyddas av stadgan har särskilt stor betydelse när ett AI-system klassificeras som hög risk. Dessa rättigheter innefattar rätten till människans värdighet, respekt för privatlivet och familjelivet, skydd av personuppgifter, yttrandefrihet och informationsfrihet, mötesfrihet och organisationsfrihet samt icke-diskriminering, rätt till utbildning, konsumentskydd, arbetstagares rättigheter, rättigheter för personer med funktionsnedsättning, jämställdhet, immateriella rättigheter, rätten till ett effektivt rättsmedel och till en opartisk domstol, rätten till försvar och oskuldspresumtion samt rätten till god förvaltning. Vid sidan av dessa rättigheter är det viktigt att lyfta fram att barn har särskilda rättigheter i enlighet med artikel 24 i EU-stadgan och Förenta nationernas konvention om barnets rättigheter (som vidareutvecklas i konventionens allmänna kommentar nr 25 vad gäller den digitala miljön), som båda kräver att barns utsatthet beaktas och att de ges ett sådant skydd och sådan omsorg som krävs för deras välbefinnande. Även den grundläggande rättigheten till en hög nivå av miljöskydd, som också ingår i stadgan och genomförs i unionspolitik, bör beaktas vid bedömningen av allvarlighetsgraden i den skada som ett AI-system kan orsaka, inbegripet vad gäller människors hälsa och säkerhet eller miljön.

(29)

När det gäller AI-system med hög risk som är säkerhetskomponenter i produkter eller system, eller som i sig själva utgör produkter eller system som omfattas av Europaparlamentets och rådets förordning (EG) nr 300/2008 (39), Europaparlamentets och rådets förordning (EU) nr 167/2013 (40), Europaparlamentets och rådets förordning (EU) nr 168/2013 (41), Europaparlamentets och rådets direktiv 2014/90/EU (42), Europaparlamentets och rådets direktiv (EU) 2016/797 (43), Europaparlamentets och rådets förordning (EU) 2018/858 (44), Europaparlamentets och rådets förordning (EU) 2018/1139 (45) och Europaparlamentets och rådets förordning (EU) 2019/2144 (46), är det lämpligt att ändra dessa akter för att säkerställa att kommissionen, på grundval av de tekniska och regleringsmässiga särdragen för varje sektor och utan att inkräkta på befintliga styrelseformer eller mekanismer för kontroll av överensstämmelse och kontroll av efterlevnad och myndigheter som inrättats inom ramen för dessa, beaktar de obligatoriska krav för AI-system med hög risk som fastställs i denna förordning när de antar relevanta framtida delegerade akter eller genomförandeakter på grundval av dessa akter.

(29)

När det gäller AI-system med hög risk som är säkerhetskomponenter i produkter eller system, eller som i sig själva utgör produkter eller system som omfattas av Europaparlamentets och rådets förordning (EG) nr 300/2008 (39), Europaparlamentets och rådets förordning (EU) nr 167/2013 (40), Europaparlamentets och rådets förordning (EU) nr 168/2013 (41), Europaparlamentets och rådets direktiv 2014/90/EU (42), Europaparlamentets och rådets direktiv (EU) 2016/797 (43), Europaparlamentets och rådets förordning (EU) 2018/858 (44), Europaparlamentets och rådets förordning (EU) 2018/1139 (45) och Europaparlamentets och rådets förordning (EU) 2019/2144 (46), är det lämpligt att ändra dessa akter för att säkerställa att kommissionen, på grundval av de tekniska och regleringsmässiga särdragen för varje sektor och utan att inkräkta på befintliga styrelseformer eller mekanismer för kontroll av överensstämmelse , marknadskontroll och kontroll av efterlevnad och myndigheter som inrättats inom ramen för dessa, beaktar de obligatoriska krav för AI-system med hög risk som fastställs i denna förordning när de antar relevanta framtida delegerade akter eller genomförandeakter på grundval av dessa akter.

(30)

När det gäller AI-system som är säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, vilka omfattas av viss unionslagstiftning om harmonisering, är det lämpligt att klassificera dessa som hög risk inom ramen för denna förordning om den berörda produkten genomgår förfarandet för bedömning av överensstämmelse hos ett tredjepartsorgan för bedömning av överensstämmelse i enlighet med den relevanta unionslagstiftningen om harmonisering. Det handlar närmare bestämt om sådana produkter som maskiner, leksaker, hissar, utrustning och skyddssystem avsedda för användning i potentiellt explosionsfarliga omgivningar, radioutrustning, tryckutrustning, utrustning för fritidsfartyg, linbaneanläggningar, anordningar för förbränning av gasformiga bränslen, medicintekniska produkter och medicintekniska produkter för in vitro-diagnostik.

(30)

När det gäller AI-system som är säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, vilka omfattas av viss unionsrätt om harmonisering som förtecknas i bilaga II , är det lämpligt att klassificera dessa som hög risk inom ramen för denna förordning om den berörda produkten genomgår förfarandet för bedömning av överensstämmelse för att säkerställa överensstämmelse med väsentliga säkerhetskrav hos ett tredjepartsorgan för bedömning av överensstämmelse i enlighet med den relevanta unionsrätten om harmonisering. Det handlar närmare bestämt om sådana produkter som maskiner, leksaker, hissar, utrustning och skyddssystem avsedda för användning i potentiellt explosionsfarliga omgivningar, radioutrustning, tryckutrustning, utrustning för fritidsfartyg, linbaneanläggningar, anordningar för förbränning av gasformiga bränslen, medicintekniska produkter och medicintekniska produkter för in vitro-diagnostik.

(31)

En klassificering av ett AI-system som hög risk i enlighet med denna förordning bör inte nödvändigtvis innebära att den produkt vars säkerhetskomponent utgörs av AI-systemet, eller AI-systemet i sig självt som produkt, anses utgöra ”hög risk” enligt de kriterier som fastställs i den relevanta unionslagstiftning om harmonisering som är tillämplig på produkten. Detta gäller i synnerhet för Europaparlamentets och rådets förordning (EU) 2017/745 (47) och Europaparlamentets och rådets förordning (EU) 2017/746 (48), i vilka tredjepartsbedömning av överensstämmelse föreskrivs för produkter med medelhög risk och hög risk.

(31)

En klassificering av ett AI-system som hög risk i enlighet med denna förordning bör inte nödvändigtvis innebära att den produkt vars säkerhetskomponent utgörs av AI-systemet, eller AI-systemet i sig självt som produkt, anses utgöra ”hög risk” enligt de kriterier som fastställs i den relevanta unionsrätten om harmonisering som är tillämplig på produkten. Detta gäller i synnerhet för Europaparlamentets och rådets förordning (EU) 2017/745 (47) och Europaparlamentets och rådets förordning (EU) 2017/746 (48), i vilka tredjepartsbedömning av överensstämmelse föreskrivs för produkter med medelhög risk och hög risk.

(32)

När det gäller fristående AI-system, med vilket avses andra AI-system med hög risk än sådana som utgör säkerhetskomponenter i produkter, eller AI-system som i sig själva utgör produkter, är det lämpligt att klassificera dem som hög risk om de i ljuset av sitt avsedda ändamål utgör en hög risk för skada på personers hälsa och säkerhet eller grundläggande rättigheter, med beaktande både den möjliga skadans allvarlighetsgrad och sannolikheten för att den ska uppstå, och de används på ett antal specifikt fördefinierade områden som anges i förordningen . Identifieringen av sådana system baseras på samma metoder och kriterier som även är avsedda att användas för framtida ändringar av förteckningen över AI-system med hög risk.

(32)

När det gäller fristående AI-system, med vilket avses andra AI-system med hög risk än sådana som utgör säkerhetskomponenter i produkter, eller AI-system som i sig själva utgör produkter och som är förtecknade i ett av områdena och användningsfallen i bilaga III , är det lämpligt att klassificera dem som hög risk om de mot bakgrund av sitt avsedda ändamål utgör en betydande risk för skada på personers hälsa och säkerhet eller grundläggande rättigheter, och, där AI-systemet används som en säkerhetskomponent i kritisk infrastruktur, på miljön. En sådan betydande risk för skada bör identifieras genom att man bedömer å ena sidan effekten av en sådan risk med avseende på allvarlighetsgraden, intensiteten, sannolikheten för att den ska uppstå och varaktigheten sammantaget och å andra sidan huruvida risken kan påverka en individ, en mångfald av personer eller en viss grupp av personer. En sådan kombination kan till exempel leda till en hög allvarlighetsgrad men låg sannolikhet att påverka en fysisk person, eller en hög sannolikhet att påverka en grupp av personer med låg intensitet under en lång tidsperiod, beroende på sammanhanget . Identifieringen av sådana system baseras på samma metoder och kriterier som även är avsedda att användas för framtida ändringar av förteckningen över AI-system med hög risk.

(32a)

Leverantörer vars AI-system omfattas av något av de områden och användningsfall som förtecknas i bilaga III och som anser att deras system inte utgör en betydande risk för skada på hälsa, säkerhet, grundläggande rättigheter eller miljön bör informera de nationella tillsynsmyndigheterna genom att lämna en motiverad anmälan. Detta skulle kunna ske i form av en sammanfattning på en sida av den relevanta informationen om AI-systemet i fråga, inbegripet dess avsedda ändamål och varför det inte skulle utgöra en betydande risk för skada på hälsa, säkerhet, grundläggande rättigheter eller miljön. Kommissionen bör specificera kriterier som gör det möjligt för företagen att bedöma om deras system skulle medföra sådana risker samt utveckla en användarvänlig och standardiserad mall för anmälan. Leverantörer bör lämna in anmälan så tidigt som möjligt och under alla omständigheter innan AI-systemet släpps ut på marknaden eller tas i bruk, helst i utvecklingsskedet, och de bör ha rätt att släppa ut det på marknaden när som helst efter anmälan. Om myndigheten emellertid uppskattar att AI-systemet i fråga var felaktigt klassificerat bör den invända mot anmälan inom en period på tre månader. Invändningen bör motiveras och vederbörligen förklara varför AI-systemet har klassificerats felaktigt. Leverantören bör behålla rätten att överklaga genom att lägga fram ytterligare argument. Om det efter de tre månaderna inte har inkommit några invändningar mot anmälan kan de nationella tillsynsmyndigheterna fortfarande ingripa om AI-systemet utgör en risk på nationell nivå, som för alla andra AI-system på marknaden. De nationella tillsynsmyndigheterna bör lämna årliga rapporter till AI-byrån med uppgifter om de anmälningar som mottagits och de beslut som fattats.

(33)

Tekniska brister i AI-system som är avsedda för biometrisk fjärridentifiering av fysiska personer kan leda till snedvridna resultat och medföra diskriminerande effekter. Detta är särskilt relevant när det gäller ålder, etnicitet, kön eller funktionsnedsättning. Därför bör system för biometrisk fjärridentifiering i realtid och i efterhand klassificeras som hög risk. Mot bakgrund av de risker som dessa system utgör bör båda typerna av system för biometrisk fjärridentifiering omfattas av särskilda krav avseende loggningskapacitet och mänsklig tillsyn.

(33a)

Eftersom biometriska uppgifter utgör en särskild kategori av känsliga personuppgifter i enlighet med förordning 2016/679 är det lämpligt att klassificera flera kritiska användningsfall av biometriska och biometribaserade system som hög risk. AI-system som är avsedda att användas för biometrisk identifiering av fysiska personer och AI-system som är avsedda att användas för att dra slutsatser om fysiska personers personliga egenskaper på grundval av biometriska eller biometribaserade uppgifter, inbegripet system för känsloigenkänning, med undantag för sådana som är förbjudna enligt denna förordning, bör därför klassificeras som hög risk. Detta bör inte omfatta AI-system som är avsedda att användas för biometrisk verifiering, vilket inbegriper autentisering, vars enda syfte är att bekräfta att en specifik fysisk person är den person som denne utger sig för att vara, och system som används för att bekräfta identiteten för en fysisk person med det enda syftet att få åtkomst till en tjänst, en enhet eller lokaler (ett mot ett). Biometriska och biometribaserade system som föreskrivs i unionsrätten för att möjliggöra åtgärder för cybersäkerhet och skydd av personuppgifter bör inte anses utgöra en betydande risk för skada på hälsa, säkerhet och grundläggande rättigheter.

(34)

När det gäller förvaltning och drift av kritisk infrastruktur är det lämpligt att som hög risk klassificera AI-system avsedda att användas som säkerhetskomponenter i förvaltningen och driften av vägtrafik och tillhandahållandet av vatten, gas, uppvärmning och el , eftersom funktionsavbrott eller funktionsstörning i sådana system kan medföra risk för personers liv och hälsa i stor skala och leda till märkbara störningar av det normala bedrivandet av social och ekonomisk verksamhet.

(34)

När det gäller förvaltning och drift av kritisk infrastruktur är det lämpligt att som hög risk klassificera AI-system avsedda att användas som säkerhetskomponenter i förvaltningen och driften av tillhandahållandet av vatten, gas, uppvärmning , el och kritisk digital infrastruktur , eftersom funktionsavbrott eller funktionsstörning i sådana system kan inkräkta på säkerheten och integriteten för sådan kritisk infrastruktur eller medföra risk för personers liv och hälsa i stor skala och leda till märkbara störningar av det normala bedrivandet av social och ekonomisk verksamhet. Säkerhetskomponenter i kritisk infrastruktur, inbegripet kritisk digital infrastruktur, är system som används för att direkt skydda den kritiska infrastrukturens fysiska integritet eller människors och egendoms hälsa och säkerhet. Funktionsavbrott eller funktionsstörning i sådana komponenter kan direkt leda till risker för den kritiska infrastrukturens fysiska integritet och därmed till risker för människors hälsa och säkerhet och egendom. Komponenter som är avsedda att användas enbart för cybersäkerhetsändamål bör inte betraktas som säkerhetskomponenter. Exempel på sådana säkerhetskomponenter kan vara system för övervakning av vattentryck eller brandlarmsystem i molndatacentraler.

(35)

AI-system som används för yrkesutbildning eller annan utbildning, i synnerhet när det gäller fastställandet av personers tillgång till institutioner för yrkesutbildning eller annan utbildning, eller för att utvärdera personer tester som ett led i eller som en förutsättning för deras utbildning, bör anses som hög risk eftersom de kan avgöra en persons utbildningsväg och yrkeskarriär och därmed påverka deras försörjningsmöjligheter. När sådana system utformas och används på otillbörligt sätt kan de innebära en kränkning av rätten till yrkesutbildning och annan utbildning liksom rätten att inte utsättas för diskriminering eller för en fortsättning på historiska diskrimineringsmönster.

(35)

Införandet av AI-system i utbildningssektorn är viktigt för att bidra till att modernisera hela utbildningssystem, för att öka utbildningskvaliteten, både offline och online, och för att påskynda den digitala utbildningen, och därmed även göra denna tillgänglig för en bredare publik. AI-system som används för yrkesutbildning eller annan utbildning, i synnerhet när det gäller fastställandet av personers tillgång till eller på ett betydande sätt påverka beslutet om antagning till institutioner för yrkesutbildning eller annan utbildning, eller för att utvärdera personer genom tester som ett led i eller som en förutsättning för deras utbildning, eller för att bedöma en persons lämpliga utbildningsnivå och väsentligen påverka vilken utbildningsnivå som personer kommer att få eller få tillgång till, eller för att övervaka och upptäcka förbjudet beteende bland studenter under provtillfällen, bör klassificeras som AI-system med hög risk eftersom de kan avgöra en persons utbildningsväg och yrkeskarriär och därmed påverka deras försörjningsmöjligheter. När sådana system utformas och används på otillbörligt sätt kan de vara särskilt inkräktande och kan innebära en kränkning av rätten till yrkesutbildning och annan utbildning liksom rätten att inte utsättas för diskriminering eller för en fortsättning på historiska diskrimineringsmönster mot till exempel kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller personer av vissa etniska ursprung eller av viss sexuell läggning .

(36)

AI-system som används i utbildning, arbetsledning och tillgång till egenföretagande, i synnerhet när det gäller rekrytering eller urval av personer, för beslutsfattande om befordran eller uppsägning och för fördelning av uppgifter, övervakning eller utvärdering av personer i arbetsrelaterade avtalsförhållanden, bör också klassificeras som hög risk, eftersom dessa system märkbart kan påverka framtida karriärutsikter och försörjning för de berörda personerna. Relevanta arbetsrelaterade avtalsförhållanden bör innefatta arbetstagare och personer som tillhandahåller tjänster via plattformar enligt kommissionens arbetsprogram för 2021. Sådana personer bör i princip inte betraktas som användare enligt denna förordning. Under hela rekryteringsförfarandet och vid utvärdering, befordran eller bibehållande av personer i arbetsrelaterade avtalsförhållanden, kan sådana system reproducera historiska mönster av diskriminering, exempelvis mot kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller mot personer på grund av ras, etniskt ursprung eller sexuell läggning. AI-system som används för att övervaka dessa personers prestation och beteende kan också påverka deras rätt till dataskydd och personlig integritet.

(36)

AI-system som används i utbildning, arbetsledning och tillgång till egenföretagande, i synnerhet när det gäller rekrytering eller urval av personer, för beslutsfattande om eller betydande påverkan av beslutet om antagning till befordran eller uppsägning och för personlig fördelning av uppgifter på grundval av individuellt beteende, personuppgifter eller biometriska uppgifter , övervakning eller utvärdering av personer i arbetsrelaterade avtalsförhållanden, bör också klassificeras som hög risk, eftersom dessa system märkbart kan påverka framtida karriärutsikter och försörjning för de berörda personerna samt arbetstagares rättigheter . Relevanta arbetsrelaterade avtalsförhållanden bör på ett meningsfullt sätt innefatta arbetstagare och personer som tillhandahåller tjänster via plattformar enligt kommissionens arbetsprogram för 2021. Under hela rekryteringsförfarandet och vid utvärdering, befordran eller bibehållande av personer i arbetsrelaterade avtalsförhållanden, kan sådana system reproducera historiska mönster av diskriminering, exempelvis mot kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller mot personer på grund av ras, etniskt ursprung eller sexuell läggning. AI-system som används för att övervaka dessa personers prestation och beteende kan också undergräva kärnan i deras grundläggande rätt till dataskydd och personlig integritet. Denna förordning gäller utan att det påverkar unionens och medlemsstaternas behörigheter att föreskrivs mer specifika regler för användningen av AI-system inom ramen för sysselsättning.

(37)

Ett annat område där användningen av AI-system förtjänar särskild vaksamhet är när det gäller tillgång till och åtnjutande av vissa väsentliga privata och offentliga tjänster och förmåner som är nödvändiga för att människor fullt ut ska kunna delta i samhället eller förbättra sin levnadsstandard. I synnerhet bör AI-system som används för att utvärdera fysiska personers kreditomdöme eller kreditvärdighet klassificeras som AI-system med hög risk, eftersom de avgör de berörda personernas tillgång till ekonomiska resurser eller väsentliga tjänster som bostad, el och telekommunikationstjänster. AI-system som används för detta ändamål kan medföra diskriminering av personer eller grupper eller reproducera historiska diskrimineringsmönster, exempelvis baserat på rasmässigt eller etniskt ursprung, funktionsnedsättning, ålder eller sexuell läggning, eller skapa nya former av diskrimineringseffekter. AI-system för kreditprövning och kreditomdömen som utnyttjas av småskaliga leverantörer för egen användning bör undantas, mot bakgrund av effekternas mycket begränsade omfattning och de tillgängliga alternativen på marknaden . Fysiska personer som ansöker om eller erhåller offentliga bidragsförmåner och tjänster från offentliga myndigheter är normalt beroende av dessa förmåner och tjänster och i en utsatt position i förhållande till de ansvariga myndigheterna. Om AI-system används för att avgöra om sådana förmåner och tjänster ska vägras, minskas, upphävas eller återkallas av myndigheterna kan de ha en betydande inverkan på personers försörjning och kan inkräkta på deras grundläggande rättigheter, såsom rätten till socialt skydd, icke-diskriminering, mänsklig värdighet eller effektivt rättsmedel. Dessa system bör därför klassificeras som hög risk. Denna förordning bör dock inte hämma utvecklingen och användningen av innovativa metoder inom offentlig förvaltning, som kan gagnas av en bredare användning av säkra AI-system som uppfyller kraven, förutsatt att dessa system inte medför hög risk för juridiska och fysiska personer. Slutligen bör även AI-system som används för att sända ut eller fastställa prioriteringsordning för utsändning av larmtjänster klassificeras som hög risk, eftersom dessa system fattar beslut i situationer som är mycket kritiska för personers liv, hälsa och egendom.

(37)

Ett annat område där användningen av AI-system förtjänar särskild vaksamhet är när det gäller tillgång till och åtnjutande av vissa väsentliga privata och offentliga tjänster , däribland hälso- och sjukvård, och väsentliga tjänster, inbegripet men inte begränsat till bostäder, el, uppvärmning/kylning och internet, och förmåner som är nödvändiga för att människor fullt ut ska kunna delta i samhället eller förbättra sin levnadsstandard. I synnerhet bör AI-system som används för att utvärdera fysiska personers kreditomdöme eller kreditvärdighet klassificeras som AI-system med hög risk, eftersom de avgör de berörda personernas tillgång till ekonomiska resurser eller väsentliga tjänster som bostad, el och telekommunikationstjänster. AI-system som används för detta ändamål kan medföra diskriminering av personer eller grupper eller reproducera historiska diskrimineringsmönster, exempelvis baserat på rasmässigt eller etniskt ursprung, kön, funktionsnedsättning, ålder eller sexuell läggning, eller skapa nya former av diskrimineringseffekter. AI-system som föreskrivs i unionsrätten i syfte att upptäcka bedrägerier i samband med tillhandahållande av finansiella tjänster bör dock inte betraktas som högrisksystem enligt denna förordning. Fysiska personer som ansöker om eller erhåller offentliga bidragsförmåner och tjänster från offentliga myndigheter , däribland hälso- och sjukvård, och väsentliga tjänster, inbegripet men inte begränsat till bostäder, el, uppvärmning/kylning och internet, är normalt beroende av dessa förmåner och tjänster och i en utsatt position i förhållande till de ansvariga myndigheterna. Om AI-system används för att avgöra om sådana förmåner och tjänster ska vägras, minskas, upphävas eller återkallas av myndigheterna kan de ha en betydande inverkan på personers försörjning och kan inkräkta på deras grundläggande rättigheter, såsom rätten till socialt skydd, icke-diskriminering, mänsklig värdighet eller effektivt rättsmedel. På liknande sätt kan AI-system som är avsedda att användas för att fatta beslut eller väsentligt påverka beslut om fysiska personers rätt till hälso- och livförsäkring också ha en betydande inverkan på människors försörjningsmöjligheter och kan kränka deras grundläggande rättigheter, till exempel genom att begränsa tillgången till hälso- och sjukvård eller genom att vidmakthålla diskriminering på grund av personliga egenskaper. Dessa system bör därför klassificeras som hög risk. Denna förordning bör dock inte hämma utvecklingen och användningen av innovativa metoder inom offentlig förvaltning, som kan gagnas av en bredare användning av säkra AI-system som uppfyller kraven, förutsatt att dessa system inte medför hög risk för juridiska och fysiska personer. Slutligen bör även AI-system som används för att utvärdera och klassificera nödsamtal från fysiska personer eller för att sända ut eller fastställa prioriteringsordning för utsändning av larmtjänster klassificeras som hög risk, eftersom dessa system fattar beslut i situationer som är mycket kritiska för personers liv, hälsa och egendom.

(37a)

Med tanke på polisens och de rättsliga myndigheternas roll och ansvar, och konsekvenserna av de beslut som dessa fattar för att förebygga, utreda, avslöja eller lagföra brott eller verkställa straffrättsliga påföljder, måste användningen av vissa specifika AI-tillämpningar inom brottsbekämpning klassificeras som hög risk, i synnerhet i fall där enskilda personers liv eller grundläggande rättigheter riskerar att påverkas avsevärt.

(38)

Brottsbekämpande myndigheters åtgärder som involverar vissa typer av användning av AI-system kännetecknas av en betydande grad av maktobalans och kan leda till övervakning, gripande eller frihetsberövande av en fysisk person, liksom annan negativ inverkan på grundläggande rättigheter som garanteras i stadgan. De kan – i synnerhet om AI-systemen inte tränats med data av hög kvalitet, inte uppfyller lämpliga krav i fråga om noggrannhet eller robusthet, eller inte utformats och testats tillräckligt innan de släpps ut på marknaden eller på annat sätt tas i bruk – peka ut människor på ett diskriminerande eller på annat sätt oriktigt eller orättvist sätt. Dessutom kan utövandet av viktiga förfarandemässiga grundläggande rättigheter, såsom rätten till effektivt rättsmedel och till en opartisk domstol samt rätten till försvar och presumtion för oskuld, hämmas, i synnerhet i de fall då AI-systemen inte är tillräckligt transparenta, förklarade och dokumenterade. Det är därför lämpligt att som hög risk klassificera ett antal AI-system som är avsedda att användas i brottsbekämpningssammanhang där det är särskilt viktigt med noggrannhet, tillförlitlighet och transparens för att undvika negativa effekter, upprätthålla allmänhetens förtroende och säkerställa ansvarsskyldighet och effektiv rättslig prövning. Mot bakgrund av de berörda åtgärdernas art och relaterade risker bör dessa AI-system med hög risk i synnerhet inbegripa AI-system avsedda att användas av brottsbekämpande myndigheter för individuella riskbedömningar, lögndetektorer och liknande verktyg för att läsa av en fysisk persons emotionella tillstånd, upptäcka ”deepfake” , bedöma tillförlitligheten i bevis i brottmålsförfaranden , förutse förekomsten eller upprepningen av ett faktiskt eller potentiellt brott baserat på profilering av fysiska personer, eller bedöma personlighetsdrag och egenskaper eller tidigare brottsligt beteende hos fysiska personer eller grupper, samt profilering i samband med upptäckt, utredning eller lagföring av brott och i samband med brottsanalys som avser fysiska personer. AI-system som är specifikt avsedda att användas för administrativa förfaranden hos skattemyndigheter och tullmyndigheter bör inte anses som AI-system med hög risk som används av brottsbekämpande myndigheter i syfte att förebygga, förhindra, avslöja, utreda eller lagföra brott.

(38)

Brottsbekämpande myndigheters åtgärder som involverar vissa typer av användning av AI-system kännetecknas av en betydande grad av maktobalans och kan leda till övervakning, gripande eller frihetsberövande av en fysisk person, liksom annan negativ inverkan på grundläggande rättigheter som garanteras i stadgan. De kan – i synnerhet om AI-systemen inte tränats med data av hög kvalitet, inte uppfyller lämpliga krav i fråga om dess resultat, noggrannhet eller robusthet, eller inte utformats och testats tillräckligt innan de släpps ut på marknaden eller på annat sätt tas i bruk – peka ut människor på ett diskriminerande eller på annat sätt oriktigt eller orättvist sätt. Dessutom kan utövandet av viktiga förfarandemässiga grundläggande rättigheter, såsom rätten till effektivt rättsmedel och till en opartisk domstol samt rätten till försvar och presumtion för oskuld, hämmas, i synnerhet i de fall då AI-systemen inte är tillräckligt transparenta, förklarade och dokumenterade. Det är därför lämpligt att som hög risk klassificera ett antal AI-system som är avsedda att användas i brottsbekämpningssammanhang där det är särskilt viktigt med noggrannhet, tillförlitlighet och transparens för att undvika negativa effekter, upprätthålla allmänhetens förtroende och säkerställa ansvarsskyldighet och effektiv rättslig prövning. Mot bakgrund av de berörda åtgärdernas art och relaterade risker bör dessa AI-system med hög risk i synnerhet inbegripa AI-system avsedda att användas av brottsbekämpande myndigheter eller för deras räkning eller av unionens byråer, organ eller institutioner för att stödja nationella brottsbekämpande myndigheter , som lögndetektorer och liknande verktyg , i den mån deras användning är tillåten enligt relevant unionsrätt och nationell rätt, för att bedöma tillförlitligheten i bevis i brottmålsförfaranden samt för profilering i samband med upptäckt, utredning eller lagföring av brott och i samband med brottsanalys som avser fysiska personer. AI-system som är specifikt avsedda att användas för administrativa förfaranden hos skattemyndigheter och tullmyndigheter bör inte klassificeras som AI-system med hög risk som används av brottsbekämpande myndigheter i syfte att förebygga, förhindra, avslöja, utreda eller lagföra brott. De brottsbekämpande myndigheternas och de rättsliga myndigheternas användning av AI-verktyg bör inte bli en faktor som bidrar till ojämlikhet, sociala klyftor eller utestängning. Den inverkan som användningen av AI-verktyg har på misstänktas rätt till försvar bör inte ignoreras, i synnerhet svårigheten att få meningsfull information om deras funktion och den därav följande svårigheten att ifrågasätta resultaten i domstol, särskilt för personer som är under utredning.

(39)

AI-system som används inom förvaltning av migration, asyl och gränskontroll påverkar människor som ofta är i en särskilt utsatt situation och som är beroende av resultatet av de behöriga offentliga myndigheternas åtgärder. Det är därmed särskilt viktigt att de AI-system som används i dessa sammanhang är tillförlitliga, icke-diskriminerande och transparenta, för att garantera iakttagandet av de påverkade personernas grundläggande rättigheter, i synnerhet deras rätt till fri rörlighet, icke-diskriminering, skydd av privatliv och personuppgifter, internationellt skydd och god förvaltning. Det är därför lämpligt att som hög risk klassificera AI-system avsedda att användas av behöriga offentliga myndigheter som anförtrotts uppdrag på områdena migration, asyl och gränskontroll, såsom lögndetektorer och liknande verktyg för att läsa av en fysisk persons emotionella tillstånd , för bedömning av vissa risker som utgörs av fysiska personer som reser in till en medlemsstats territorium eller som ansöker om visum eller asyl, för att kontrollera äktheten i fysiska personers relevanta handlingar, och för att bistå behöriga offentliga myndigheter i granskningen av ansökningar om asyl, visum och uppehållstillstånd och därmed förbundna klagomål med avseende på syftet att fastställa om den ansökande fysiska personen uppfyller kraven för denna status. AI-system på området migration, asyl och gränskontroll vilka omfattas av denna förordning bör uppfylla de relevanta förfarandemässiga krav som fastställs i Europaparlamentets och rådets direktiv 2013/32/EU (49), Europaparlamentets och rådets förordning (EG) nr 810/2009 (50) och annan relevant lagstiftning.

(39)

AI-system som används inom förvaltning av migration, asyl och gränskontroll påverkar människor som ofta är i en särskilt utsatt situation och som är beroende av resultatet av de behöriga offentliga myndigheternas åtgärder. Det är därmed särskilt viktigt att de AI-system som används i dessa sammanhang är tillförlitliga, icke-diskriminerande och transparenta, för att garantera iakttagandet av de påverkade personernas grundläggande rättigheter, i synnerhet deras rätt till fri rörlighet, icke-diskriminering, skydd av privatliv och personuppgifter, internationellt skydd och god förvaltning. Det är därför lämpligt att som hög risk klassificera AI-system avsedda att användas av behöriga offentliga myndigheter eller för deras räkning eller av unionens byråer, organ eller institutioner som anförtrotts uppdrag på områdena migration, asyl och gränskontroll, såsom lögndetektorer och liknande verktyg i den mån deras användning är tillåten enligt relevant unionsrätt och nationell rätt , för bedömning av vissa risker som utgörs av fysiska personer som reser in till en medlemsstats territorium eller som ansöker om visum eller asyl, för att kontrollera äktheten i fysiska personers relevanta handlingar, och för att bistå behöriga offentliga myndigheter i granskningen och prövningen av bevisens sanningsenlighet i samband med ansökningar om asyl, visum och uppehållstillstånd och därmed förbundna klagomål med avseende på syftet att fastställa om den ansökande fysiska personen uppfyller kraven för denna status , för övervakning, övervakning eller behandling av personuppgifter i samband med gränsförvaltningsverksamhet, i syfte att upptäcka, erkänna eller identifiera fysiska personer, och för att prognostisera eller förutsäga trender i samband med migrationsrörelser och gränspassager . AI-system på området migration, asyl och gränskontroll vilka omfattas av denna förordning bör uppfylla de relevanta förfarandemässiga krav som fastställs i Europaparlamentets och rådets direktiv 2013/32/EU (49), Europaparlamentets och rådets förordning (EG) nr 810/2009 (50) och annan relevant lagstiftning. AI-system inom migrations-, asyl- och gränskontrollhantering bör under inga omständigheter användas av medlemsstater eller unionens institutioner, byråer eller organ som ett medel för att kringgå sina internationella skyldigheter enligt konventionen av den 28 juli 1951 om flyktingars rättsliga ställning enligt ändring genom protokollet av den 31 januari 1967, och inte heller bör de användas för att på något sätt bryta mot principen om non-refoulement eller neka säkra och effektiva lagliga vägar in på unionens territorium, inbegripet rätten till internationellt skydd.

(40)

Vissa AI-system som är avsedda för rättsskipning och demokratiska processer bör klassificeras som hög risk, mot bakgrund av deras potentiellt betydande inverkan på demokrati, rättsstatsprincipen, individuella friheter och rätten till effektivt rättsmedel och till en opartisk domstol. För att motverka riskerna för potentiella snedvridningar och fel och bristande insyn är det i synnerhet lämpligt att som AI-system med hög risk klassificera sådana AI-system som är avsedda att hjälpa de rättsliga myndigheterna att undersöka och tolka fakta och lagstiftning och att tillämpa denna lagstiftning på en konkret uppsättning fakta. Denna kategorisering bör dock inte omfatta AI-system som är avsedda för rent administrativa stödfunktioner som inte påverkar den faktiska rättskipningen i enskilda fall, exempelvis anonymisering eller pseudonymisering av rättsliga beslut, handlingar eller data, kommunikation mellan anställda, administrativa uppgifter eller fördelning av resurser.

(40)

Vissa AI-system som är avsedda för rättsskipning och demokratiska processer bör klassificeras som hög risk, mot bakgrund av deras potentiellt betydande inverkan på demokrati, rättsstatsprincipen, individuella friheter och rätten till effektivt rättsmedel och till en opartisk domstol. För att motverka riskerna för potentiella snedvridningar och fel och bristande insyn är det i synnerhet lämpligt att som AI-system med hög risk klassificera sådana AI-system som är avsedda att användas av en rättslig myndighet eller ett administrativt organ eller för deras räkning eller för att hjälpa de rättsliga myndigheterna eller de administrativa organen att undersöka och tolka fakta och lagstiftning och att tillämpa denna lagstiftning på en konkret uppsättning fakta eller använda den på ett liknande sätt vid alternativ tvistlösning. Användningen av verktyg för artificiell intelligens kan stödja, men bör inte ersätta domarnas beslutanderätt eller rättsväsendets oberoende, eftersom det slutliga beslutsfattandet måste förbli en människodriven verksamhet och ett mänskligt beslut . Denna kategorisering bör dock inte omfatta AI-system som är avsedda för rent administrativa stödfunktioner som inte påverkar den faktiska rättskipningen i enskilda fall, exempelvis anonymisering eller pseudonymisering av rättsliga beslut, handlingar eller data, kommunikation mellan anställda, administrativa uppgifter eller fördelning av resurser.

(40a)

För att hantera riskerna för otillbörlig extern inblandning i rösträtten enligt artikel 39 i stadgan och oproportionerliga effekter på demokratiska processer, demokrati och rättsstatsprincipen bör AI-system som är avsedda att användas för att påverka resultatet av ett val eller en folkomröstning eller fysiska personers röstbeteende vid val eller folkomröstningar klassificeras som AI-system med hög risk, med undantag för AI-system vars utdata fysiska personer inte är direkt exponerade för, såsom verktyg som används för att organisera, optimera och strukturera politiska kampanjer ur administrativ och logistisk synvinkel.

(40b)

Med tanke på omfattningen av fysiska personer som använder de tjänster som tillhandahålls av sociala medieplattformar som betecknas som mycket stora onlineplattformar kan sådana onlineplattformar användas på ett sätt som starkt påverkar säkerheten på nätet, utformningen av den allmänna opinionen och debatten, val och demokratiska processer samt samhällsproblem. Det är därför lämpligt att AI-system som används av dessa onlineplattformar i deras rekommendationssystem omfattas av denna förordning för att säkerställa att AI-systemen uppfyller de krav som fastställs i denna förordning, inbegripet de tekniska kraven på dataförvaltning, teknisk dokumentation och spårbarhet, transparens, mänsklig tillsyn, noggrannhet och robusthet. Efterlevnaden av denna förordning bör göra det möjligt för sådana mycket stora onlineplattformar att uppfylla sina bredare skyldigheter i fråga om riskbedömning och riskreducering i artikel 34 och 35 i förordning (EU) 2022/2065. Skyldigheterna i denna förordning påverkar inte tillämpningen av förordning (EU) 2022/2065 och bör komplettera de skyldigheter som krävs enligt förordning (EU) 2022/2065 när plattformen för sociala medier har betecknats som en mycket stor onlineplattform. Med tanke på den Europaomfattande inverkan av sociala medieplattformar som betecknas som mycket stora onlineplattformar bör de myndigheter som utsetts enligt förordning (EU) 2022/2065 agera som tillsynsmyndigheter i syfte att säkerställa efterlevnaden av denna bestämmelse.

(41)

Det faktum att ett AI-system klassificerats som hög risk enligt denna förordning bör inte tolkas som att användningen av det systemet nödvändigtvis är lagligt enligt andra rättsakter i unionsrätten eller enligt nationell lagstiftning som är förenlig med unionsrätten, exempelvis vad gäller skydd av personuppgifter , användning av lögndetektorer och liknande verktyg eller andra system för att läsa av fysiska personers emotionella tillstånd . All sådan användning bör även fortsättningsvis endast ske i enlighet med de tillämpliga krav som följer av stadgan eller av tillämpliga rättsakter i unionens sekundärrätt och nationell rätt. Denna förordning ska inte tolkas som att den omfattar en rättslig grund för behandling av personuppgifter, inbegripet särskilda kategorier av personuppgifter, i förekommande fall.

(41)

Det faktum att ett AI-system klassificerats som ett AI-system med hög risk enligt denna förordning bör inte tolkas som att användningen av det systemet nödvändigtvis är laglig eller olaglig enligt andra rättsakter i unionsrätten eller enligt nationell lagstiftning som är förenlig med unionsrätten, exempelvis vad gäller skydd av personuppgifter. All sådan användning bör även fortsättningsvis endast ske i enlighet med de tillämpliga krav som följer av stadgan eller av tillämpliga rättsakter i unionens sekundärrätt och nationell rätt.

(41a)

Ett antal rättsligt bindande regler på europeisk, nationell och internationell nivå gäller redan i dag för AI-system eller berör dem, inbegripet men inte begränsat till EU:s primärrätt (Europeiska unionens fördrag och dess stadga om de grundläggande rättigheterna), EU:s sekundärrätt (t.ex. den allmänna dataskyddsförordningen, antidiskrimineringsdirektiven, maskindirektivet, direktivet om produktansvar, förordningen om fritt flöde av icke-personuppgifter, konsumentlagstiftningen och arbetsmiljödirektiven), FN:s konventioner om mänskliga rättigheter och Europarådets konventioner (t.ex. Europeiska konventionen om mänskliga rättigheter) och nationell rätt. Utöver regler som tillämpas övergripande finns det flera domänspecifika regler som endast gäller för vissa AI-tillämpningar (till exempel förordningen om medicintekniska produkter inom hälso- och sjukvårdssektorn).

(42)

För att begränsa riskerna för användare och berörda personer från AI-system med hög risk som släpps ut eller på annat sätt tas i bruk på unionsmarknaden bör vissa obligatoriska krav gälla, med beaktande av systemets avsedda ändamål eller användning och i enlighet med det riskhanteringssystem som ska upprättas av leverantören.

(42)

För att begränsa riskerna för användare och berörda personer från AI-system med hög risk som släpps ut eller på annat sätt tas i bruk på unionsmarknaden bör vissa obligatoriska krav gälla, med beaktande av systemets avsedda ändamål eller rimligen förutsebara felaktiga användning och i enlighet med det riskhanteringssystem som ska upprättas av leverantören. Dessa krav bör vara målinriktade, lämpliga för syftet, rimliga och effektiva, utan att medföra onödiga regelbördor eller kostnader för operatörerna.

(43)

Kraven bör tillämpas på AI-system med hög risk när det gäller kvaliteten på använda dataset, teknisk dokumentation och arkivering, transparens och information till användarna, mänsklig tillsyn samt robusthet, noggrannhet och cybersäkerhet. Dessa krav är nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter, såsom tillämpligt mot bakgrund av systemets avsedda syfte, och om inga andra åtgärder som är mindre handelsbegränsande finns rimligen tillgängliga, för att på så sätt motverka omotiverade begränsningar av handeln.

(43)

Kraven bör tillämpas på AI-system med hög risk när det gäller kvaliteten på och relevansen för använda dataset, teknisk dokumentation och arkivering, transparens och information till användarna, mänsklig tillsyn samt robusthet, noggrannhet och cybersäkerhet. Dessa krav är nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter, samt miljö, demokrati och rättsstaten, såsom tillämpligt mot bakgrund av systemets avsedda syfte eller rimligen förutsebara felaktiga användning , och om inga andra åtgärder som är mindre handelsbegränsande finns rimligen tillgängliga, för att på så sätt motverka omotiverade begränsningar av handeln.

(44)

Data av hög kvalitet krävs för många AI-systems prestanda, i synnerhet vid användning av teknik som förutsätter träning av modeller, för att säkerställa att AI-system med hög risk fungerar säkert och på avsett sätt och inte blir till en källa till diskriminering som är förbjuden enligt unionsrätten. För högkvalitativ träning, validering och testning av dataset krävs genomförandet av ändamålsenliga metoder för dataförvaltning och datahantering. Dataset för träning, validering och testning bör vara tillräckligt relevanta, representativa och felfria och kompletta i förhållande till systemets avsedda ändamål. De bör också ha lämpliga statistiska egenskaper, inbegripet vad gäller de personer eller grupper av personer på vilka AI-systemet med hög risk är avsett att användas. Dataset för träning, validering och testning bör i synnerhet, i den mån som krävs med tanke på systemens avsedda ändamål, beakta funktioner, särdrag eller element som är specifika för den särskilda geografiska, beteendemässiga eller funktionsmässiga situation eller kontext där AI-systemet är avsett att användas. För att skydda andras rätt att slippa diskriminering som kan följa av snedvridning i AI-system, bör leverantörerna kunna behandla även särskilda kategorier av personuppgifter, som en fråga av betydande allmänintresse, för att säkerställa övervakning, upptäckt och korrigering av snedvridning när det gäller AI-system med hög risk.

(44)

Tillgång till data av hög kvalitet spelar en avgörande roll när det gäller att tillhandahålla struktur och att säkerställa många AI-systems prestanda, i synnerhet vid användning av teknik som förutsätter träning av modeller, för att säkerställa att AI-system med hög risk fungerar säkert och på avsett sätt och inte blir till en källa till diskriminering som är förbjuden enligt unionsrätten. För högkvalitativ träning, validering och testning av dataset krävs genomförandet av ändamålsenliga metoder för dataförvaltning och datahantering. Dataset för träning, och i tillämpliga fall, validering och testning , inbegripet märkningarna, bör vara tillräckligt relevanta, representativa , vederbörligen kontrollerade för fel och så kompletta som möjligt i förhållande till systemets avsedda ändamål. De bör också ha lämpliga statistiska egenskaper, inbegripet vad gäller de personer eller grupper av personer i relation med vilka AI-systemet med hög risk är avsett att användas , med särskilt fokus på att begränsa eventuella snedvridningar i dataseten som skulle kunna hota de grundläggande rättigheterna för eller diskriminera personer som påverkas av AI-systemet med hög risk. Snedvridningar kan exempelvis vara inneboende i underliggande dataset, särskilt när historiska data används, införs av algoritmernas utvecklare eller genereras när systemen tillämpas i verkliga sammanhang. De resultat som AI-tillämpningar ger påverkas av sådana inneboende snedvridningar som tenderar att gradvis öka och därigenom vidmakthålla och förstärka den befintliga diskrimineringen, särskilt för personer som tillhör vissa sårbara eller etniska grupper eller rasifierade grupper. Dataset för träning, validering och testning bör i synnerhet, i den mån som krävs med tanke på systemens avsedda ändamål, beakta funktioner, särdrag eller element som är specifika för den särskilda geografiska, kontextuella, beteendemässiga eller funktionsmässiga situation eller kontext där AI-systemet är avsett att användas. För att skydda andras rätt att slippa diskriminering som kan följa av snedvridning i AI-system, bör leverantörerna undantagsvis och enligt tillämpningen av alla tillämpliga villkor som fastställs i denna förordning och i förordning (EU) 2016/679, direktiv (EU) 2016/680 och förordning (EU) nr 2018/1725 kunna behandla även särskilda kategorier av personuppgifter, som en fråga av betydande allmänintresse, för att säkerställa övervakning, upptäckt och korrigering av snedvridning när det gäller AI-system med hög risk. Negativ snedvridning bör förstås som snedvridning som skapar direkt eller indirekt diskriminerande effekt mot en fysisk person. Krav som rör dataförvaltning kan uppfyllas genom att anlita tredje parter som erbjuder certifierade efterlevnadstjänster, inbegripet kontroll av datahantering, datauppdragens integritet och datautbildning, validering och testmetoder.

(45)

För utvecklingen av AI-system med hög risk bör vissa aktörer, såsom leverantörer, anmälda organ och andra berörda enheter – exempelvis digitala innovationsknutpunkter, test- och försöksanläggningar och forskare – kunna få åtkomst till och använda dataset av hög kvalitet inom sina respektive verksamhetsområden som är relaterade till denna förordning. Gemensamma europeiska dataområden som inrättas av kommissionen och främjande av datadelning mellan företag och med det offentliga i allmänhetens intresse kommer att vara avgörande för tillhandahållandet av förtroendebaserad, ansvarsskyldig och icke-diskriminerande åtkomst till högkvalitativa data för träning, validering och testning av AI-system. På exempelvis hälsoområdet kommer det europeiska hälsodataområdet att främja icke-diskriminerande åtkomst till hälsodata och träning av algoritmer för artificiell intelligens med användning av dessa dataset, på ett sätt som bevarar den personliga integriteten och är säkert, snabbt, transparent och tillförlitligt och med lämpliga institutionella styrelseformer. Berörda behöriga myndigheter, även sektorsbaserade sådana, som tillhandahåller eller stöder åtkomst till data får också stödja tillhandahållandet av högkvalitativa data för träning, validering och testning av AI-system.

(45)

För utvecklingen och bedömningen av AI-system med hög risk bör vissa aktörer, såsom leverantörer, anmälda organ och andra berörda enheter – exempelvis digitala innovationsknutpunkter, test- och försöksanläggningar och forskare – kunna få åtkomst till och använda dataset av hög kvalitet inom sina respektive verksamhetsområden som är relaterade till denna förordning. Gemensamma europeiska dataområden som inrättas av kommissionen och främjande av datadelning mellan företag och med det offentliga i allmänhetens intresse kommer att vara avgörande för tillhandahållandet av förtroendebaserad, ansvarsskyldig och icke-diskriminerande åtkomst till högkvalitativa data för träning, validering och testning av AI-system. På exempelvis hälsoområdet kommer det europeiska hälsodataområdet att främja icke-diskriminerande åtkomst till hälsodata och träning av algoritmer för artificiell intelligens med användning av dessa dataset, på ett sätt som bevarar den personliga integriteten och är säkert, snabbt, transparent och tillförlitligt och med lämpliga institutionella styrelseformer. Berörda behöriga myndigheter, även sektorsbaserade sådana, som tillhandahåller eller stöder åtkomst till data får också stödja tillhandahållandet av högkvalitativa data för träning, validering och testning av AI-system.

(45a)

Rätten till integritet och skydd av personuppgifter måste garanteras under AI-systemets hela livscykel. I detta avseende är principerna om uppgiftsminimering och inbyggt dataskydd och dataskydd som standard, i enlighet med unionens dataskyddslagstiftning, av avgörande betydelse när behandlingen av uppgifter medför betydande risker för enskilda personers grundläggande rättigheter. Leverantörer och användare av AI-system bör genomföra de senaste tekniska och organisatoriska åtgärderna för att skydda dessa rättigheter. Sådana åtgärder bör inte bara omfatta anonymisering och kryptering, utan även användning av alltmer tillgänglig teknik som gör det möjligt att koppla algoritmer till data och ger värdefulla insikter utan överföring mellan parterna eller onödig kopiering av rådata eller strukturerade data i sig.

(46)

Det är mycket viktigt att ha information om hur AI-system med hög risk har utvecklats och hur de utför sina funktioner under hela sin livscykel , för att kontrollera att kraven enligt denna förordning uppfylls. Detta förutsätter arkivering och tillgång till teknisk dokumentation som innehåller den information som krävs för att bedöma om AI-systemet uppfyller de berörda kraven. Denna information bör innefatta systemets allmänna egenskaper, förmågor och begränsningar samt algoritmer, data, träning, de förfaranden som används för testning och validering samt dokumentation av relevanta riskhanteringssystem. Den tekniska dokumentationen bör vara uppdaterad.

(46)

Det är mycket viktigt att ha begriplig information om hur AI-system med hög risk har utvecklats och hur de utför sina funktioner under hela sin livstid , för att kontrollera att kraven enligt denna förordning uppfylls. Detta förutsätter arkivering och tillgång till teknisk dokumentation som innehåller den information som krävs för att bedöma om AI-systemet uppfyller de berörda kraven. Denna information bör innefatta systemets allmänna egenskaper, förmågor och begränsningar samt algoritmer, data, träning, de förfaranden som används för testning och validering samt dokumentation av relevanta riskhanteringssystem. Den tekniska dokumentationen bör vara lämpligt uppdaterad under hela AI-systemets livscykel . AI-system kan ha stor miljöpåverkan och hög energiförbrukning under sin livscykel. För att bättre förstå AI-systemens inverkan på miljön bör den tekniska dokumentation som utarbetas av leverantörer innehålla information om AI-systemets energiförbrukning, inbegripet förbrukningen under utveckling och förväntad förbrukning under användning. Sådan information bör ta hänsyn till relevant unionslagstiftning och nationell lagstiftning. Denna rapporterade information bör vara begriplig, jämförbar och kontrollerbar, och kommissionen bör därför utarbeta riktlinjer för en harmoniserad metolodogi för beräkning och rapportering av denna information. För att säkerställa att en enda dokumentation är möjlig bör termer och definitioner avseende den erforderliga dokumentationen och all erforderlig dokumentation i relevant unionslagstiftning anpassas i största möjliga mån.

(46a)

AI-system bör ta hänsyn till metoder enligt den senaste tekniken och relevanta tillämpliga standarder för att minska energianvändning, resursanvändning och avfall samt för att öka energieffektiviteten och systemets övergripande effektivitet. De miljöaspekter av AI-system som är betydande för tillämpningen av denna förordning är AI-systemets energiförbrukning under utvecklings-, utbildnings- och installationsfasen samt registreringen, rapporteringen och lagringen av dessa data. Utformningen av AI-system bör göra det möjligt att mäta och logga in förbrukningen av energi och resurser i varje skede av utveckling, utbildning och installation. Övervakningen och rapporteringen av AI-systemens utsläpp måste vara robust, transparent, konsekvent och korrekt. För att säkerställa en enhetlig tillämpning av denna förordning och ett stabilt rättsligt ekosystem för leverantörer och användare på den inre marknaden bör kommissionen utarbeta en gemensam specifikation för metoden för att uppfylla rapporterings- och dokumentationskraven för förbrukning av energi och resurser under utveckling, utbildning och installation. Sådana gemensamma specifikationer för mätmetoder kan utveckla ett utgångsläge utifrån vilket kommissionen bättre kan besluta om framtida regleringsåtgärder behövs, efter att ha gjort en konsekvensbedömning som tar hänsyn till befintlig lagstiftning.

(46b)

För att uppnå målen i denna förordning och bidra till unionens miljömål och samtidigt säkerställa en väl fungerande inre marknad kan det bli nödvändigt att fastställa rekommendationer och riktlinjer och, i slutändan, hållbarhetsmål. För detta ändamål har kommissionen rätt att utarbeta en metod för att bidra till att ha centrala resultatindikatorer och en hänvisning till målen för hållbar utveckling. Målet bör i första hand vara att möjliggöra en rättvis jämförelse mellan val av genomförande av AI som ger incitament för att främja användning av effektivare AI-teknik som tar itu med energi- och resursfrågor. För att uppnå detta mål bör denna förordning tillhandahålla medel för att fastställa en grundläggande insamling av uppgifter som rapporteras om utsläpp från utveckling, utbildning och för användning.

(47a)

Sådana krav på transparens och tydlighet i AI-beslutsfattandet bör också hjälpa till med att motverka de avskräckande effekterna av digital asymmetri och så kallade mörka mönster som används mot enskilda personer och deras informerade samtycke.

(49)

AI-system med hög risk bör fungera konsekvent under hela sin livscykel och uppnå en lämplig nivå av noggrannhet, robusthet och cybersäkerhet i enlighet med den allmänt erkända bästa tekniken. Användarna bör informeras om graden av noggrannhet och om mätningen av noggrannheten .

(49)

AI-system med hög risk bör fungera konsekvent under hela sin livscykel och uppnå en lämplig nivå av noggrannhet, robusthet och cybersäkerhet i enlighet med den allmänt erkända bästa tekniken. Definitionen av prestandamåtten och deras förväntade nivå bör främst syfta till att begränsa AI-systemets risker och negativa konsekvenser. Användarna bör , på ett tydligt, transparent, lättbegripligt och förståeligt sätt, informeras om den förväntade graden av prestandamått. Prestandamåttsdeklarationen kan inte anses vara ett bevis på framtida nivåer, men relevanta metoder måste tillämpas för att säkerställa enhetliga nivåer under användning. Samtidigt som det finns standardiseringsorganisationer för att fastställa standarder krävs samordning av riktmärkning för att fastställa hur dessa standardiserade krav och AI-systemens egenskaper bör mätas. Den europeiska byrån för artificiell intelligens bör sammanföra nationella metrologi- och riktmärkningsmyndigheter och ge icke-bindande vägledning för att ta itu med de tekniska aspekterna av hur man mäter lämpliga grader av noggrannhet och robusthet.

(50)

Teknisk robusthet är ett nyckelkrav för AI-system med hög risk. Systemen bör vara resilienta mot risker kopplade till systemets begränsningar (dvs. felaktigheter, funktionsfel, inkonsekvenser, oväntade situationer samt sabotage som kan äventyra AI-systemets säkerhet och resultera i skadligt eller på annat sätt oönskat beteende. Bristande skydd mot dessa risker kan leda till säkerhetskonsekvenser eller inverka negativt på grundläggande rättigheter, exempelvis på grund av felaktiga beslut eller felaktiga eller snedvridna utdata som genereras av AI-systemet.

(50)

Teknisk robusthet är ett nyckelkrav för AI-system med hög risk. Systemen bör vara resilienta mot risker kopplade till systemets begränsningar (dvs. felaktigheter, funktionsfel, inkonsekvenser, oväntade situationer samt sabotage som kan äventyra AI-systemets säkerhet och resultera i skadligt eller på annat sätt oönskat beteende. Bristande skydd mot dessa risker kan leda till säkerhetskonsekvenser eller inverka negativt på grundläggande rättigheter, exempelvis på grund av felaktiga beslut eller felaktiga eller snedvridna utdata som genereras av AI-systemet. AI-systemets användare bör vidta åtgärder för att säkerställa att en eventuell kompromiss mellan robusthet och korrekthet inte leder till diskriminerande eller negativa konsekvenser för minoritetsgrupper.

(51)

Cybersäkerhet har en viktig roll för att säkerställa att AI-systemen är resilienta mot försök att ändra deras användning, beteende eller prestanda eller att undergräva deras säkerhetsegenskaper genom illasinnade tredje parter som utnyttjar systemets svagheter. Cyberattacker mot AI-system kan riktas mot AI-specifika tillgångar, såsom kollektioner av träningsdata (s.k. dataförgiftning) eller algoritmerna som använder dessa data (såsom mjukvaruhacking eller antagonistiska exempel), eller utnyttja sårbarheter i AI-systemets digitala tillgångar eller i den underliggande IKT-infrastrukturen. För att säkerställa en cybersäkerhetsnivå som är anpassad till riskerna bör lämpliga åtgärder därför vidtas av leverantörerna av AI-system med hög risk, även med beaktande av den underliggande IKT-infrastrukturen, när så är lämpligt.

(51)

Cybersäkerhet har en viktig roll för att säkerställa att AI-systemen är resilienta mot försök att ändra deras användning, beteende eller prestanda eller att undergräva deras säkerhetsegenskaper genom illasinnade tredje parter som utnyttjar systemets svagheter. Cyberattacker mot AI-system kan riktas mot AI-specifika tillgångar, såsom kollektioner av träningsdata (s.k. dataförgiftning) eller algoritmerna som använder dessa data (såsom mjukvaruhacking eller antagonistiska exempel eller sekretessattacker ), eller utnyttja sårbarheter i AI-systemets digitala tillgångar eller i den underliggande IKT-infrastrukturen. För att säkerställa en cybersäkerhetsnivå som är anpassad till riskerna bör lämpliga åtgärder därför vidtas av leverantörerna av AI-system med hög risk, och även av anmälda organ, nationella behöriga myndigheter och marknadskontrollmyndigheter, även med beaktande av den underliggande IKT-infrastrukturen, när så är lämpligt. Säkerhetslösningar och programfixar ska tillhandahållas för AI-system med hög risk under produktens hela livslängd eller, i de fall då systemet inte är beroende av någon viss produkt, under en viss tid som tillverkaren måste informera om.

(53a)

Som undertecknare av konventionen om rättigheter för personer med funktionsnedsättning är unionen och alla medlemsstater rättsligt förpliktigade att skydda personer med funktionsnedsättning från diskriminering och främja deras jämlikhet, att säkerställa att personer med funktionsnedsättning på lika villkor som andra har tillgång till informations- och kommunikationsteknik och informations- och kommunikationssystem samt att säkerställa att integriteten hos personer med funktionsnedsättning respekteras. Med tanke på den ökande betydelsen och användningen av AI-system bör tillämpningen av universella konstruktionsprinciper för all ny teknik och alla nya tjänster säkerställa fullständig, jämlik och obegränsad tillgång för alla som potentiellt påverkas av eller använder AI-teknik, inbegripet personer med funktionsnedsättning, på ett sätt som tar full hänsyn till deras inneboende värdighet och mångfald. Det är därför viktigt att leverantörerna säkerställer full överensstämmelse med tillgänglighetskraven, inbegripet direktiv (EU) 2016/2102 och direktiv (EU) 2019/882. Leverantörerna bör säkerställa att dessa krav uppfylls genom utformning. Därför bör de nödvändiga åtgärderna i så stor utsträckning som möjligt integreras i utformningen av AI-systemet med hög risk.

(54)

Leverantören bör inrätta ett sunt kvalitetsledningssystem, säkerställa att föreskrivna förfaranden för bedömning av överensstämmelse genomförs, utarbeta den relevanta dokumentationen och inrätta ett robust system för övervakning efter utsläppandet på marknaden. Offentliga myndigheter som för egen användning tar i bruk AI-system med hög risk får anta och genomföra reglerna för kvalitetsledningssystemet som en del av det kvalitetsledningssystem som införs på nationell eller regional nivå, såsom lämpligt, med beaktande av sektorns särdrag och den berörda offentliga myndighetens kompetensområde och organisation.

(54)

Leverantören bör inrätta ett sunt kvalitetsledningssystem, säkerställa att föreskrivna förfaranden för bedömning av överensstämmelse genomförs, utarbeta den relevanta dokumentationen och inrätta ett robust system för övervakning efter utsläppandet på marknaden. För leverantörer som redan har infört kvalitetsledningssystem som bygger på standarder som ISO 9001 eller andra relevanta standarder bör inga överlappande kvalitetsledningssystem förväntas i sin helhet, utan snarare en anpassning av deras befintliga system till vissa aspekter som är kopplade till efterlevnaden av särskilda krav i denna förordning. Detta bör också återspeglas i framtida standardiseringsverksamhet eller riktlinjer som antas av kommissionen i detta avseende. Offentliga myndigheter som för egen användning tar i bruk AI-system med hög risk får anta och genomföra reglerna för kvalitetsledningssystemet som en del av det kvalitetsledningssystem som införs på nationell eller regional nivå, såsom lämpligt, med beaktande av sektorns särdrag och den berörda offentliga myndighetens kompetensområde och organisation.

(56)

För att möjliggöra kontroll av efterlevnaden av denna förordning och säkerställa lika villkor för aktörerna, och med beaktande av de olika formerna för att göra digitala produkter tillgängliga, är det viktigt att säkerställa att en person som är etablerad i unionen under alla omständigheter kan förse myndigheterna med all den informationen om AI-systemens överensstämmelse som är nödvändig. Innan leverantörer etablerade utanför unionen gör sina AI-system tillgängliga i unionen bör de , i de fall då ingen importör kan identifieras, genom skriftlig fullmakt utse ett ombud i unionen.

(56)

För att möjliggöra kontroll av efterlevnaden av denna förordning och säkerställa lika villkor för aktörerna, och med beaktande av de olika formerna för att göra digitala produkter tillgängliga, är det viktigt att säkerställa att en person som är etablerad i unionen under alla omständigheter kan förse myndigheterna med all den informationen om AI-systemens överensstämmelse som är nödvändig. Innan leverantörer etablerade utanför unionen gör sina AI-system tillgängliga i unionen bör de genom skriftlig fullmakt utse ett ombud i unionen.

(58)

Mot bakgrund av AI-systemens natur och de risker för säkerhet och grundläggande rättigheter som kan vara förknippade med användningen av dem, inbegripet när det gäller behovet av att säkerställa en korrekt övervakning av ett AI-systems prestanda under verkliga förhållanden, är det lämpligt att fastställa särskilda ansvarsområden för användarna. Användarna bör i synnerhet använda AI-system med hög risk i enlighet med bruksanvisningarna, och vissa andra skyldigheter bör föreskrivas när det gäller övervakning av AI-systemens funktionssätt och arkivering, såsom lämpligt.

(58a)

Riskerna med avseende på AI-system kan ha att göra med hur systemen utformas, men de kan även härröra från hur dessa AI-system används. Användare av AI-system med hög risk spelar därför en avgörande roll när det gäller att säkerställa att de grundläggande rättigheterna skyddas, och kompletterar leverantörens skyldigheter vid utvecklingen av AI-systemet. Användare är bäst på att förstå hur AI-system med hög risk kommer att användas konkret och kan därför fastställa potentiella risker som inte har förutsetts under utvecklingsfasen, tack vare mer exakt kunskap om sammanhanget för användningen och de personer eller grupper av personer som sannolikt kommer att påverkas, däribland marginaliserade och sårbara grupper. Användare bör identifiera lämpliga styrningsstrukturer i detta specifika användningssammanhang, såsom arrangemang för mänsklig tillsyn, klagomålshanteringsförfaranden och prövningsförfaranden, eftersom val i styrningsstrukturerna kan bidra till att minska riskerna för de grundläggande rättigheterna i konkreta användningsfall. För att effektivt säkerställa att de grundläggande rättigheterna skyddas bör användare av AI-system med hög risk därför utföra en konsekvensbedömning avseende de grundläggande rättigheterna när det gäller det sätt på vilket de avser använda AI-systemen innan de tas i bruk. Konsekvensbedömningen bör åtföljas av en utförlig plan som beskriver de åtgärder eller verktyg som kommer att hjälpa till att begränsa de risker för de grundläggande rättigheterna som fastställts, senast från och med den tidpunkt när den tas i bruk. Om en sådan plan inte kan identifieras bör användaren avstå från att ta systemet i bruk. Vid utförandet av denna konsekvensbedömning bör användaren underrätta den nationella tillsynsmyndigheten och, i största möjliga utsträckning, relevanta intressenter samt företrädare för grupper av personer som sannolikt kommer att påverkas av AI-systemet, i syfte att samla in relevant information som anses nödvändig för att utföra konsekvensbedömningen och uppmuntras att offentliggöra sammanfattningen av sin konsekvensbedömning avseende grundläggande rättigheter på sin webbplats. Dessa skyldigheter bör inte gälla små och medelstora företag som, på grund av bristen på resurser, kan ha svårt att genomföra ett sådant samråd. De bör dock också sträva efter att involvera sådana företrädare när de utför sin konsekvensbedömning avseende grundläggande rättigheter. Med tanke på den potentiella inverkan och behovet av demokratisk tillsyn och kontroll bör dessutom användare av AI-system med hög risk som är offentliga myndigheter eller unionens institutioner, organ och byråer samt användare som är företag som betecknas som grindvakt enligt förordning (EU) 2022/1925 vara skyldiga att registrera användningen av AI-system med hög risk i en offentlig databas. Andra användare kan frivilligt registrera sig.

(59)

Det är lämpligt att utgå från att användaren av AI-systemet bör vara den fysiska eller juridiska person, offentliga myndighet eller den byrå eller andra organ under vars överinseende AI-systemet används, utom när AI-systemet används inom ramen för en personlig icke-yrkesmässig verksamhet.

(60)

Mot bakgrund av den komplexa värdekedjan för artificiell intelligens , bör berörda tredje parter, i synnerhet sådana som är involverade i försäljning och tillhandahållande av programvara , programvaruverktyg och komponenter, förhandstränade modeller och data, eller leverantörer av nättjänster , samarbeta såsom lämpligt med leverantörer och användare för att främja deras uppfyllande av skyldigheterna enligt denna förordning och med behöriga myndigheter som inrättas i enlighet med denna förordning .

(60)

Inom AI-värdekedjan tillhandahåller flera enheter ofta verktyg och tjänster, men även komponenter eller processer som sedan införlivas av leverantören i AI-systemet, bland annat när det gäller datainsamling och förbehandling, modellutbildning, modellomskolning, modelltestning och modellutvärdering, integrering i programvara eller andra aspekter av modellutveckling. De berörda enheterna kan göra sitt erbjudande kommersiellt tillgängligt direkt eller indirekt, genom gränssnitt, såsom gränssnitt för tillämpningsprogram (API), och distribueras med gratis licenser med öppen källkod, men också allt oftare genom plattformar för AI-personal, utbildade parametrar för återförsäljning, DIY-byggsatser för att bygga modeller eller erbjudande om betald tillgång till en modell som betjänar arkitektur för att utveckla och utbilda modeller. Mot bakgrund av denna komplexitet i AI-värdekedjan bör alla relevanta tredje parter, särskilt de som är involverade i  utveckling, försäljning och kommersiellt tillhandahållande av programvaruverktyg , komponenter, förtränade modeller eller data som ingår i AI-systemet , eller leverantörer av nätverkstjänster, utan att äventyra sina egna immateriella rättigheter eller företagshemligheter, tillgängliggöra den information, utbildning eller expertis som krävs och , när så är lämpligt , samarbeta med leverantörer för att möjliggöra deras kontroll över alla efterlevnadsrelevanta aspekter av AI-systemet som omfattas av denna förordning . För att möjliggöra en kostnadseffektiv styrning av AI-värdekedjan ska kontrollnivån uttryckligen anges av varje tredje part som förser leverantören med ett verktyg, en tjänst, en komponent eller en process som leverantören senare integrerar i AI-systemet.

(60a)

Om en part har en starkare förhandlingsposition finns det en risk för att den parten kan utnyttja en sådan ställning till nackdel för den andra avtalsparten när den förhandlar om tillhandahållande av verktyg, tjänster, komponenter eller processer som används eller integreras i ett AI-system med hög risk eller korrigerande åtgärder för åsidosättande eller upphävande av relaterade skyldigheter. Sådana avtalsobalanser skadar särskilt mikroföretag, små och medelstora företag samt uppstartsföretag, såvida de inte ägs eller läggs ut på entreprenad av ett företag som kan kompensera underleverantören på lämpligt sätt, eftersom de saknar meningsfull förmåga att förhandla om villkoren i avtalet och kanske inte har något annat val än att godta de avtalsvillkor som de erbjuds. Oskäliga avtalsvillkor som reglerar tillhandahållandet av verktyg, tjänster, komponenter eller processer som används eller integreras i ett AI-system med hög risk eller korrigerande åtgärder vid överträdelse eller upphävande av relaterade skyldigheter bör därför inte vara bindande för sådana mikroföretag, små eller medelstora företag och uppstartsföretag om de ensidigt har ålagts dem.

(60b)

Regler om avtalsvillkor bör ta hänsyn till principen om avtalsfrihet som ett grundläggande begrepp i förbindelserna mellan företag. Därför bör inte alla avtalsvillkor omfattas av en skälighetsprövning utan endast de villkor som ensidigt åläggs mikroföretag och små och medelstora företag samt uppstartsföretag. Detta omfattar situationer där en part tillhandahåller ett visst avtalsvillkor och mikroföretaget, småföretaget eller det medelstora företaget eller uppstartsföretaget inte kan påverka innehållet i detta villkor trots ett förhandlingsförsök. Ett avtalsvillkor som helt enkelt föreskrivs av en part och godtas av mikroföretaget, småföretaget eller det medelstora företaget eller uppstartsföretaget eller ett villkor som förhandlats fram och sedan i ändrad lydelse godkänns av avtalsparterna bör inte anses som ensidigt ålagt.

(60c)

Dessutom bör reglerna om oskäliga avtalsvillkor endast tillämpas på de delar av ett avtal som rör tillhandahållande av verktyg, tjänster, komponenter eller processer som används eller integreras i ett AI-system med hög risk eller avhjälpande åtgärder vid överträdelse eller upphörande av relaterade skyldigheter. Andra delar av samma avtal, som inte rör dessa delar, bör inte vara föremål för skälighetsprövningen enligt denna förordning.

(60d)

Kriterier för identifiering av oskäliga avtalsvillkor bör endast tillämpas på orimliga avtalsvillkor, i de fall då en starkare förhandlingsposition missbrukas. De allra flesta avtalsvillkor som affärsmässigt gynnar en part mer än en annan, inbegripet sådana som är normala i avtal mellan företag, är ett normalt uttryck för principen om avtalsfrihet och bör fortsätta att gälla. Om ett avtalsvillkor inte ingår i förteckningen över villkor som alltid anses oskäliga ska den allmänna bestämmelsen om oskälighet tillämpas. I detta hänseende bör de villkor som förtecknas som oskäliga villkor fungera som måttstock för tolkningen av den allmänna oskälighetsbestämmelsen.

(60e)

Grundmodeller är en ny utveckling där AI-modeller utvecklas med hjälp av algoritmer som är utformade för att optimera generalitet och mångsidighet i produktionen. Dessa modeller utbildas ofta i ett brett spektrum av datakällor och stora mängder data för att utföra ett brett spektrum av uppgifter nedströms, däribland vissa för vilka de inte särskilt har utvecklats och utbildats. Grundmodellen kan vara unimodal eller multimodal, utbildad genom olika metoder såsom övervakat lärande eller förstärkt lärande. AI-system med specifikt avsett ändamål eller AI-system för allmänna ändamål kan vara en tillämpning av en grundmodell, vilket innebär att varje grundmodell kan återanvändas i otaliga AI-system eller AI-system för allmänna ändamål nedströms. Dessa modeller blir allt viktigare för många tillämpningar och system i senare led.

(60f)

När det gäller grundmodeller som tillhandahålls som en tjänst, t.ex. genom API-åtkomst, bör samarbetet med leverantörer i senare led sträcka sig över hela den tid då tjänsten tillhandahålls och stöds, för att möjliggöra lämplig riskreducering, såvida inte leverantören av grundmodellen överför utbildningsmodellen samt omfattande och lämplig information om datamängderna och systemets utvecklingsprocess eller begränsar tjänsten, såsom API-åtkomst, på ett sådant sätt att leverantören i senare led fullt ut kan uppfylla kraven i denna förordning utan ytterligare stöd från den ursprungliga leverantören av grundmodellen.

(60g)

Mot bakgrund av naturen och komplexiteten för AI-systemens värdekedja är det mycket viktigt att förtydliga rollen för de aktörer som bidrar till utvecklingen av AI-system. Det råder stor osäkerhet om hur grundmodellerna kommer att utvecklas, både när det gäller modellernas typologi och självstyre. Det är därför viktigt att klargöra den rättsliga situationen för leverantörer av grundmodeller. I kombination med deras komplexitet och oväntade inverkan bör AI-leverantörens brist på kontroll över grundmodellens utveckling och den därav följande maktobalansen, och för att säkerställa en rättvis ansvarsfördelning längs AI-värdekedjan, omfattas av proportionella och mer specifika krav och skyldigheter enligt denna förordning, nämligen att grundmodeller bör bedöma och minska eventuella risker och skador genom lämplig utformning, testning och analys, genomföra dataförvaltningsåtgärder, inbegripet bedömning av snedvridningar, och bör uppfylla de tekniska konstruktionskraven för att säkerställa lämpliga prestandanivåer, förutsägbarhet, tolkningsbarhet, korrigerbarhet, säkerhet och cybersäkerhet och bör uppfylla miljöstandarder. Dessa skyldigheter bör åtföljas av standarder. Grundmodeller bör också ha informationsskyldigheter och utarbeta all nödvändig teknisk dokumentation för att potentiella leverantörer i senare led ska kunna fullgöra sina skyldigheter enligt denna förordning. Generativa grundmodeller bör säkerställa transparens om det faktum att innehållet genereras av ett AI-system, inte av människor. Dessa särskilda krav och skyldigheter innebär inte att grundmodeller betraktas som AI-system med hög risk, utan bör garantera att målen i denna förordning om att säkerställa en hög skyddsnivå för grundläggande rättigheter, hälsa och säkerhet, miljö, demokrati och rättsstatsprincipen uppnås. Förtränade modeller som utvecklats för en smalare, mindre allmän och mer begränsad uppsättning tillämpningar som inte kan anpassas för ett brett spektrum av uppgifter, såsom enkla multifunktionella AI-system, bör inte betraktas som grundmodeller vid tillämpningen av denna förordning, på grund av deras större tolkningsbarhet, vilket gör deras beteende mindre oförutsägbart.

(60h)

Med tanke på grundmodellernas karaktär saknas sakkunskap om bedömning av överensstämmelse och tredjepartsgranskningsmetoder håller fortfarande på att utvecklas. Sektorn själv håller därför på att utveckla nya sätt att bedöma grundläggande modeller som delvis uppfyller revisionsmålet (t.ex. modellutvärdering, red teaming eller verifierings- och valideringstekniker för maskininlärning). Dessa interna bedömningar av grundmodeller bör vara allmänt tillämpliga (t.ex. oberoende av distributionskanaler, modalitet och utvecklingsmetoder) för att hantera risker som är specifika för sådana modeller med beaktande av branschens senaste praxis och fokusera på att utveckla tillräcklig teknisk förståelse och kontroll över modellen, hantering av rimligen förutsebara risker samt omfattande analys och testning av modellen genom lämpliga åtgärder, t.ex. genom medverkan av oberoende utvärderare. Eftersom grundmodeller är en ny och snabbt föränderlig utveckling på området artificiell intelligens är det lämpligt att kommissionen och AI-byrån övervakar och regelbundet utvärderar lagstiftnings- och styrningsramen för sådana modeller, särskilt generativa AI-system som bygger på sådana modeller, vilket väcker betydande frågor om generering av innehåll i strid med unionsrätten, upphovsrättsregler och potentiellt missbruk. Det bör klargöras att denna förordning inte bör påverka tillämpningen av unionsrätten om upphovsrätt och närstående rättigheter, inbegripet Europaparlamentets och rådets direktiv 2001/29/EG, 2004/48/ECR och (EU) 2019/790.

(61)

Standardisering bör ha en nyckelroll för att förse leverantörerna med tekniska lösningar för att säkerställa efterlevnaden av denna förordning. Överenstämmelse med harmoniserade standarder enligt Europaparlamentets och rådets förordning (EU) nr 1025/2012 (54) bör vara ett sätt för leverantörerna att visa att de uppfyller kraven i denna förordning. Kommissionen skulle dock kunna anta gemensamma tekniska specifikationer på områden där harmoniserade standarder saknas eller är otillräckliga .

(61)

Standardisering bör ha en nyckelroll för att förse leverantörerna med tekniska lösningar för att säkerställa efterlevnaden av denna förordning. Överenstämmelse med harmoniserade standarder enligt Europaparlamentets och rådets förordning (EU) nr 1025/2012 (54) bör vara ett sätt för leverantörerna att visa att de uppfyller kraven i denna förordning. För att säkerställa standardernas effektivitet som politiskt verktyg för unionen och med tanke på vikten av standarder för att säkerställa överensstämmelse med kraven i denna förordning och för företagens konkurrenskraft är det nödvändigt att säkerställa en balanserad representation av intressen genom att involvera alla berörda parter i utarbetandet av standarder . Standardiseringsprocessen bör vara transparent vad gäller de juridiska och fysiska personer som deltar i standardiseringsverksamheten.

(61a)

För att underlätta efterlevnaden bör de första begärandena om standardisering utfärdas av kommissionen senast två månader efter det att denna förordning har trätt i kraft. Detta bör bidra till att förbättra rättssäkerheten och därigenom främja investeringar och innovation inom AI samt konkurrenskraften och tillväxten på unionsmarknaden, samtidigt som flerpartsstyrningen som företräder alla relevanta europeiska intressenter, såsom AI-byrån, europeiska standardiseringsorganisationer och standardiseringsorgan eller expertgrupper som inrättats enligt relevant sektorsspecifik unionslagstiftning samt industrin, små och medelstora företag, uppstartsföretag, det civila samhället, forskare och arbetsmarknadens parter stärks, och det bör i slutändan underlätta globalt samarbete om standardisering på AI-området på ett sätt som är förenligt med unionens värden. När kommissionen utarbetar en begäran om standardisering ska den samråda med AI-byrån och den rådgivande gruppen för att samla in relevant expertis.

(61b)

När AI-system är avsedda att användas på arbetsplatsen bör de harmoniserade standarderna begränsas till tekniska specifikationer och förfaranden.

(61c)

Kommissionen bör kunna anta gemensamma specifikationer på vissa villkor, när det inte finns någon relevant harmoniserad standard, eller för att ta itu med specifika frågor som rör de grundläggande rättigheterna. Under hela utarbetandet bör kommissionen regelbundet samråda med AI-byrån och dess rådgivande forum, de europeiska standardiseringsorganisationer och standardiseringsorgan eller expertgrupper som inrättats enligt relevant sektorsspecifik unionsrätt samt relevanta intressenter, såsom industrin, små och medelstora företag, uppstartsföretag, det civila samhället, forskare och arbetsmarknadens parter.

(61d)

När kommissionen antar gemensamma specifikationer bör den sträva efter att anpassa AI-lagstiftningen till likasinnade globala partner, vilket är avgörande för att främja innovation och gränsöverskridande partnerskap på AI-området, eftersom samordning med likasinnade partner i internationella standardiseringsorgan är av stor betydelse.

(62)

För att säkerställa en hög nivå av tillförlitlighet för AI-system med hög risk bör sådana system vara föremål för en bedömning av överensstämmelse innan de släpps ut på marknaden eller tas i bruk.

(62)

För att säkerställa en hög nivå av tillförlitlighet för AI-system med hög risk bör sådana system vara föremål för en bedömning av överensstämmelse innan de släpps ut på marknaden eller tas i bruk. För att öka förtroendet i värdekedjan och ge företagen säkerhet om hur deras system fungerar kan tredje parter som tillhandahåller AI-komponenter frivilligt ansöka om en tredjepartsbedömning av överensstämmelse.

(64)

Mot bakgrund av den mer omfattande erfarenheten av professionella certifieringsorgan före utsläppandet på marknaden på området produktsäkerhet och de olika typer av risker som är involverade, är det lämpligt att, åtminstone i den inledande fasen av denna förordnings tillämpning, begränsa tillämpningsområdet för tredjepartsbedömning av överensstämmelse när det gäller andra AI-system med hög risk än de som är relaterade till produkter. Därför bör bedömningen av överensstämmelse för sådana system som allmän regel utföras av leverantören under dennes eget ansvar, med det enda undantaget att ett anmält organs deltagande i bedömningen av överensstämmelse bör föreskrivas för AI-system avsedda att användas för biometrisk fjärridentifiering av personer , i  den utsträckning som dessa system inte är förbjudna.

(64)

Med tanke på komplexiteten hos AI-system med hög risk och de risker som är förknippade med dem är det viktigt att utveckla en mer adekvat kapacitet för tillämpning av tredjepartsbedömning av överensstämmelse för AI-system med hög risk. Mot bakgrund av den nuvarande erfarenheten av professionella certifieringsorgan före utsläppandet på marknaden på området produktsäkerhet och de olika typer av risker som är involverade, är det dock lämpligt att, åtminstone i den inledande fasen av denna förordnings tillämpning, begränsa tillämpningsområdet för tredjepartsbedömning av överensstämmelse när det gäller andra AI-system med hög risk än de som är relaterade till produkter. Därför bör bedömningen av överensstämmelse av sådana system som en allmän regel utföras av leverantören på eget ansvar, med det enda undantaget för AI-system som är avsedda att användas för biometrisk fjärridentifiering av personer, eller AI-system som är avsedda att användas för att dra slutsatser om fysiska personers personliga egenskaper på grundval av biometriska eller biometribaserade uppgifter , inbegripet känsloigenkänningssystem för vilka ett anmält organs deltagande i  bedömningen av överensstämmelse bör föreskrivas, i den mån de inte är förbjudna.

(65)

För genomförandet av tredjepartsbedömningen av överensstämmelse för AI-system avsedda att användas för biometrisk fjärridentifiering av personer , bör anmälda organ utses inom ramen för denna förordning av de nationella behöriga myndigheterna, under förutsättning att de uppfyller ett antal krav, i synnerhet vad gäller oberoende, kompetens och avsaknad av intressekonflikter.

(65)

För genomförandet av tredjepartsbedömningar av överensstämmelse när så krävs , bör anmälda organ utses inom ramen för denna förordning av de nationella behöriga myndigheterna, under förutsättning att de uppfyller ett antal krav, i synnerhet vad gäller oberoende, kompetens och avsaknad av intressekonflikter och med minimikrav för cybersäkerhet. Medlemsstaterna bör säkerställa att det finns ett tillräckligt antal organ för bedömning av överensstämmelse så att certifieringen kan göras i tid. Förfarandena för bedömning, utseende, anmälan och övervakning av organ för bedömning av överensstämmelse bör genomföras så enhetligt som möjligt i medlemsstaterna, i syfte att undanröja administrativa gränshinder och säkerställa att den inre marknadens potential förverkligas.

(65a)

I linje med unionens åtaganden enligt Världshandelsorganisationens (WTO) avtal om tekniska handelshinder är det lämpligt att i största möjliga utsträckning godta testresultat som erhållits av behöriga organ för bedömningar av överensstämmelse, oberoende av det territorium där de är etablerade, om det är nödvändigt för att visa att tillämpliga krav i förordningen är uppfyllda. Kommissionen bör aktivt undersöka möjliga internationella instrument för detta ändamål och i synnerhet sträva efter att eventuellt upprätta avtal om ömsesidigt erkännande med länder som befinner sig på en jämförbar teknisk utvecklingsnivå och har en kompatibel strategi för AI och bedömning av överensstämmelse.

(66)

I linje med det vedertagna begreppet väsentlig ändring som avser produkter som regleras genom unionens lagstiftning om harmonisering, är det lämpligt att ett AI-system genomgår en ny bedömning av överensstämmelse vid varje ändring som kan påverka systemets överensstämmelse med denna förordning eller när systemets avsedda ändamål ändras. När det gäller AI-system som fortsätter sin ”inlärning” efter att de släppts ut på marknaden eller tagits i bruk (dvs. automatiskt anpassar sitt sätt att utföra funktioner) är det nödvändigt att föreskriva regler som fastställer att ändringar av algoritmen och dess prestanda som har förutbestämts av leverantören och som bedömts i samband med bedömningen av överensstämmelse inte ska utgöra väsentliga ändringar.

(66)

I linje med det vedertagna begreppet väsentlig ändring som avser produkter som regleras genom unionens lagstiftning om harmonisering, är det lämpligt att ett AI-system med hög risk genomgår en ny bedömning av överensstämmelse vid varje oplanerad ändring som går utöver kontrollerade förändringar eller förändringar som fastställts i förväg av leverantören inbegripet kontinuerligt lärande och som kan skapa en ny oacceptabel risk och i betydande utsträckning påverka detta AI-systems överensstämmelse med denna förordning eller när systemets avsedda ändamål ändras. När det gäller AI-system som fortsätter sin ”inlärning” efter att de släppts ut på marknaden eller tagits i bruk (dvs. automatiskt anpassar sitt sätt att utföra funktioner) är det nödvändigt att föreskriva regler som fastställer att ändringar av algoritmen och dess prestanda som har förutbestämts av leverantören och som bedömts i samband med bedömningen av överensstämmelse inte ska utgöra väsentliga ändringar. Detsamma bör gälla för uppdateringar av AI-systemet av säkerhetsskäl i allmänhet och för att skydda mot framväxande hot om manipulation av systemet förutsatt att de inte utgör en väsentlig ändring.

(67)

AI-system med hög risk bör vara försedda med en CE-märkning som visar att de överensstämmer med denna förordning, så att de omfattas av den fria rörligheten på den inre marknaden. Medlemsstaterna bör inte sätta upp omotiverade hinder för utsläppandet på marknaden eller ibruktagandet av AI-system som uppfyller kraven i denna förordning och är försedda med en CE-märkning.

(67)

AI-system med hög risk bör vara försedda med en CE-märkning som visar att de överensstämmer med denna förordning, så att de omfattas av den fria rörligheten på den inre marknaden. För fysiska AI-system med hög risk bör en fysisk CE-märkning anbringas och kan kompletteras med en digital CE-märkning. För digitala AI-system med hög risk bör en digital CE-märkning användas. Medlemsstaterna bör inte sätta upp omotiverade hinder för utsläppandet på marknaden eller ibruktagandet av AI-system som uppfyller kraven i denna förordning och är försedda med en CE-märkning.

(68)

Under vissa omständigheter kan en snabb tillgång till innovativ teknik vara avgörande för hälsan och säkerheten för personer och för samhället som helhet. Det är därför lämpligt att medlemsstaterna, när det föreligger exceptionella skäl förbundna med allmän säkerhet eller skydd av fysiska personers liv och hälsa och skydd av industriell och kommersiell äganderätt , har möjlighet att tillåta utsläppandet på marknaden eller ibruktagandet av AI-system som inte har genomgått en bedömning av överensstämmelse.

(68)

Under vissa omständigheter kan en snabb tillgång till innovativ teknik vara avgörande för hälsan och säkerheten för personer , för miljön och klimatet och för samhället som helhet. Det är därför lämpligt att medlemsstaterna, när det föreligger exceptionella skäl förbundna med allmän säkerhet eller skydd av fysiska personers liv och hälsa , skydd för miljön och skydd av kritisk infrastruktur , har möjlighet att tillåta utsläppandet på marknaden eller ibruktagandet av AI-system som inte har genomgått en bedömning av överensstämmelse.

(69)

För att underlätta kommissionens och medlemsstaternas arbete på området artificiell intelligens och öka transparensen gentemot allmänheten, bör leverantörer av andra AI-system med hög risk än de som är relaterade till produkter som faller inom tillämpningsområdet för relevant befintlig unionslagstiftning om harmonisering åläggas att registrera sina AI-system med hög risk i en EU-databas, som upprättas och förvaltas av kommissionen. Kommissionen bör vara personuppgiftsansvarig för denna databas i enlighet med Europaparlamentets och rådets förordning (EU) 2018/1725 (55). För att säkerställa att databasen är fullt funktionell när den börjar användas, bör förfarandet för inrättandet av databasen innefatta funktionsspecifikationer som utarbetas av kommissionen samt en oberoende revisionsrapport.

(69)

För att underlätta kommissionens och medlemsstaternas arbete på området artificiell intelligens och öka transparensen gentemot allmänheten, bör leverantörer av andra AI-system med hög risk än de som är relaterade till produkter som faller inom tillämpningsområdet för relevant befintlig unionslagstiftning om harmonisering åläggas att registrera sina AI-system med hög risk och grundmodeller i en EU-databas, som upprättas och förvaltas av kommissionen. Denna databas bör vara fritt och allmänt tillgänglig, lättbegriplig och maskinläsbar. Databasen bör också vara användarvänlig och lätt att navigera, med sökfunktioner som åtminstone gör det möjligt för allmänheten att söka i databasen efter särskilda högrisksystem, platser, riskkategorier enligt bilaga IV och nyckelord. Användare som är offentliga myndigheter eller unionens institutioner, organ och byråer eller användare som agerar på deras vägnar och användare som är företag som betecknas som grindvakt enligt förordning (EU) 2022/1925 bör också registrera sig i EU-databasen innan de tas i bruk eller använder ett AI-system med hög risk för första gången och efter varje väsentlig ändring. Andra användare bör ha rätt att göra detta frivilligt. Alla väsentliga ändringar av AI-system med hög risk ska också registreras i EU-databasen. Kommissionen bör vara personuppgiftsansvarig för denna databas i enlighet med Europaparlamentets och rådets förordning (EU) 2018/1725 (55). För att säkerställa att databasen är fullt funktionell när den börjar användas, bör förfarandet för inrättandet av databasen innefatta funktionsspecifikationer som utarbetas av kommissionen samt en oberoende revisionsrapport. Kommissionen bör ta hänsyn till cybersäkerhets- och farorelaterade risker när den utför sina uppgifter som personuppgiftsansvarig i EU-databasen. För att allmänheten ska få så stor tillgång till och kunna använda databasen så mycket som möjligt bör databasen, och den information som tillgängliggörs genom den, uppfylla kraven i direktiv 2019/882.

(71)

Artificiell intelligens är en teknikfamilj i snabb utveckling som kräver nya former av tillsyn och ett säkert område för experiment, med säkerställande av ansvarsfull innovation och integrering av ändamålsenliga skydds- och riskbegränsningsåtgärder. För att säkerställa en rättslig ram som är innovationsvänlig, framtidssäkrad och resilient mot störningar, bör de nationella behöriga myndigheterna från en eller flera medlemsstater uppmuntras att inrätta ”regulatoriska sandlådor” för artificiell intelligens, för att främja utveckling och testning av innovativa AI-system under strikt tillsyn innan dessa system släpps ut på marknaden eller på annat sätt tas i bruk.

(71)

Artificiell intelligens är en teknikfamilj i snabb utveckling som kräver tillsyn och ett säkert och kontrollerat område för experiment, med säkerställande av ansvarsfull innovation och integrering av ändamålsenliga skydds- och riskbegränsningsåtgärder. För att säkerställa en rättslig ram som främjar innovation och är framtidssäkrad och resilient mot störningar, bör medlemsstaterna inrätta åtminstone en ”regulatorisk sandlåda” för artificiell intelligens, för att främja utveckling och testning av innovativa AI-system under strikt tillsyn innan dessa system släpps ut på marknaden eller på annat sätt tas i bruk. Det är verkligen önskvärt att inrättandet av regulatoriska sandlådor, vars inrättande för närvarande överlåts åt medlemsstaterna, som ett nästa steg görs obligatoriskt med fastställda kriterier. Denna obligatoriska sandlåda skulle också kunna inrättas tillsammans med en eller flera andra medlemsstater, förutsatt att den sandlådan täcker respektive nationell nivå i de berörda medlemsstaterna. Ytterligare sandlådor får också inrättas på olika nivåer, även mellan medlemsstater, för att underlätta gränsöverskridande samarbete och synergier. Med undantag för den obligatoriska sandlådan på nationell nivå bör medlemsstaterna också kunna inrätta virtuella sandlådor eller hybridsandlådor. Alla regulatoriska sandlådor bör kunna rymma både fysiska och virtuella produkter. De etablerande myndigheterna bör också säkerställa att de regulatoriska sandlådorna har tillräckliga ekonomiska resurser och personalresurser för att de ska fungera som de ska.

(72)

Syftet med dessa ”regulatoriska sandlådor” bör vara att främja AI-innovation genom skapande av en kontrollerad försöks- och testmiljö för utveckling i fasen före utsläppandet på marknaden, med sikte på att säkerställa att de innovativa AI-systemen är förenliga med denna förordning och annan lagstiftning på unions- eller medlemsstatsnivå , att öka rättssäkerheten för innovatörer och förbättra de behöriga myndigheternas tillsyn och förståelse av möjligheterna, de nya riskerna och effekterna av AI-användningen, samt att öka tillgången till marknader, bland annat genom att undanröja hinder för små och medelstora företag och uppstartsföretag. För att säkerställa ett enhetligt genomförande i  hela unionen och stordriftsfördelar är det lämpligt att fastställa gemensamma regler för införandet av regulatoriska sandlådor och en samarbetsram för de berörda myndigheter som deltar i tillsynen över sådana sandlådor. Denna förordning bör erbjuda den rättsliga grunden för användning av personuppgifter för andra ändamål än utvecklingen av vissa AI-system i allmänhetens intresse inom regulatoriska sandlådor för AI, i linje med artikel 6 . 4 i förordning (EU) 2016/679 och artikel 6 i  förordning (EU) 2018/1725, och utan att det påverkar tillämpningen av artikel 4.2 i direktiv (EU) 2016/680. Deltagarna i sandlådan bör säkerställa ändamålsenliga skyddsåtgärder och samarbeta med de behöriga myndigheterna, vilket omfattar att följa deras vägledning och agera snabbt och i  god tro för att begränsa eventuella höga risker för säkerhet och grundläggande rättigheter som kan uppstå i samband med utvecklings- och försöksverksamhet i sandlådan. Deltagarnas agerande i sandlådan bör beaktas när de behöriga myndigheterna beslutar om påförande av administrativa sanktionsavgifter enligt artikel 83.2 i förordning 2016/679 och artikel 57 i direktiv 2016/680.

(72)

Målen för regulatoriska sandlådor bör vara följande: för att de grundande myndigheterna ska öka sin förståelse av den tekniska utvecklingen, förbättra tillsynsmetoderna och ge vägledning till utvecklare och leverantörer av AI-system för att uppnå regelefterlevnad med denna förordning eller, i förekommande fall, annan tillämplig unionslagstiftning och medlemsstaternas lagstiftning , samt med stadgan om de grundläggande rättigheterna. För att de presumtiva leverantörerna ska kunna tillåta och underlätta testning och utveckling av innovativa lösningar med anknytning till AI-system i den sonderande marknadsföringsfasen för att öka rättssäkerheten, möjliggöra mer regleringslärande genom att inrätta myndigheter i  en kontrollerad miljö för att utveckla bättre vägledning och identifiera möjliga framtida förbättringar av den rättsliga ramen genom det ordinarie lagstiftningsförfarandet. Alla betydande risker som upptäcks under utvecklingen och testningen av sådana AI-system bör leda till omedelbara kompenserande åtgärder och, om detta inte är möjligt, leda till att utvecklings- och testprocessen avbryts till dess att sådana kompenserande åtgärder äger rum . För att säkerställa ett enhetligt genomförande i  hela unionen och stordriftsfördelar är det lämpligt att fastställa gemensamma regler för införandet av regulatoriska sandlådor och en samarbetsram för de berörda myndigheter som deltar i tillsynen över sådana sandlådor. Medlemsstaterna bör säkerställa att regulatoriska sandlådor är allmänt tillgängliga i  hela unionen, samtidigt som deltagandet bör förbli frivilligt. Det är särskilt viktigt att se till att små och medelstora företag och uppstartsföretag lätt kan få tillgång till dessa sandlådor och aktivt involveras och medverka i utveckling och testning av innovativa AI-system, så att de kan bidra med sina kunskaper och erfarenheter .

(72a)

Denna förordning bör erbjuda den rättsliga grunden för användning av personuppgifter för andra ändamål än utvecklingen av vissa AI-system i allmänhetens intresse inom regulatoriska sandlådor för AI endast på de angivna villkoren, i linje med artikel 6.4 i förordning (EU) 2016/679 och artikel 6 i förordning (EU) 2018/1725, och utan att det påverkar tillämpningen av artikel 4.2 i direktiv (EU) 2016/680. Potentiella leverantörer i sandlådan bör säkerställa ändamålsenliga skyddsåtgärder och samarbeta med de behöriga myndigheterna, vilket omfattar att följa deras vägledning och agera snabbt och i god tro för att begränsa eventuella höga risker för säkerhet, hälsa, miljön och grundläggande rättigheter som kan uppstå i samband med utvecklings- och försöksverksamhet i sandlådan. De potentiella leverantörernas agerande i sandlådan bör beaktas när de behöriga myndigheterna beslutar om tillfällig eller permanent avstängning av dem från deltagande i sandlådan eller påförande av administrativa sanktionsavgifter enligt artikel 83.2 i förordning (EU) 2016/679 och artikel 57 i direktiv (EU) 2016/680.

(72b)

För att säkerställa att artificiell intelligens leder till socialt och miljömässigt gynnsamma resultat bör medlemsstaterna stödja och främja forskning om och utveckling av AI till stöd för socialt och miljömässigt gynnsamma resultat genom att tilldela tillräckliga resurser, bland annat offentliga medel och EU-medel, och ge prioriterad åtkomst till regulatoriska sandlådor för projekt som drivs av civilsamhället. Projekten bör grunda sig på principen om interdisciplinärt samarbete mellan AI-utvecklare, experter på ojämlikhet och icke-diskriminering, tillgänglighet, konsument- och miljörättigheter samt digitala rättigheter, och akademiker.

(73)

För att främja och skydda innovation är det viktigt att särskild hänsyn tas till småskaliga leverantörer och användare av AI-system. I detta syfte bör medlemsstaterna ta fram initiativ som riktar sig till dessa aktörer, bland annat vad gäller medvetandehöjande och information. De småskaliga leverantörernas särskilda intressen bör också beaktas när de anmälda organen fastställer avgifterna för bedömning av överensstämmelse. Kostnaderna för översättning av obligatorisk dokumentation och kommunikation med myndigheter kan utgöra betydande kostnader för leverantörer och andra aktörer, i synnerhet mer småskaliga sådana. Medlemsstaterna bör eventuellt säkerställa att ett av de språk som fastställs och godtas av dem för relevant dokumentation från aktörer och för kommunikation med aktörer är ett språk som i huvudsak förstås av största möjliga antal användare i gränsöverskridande situationer.

(73)

För att främja och skydda innovation är det viktigt att särskild hänsyn tas till småskaliga leverantörer och användare av AI-system. I detta syfte bör medlemsstaterna ta fram initiativ som riktar sig till dessa aktörer, bland annat vad gäller AI-kunskaper, medvetandehöjande och information. Medlemsstaterna måste använda befintliga kanaler och, där det är lämpligt, inrätta nya särskilda kanaler för kommunikation med små och medelstora företag, nystartade företag, användare och andra innovatörer i syfte av att ge vägledning och svara på frågor om genomförandet av denna förordning. Sådana befintliga kanaler skulle kunna inbegripa, men är inte begränsade till, Enisas it-incidentcentrum, nationella dataskyddsmyndigheter, plattformen för efterfrågestyrd AI, de europeiska digitala innovationsknutpunkterna och andra relevanta instrument som finansieras av EU-program samt de test- och försöksanläggningar som inrättas av kommissionen och medlemsstaterna på nationell nivå eller unionsnivå. Där så är lämpligt bör dessa kanaler samarbeta för att skapa synergier och säkerställa homogenitet i sin vägledning till nystartade företag, små och medelstora företag och användare. De småskaliga leverantörernas särskilda intressen bör också beaktas när de anmälda organen fastställer avgifterna för bedömning av överensstämmelse. Kommissionen måste regelbundet bedöma kostnaderna för certifiering och efterlevnad för små och medelstora företag och nystartade företag, inbegripet genom transparenta samråd med små och medelstora företag, nystartade företag och användare, samt samarbeta med medlemsstaterna för att sänka sådana kostnader. Till exempel kan kostnaderna för översättning av obligatorisk dokumentation och kommunikation med myndigheter utgöra betydande kostnader för leverantörer och andra aktörer, i synnerhet mer småskaliga sådana. Medlemsstaterna bör eventuellt säkerställa att ett av de språk som fastställs och godtas av dem för relevant dokumentation från aktörer och för kommunikation med aktörer är ett språk som i huvudsak förstås av största möjliga antal användare i gränsöverskridande situationer. Medelstora företag som nyligen har gått från kategorin små företag till medelstora företag i den mening som avses i bilagan till rekommendation 2003/361/EG måste ha tillgång till dessa initiativ och denna vägledning under en tidsperiod som medlemsstaterna anser vara lämplig, eftersom dessa nya medelstora företag ibland saknar de rättsliga resurser och den utbildning som krävs för att säkerställa en korrekt förståelse och efterlevnad av bestämmelserna.

(74)

För att minimera risker för genomförandet som följer av bristande kunskap och expertis på marknaden, och för att främja leverantörernas och de anmälda organens uppfyllande av sina skyldigheter enligt denna förordning, bör plattformen för efterfrågestyrd AI, de europeiska digitala innovationsknutpunkterna och de test- och försöksanläggningar som inrättas av kommissionen och medlemsstaterna på nationell nivå och EU-nivå bidra till genomförandet av denna förordning. Inom sina respektive uppdrag och kompetensområden kan de i synnerhet tillhandahålla tekniskt och vetenskapligt stöd till leverantörer och anmälda organ.

(76)

För att främja ett smidigt, effektivt och harmoniserat genomförande av denna förordning bör en europeisk nämnd för artificiell intelligens inrättas. Nämnden bör ansvara för ett antal rådgivande uppgifter, däribland att utfärda yttranden, rekommendationer, råd eller vägledning om frågor som rör genomförandet av denna förordning, inbegripet när det gäller tekniska specifikationer eller befintliga standarder avseende kraven i denna förordning och råd och bistånd till kommissionen om specifika frågor som rör artificiell intelligens .

(76)

För att undvika fragmentering, säkerställa att den inre marknaden fungerar optimalt, säkerställa ett effektivt och harmoniserat genomförande av denna förordning , uppnå en hög grad av tillförlitlighet och skydd av hälsa och säkerhet, grundläggande rättigheter, miljön, demokratin och rättsstatsprincipen i hela unionen när det gäller AI-system, aktivt stödja nationella tillsynsmyndigheter och unionens institutioner, organ och byråer i frågor som rör denna förordning samt öka användningen av artificiell intelligens i hela unionen bör Europeiska unionens byrå för artificiell intelligens (AI-byrån) inrättas. AI-byrån bör vara en juridisk person, agera helt oberoende och ansvara för ett antal rådgivande uppgifter och samordningsuppgifter , däribland att utfärda yttranden, rekommendationer, råd eller vägledning om frågor som rör genomförandet av denna förordning, och den bör erhålla tillräcklig finansiering och personal . Medlemsstaterna bör tillhandahålla strategisk inriktning och kontroll med avseende på AI-byrån genom dess styrelse, tillsammans med kommissionen, Europeiska datatillsynsmannen, Europeiska unionens byrå för grundläggande rättigheter och Europeiska unionens cybersäkerhetsbyrå. En verkställande direktör bör ansvara för förvaltningen av verksamheten vid AI-byråns sekretariat och för att företräda byrån. Berörda parter bör delta formellt i AI-byråns arbete genom ett rådgivande forum som bör säkerställa varierad och balanserad representation av berörda parter och bör ge AI-byrån råd om frågor som rör denna förordning. Om inrättandet av AI-byrån visar sig vara otillräckligt för att säkerställa en fullständigt konsekvent tillämpning av denna förordning på unionsnivå samt effektiva gränsöverskridande efterlevnadsåtgärder bör inrättande av en AI-myndighet övervägas.

(77)

EU-länderna har en central roll i tillämpningen och kontrollen av efterlevnaden av denna förordning. I detta hänseende bör varje medlemsstat utse en eller flera nationella behöriga myndigheter för att övervaka tillämpningen och genomförandet av denna förordning. För att öka den organisatoriska effektiviteten från medlemsstaternas sida och inrätta en officiell kontaktpunkt för kontakterna med allmänheten och andra motparter på medlemsstatsnivå och unionsnivå bör en nationell myndighet utses till nationell tillsynsmyndighet i varje medlemsstat .

(77)

Varje medlemsstat bör utse en nationell tillsynsmyndighet med uppdrag att övervaka tillämpningen och genomförandet av denna förordning. Den bör även företräda sin medlemsstat i AI-byråns styrelse. För att öka den organisatoriska effektiviteten från medlemsstaternas sida och inrätta en officiell kontaktpunkt för kontakterna med allmänheten och andra motparter på medlemsstatsnivå och unionsnivå . Varje nationell tillsynsmyndighet bör vara fullständigt oberoende i utförandet av sina uppgifter och utövandet av sina befogenheter i enlighet med denna förordning .

(77a)

De nationella tillsynsmyndigheterna bör övervaka tillämpningen av bestämmelserna enligt denna förordning och bidra till enhetlig tillämpning av den i hela unionen. I detta syfte bör de nationella tillsynsmyndigheterna samarbeta med varandra, de relevanta nationella behöriga myndigheterna, kommissionen och AI-byrån.

(77b)

Medlemmarna och personalen vid varje nationell tillsynsmyndighet bör i enlighet med unionsrätten eller nationell rätt omfattas av tystnadsplikt både under och efter sin mandattid vad avser konfidentiell information som de fått kännedom om under utförandet av sina uppgifter eller utövandet av sina befogenheter. Under deras mandattid bör denna tystnadsplikt i synnerhet gälla företagshemligheter och fysiska personers rapportering om överträdelser av denna förordning.

(78)

För att säkerställa att leverantörer av AI-system med hög risk kan beakta erfarenheterna från användning av AI-system med hög risk för att förbättra sina system och utformnings- och utvecklingsprocessen, eller kan vidta eventuella korrigerande åtgärder i rätt tid, bör alla leverantörer ha ett system för övervakning av produkter som släppts ut på marknaden. Detta system är också viktigt för att säkerställa att eventuella risker som härrör från AI-system som fortsätter sin ”inlärning” efter att de släppts ut på marknaden eller tagits i bruk kan hanteras på ett mer effektivt sätt och i rätt tid. I detta sammanhang bör leverantörerna också åläggas att ha ett system för rapportering till de berörda myndigheterna av alla allvarliga incidenter eller överträdelser av nationell lagstiftning och unionslagstiftning som skyddar grundläggande rättigheter som orsakas av användningen av deras AI-system.

(78)

För att säkerställa att leverantörer av AI-system med hög risk kan beakta erfarenheterna från användning av AI-system med hög risk för att förbättra sina system och utformnings- och utvecklingsprocessen, eller kan vidta eventuella korrigerande åtgärder i rätt tid, bör alla leverantörer ha ett system för övervakning av produkter som släppts ut på marknaden. Detta system är också viktigt för att säkerställa att eventuella risker som härrör från AI-system som fortsätter sin ”inlärning” eller utvecklas efter att de släppts ut på marknaden eller tagits i bruk kan hanteras på ett mer effektivt sätt och i rätt tid. I detta sammanhang bör leverantörerna också åläggas att ha ett system för rapportering till de berörda myndigheterna av alla allvarliga incidenter eller överträdelser av nationell rätt och unionsrätten – bland annat den som skyddar grundläggande rättigheter och konsumenträttigheter – som orsakas av användningen av deras AI-system , samt att vidta lämpliga korrigerande åtgärder . Användare bör också till de berörda myndigheterna rapportera alla allvarliga incidenter eller överträdelser av nationell rätt och unionsrätten som orsakas av användningen av deras AI-system, när de får kännedom om sådana allvarliga incidenter eller överträdelser.

(79)

För att säkerställa en ändamålsenlig och effektiv kontroll av uppfyllandet av de krav och skyldigheter som fastställs i denna förordning, som utgör en del av unionens harmoniseringslagstiftning, bör det system för marknadskontroll och överensstämmelse för produkter som inrättas genom förordning (EU) 2019/1020 gälla i sin helhet. När det är nödvändigt för deras uppdrag bör nationella offentliga myndigheter eller organ, som övervakar tillämpningen av unionslagstiftning som skyddar grundläggande rättigheter, inbegripet likabehandlingsorgan, också ha tillgång till all dokumentation som skapas i enlighet med denna förordning.

(79)

För att säkerställa en ändamålsenlig och effektiv kontroll av uppfyllandet av de krav och skyldigheter som fastställs i denna förordning, som utgör en del av unionens harmoniseringslagstiftning, bör det system för marknadskontroll och överensstämmelse för produkter som inrättas genom förordning (EU) 2019/1020 gälla i sin helhet. Vid tillämpningen av denna förordning bör de nationella tillsynsmyndigheterna fungera som marknadskontrollmyndigheter för AI-system som omfattas av denna förordning, med undantag för AI-system som omfattas av bilaga II till denna förordning. För AI-system som omfattas av rättsakter som förtecknas i bilaga II bör de behöriga myndigheterna enligt de rättsakterna förbli ansvariga myndigheter. Nationella tillsynsmyndigheter och behöriga myndigheter i de rättsakter som förtecknas i bilaga II bör vid behov samarbeta. När så är lämpligt bör de behöriga myndigheterna i de rättsakter som förtecknas i bilaga II sända behörig personal till den nationella tillsynsmyndigheten för att bistå vid utförandet av dess uppgifter. Vid tillämpningen av denna förordning bör de nationella tillsynsmyndigheterna ha samma befogenheter och skyldigheter som marknadskontrollmyndigheterna enligt förordning (EU) 2019/1020. När det är nödvändigt för deras uppdrag bör nationella offentliga myndigheter eller organ, som övervakar tillämpningen av unionslagstiftning som skyddar grundläggande rättigheter, inbegripet likabehandlingsorgan, också ha tillgång till all dokumentation som skapas i enlighet med denna förordning. Efter att ha uttömt alla andra rimliga sätt att bedöma/kontrollera överensstämmelsen och på motiverad begäran bör den nationella tillsynsmyndigheten ges tillgång till tränings-, validerings- och testningsdataset, det tränade AI-systemet med hög risk och träningsmodellen för detta, inbegripet dess relevanta modellparametrar och deras tillämpnings-/träningsmiljö. I fall av enklare programvarusystem som omfattas av denna förordning men som inte bygger på tränade modeller och där alla andra sätt att kontrollera överensstämmelsen har uttömts, bör den nationella tillsynsmyndigheten undantagsvis ha tillgång till källkoden, på motiverad begäran. Om den nationella tillsynsmyndigheten har beviljats tillgång till tränings-, validerings- och testningsdataset i enlighet med denna förordning bör sådan åtkomst uppnås med hjälp av lämpliga tekniska medel och verktyg, inbegripet åtkomst på plats och, i undantagsfall, fjärråtkomst. Den nationella tillsynsmyndigheten bör behandla all information som erhålls – inbegripet källkod, programvara och data, beroende på vad som är tillämpligt – som konfidentiell information och respektera relevant unionsrätt om skydd av immateriella rättigheter och företagshemligheter. Den nationella tillsynsmyndigheten bör radera all information som erhållits när utredningen slutförts.

(80)

Unionslagstiftningen om finansiella tjänster omfattar regler och krav för interna styrelseformer och riskhantering som är tillämpliga på reglerade finansiella institut i samband med tillhandahållandet av dessa tjänster, även när de använder AI-system. För att säkerställa en enhetlig tillämpning och kontroll av efterlevnaden av skyldigheterna enligt denna förordning och relevanta regler och krav i  unionslagstiftningen för finansiella tjänster, bör de myndigheter som ansvarar för tillsynen och kontrollen av efterlevnaden av lagstiftningen om finansiella tjänster, inbegripet i förekommande fall Europeiska centralbanken, utses till behöriga myndigheter för tillsynen över genomförandet av denna förordning, även med avseende på marknadskontroll, när det gäller AI-system som tillhandahålls eller används av reglerade och övervakade finansiella institut. För att ytterligare öka konsekvensen mellan denna förordning och de regler som är tillämpliga på kreditinstitut som regleras genom Europaparlamentets och rådets direktiv 2013/36/EU är det också lämpligt att i de befintliga skyldigheterna och förfarandena enligt direktiv 2013/36/EU (56) integrera förfarandet för bedömning av överensstämmelse och några av leverantörernas förfarandemässiga skyldigheter vad gäller riskhantering, övervakning av produkter som släppts ut på marknaden och dokumentation. För att undvika överlappningar bör begränsade undantag också förutses när det gäller leverantörernas kvalitetsledningssystem och de övervakningsskyldigheter som gäller för användare av AI-system med hög risk i den utsträckning som dessa är tillämpliga på kreditinstitut som regleras genom direktiv 2013/36/EU.

(80)

Unionsrätten om finansiella tjänster omfattar regler och krav för interna styrelseformer och riskhantering som är tillämpliga på reglerade finansiella institut i samband med tillhandahållandet av dessa tjänster, även när de använder AI-system. För att säkerställa en enhetlig tillämpning och kontroll av efterlevnaden av skyldigheterna enligt denna förordning och relevanta regler och krav i  unionsrätten för finansiella tjänster, bör de behöriga myndigheter som ansvarar för tillsynen och kontrollen av efterlevnaden av rätten om finansiella tjänster, inbegripet i förekommande fall Europeiska centralbanken, utses till behöriga myndigheter för tillsynen över genomförandet av denna förordning, även med avseende på marknadskontroll, när det gäller AI-system som tillhandahålls eller används av reglerade och övervakade finansiella institut. För att ytterligare öka konsekvensen mellan denna förordning och de regler som är tillämpliga på kreditinstitut som regleras genom Europaparlamentets och rådets direktiv 2013/36/EU är det också lämpligt att i de befintliga skyldigheterna och förfarandena enligt direktiv 2013/36/EU (56) integrera förfarandet för bedömning av överensstämmelse och några av leverantörernas förfarandemässiga skyldigheter vad gäller riskhantering, övervakning av produkter som släppts ut på marknaden och dokumentation. För att undvika överlappningar bör begränsade undantag också förutses när det gäller leverantörernas kvalitetsledningssystem och de övervakningsskyldigheter som gäller för användare av AI-system med hög risk i den utsträckning som dessa är tillämpliga på kreditinstitut som regleras genom direktiv 2013/36/EU.

(80a)

Med tanke på målen för denna förordning, dvs. att säkerställa en likvärdig skyddsnivå för fysiska personers hälsa, säkerhet och grundläggande rättigheter och säkerställa skyddet av rättsstatsprincipen och demokratin, och med beaktande av att begränsningen av AI-systemens risker för sådana rättigheter eventuellt inte i tillräcklig utsträckning uppnås på nationell nivå, eller kan bli föremål för olika tolkningar, vilket i slutändan skulle kunna leda till en ojämn skyddsnivå för fysiska personer och en fragmentering av marknaden, bör de nationella tillsynsmyndigheterna ges befogenhet att genomföra gemensamma utredningar eller förlita sig på unionens förfarande för skyddsåtgärder som föreskrivs i denna förordning för en effektiv kontroll av efterlevnaden. Gemensamma utredningar bör inledas om den nationella tillsynsmyndigheten har tillräckliga skäl att anta att en överträdelse av denna förordning utgör en utbredd överträdelse eller en utbredd överträdelse med en unionsdimension, eller om AI-systemet eller grundmodellen utgör en risk som påverkar eller sannolikt kommer att påverka minst 45 miljoner enskilda personer i mer än en medlemsstat.

(82)

Det är viktigt att AI-system som avser produkter som inte utgör hög risk enligt denna förordning och som därmed inte måste uppfylla kraven i förordningen ändå är säkra när de släpps ut på marknaden eller tas i bruk. För att bidra till detta mål skulle Europaparlamentets och rådets direktiv 2001/95/EG (57) tillämpas som ett skyddsnät.

(82)

Det är viktigt att AI-system som avser produkter som inte utgör hög risk enligt denna förordning och som därmed inte måste uppfylla kraven på AI-system med hög risk ändå är säkra när de släpps ut på marknaden eller tas i bruk. För att bidra till detta mål skulle Europaparlamentets och rådets direktiv 2001/95/EG (57) tillämpas som ett skyddsnät.

(83)

För att säkerställa ett förtroendefullt och konstruktivt samarbete mellan behöriga myndigheter på unionsnivå och nationell nivå bör alla parter som är involverade i tillämpningen av denna förordning respektera konfidentialiteten för information och data som de erhåller i utförandet av sina uppgifter.

(83)

För att säkerställa ett förtroendefullt och konstruktivt samarbete mellan behöriga myndigheter på unionsnivå och nationell nivå bör alla parter som är involverade i tillämpningen av denna förordning sträva efter transparens och öppenhet, samtidigt som de respekterar konfidentialiteten för information och data som de erhåller i utförandet av sina uppgifter , genom att införa tekniska och organisatoriska åtgärder för att skydda säkerheten och konfidentialiteten för information som de erhåller i sin verksamhet, också när det gäller immateriella rättigheter och allmänna och nationella säkerhetsintressen . Om den verksamhet som bedrivs av kommissionen, nationella behöriga myndigheter, och anmälda organ enligt denna förordning medför intrång i immateriella rättigheter, bör medlemsstaterna föreskriva adekvata åtgärder och rättsmedel för att säkerställa skyddet av de immateriella rättigheterna i enlighet med direktiv 2004/48/EG.

(84)

Medlemsstaterna bör vidta alla nödvändiga åtgärder för att säkerställa att bestämmelserna i denna förordning genomförs, bland annat genom att fastställa effektiva, proportionella och avskräckande sanktioner för åsidosättande av dem. För vissa specifika överträdelser bör medlemsstaterna beakta de marginaler och kriterier som fastställs i denna förordning . Europeiska datatillsynsmannen bör ha befogenhet att ålägga böter för unionens institutioner, byråer och organ som omfattas av denna förordning.

(84)

Efterlevnaden av denna förordning bör kunna verkställas genom att den nationella tillsynsmyndigheten ålägger sanktionsavgifter när den genomför förfaranden enligt det förfarande som fastställs i denna förordning. Medlemsstaterna bör vidta alla nödvändiga åtgärder för att säkerställa att bestämmelserna i denna förordning genomförs, bland annat genom att fastställa effektiva, proportionella och avskräckande sanktioner för åsidosättande av dem. För att stärka och harmonisera de administrativa sanktionerna för överträdelser av denna förordning bör det fastställas övre gränser för fastställande av administrativa sanktionsavgifter för vissa specifika överträdelser . Vid bedömningen av sanktionsavgifterna bör de nationella behöriga myndigheterna i varje enskilt fall beakta alla relevanta omständigheter i den specifika situationen, med vederbörlig hänsyn särskilt till överträdelsens art, svårighetsgrad och varaktighet och dess konsekvenser samt till leverantörens storlek, särskilt ifall leverantören tillhör kategorin små och medelstora företag eller är ett nystartat företag . Europeiska datatillsynsmannen bör ha befogenhet att ålägga böter för unionens institutioner, byråer och organ som omfattas av denna förordning. Sanktionerna och rättegångskostnaderna enligt denna förordning bör inte omfattas av avtalsklausuler eller andra arrangemang.

(84a)

Eftersom rättigheterna och friheterna för fysiska och juridiska personer och grupper av fysiska personer allvarligt kan undergrävas av AI-system är det viktigt att fysiska och juridiska personer eller grupper av fysiska personer har meningsfull tillgång till mekanismer för rapportering och rättslig prövning och har rätt till proportionella och effektiva rättsmedel. De bör kunna rapportera överträdelser av denna förordning till sina nationella tillsynsmyndigheter och ha rätt att lämna in klagomål mot leverantörer eller användare av AI-system. I tillämpliga fall bör användare tillhandahålla interna klagomålsmekanismer som fysiska och juridiska personer eller grupper av fysiska personer ska kunna använda. Utan att det påverkar något annat administrativt prövningsförfarande eller prövningsförfarande utanför domstol bör fysiska och juridiska personer och grupper av fysiska personer också ha rätt till ett effektivt rättsmedel med avseende på rättsligt bindande beslut av en nationell tillsynsmyndighet som rör dem, eller ifall den nationella tillsynsmyndigheten inte behandlar ett klagomål, inte informerar den klagande om hur det inlämnade klagomålet fortskrider eller om det preliminära resultatet av det eller inte fullgör sin skyldighet att fatta ett slutligt beslut med avseende på klagomålet.

(84b)

Personer som påverkas bör under alla omständigheter informeras om att de är föremål för användning av ett AI-system med hög risk när användare använder ett AI-system med hög risk för att bistå i beslutsfattande eller fatta beslut som rör fysiska personer. Denna information kan utgöra en grund för personer som påverkas att utöva sin rätt till en förklaring enligt denna förordning. När användare lämnar en förklaring till personer som påverkas enligt denna förordning bör de ta hänsyn till genomsnittskonsumentens eller den enskilda personens expertis och kunskap.

(84c)

Unionsrätten om skydd för visselblåsare (direktiv (EU) 2019/1937) är fullt tillämplig på akademiker, formgivare, utvecklare, personer som bidrar till projekt, revisorer, produktchefer, ingenjörer och ekonomiska aktörer som erhåller information om överträdelser av unionsrätten som begås av en leverantör av AI-system eller dess AI-system.

(85)

För att säkerställa att regelverket vid behov kan anpassas bör befogenheten att anta akter i enlighet med artikel 290 i EUF-fördraget delegeras till kommissionen när det gäller ändring av de tekniker och metoder som anges i bilaga I för definition av AI-system, unionens lagstiftning om harmonisering som förtecknas i bilaga II, AI-system med hög risk som förtecknas i bilaga III, bestämmelserna om teknisk dokumentation som förtecknas i bilaga IV, innehållet i EU-försäkran om överensstämmelse i bilaga V, bestämmelserna om förfaranden för bedömning av överensstämmelse i bilagorna VI och VII och bestämmelserna om fastställande av de AI-system med hög risk som omfattas av det förfarande för bedömning av överensstämmelse som baseras på en bedömning av kvalitetsledningssystemet och en bedömning av den tekniska dokumentationen. Det är särskilt viktigt att kommissionen genomför lämpliga samråd under sitt förberedande arbete, inklusive på expertnivå, och att dessa samråd genomförs i enlighet med principerna i det interinstitutionella avtalet om bättre lagstiftning av den 13 april 2016 (58). För att säkerställa lika stor delaktighet i förberedelsen av delegerade akter erhåller Europaparlamentet och rådet alla handlingar samtidigt som medlemsstaternas experter, och deras experter ges systematiskt tillträde till möten i kommissionens expertgrupper som arbetar med förberedelse av delegerade akter.

(85)

För att säkerställa att regelverket vid behov kan anpassas bör befogenheten att anta akter i enlighet med artikel 290 i EUF-fördraget delegeras till kommissionen när det gäller ändring av unionens harmoniseringslagstiftning som förtecknas i bilaga II, AI-system med hög risk som förtecknas i bilaga III, bestämmelserna om teknisk dokumentation som förtecknas i bilaga IV, innehållet i EU-försäkran om överensstämmelse i bilaga V, bestämmelserna om förfaranden för bedömning av överensstämmelse i bilagorna VI och VII och bestämmelserna om fastställande av de AI-system med hög risk som omfattas av det förfarande för bedömning av överensstämmelse som baseras på en bedömning av kvalitetsstyrningssystemet och en bedömning av den tekniska dokumentationen. Det är särskilt viktigt att kommissionen genomför lämpliga samråd under sitt förberedande arbete, inklusive på expertnivå, och att dessa samråd genomförs i enlighet med principerna i det interinstitutionella avtalet om bättre lagstiftning av den 13 april 2016 (58). Dessa samråd bör inbegripa deltagande av ett balanserat urval av berörda parter, inbegripet konsumentorganisationer, det civila samhället, sammanslutningar som företräder personer som påverkas, företrädare för företag från olika sektorer och av olika storlek samt forskare och vetenskapsmän. För att säkerställa lika stor delaktighet i förberedelsen av delegerade akter erhåller Europaparlamentet och rådet alla handlingar samtidigt som medlemsstaternas experter, och deras experter ges systematiskt tillträde till möten i kommissionens expertgrupper som arbetar med förberedelse av delegerade akter.

(85a)

Med tanke på den snabba tekniska utvecklingen och den tekniska expertis som krävs vid bedömningen av AI-system med hög risk bör kommissionen regelbundet, åtminstone årligen, se över genomförandet av denna förordning, särskilt de förbjudna AI-systemen, transparenskraven och förteckningen över högriskområden och användningsfall, och samtidigt samråda med AI-byrån och relevanta berörda parter.

(87a)

Eftersom förekomsten av tillförlitlig information om resurs- och energianvändning, avfallsgenerering och annan miljöpåverkan genom AI-system och tillhörande IKT-teknik, inbegripet programvara, maskinvara och i synnerhet datacentraler, är begränsad, bör kommissionen införa en adekvat metod för att mäta miljöpåverkan och denna förordnings ändamålsenlighet mot bakgrund av unionens miljö- och klimatmål.

(89)

Europeiska datatillsynsmannen och Europeiska dataskyddsstyrelsen har hörts i enlighet med artikel 42.2 i förordning (EU) nr 2018/1725 och avgav ett yttrande den […]”.

(89)

Europeiska datatillsynsmannen och Europeiska dataskyddsstyrelsen har hörts i enlighet med artikel 42.2 i förordning (EU) nr 2018/1725 och avgav ett yttrande den 18 juni 2021 .

1.

(d)

harmoniserade transparensregler för AI-system som är avsedda att interagera med fysiska personer, system för känsloigenkänning och system för biometrisk kategorisering samt AI-system som används för att generera eller manipulera bild-, ljud- eller videoinnehåll ,

(d)

harmoniserade transparensregler för vissa AI-system,

(e)

regler om marknadskontroll och marknadsövervakning.

(e)

regler om marknadskontroll, marknadsövervakning , styrning och tillsyn,

(ea)

åtgärder till stöd för innovation, med särskild inriktning på små och medelstora företag och nystartade företag, inbegripet inrättande av regulatoriska sandlådor och riktade åtgärder för att minska regelbördan för små och medelstora företag och nystartade företag,

(eb)

regler för inrättande och drift av Europeiska unionens byrå för artificiell intelligens (AI-byrån).

(b)

användare av AI-system när dessa användare befinner sig i unionen,

(b)

användare av AI-system som har sin etableringsort, eller befinner sig, i unionen,

(c)

leverantörer och användare av AI-system när dessa leverantörer och användare befinner sig i ett tredjeland, där de utdata som produceras av systemet används i unionen.

(c)

leverantörer och användare av AI-system som har sin etableringsort, eller befinner sig, i ett tredjeland, där antingen medlemsstaternas rätt är tillämplig enligt internationell rätt eller de utdata som produceras av systemet är avsedda att användas i unionen,

(ca)

leverantörer som släpper ut på marknaden eller tar i bruk AI-system enligt artikel 5 utanför unionen där leverantören eller distributören av sådana system befinner sig i unionen,

(cb)

importörer och distributörer av AI-system samt ombud för leverantörer av AI-system, där sådana importörer, distributörer eller ombud har sitt verksamhetsställe, eller befinner sig, i unionen,

(cc)

personer som påverkas enligt definitionen i artikel 3.8a, som befinner sig i unionen och vars hälsa, säkerhet eller grundläggande rättigheter påverkas negativt av användningen av ett AI-system som släpps ut på marknaden eller tas i bruk inom unionen.

(a)

Förordning (EG) nr 300/2008.

(b)

Förordning (EU) nr 167/2013.

(c)

Förordning (EU) nr 168/2013.

(d)

Direktiv 2014/90/EU.

(e)

Direktiv (EU) 2016/797.