(1)

Formålet med denne forordning er at forbedre det indre markeds funktion ved at fastlægge ensartede retlige rammer, navnlig for udvikling, omsætning, ibrugtagning og anvendelse af kunstig intelligens-systemer (»AI-systemer«) i Unionen i overensstemmelse med Unionens værdier, at fremme udbredelsen af menneskecentreret og troværdig kunstig intelligens (»AI«), samtidig med at der sikres et højt beskyttelsesniveau for sundhed, sikkerhed og grundlæggende rettigheder som nedfældet i Den Europæiske Unions charter om grundlæggende rettigheder (»chartret«), herunder demokrati, retsstatsprincippet og miljøbeskyttelse, at beskytte mod skadelige virkninger af AI-systemer i Unionen og at støtte innovation. Denne forordning sikrer fri bevægelighed for AI-baserede varer og tjenesteydelser og forhindrer således medlemsstaterne i at indføre restriktioner for udvikling, markedsføring og anvendelse af AI-systemer, medmindre det udtrykkeligt er tilladt i henhold til denne forordning.

(2)

Denne forordning bør anvendes i overensstemmelse med Unionens værdier som nedfældet i chartret, der letter beskyttelsen af fysiske personer, virksomheder, demokrati, retsstatsprincippet og miljøbeskyttelse, samtidig med at innovation og beskæftigelse fremmes, og Unionen gøres førende inden for udbredelsen af troværdig AI.

(3)

AI-systemer kan nemt idriftsættes i en lang række sektorer af økonomien og i mange dele af samfundet, herunder på tværs af grænserne, og kan nemt udspredes i hele Unionen. Visse medlemsstater har allerede undersøgt, om det er muligt at vedtage nationale regler til sikring af, at AI er troværdig og sikker, og at den udvikles og anvendes i overensstemmelse med forpligtelserne vedrørende grundlæggende rettigheder. Forskellige nationale regler kan føre til fragmenteringen af det indre marked og kan mindske retssikkerheden for operatører, der udvikler, importerer eller anvender AI-systemer. Der bør derfor sikres et ensartet og højt beskyttelsesniveau i hele Unionen med henblik på at opnå troværdig AI, samtidig med at forskelle, der hæmmer den frie bevægelighed for samt innovation, idriftsættelse og udbredelse af AI-systemer og relaterede produkter og tjenesteydelser på det indre marked, bør forhindres ved at fastsætte ensartede forpligtelser for operatører og sikre en ensartet beskyttelse af tvingende hensyn til samfundsinteresser og personers rettigheder i hele det indre marked på grundlag af artikel 114 i traktaten om Den Europæiske Unions funktionsmåde (TEUF). For så vidt som denne forordning indeholder specifikke regler om beskyttelse af fysiske personer i forbindelse med behandling af personoplysninger vedrørende begrænsninger i anvendelsen af AI-systemer til biometrisk fjernidentifikation med henblik på retshåndhævelse, i anvendelsen af AI-systemer til risikovurderinger af fysiske personer med henblik på retshåndhævelse og i anvendelsen af AI-systemer til biometrisk kategorisering med henblik på retshåndhævelse, er det desuden hensigtsmæssigt at basere denne forordning på artikel 16 i TEUF for så vidt angår disse specifikke regler. I lyset af disse specifikke regler og anvendelsen af artikel 16 i TEUF bør Det Europæiske Databeskyttelsesråd høres.

(4)

AI er en vifte af teknologier i hurtig udvikling, som bidrager til brede økonomiske, miljømæssige og samfundsmæssige fordele på tværs af hele spektret af industrier og sociale aktiviteter. Ved at forbedre forudsigelser, optimere operationer og ressourceallokering og skræddersy de digitale løsninger, der er tilgængelige for enkeltpersoner og organisationer, kan anvendelsen af AI give virksomheder vigtige konkurrencemæssige fordele og fremme socialt og miljømæssigt gavnlige resultater, f.eks. inden for sundhedspleje, landbrug, fødevaresikkerhed, uddannelse, medier, sport, kultur, infrastrukturforvaltning, energi, transport og logistik, offentlige tjenester, sikkerhed, retsvæsen, ressource- og energieffektivitet, miljøovervågning, bevarelse og genopretning af biodiversitet og økosystemer samt modvirkning af og tilpasning til klimaændringer.

(5)

Samtidig kan AI, afhængigt af omstændighederne med hensyn til dens specifikke anvendelse, brug og teknologiske udviklingsniveau, skabe risici og skade samfundsinteresser og grundlæggende rettigheder, der er beskyttet af EU-retten. En sådan skade kan være af materiel eller immateriel karakter, herunder fysisk, psykisk, samfundsmæssig eller økonomisk.

(6)

I betragtning af den store indvirkning, som AI kan have på samfundet, og behovet for at opbygge tillid er det afgørende, at AI og de lovgivningsmæssige rammer herfor udvikles i overensstemmelse med Unionens værdier, der er nedfældet i artikel 2 i traktaten om Den Europæiske Union (TEU), og de grundlæggende rettigheder og friheder, der er nedfældet i traktaterne og, i henhold til artikel 6 i TEU, chartret. Det bør være en forudsætning, at AI er en menneskecentreret teknologi. Det bør tjene som et redskab for mennesker med det endelige mål at øge menneskers trivsel.

(7)

For at sikre et ensartet højt beskyttelsesniveau for samfundsinteresser med hensyn til sundhed, sikkerhed og grundlæggende rettigheder bør der fastsættes fælles regler for højrisiko-AI-systemer. Disse regler bør være i overensstemmelse med chartret, være ikkeforskelsbehandlende og i overensstemmelse med Unionens internationale handelsforpligtelser. De bør også tage hensyn til den europæiske erklæring om digitale rettigheder og principper for det digitale årti og de etiske retningslinjer for troværdig AI fra Ekspertgruppen på Højt Niveau vedrørende Kunstig Intelligens (AI-ekspertgruppen).

(8)

Der er derfor behov for en EU-retlig ramme, der fastsætter harmoniserede regler for AI, for at fremme udviklingen, brugen og udbredelsen af AI på det indre marked, som samtidig opfylder et højt beskyttelsesniveau for samfundsinteresser såsom sundhed og sikkerhed og beskyttelse af grundlæggende rettigheder, herunder demokrati, retsstatsprincippet og miljøbeskyttelse, som anerkendt og beskyttet i EU-retten. For at nå dette mål bør der fastsættes regler for omsætning, ibrugtagning og anvendelse af visse AI-systemer for at sikre et velfungerende indre marked og lade disse systemer drage fordel af princippet om fri bevægelighed for varer og tjenesteydelser. Disse regler bør være klare og robuste med hensyn til at beskytte de grundlæggende rettigheder, støtte nye innovative løsninger og muliggøre et europæisk økosystem af offentlige og private aktører, der skaber AI-systemer i overensstemmelse med Unionens værdier og frigør potentialet ved den digitale omstilling i alle regioner i Unionen. Med fastsættelsen af disse regler samt foranstaltninger til støtte for innovation med et særligt fokus på små og mellemstore virksomheder (SMV'er), herunder iværksættervirksomheder, støtter denne forordning målet om at fremme en europæisk menneskecentreret tilgang til AI og om at være førende på verdensplan inden for udvikling af sikker, troværdig og etisk AI som anført af Det Europæiske Råd (5), og den sikrer beskyttelse af etiske principper, således som Europa-Parlamentet specifikt har anmodet om (6).

(9)

Der bør fastsættes harmoniserede regler for omsætning, ibrugtagning og anvendelse af højrisiko-AI-systemer i overensstemmelse med Europa-Parlamentets og Rådets forordning (EF) nr. 765/2008 (7), Europa-Parlamentets og Rådets afgørelse nr. 768/2008/EF (8) og Europa-Parlamentets og Rådets forordning (EU) 2019/1020 (9) (den nye lovgivningsmæssige ramme for markedsføring af produkter). De harmoniserede regler, der er fastsat i nærværende forordning, bør finde anvendelse på tværs af sektorer og bør i overensstemmelse med den nye lovgivningsmæssige ramme ikke berøre gældende EU-ret, navnlig om databeskyttelse, forbrugerbeskyttelse, grundlæggende rettigheder, beskæftigelse og beskyttelse af arbejdstagere og produktsikkerhed, som nærværende forordning supplerer. Som følge heraf forbliver alle rettigheder og retsmidler, som er fastsat i en sådan EU-ret for forbrugere og andre personer, som AI-systemer kan have en negativ indvirkning på, herunder for så vidt angår erstatning for eventuelle skader i henhold til Rådets direktiv 85/374/EØF (10), uberørte og finder fuldt ud anvendelse. Endvidere bør denne forordning i forbindelse med beskæftigelse og beskyttelse af arbejdstagere derfor ikke berøre EU-retten om socialpolitik og national arbejdsret, der overholder EU-retten, vedrørende ansættelsesvilkår og arbejdsforhold, herunder sundhed og sikkerhed på arbejdspladsen, og forholdet mellem arbejdsgivere og arbejdstagere. Denne forordning bør heller ikke påvirke udøvelsen af de grundlæggende rettigheder, der anerkendes i medlemsstaterne og på EU-plan, herunder retten eller friheden til at strejke eller til at foretage andre tiltag, der er omfattet af specifikke ordninger for arbejdsmarkedsrelationer i medlemsstaterne, samt retten til at forhandle, indgå og håndhæve kollektive overenskomster eller retten til at foretage kollektive tiltag i overensstemmelse med national ret. Denne forordning bør ikke berøre de bestemmelser, der tilstræber at forbedre arbejdsvilkårene for platformsarbejde, der er fastsat i et direktiv vedtaget af Europa-Parlamentets og Rådets direktiv om forbedring af arbejdsvilkårene for platformsarbejde. Derudover har denne forordning til formål at styrke effektiviteten af sådanne eksisterende rettigheder og retsmidler ved at fastsætte specifikke krav og forpligtelser, herunder med hensyn til AI-systemers gennemsigtighed, tekniske dokumentation og registrering. Desuden bør de forpligtelser, der pålægges forskellige operatører, der er involveret i AI-værdikæden i henhold til denne forordning, finde anvendelse, uden at det berører national ret, der overholder EU-retten, hvorved anvendelsen af visse AI-systemer begrænses, hvis sådan national ret falder uden for denne forordnings anvendelsesområde eller forfølger andre legitime mål af samfundsmæssig interesse end dem, der forfølges med denne forordning. For eksempel bør national arbejdsret og national ret om beskyttelse af mindreårige, dvs. personer under 18 år, under hensyntagen til generel bemærkning nr. 25 (2021) om børns rettigheder vedrørende det digitale miljø fra FN's Komité for Barnets Rettigheder, for så vidt de ikke er specifikke for AI-systemer og forfølger andre legitime mål af samfundsmæssig interesse, ikke berøres af denne forordning.

(10)

Den grundlæggende ret til beskyttelse af personoplysninger er navnlig sikret ved Europa-Parlamentets og Rådets forordning (EU) 2016/679 (11) og (EU) 2018/1725 (12) samt Europa-Parlamentets og Rådets direktiv (EU) 2016/680 (13). Europa-Parlamentets og Rådets direktiv 2002/58/EF (14) beskytter desuden privatlivets fred og kommunikationshemmeligheden, herunder med fastsættelse af betingelser for lagring af personoplysninger og andre oplysninger end personoplysninger i terminaludstyr og for adgang til terminaludstyr. Disse EU-retsakter danner grundlaget for bæredygtig og ansvarlig databehandling, herunder når datasæt omfatter en blanding af personoplysninger og andre data end personoplysninger. Nærværende forordning har ikke til formål at påvirke anvendelsen af gældende EU-ret om behandling af personoplysninger, herunder de opgaver og beføjelser, der påhviler de uafhængige tilsynsmyndigheder med kompetence til at overvåge, at disse instrumenter overholdes.Den berører heller ikke de forpligtelser for udbydere og idriftsættere af AI-systemer i deres rolle som dataansvarlige eller databehandlere, der følger af EU-retten eller national ret om beskyttelse af personoplysninger, for så vidt udformningen, udviklingen eller anvendelsen af AI-systemer omfatter behandling af personoplysninger. Det er også hensigtsmæssigt at præcisere, at registrerede bevarer alle de rettigheder og garantier, som de har i henhold til EU-retten, herunder rettigheder i forbindelse med helt automatiseret individuel beslutningstagning, herunder profilering. Harmoniserede regler for omsætning, ibrugtagning og anvendelse af AI-systemer, der er fastsat i henhold til nærværende forordning, bør lette en effektiv gennemførelse og muliggøre udøvelsen af de registreredes rettigheder og andre retsmidler, der er sikret i medfør af EU-retten om beskyttelse af personoplysninger og andre grundlæggende rettigheder.

(11)

Denne forordning berører ikke bestemmelserne om ansvar for udbydere af formidlingstjenester som fastsat i Europa-Parlamentets og Rådets forordning (EU) 2022/2065 (15).

(12)

Begrebet »AI-system« i denne forordning bør defineres klart og bør nøje afstemmes med det arbejde, der udføres af internationale organisationer, som arbejder med AI, for at sikre retssikkerhed, lette international konvergens og bred accept, og samtidig være fleksibelt nok til at tage højde for den hurtige teknologiske udvikling på dette område. Desuden bør definitionen baseres på centrale egenskaber ved AI-systemer, der adskiller det fra enklere traditionelle softwaresystemer eller programmeringstilgange, og bør ikke omfatte systemer, der er baseret på de regler, der udelukkende er defineret af fysiske personer til automatisk at udføre operationer. En central egenskab ved AI-systemer er deres evne til at udlede. Denne evne til at udlede henviser til processen med at opnå output såsom forudsigelser, indhold, anbefalinger eller beslutninger, der kan påvirke fysiske og virtuelle miljøer, og til AI-systemernes evne til at udlede modeller eller algoritmer, eller begge dele, fra input eller data. De teknikker, der muliggør udledning ved opbygningen af et AI-system, omfatter maskinlæringstilgange, der af data lærer, hvordan bestemte mål kan nås, og logik- og videnbaserede tilgange, der udleder indhold fra indkodet viden eller symbolsk repræsentation af den opgave, der skal løses. Et AI-systems evne til at udlede går videre end grundlæggende databehandling ved at muliggøre læring, ræsonnement eller modellering. Udtrykket »maskinbaseret« henviser til det forhold, at AI-systemer kører på maskiner. Henvisningen til eksplicitte eller implicitte mål understreger, at AI-systemer kan fungere i overensstemmelse med eksplicit definerede mål eller implicitte mål. AI-systemets mål kan adskille sig fra det tilsigtede formål med AI-systemet i en specifik sammenhæng. Med henblik på denne forordning bør miljøer forstås som de sammenhænge, hvori AI-systemerne fungerer, mens output genereret af AI-systemet afspejler forskellige funktioner, der udføres af AI-systemer og omfatter forudsigelser, indhold, anbefalinger eller beslutninger. AI-systemer er udformet til at fungere med varierende grader af autonomi, hvilket betyder, at de har en vis grad af uafhængighed fra menneskelig medvirken og har evnen til at fungere uden menneskelig indgriben. Den tilpasningsevne, som et AI-system kan udvise efter idriftsættelsen, henviser til selvlæringskapacitet, der gør det muligt for systemet at ændre sig, mens det er i brug. AI-systemer kan anvendes selvstændigt eller som en del af et produkt, uanset om systemet er fysisk integreret i produktet (indlejret), eller tjene produktets funktionalitet uden at være integreret deri (ikke indlejret).

(13)

Begrebet »idriftsætter«, der er omhandlet i denne forordning, bør fortolkes som enhver fysisk eller juridisk person, herunder en offentlig myndighed, et agentur eller et andet organ, der anvender et AI-system under sin myndighed, medmindre AI-systemet anvendes som led i en personlig ikkeerhvervsmæssig aktivitet. Afhængigt af typen af AI-system kan anvendelsen af systemet påvirke andre personer end idriftsætteren.

(14)

Begrebet »biometriske data«, der anvendes i denne forordning, bør fortolkes i lyset af begrebet biometriske data som defineret i artikel 4, nr. 14), i forordning (EU) 2016/679, artikel 3, nr. 18), i forordning (EU) 2018/1725 og artikel 3, nr. 13), i direktiv (EU) 2016/680. Biometriske data kan muliggøre autentifikation, identifikation eller kategorisering af fysiske personer og genkendelse af fysiske personers følelser.

(15)

Begrebet »biometrisk identifikation«, der er omhandlet i denne forordning, bør defineres som automatiseret genkendelse af fysiske, fysiologiske og adfærdsmæssige menneskelige egenskaber som f.eks. ansigt, øjenbevægelser, kropsform, stemme, prosodi, gangart, kropsholdning, hjerterytme, blodtryk, lugt og tasteanslagskarakteristika med det formål at fastslå en persons identitet ved at sammenligne personens biometriske data med de biometriske data om personer, der er lagret i en referencedatabase, uanset om denne person har givet sit samtykke hertil eller ej. Dette udelukker AI-systemer, der tilsigtes anvendt til biometrisk verifikation, som omfatter autentifikation, hvis eneste formål er at bekræfte, at en bestemt fysisk person er den person, vedkommende hævder at være, og bekræfte en fysisk persons identitet udelukkende med det formål at få adgang til en tjeneste, låse udstyr op eller have sikker adgang til lokaler.

(16)

Begrebet »biometrisk kategorisering«, der er omhandlet i denne forordning, bør defineres som placering af fysiske personer i bestemte kategorier på grundlag af deres biometriske data. Sådanne specifikke kategorier kan vedrøre aspekter som køn, alder, hårfarve, øjenfarve, tatoveringer, adfærdsmønstre eller personlighedstræk, sprog, religion, tilhørsforhold til et nationalt mindretal samt seksuel eller politisk orientering. Dette omfatter ikke systemer til biometrisk kategorisering, som er en rent accessorisk funktion, der er uløseligt forbundet med en anden kommerciel tjeneste, og som indebærer, at funktionen af objektive tekniske grunde ikke kan anvendes uden den primære tjeneste, og at integrationen af denne funktion eller funktionalitet ikke er et middel til at omgå anvendelsen af reglerne i denne forordning. Eksempelvis kan filtre, der kategoriserer ansigts- eller kropstræk, som anvendes på onlinemarkedspladser, udgøre en sådan accessorisk funktion, da de kun kan anvendes i forbindelse med den primære tjeneste, der består i at sælge et produkt ved at give forbrugeren mulighed for se visningen af produktet på sig selv og hjælpe forbrugeren med at træffe en købsbeslutning. Filtre, der anvendes på sociale onlinenetværkstjenester, og som kategoriserer ansigts- eller kropstræk for at give brugerne mulighed for at tilføje eller ændre billeder eller videoer, kan også betragtes som en accessorisk funktion, da et sådant filter ikke kan anvendes uden den primære tjeneste i de sociale netværkstjenester, der består i deling af indhold online.

(17)

Begrebet »system til biometrisk fjernidentifikation«, der er omhandlet i denne forordning, bør defineres funktionelt som et AI-system, der er tilsigtet identifikation af fysiske personer uden deres aktive medvirken, typisk på afstand, ved at sammenligne en persons biometriske data med de biometriske data i en referencedatabase, uanset hvilken specifik teknologi, hvilke specifikke processer eller hvilke specifikke typer biometriske data der anvendes. Sådanne systemer til biometrisk fjernidentifikation anvendes typisk til at opfatte flere personer eller deres adfærd samtidigt for i væsentlig grad at lette identifikationen af fysiske personer uden deres aktive medvirken. Dette udelukker AI-systemer, der tilsigtes anvendt til biometrisk verifikation, som omfatter autentifikation, hvis eneste formål er at bekræfte, at en bestemt fysisk person er den person, vedkommende hævder at være, og bekræfte en fysisk persons identitet udelukkende med det formål at få adgang til en tjeneste, låse udstyr op eller have sikkerhedsadgang til lokaler. Denne udelukkelse begrundes med, at sådanne systemer sandsynligvis vil have en mindre indvirkning på fysiske personers grundlæggende rettigheder sammenlignet med systemerne til biometrisk fjernidentifikation, der kan anvendes til behandling af et stort antal personers biometriske data uden deres aktive medvirken. Hvis der er tale om realtidssystemer, sker optagelsen af de biometriske data, sammenligningen og identifikationen øjeblikkeligt, næsten øjeblikkeligt eller under alle omstændigheder uden væsentlig forsinkelse. I denne forbindelse bør der ikke være mulighed for at omgå denne forordnings bestemmelser om realtidsanvendelse af de pågældende AI-systemer ved at foranledige mindre forsinkelser. Realtidssystemer omfatter anvendelse af direkte eller lettere forskudt materiale såsom videooptagelser, der genereres af et kamera eller andet udstyr med tilsvarende funktioner. Er der derimod tale om systemer til efterfølgende biometrisk identifikation, er de biometriske data allerede blevet optaget, og sammenligningen og identifikationen finder først sted efter en væsentlig forsinkelse. Der er tale om materiale såsom billeder eller videooptagelser, der genereres af TV-overvågningskameraer eller privat udstyr, og som er genereret inden systemets anvendelse for så vidt angår de pågældende fysiske personer.

(18)

Begrebet »system til følelsesgenkendelse«, der er omhandlet i denne forordning, bør defineres som et AI-system, der har til formål at identificere eller udlede fysiske personers følelser eller hensigter på grundlag af deres biometriske data. Begrebet henviser til følelser eller hensigter såsom lykke, sorgfuldhed, vrede, forbavselse, afsky, forlegenhed, begejstring, skam, foragt, tilfredshed og morskab. Det omfatter ikke fysiske tilstande såsom smerte eller træthed, herunder f.eks. systemer, der anvendes til at påvise træthedstilstanden hos professionelle piloter eller førere med henblik på at forebygge ulykker. Det omfatter heller ikke den blotte påvisning af umiddelbart synlige udtryk, fagter eller bevægelser, medmindre de anvendes til at identificere eller udlede følelser. Disse udtryk kan være simple ansigtsudtryk såsom en panderynken eller et smil eller fagter såsom bevægelse af hænder, arme eller hoved eller karakteristika ved en persons stemme såsom en hævet stemme eller hvisken.

(19)

I denne forordning bør begrebet offentligt sted forstås som ethvert fysisk sted, der er tilgængeligt for et ubestemt antal fysiske personer, og uanset om det pågældende sted er privatejet eller offentligt ejet, og uanset den aktivitet, som stedet kan anvendes til, såsom til handel, f.eks. butikker, restauranter og caféer, til tjenesteydelser, f.eks. banker, erhvervsmæssige aktiviteter og hotel-, restaurations- og oplevelsesbranchen, til sport, f.eks. svømmebassiner, fitnesscentre og stadioner, til transport, f.eks. bus-, metro- og jernbanestationer, lufthavne og transportmidler, til underholdning, f.eks. biografer, teatre, museer og koncert- og konferencesale, eller til fritid eller andet, f.eks. offentlige veje og pladser, parker, skove og legepladser. Et sted bør også klassificeres som værende offentligt tilgængeligt, hvis adgangen, uanset eventuelle kapacitets- eller sikkerhedsrestriktioner, er underlagt visse forud fastsatte betingelser, som kan opfyldes af et ubestemt antal personer, såsom køb af en billet eller et rejsebevis, forudgående registrering eller det at have en bestemt alder. Derimod bør et sted ikke anses for at være offentligt tilgængeligt, hvis adgangen er begrænset til specifikke og definerede fysiske personer i henhold til enten EU-retten eller national ret, der er direkte knyttet til den offentlige sikkerhed, eller gennem en klar viljestilkendegivelse fra den person, der har den relevante myndighed over stedet. Den faktiske mulighed for adgang alene såsom en ulåst dør eller en åben låge i et hegn indebærer ikke, at stedet er et offentligt sted, hvis der er indikationer eller omstændigheder, der tyder på det modsatte, såsom skilte, der forbyder eller begrænser adgangen. Virksomheds- og fabrikslokaler samt kontorer og arbejdspladser, der kun tilsigtes at være tilgængelige for relevante medarbejdere og tjenesteydere, er ikke offentlige steder. Offentlige steder bør ikke omfatte fængsler eller grænsekontrol. Visse andre områder kan bestå af både offentlige steder og ikkeoffentlige steder såsom forhallen til en privat beboelsesejendom, som det er nødvendigt at gå igennem for at få adgang til en læges kontor, eller en lufthavn. Online steder er ikke omfattet, da der ikke er tale om fysiske steder. Om et givet sted betragtes som offentligt, bør imidlertid afgøres fra sag til sag under hensyntagen til de særlige forhold i den enkelte situation.

(20)

For at opnå de største fordele ved AI-systemer, samtidig med at de grundlæggende rettigheder, sundheden og sikkerheden beskyttes, og for at muliggøre demokratisk kontrol bør AI-færdigheder udstyre udbydere, idriftsættere og berørte personer med de nødvendige begreber til at træffe informerede beslutninger vedrørende AI-systemer. Disse begreber kan variere med hensyn til den relevante kontekst og kan omfatte forståelse af den korrekte anvendelse af tekniske elementer i AI-systemets udviklingsfase, de foranstaltninger, der skal anvendes under dets anvendelse, passende måder at fortolke AI-systemets output på, og i tilfælde af berørte personer den viden, der er nødvendig for at forstå, hvordan beslutninger truffet med hjælp fra AI vil have indvirkning på dem. I forbindelse med anvendelsen af denne forordning bør AI-færdigheder give alle relevante aktører i AI-værdikæden den indsigt, der er nødvendig for at sikre passende overholdelse og korrekt håndhævelse heraf. Desuden kan den brede gennemførelse af foranstaltninger vedrørende AI-færdigheder og indførelsen af passende opfølgende tiltag bidrage til at forbedre arbejdsvilkårene og i sidste ende understøtte konsoliderings- og innovationsstien for troværdig AI i Unionen. Det Europæiske Udvalg for Kunstig Intelligens (»AI-udvalget«) bør støtte Kommissionen med henblik på at fremme AI-færdighedsværktøjer samt offentlighedens kendskab til og forståelse af fordele, risici, sikkerhedsforanstaltninger, rettigheder og forpligtelser i forbindelse med anvendelsen af AI-systemer. I samarbejde med de relevante interessenter bør Kommissionen og medlemsstaterne lette udarbejdelsen af frivillige adfærdskodekser for at fremme AI-færdigheder blandt personer, der beskæftiger sig med udvikling, drift og anvendelse af AI.

(21)

For at sikre lige vilkår og en effektiv beskyttelse af fysiske personers rettigheder og friheder i hele Unionen bør de regler, der fastsættes ved denne forordning, finde anvendelse på udbydere af AI-systemer på en ikkeforskelsbehandlende måde, uanset om de er etableret i Unionen eller i et tredjeland, og på idriftsættere af AI-systemer, der er etableret i Unionen.

(22)

I betragtning af deres digitale karakter bør visse AI-systemer være omfattet af denne forordnings anvendelsesområde, selv når de ikke bringes i omsætning, ibrugtages eller anvendes i Unionen. Dette er f.eks. tilfældet, når en operatør, der er etableret i Unionen, indgår kontrakter om visse tjenesteydelser med en operatør, der er etableret i et tredjeland, i forbindelse med en aktivitet, der skal udføres af et AI-system, der kan betegnes som højrisiko. Under disse omstændigheder ville det AI-system, der anvendes i tredjelandet af operatøren, kunne behandle data, der lovligt er indsamlet i og overført fra Unionen, og levere outputtet fra dette AI-systems behandling til den kontraherende operatør i Unionen, uden at dette AI-system bringes i omsætning, ibrugtages eller anvendes i Unionen. For at forhindre omgåelse af denne forordning og sikre en effektiv beskyttelse af fysiske personer i Unionen, bør denne forordning også finde anvendelse på udbydere og idriftsættere af AI-systemer, der er etableret i et tredjeland, i det omfang det output, der produceres af disse systemer, tilsigtes anvendt i Unionen.For at tage hensyn til eksisterende ordninger og særlige behov for fremtidigt samarbejde med udenlandske partnere, med hvem der udveksles oplysninger og bevismateriale, bør denne forordning ikke finde anvendelse på offentlige myndigheder i et tredjeland og internationale organisationer, når disse handler inden for rammerne af samarbejdsaftaler eller internationale aftaler indgået på EU-plan eller nationalt plan om retshåndhævelse og retligt samarbejde med Unionen eller medlemsstaterne, forudsat at det relevante tredjeland eller den relevante internationale organisation giver tilstrækkelige sikkerhedsforanstaltninger med hensyn til beskyttelsen af fysiske personers grundlæggende rettigheder og friheder. Dette kan, hvor relevant, omfatte aktiviteter udført af enheder, som af tredjelande har fået overdraget ansvaret for at udføre specifikke opgaver til støtte for en sådan retshåndhævelse og et sådant retligt samarbejde. Sådanne samarbejdsrammer eller aftaler er oprettet bilateralt mellem medlemsstaterne og tredjelande eller mellem Den Europæiske Union, Europol og andre EU-agenturer og tredjelande og internationale organisationer. De myndigheder, der har kompetence til at føre tilsyn med de retshåndhævende og retslige myndigheder i henhold til denne forordning, bør vurdere, om disse samarbejdsrammer eller internationale aftaler indeholder tilstrækkelige sikkerhedsforanstaltninger med hensyn til beskyttelse af fysiske personers grundlæggende rettigheder og friheder. De modtagende nationale myndigheder og EU-institutioner, -organer, -kontorer og -agenturer, der anvender sådanne output i Unionen, forbliver ansvarlige for at sikre, at deres anvendelse overholder EU-retten. Når disse internationale aftaler revideres, eller der indgås nye i fremtiden, bør de kontraherende parter gøre deres yderste for at tilpasse disse aftaler til kravene i denne forordning.

(23)

Denne forordning bør også finde anvendelse på EU-institutioner, -organer, -kontorer og -agenturer, når de fungerer som udbyder eller idriftsætter af et AI-system.

(24)

Hvis og i det omfang AI-systemer bringes i omsætning, ibrugtages eller anvendes med eller uden ændringer af sådanne systemer til militære formål, forsvarsformål eller formål vedrørende national sikkerhed, bør disse udelukkes fra denne forordnings anvendelsesområde, uanset hvilken type enhed der udfører disse aktiviteter, f.eks. om det er en offentlig eller privat enhed. For så vidt angår militære og forsvarsmæssige formål begrundes en sådan udelukkelse både i medfør af artikel 4, stk. 2, i TEU, og i de særlige forhold, der gør sig gældende for medlemsstaternes forsvarspolitik og den fælles EU-forsvarspolitik, der er omfattet af afsnit V, kapitel 2, i TEU, og som er underlagt folkeretten, og som derfor er den mest hensigtsmæssige retlige ramme for regulering af AI-systemer i forbindelse med anvendelsen af dødbringende magtanvendelse og andre AI-systemer i forbindelse med militære og forsvarsmæssige aktiviteter. For så vidt angår formål vedrørende den nationale sikkerhed begrundes udelukkelsen både i den omstændighed, at den nationale sikkerhed forbliver medlemsstaternes eneansvar i overensstemmelse med artikel 4, stk. 2, i TEU, og i den særlige karakter af og de operationelle behov i forbindelse med aktiviteter vedrørende den nationale sikkerhed og specifikke nationale regler, der finder anvendelse på disse aktiviteter. Hvis et AI-system, der er udviklet, bragt i omsætning, ibrugtaget eller anvendt til militære formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, anvendes uden for disse midlertidigt eller permanent til andre formål, f.eks. civile eller humanitære formål, retshåndhævelsesformål eller hensynet til den offentlige sikkerhed, vil et sådant system ikke desto mindre være omfattet af denne forordnings anvendelsesområde. I så fald bør den enhed, der anvender AI-systemet til andre formål end militære formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, sikre, at AI-systemet overholder denne forordning, medmindre systemet allerede overholder denne forordning. AI-systemer, der bringes i omsætning eller ibrugtages til et udelukket formål, dvs. militært formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, og et eller flere ikkeudelukkede formål, f.eks. civile formål eller retshåndhævelse, falder ind under denne forordnings anvendelsesområde, og udbydere af disse systemer bør sikre overholdelse af denne forordning. I disse tilfælde bør det forhold, at et AI-system kan være omfattet af denne forordnings anvendelsesområde, ikke berøre muligheden for, at enheder, der udfører aktiviteter vedrørende den nationale sikkerhed, forsvarsaktiviteter og militæraktiviteter, uanset hvilken type enhed der udfører disse aktiviteter, anvender AI-systemer til formål vedrørende den nationale sikkerhed, militære formål og forsvarsformål, idet en sådan anvendelse er udelukket fra denne forordnings anvendelsesområde. Et AI-system, der bringes i omsætning til civile formål eller retshåndhævelsesformål, og som anvendes med eller uden ændringer til militære formål, forsvarsformål eller formål vedrørende den nationale sikkerhed, bør ikke være omfattet af denne forordnings anvendelsesområde, uanset hvilken type enhed der udfører disse aktiviteter.

(25)

Denne forordning bør støtte innovation, bør respektere forskningsfriheden og bør ikke undergrave forsknings- og udviklingsaktivitet. Det er derfor nødvendigt at udelukke AI-systemer og -modeller, der specifikt er udviklet og ibrugtaget udelukkende med henblik på videnskabelig forskning og udvikling. Det er desuden nødvendigt at sikre, at denne forordning ikke på anden måde påvirker videnskabelig forsknings- og udviklingsaktivitet med AI-systemer eller -modeller, inden de bringes i omsætning eller ibrugtages. Med hensyn til produktorienteret forsknings-, afprøvnings- og udviklingsaktivitet vedrørende AI-systemer eller -modeller bør bestemmelserne i denne forordning heller ikke finde anvendelse, inden disse systemer og modeller ibrugtages eller bringes i omsætning. Denne udelukkelse berører ikke forpligtelsen til at overholde denne forordning, når et AI-system, der falder ind under denne forordnings anvendelsesområde, bringes i omsætning eller ibrugtages som følge af en sådan forsknings- og udviklingsaktivitet, eller anvendelsen af bestemmelser om reguleringsmæssige AI-sandkasser og afprøvning under faktiske forhold. Uden at det berører udelukkelsen af AI-systemer, der specifikt er udviklet og ibrugtaget udelukkende med henblik på videnskabelig forskning og udvikling, bør ethvert andet AI-system, der kan anvendes til udførelse af enhver forsknings- og udviklingsaktivitet, desuden fortsat være omfattet af bestemmelserne i denne forordning. Under alle omstændigheder bør enhver forsknings- og udviklingsaktivitet udføres i overensstemmelse med anerkendte etiske og professionelle standarder for videnskabelig forskning og bør gennemføres i overensstemmelse med gældende EU-ret.

(26)

For at indføre et forholdsmæssigt og effektivt sæt bindende regler for AI-systemer bør der anvendes en klart defineret risikobaseret tilgang. Denne tilgang bør tilpasse typen og indholdet af sådanne regler til graden og omfanget af de risici, som AI-systemer kan generere. Det er derfor nødvendigt at forbyde visse former for uacceptabel AI-praksis, at fastsætte krav til højrisiko-AI-systemer og forpligtelser for de relevante operatører og at fastsætte gennemsigtighedsforpligtelser for visse AI-systemer.

(27)

Selv om den risikobaserede tilgang danner grundlag for et forholdsmæssigt og effektivt sæt bindende regler, er det vigtigt at minde om de etiske retningslinjer for troværdig kunstig intelligens fra 2019, der er udarbejdet af den uafhængige AI-ekspertgruppe, som Kommissionen har udpeget. I disse retningslinjer udviklede AI-ekspertgruppen syv ikkebindende etiske principper for AI, som tilsigter at bidrage til at sikre, at AI er troværdig og etisk forsvarlig. De syv principper omfatter: menneskelig handlemulighed og menneskeligt tilsyn, teknologisk robusthed og sikkerhed, privatlivets fred og datastyring, gennemsigtighed, mangfoldighed, ikkeforskelsbehandling og retfærdighed, social og miljømæssig velfærd samt ansvarlighed. Uden at det berører de retligt bindende krav i denne forordning og anden gældende EU-ret, bidrager disse retningslinjer til udformningen af sammenhængende, troværdig og menneskecentreret AI i overensstemmelse med chartret og med de værdier, som Unionen bygger på. Ifølge AI-ekspertgruppens retningslinjer forstås der ved menneskelig handlemulighed og menneskeligt tilsyn, at AI-systemer udvikles og anvendes som et redskab, der betjener mennesker, respekterer menneskers værdighed og personlige uafhængighed, og som fungerer på en måde, der kan styres og tilses af mennesker på passende vis. Ved teknisk robusthed og sikkerhed forstås, at AI-systemer udvikles og anvendes på en måde, der giver mulighed for robusthed i tilfælde af problemer og modstandsdygtighed over for forsøg på at ændre AI-systemets anvendelse eller ydeevne, således at tredjeparters ulovlige anvendelse tillades, og minimerer utilsigtet skade. Ved privatlivets fred og datastyring forstås, at AI-systemer udvikles og anvendes i overensstemmelse med reglerne for beskyttelse af privatlivets fred og databeskyttelse, samtidig med at behandlingen af data lever op til høje standarder for kvalitet og integritet. Ved gennemsigtighed forstås, at AI-systemer udvikles og anvendes på en måde, der giver mulighed for passende sporbarhed og forklarlighed, samtidig med at personer gøres opmærksom på, at de kommunikerer eller interagerer med et AI-system, og at idriftsætterne informeres behørigt om det pågældende AI-systems kapacitet og begrænsninger og berørte personer om deres rettigheder. Ved mangfoldighed, ikkeforskelsbehandling og retfærdighed forstås, at AI-systemer udvikles og anvendes på en måde, der inkluderer forskellige aktører og fremmer lige adgang, ligestilling mellem kønnene og kulturel mangfoldighed, samtidig med at forskelsbehandlende virkninger og urimelige bias, der er forbudt i henhold til EU-retten eller national ret, undgås. Ved social og miljømæssig velfærd forstås, at AI-systemer udvikles og anvendes på en bæredygtig og miljøvenlig måde og på en måde, der gavner alle mennesker, samtidig med at de langsigtede virkninger for den enkelte, samfundet og demokratiet overvåges og vurderes. Anvendelsen af disse principper bør så vidt muligt omsættes i udformningen og anvendelsen af AI-modeller. De bør under alle omstændigheder tjene som grundlag for udarbejdelsen af adfærdskodekser i henhold til denne forordning. Alle interessenter, herunder industrien, den akademiske verden, civilsamfundet og standardiseringsorganisationer, opfordres til i relevant omfang at tage hensyn til de etiske principper ved udviklingen af frivillig bedste praksis og standarder.

(28)

Ud over de mange nyttige anvendelser af AI kan den også misbruges og resultere i nye og effektive værktøjer til manipulerende, udnyttende og socialt kontrollerende former for praksis. Sådanne former for praksis er særlig skadelige og krænkende og bør forbydes, fordi de er i modstrid med Unionens værdier om respekt for menneskelig værdighed, frihed, ligestilling, demokrati og retsstatsprincippet og de grundlæggende rettigheder, der er nedfældet i chartret, herunder retten til beskyttelse mod forskelsbehandling, retten til databeskyttelse og retten til privatlivets fred og børns rettigheder.

(29)

AI-baserede manipulerende teknikker kan anvendes til at overtale personer til at udvise uønsket adfærd eller til at vildlede dem ved at nudge dem til at træffe beslutninger på en måde, der undergraver og hæmmer deres autonomi, beslutningstagning og frie valg. Omsætning, ibrugtagning eller anvendelse af visse AI-systemer med det formål eller den virkning i væsentlig grad at fordreje menneskers adfærd, hvorved der sandsynligvis vil opstå betydelige skader, der navnlig kan have tilstrækkeligt vigtige negative indvirkninger på fysisk eller psykisk sundhed eller finansielle interesser, er særligt farlige og bør derfor forbydes. Sådanne AI-systemer anvender subliminale komponenter såsom lyd-, billed- eller videostimuli, som mennesker ikke kan opfatte, eftersom disse stimuli ligger uden for den menneskelige opfattelsesevne, eller andre manipulerende eller vildledende teknikker, der undergraver eller svækker menneskers autonomi, beslutningstagning eller frie valg på måder, hvor mennesker ikke er bevidste om disse teknikker, eller, hvis de er bevidste om dem, stadig kan blive vildledt eller ikke er i stand til at kontrollere eller modstå dem. Dette kan lettes f.eks. ved hjælp af maskine-hjerne-grænseflader eller virtuel virkelighed, da de giver mulighed for en højere grad af kontrol over, hvilke stimuli der præsenteres for personer, for så vidt som de i væsentlig grad kan fordreje deres adfærd på betydelig skadelig vis. Desuden kan AI-systemer også på anden måde udnytte sårbarheder hos en person eller en specifik gruppe af mennesker på grund af deres alder, handicap som omhandlet i Europa-Parlamentets og Rådets direktiv (EU) 2019/882 (16) eller en specifik social eller økonomisk situation, der sandsynligvis vil gøre disse personer mere sårbare over for udnyttelse, såsom personer, der lever i ekstrem fattigdom, og etniske eller religiøse mindretal.Sådanne AI-systemer kan bringes i omsætning, ibrugtages eller anvendes med den hensigt eller det resultat i væsentlig grad at fordreje en persons adfærd og på en måde, der forvolder eller med rimelig sandsynlighed kan forventes at ville forvolde den pågældende eller en anden person eller persongrupper betydelig skade, herunder skade, der kan akkumuleres over tid, og bør derfor forbydes. Det er ikke nødvendigvis muligt at antage, at der er en hensigt om at fordreje adfærd, hvis fordrejningen skyldes faktorer uden for AI-systemet, som er uden for udbyderens eller idriftsætterens kontrol, dvs. faktorer, der ikke med rimelighed kan forudses, og som udbyderen eller idriftsætteren af AI-systemet derfor ikke kan afbøde. Under alle omstændigheder er det ikke nødvendigt, at udbyderen eller idriftsætteren har til hensigt at forvolde betydelig skade, forudsat at en sådan skade er resultatet af AI-baserede manipulerende eller udnyttende former for praksis. Forbuddene mod sådanne former for AI-praksis supplerer bestemmelserne i Europa-Parlamentets og Rådets direktiv 2005/29/EF (17), navnlig at urimelig handelspraksis, der forårsager økonomisk eller finansiel skade for forbrugerne, er forbudt under alle omstændigheder, uanset om den indføres ved hjælp af AI-systemer eller på anden måde. Forbuddene mod manipulerende og udnyttende former for praksis i denne forordning bør ikke berøre lovlig praksis i forbindelse med lægebehandling såsom psykologbehandling af psykisk sygdom eller fysisk rehabilitering, når disse former for praksis udføres i overensstemmelse med gældende ret og medicinske standarder, for eksempel enkeltpersoners eller deres retlige repræsentanters udtrykkelige samtykke. Desuden bør almindelig og legitim handelspraksis, for eksempel på reklameområdet, der overholder gældende ret, ikke i sig selv anses for at udgøre skadelige AI-baserede manipulerende former for praksis.

(30)

Systemer til biometrisk kategorisering, der er baseret på fysiske personers biometriske data, såsom en persons ansigt eller fingeraftryk, med henblik på at udlede en persons politiske anskuelser, fagforeningsmedlemskab, religiøse eller filosofiske overbevisning, race, seksuelle forhold eller seksuelle orientering, bør forbydes. Dette forbud bør ikke omfatte lovlig mærkning, filtrering eller kategorisering af biometriske datasæt, der er indhentet i overensstemmelse med EU-retten eller national ret i henhold til biometriske data, såsom sortering af billeder efter hårfarve eller øjenfarve, som f.eks. kan anvendes inden for retshåndhævelse.

(31)

AI-systemer, hvor offentlige eller private aktører gør brug af social bedømmelse af fysiske personer, kan føre til forskelsbehandlende resultater og udelukkelse af visse grupper. De kan dermed krænke retten til værdighed og ikkeforskelsbehandling og værdierne lighed og retfærdighed. Sådanne AI-systemer evaluerer eller klassificerer fysiske personer eller grupper heraf på grundlag af en lang række datapunkter i tilknytning til deres sociale adfærd i flere sammenhænge eller kendte, udledte eller forudsagte personlige egenskaber eller personlighedstræk over en vis periode. Den sociale bedømmelse, der leveres af sådanne AI-systemer, kan føre til skadelig eller ugunstig behandling af fysiske personer eller hele grupper heraf i sociale sammenhænge, som ikke har noget at gøre med den sammenhæng, i hvilken dataene oprindeligt blev genereret eller indsamlet, eller til skadelig behandling, der er uforholdsmæssig eller uberettiget i forhold til betydningen af deres sociale adfærd. AI-systemer, der indebærer sådanne uacceptable former for bedømmelsespraksis, og som fører til et sådant skadeligt eller ugunstigt udfald, bør derfor forbydes. Dette forbud bør ikke berøre lovlige former for praksis med evaluering af fysiske personer, der udføres med et specifikt formål i overensstemmelse med EU-retten og national ret.

(32)

Anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid af fysiske personer på offentlige steder med henblik på retshåndhævelse er særligt indgribende i de berørte personers rettigheder og friheder, for så vidt som det kan påvirke privatlivets fred for en stor del af befolkningen, skabe en følelse af konstant overvågning og indirekte afskrække fra udøvelsen af forsamlingsfriheden og andre grundlæggende rettigheder. Tekniske unøjagtigheder i AI-systemer, der er tilsigtet biometrisk fjernidentifikation af fysiske personer, kan føre til resultater behæftet med bias og have forskelsbehandlende virkning. Sådanne mulige resultater behæftet med bias og forskelsbehandlende virkninger er særligt relevante med hensyn til alder, etnicitet, race, køn og handicap. Desuden indebærer den øjeblikkelige virkning og de begrænsede muligheder for yderligere kontrol eller justeringer i forbindelse med anvendelsen af sådanne systemer, der fungerer i realtid, øgede risici for rettigheder og friheder for de berørte personer i forbindelse med eller påvirket af retshåndhævelsesaktiviteter.

(33)

Anvendelsen af disse systemer med henblik på retshåndhævelse bør derfor forbydes, undtagen i udtømmende opregnede og snævert definerede situationer, hvor anvendelsen er strengt nødvendig for at opfylde en væsentlig samfundsinteresse, hvis betydning vejer tungere end risiciene. Disse situationer omfatter eftersøgning af visse ofre for kriminalitet, herunder forsvundne personer, visse trusler mod fysiske personers liv eller fysiske sikkerhed eller om et terrorangreb, samt lokalisering eller identifikation af gerningsmænd, der har begået, eller af personer, der mistænkes for at have begået, de strafbare handlinger, der er opført i et bilag til denne forordning, hvis disse strafbare handlinger i den berørte medlemsstat kan straffes med frihedsstraf eller en anden frihedsberøvende foranstaltning af en maksimal varighed på mindst fire år, og som de er defineret i denne medlemsstats ret. En sådan tærskel for frihedsstraf eller anden frihedsberøvende foranstaltning i overensstemmelse med national ret bidrager til at sikre, at lovovertrædelsen er af tilstrækkelig alvorlig karakter til potentielt at berettige anvendelsen af systemer til biometrisk fjernidentifikation i realtid. Desuden er listen over strafbare handlinger fastlagt i et bilag til denne forordning baseret på de 32 strafbare handlinger, der er opregnet i Rådets rammeafgørelse 2002/584/RIA (18), og tager hensyn til, at nogle af disse strafbare handlinger i praksis er mere relevante end andre, idet anvendelsen af biometrisk fjernidentifikation i realtid sandsynligvis i meget varierende grad kan være nødvendig og forholdsmæssig med henblik på lokalisering eller identifikation af en gerningsmand, der har begået, eller af en person, der mistænkes for at have begået, strafbare handlinger, der er opført på listen, og under hensyntagen til de sandsynlige forskelle i alvorligheden, sandsynligheden og omfanget af skaden eller mulige negative konsekvenser. En overhængende fare for fysiske personers liv eller fysiske sikkerhed kan også hidrøre fra en alvorlig afbrydelse af kritisk infrastruktur som defineret i artikel 2, nr. 4), i Europa-Parlamentets og Rådets direktiv (EU) 2022/2557 (19), hvor afbrydelse eller ødelæggelse af en sådan kritisk infrastruktur ville medføre overhængende fare for en persons liv eller fysiske sikkerhed, herunder gennem alvorlig skade på forsyningen af befolkningen med grundlæggende fornødenheder eller på udøvelsen af statens centrale funktion. Desuden bør denne forordning bevare de retshåndhævende myndigheders, grænsekontrolmyndighedernes, indvandringsmyndighedernes eller asylmyndighedernes mulighed for at foretage identitetskontrol under tilstedeværelse af den pågældende person i overensstemmelse med de betingelser, der er fastsat i EU-retten og national ret for en sådan kontrol. Navnlig bør retshåndhævende myndigheder, grænsekontrolmyndigheder, indvandringsmyndigheder eller asylmyndigheder kunne anvende informationssystemer i overensstemmelse med EU-retten eller national ret til at identificere personer, der under en identitetskontrol enten nægter at blive identificeret eller ikke er i stand til at oplyse eller bevise deres identitet, uden at det i henhold til denne forordning kræves, at der indhentes forhåndstilladelse. Dette kan f.eks. være en person, der er involveret i en forbrydelse, og som er uvillig eller ude af stand til på grund af en ulykke eller en helbredstilstand at afsløre sin identitet over for de retshåndhævende myndigheder.

(34)

For at sikre at disse systemer anvendes på en ansvarlig og forholdsmæssig måde, er det også vigtigt at fastslå, at der i hver af disse udtømmende opregnede og snævert definerede situationer bør tages hensyn til visse elementer, navnlig med hensyn til situationens karakter, som ligger til grund for anmodningen, og konsekvenserne af anvendelsen for alle berørte personers rettigheder og friheder samt de sikkerhedsforanstaltninger og betingelser, der er fastsat for brugen. Anvendelsen af systemer til biometrisk fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse bør kun idriftsættes til at bekræfte den specifikt målrettede persons identitet og bør begrænses til, hvad der er strengt nødvendigt for så vidt angår tidsperioden samt det geografiske og personmæssige anvendelsesområde, navnlig med hensyn til beviserne eller indikationerne vedrørende truslerne, ofrene eller gerningsmanden. Anvendelsen af systemet til biometrisk fjernidentifikation i realtid på offentlige steder bør kun tillades, hvis den relevante retshåndhævende myndighed har gennemført en konsekvensanalyse vedrørende grundlæggende rettigheder og, medmindre andet er fastsat i denne forordning, har registreret systemet i databasen som fastsat i denne forordning. Referencedatabasen over personer bør være passende for hvert enkelt anvendelsestilfælde i hver af de ovennævnte situationer.

(35)

Enhver anvendelse af et system til biometrisk fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse bør være betinget af en udtrykkelig og specifik tilladelse fra en medlemsstats judicielle myndighed eller uafhængige administrative myndighed, hvis afgørelse er bindende. En sådan tilladelse bør i princippet indhentes forud for anvendelsen af AI- systemet med henblik på at identificere en eller flere personer. Undtagelser fra denne regel bør tillades i behørigt begrundede hastende tilfælde, dvs. i situationer, hvor behovet for at anvende de pågældende systemer er af en sådan art, at det er praktisk og objektivt umuligt at indhente en tilladelse, inden anvendelsen af AI-systemet påbegyndes. I sådanne hastende situationer bør anvendelsen af AI-systemet begrænses til det absolut nødvendige minimum og bør være underlagt passende sikkerhedsforanstaltninger og betingelser som fastsat i national ret og præciseret i forbindelse med hver enkelt hastesag af den retshåndhævende myndighed selv. Desuden bør den retshåndhævende myndighed i sådanne situationer anmode om en sådan tilladelse og samtidig begrunde, hvorfor den ikke har været i stand til at anmode om den tidligere, uden unødigt ophold og senest inden for 24 timer. Hvis en sådan tilladelse afvises, bør anvendelsen af systemer til biometrisk identifikation i realtid, der er knyttet til den pågældende tilladelse, indstilles med øjeblikkelig virkning, og alle data vedrørende en sådan anvendelse bør kasseres og slettes. Sådanne data omfatter inputdata, der er erhvervet direkte af et AI-system ved anvendelsen af et sådant system, samt resultater og output af den anvendelse, der er knyttet til den pågældende tilladelse. Det bør ikke omfatte input, der er erhvervet lovligt i overensstemmelse med anden EU-ret eller national ret. Under alle omstændigheder bør der ikke træffes nogen afgørelse, der har negative retsvirkninger for en person, udelukkende baseret på outputtet af systemet til biometrisk fjernidentifikation.

(36)

Den relevante markedsovervågningsmyndighed og den nationale databeskyttelsesmyndighed bør for at kunne udføre deres opgaver i overensstemmelse med kravene fastsat i denne forordning og i de nationale regler underrettes om hver anvendelse af »systemet til biometrisk identifikation i realtid«. Markedsovervågningsmyndighederne og de nationale databeskyttelsesmyndigheder, der er blevet underrettet, bør forelægge Kommissionen en årlig rapport om anvendelsen af systemer til biometrisk identifikation i realtid.

(37)

Endvidere bør det inden for denne forordnings udtømmende rammer fastsættes, at en sådan anvendelse på en medlemsstats område i overensstemmelse med denne forordning kun bør være mulig, hvis og i det omfang den pågældende medlemsstat har besluttet udtrykkeligt at give mulighed for at tillade en sådan anvendelse i sine detaljerede bestemmelser i national ret. Det står derfor medlemsstaterne frit for i henhold til denne forordning slet ikke at fastsætte en sådan mulighed eller kun at fastsætte en sådan mulighed med hensyn til nogle af de mål, der i henhold til denne forordning kan begrunde en godkendt anvendelse. Sådanne nationale regler bør meddeles Kommissionen inden for 30 dage efter deres vedtagelse.

(38)

Anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid af fysiske personer på offentlige steder med henblik på retshåndhævelse indebærer nødvendigvis behandling af biometriske data. De bestemmelser i denne forordning, der med forbehold af visse undtagelser forbyder en sådan anvendelse, og som har grundlag i artikel 16 i TEUF, bør finde anvendelse som lex specialis, for så vidt angår reglerne om behandling af biometriske data i artikel 10 i direktiv (EU) 2016/680 og således regulere anvendelsen og behandlingen af biometriske data på en udtømmende måde. En sådan anvendelse og behandling bør derfor kun være mulig, i det omfang det er foreneligt med den ramme, der er fastsat i denne forordning, uden at der uden for denne ramme er mulighed for, at de kompetente myndigheder, når de handler med henblik på retshåndhævelse, kan anvende sådanne systemer og i forbindelse hermed behandle sådanne data af de grunde, der er anført i artikel 10 i direktiv (EU) 2016/680. I denne sammenhæng har denne forordning ikke til formål at tilvejebringe retsgrundlaget for behandling af personoplysninger i henhold til artikel 8 i direktiv (EU) 2016/680. Anvendelsen af systemer til biometrisk fjernidentifikation i realtid på offentlige steder til andre formål end retshåndhævelse, herunder af kompetente myndigheder, bør imidlertid ikke være omfattet af den specifikke ramme for en sådan anvendelse med henblik på retshåndhævelse som fastsat i denne forordning. En sådan anvendelse til andre formål end retshåndhævelse bør derfor ikke være underlagt kravet om en tilladelse i henhold til denne forordning og de gældende detaljerede bestemmelser i national ret, der kan give denne tilladelse virkning.

(39)

Enhver behandling af biometriske data og andre personoplysninger i forbindelse med anvendelsen af AI-systemer til biometrisk identifikation, undtagen i forbindelse med anvendelsen af systemer til biometrisk fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse som reguleret ved denne forordning, bør fortsat overholde alle de krav, der følger af artikel 10 i direktiv (EU) 2016/680. Med henblik på andre formål end retshåndhævelse forbyder artikel 9, stk. 1, i forordning (EU) 2016/679 og artikel 10, stk. 1, i forordning (EU) 2018/1725 behandling af biometriske data med begrænsede undtagelser som fastsat i disse artikler. I henhold til artikel 9, stk. 1, i forordning (EU) 2016/679 har anvendelsen af biometrisk fjernidentifikation til andre formål end retshåndhævelse allerede været genstand for forbudsafgørelser fra nationale databeskyttelsesmyndigheder.

(40)

I medfør af artikel 6a i protokol nr. 21 om Det Forenede Kongeriges og Irlands stilling, for så vidt angår området med frihed, sikkerhed og retfærdighed, der er knyttet som bilag til TEU og TEUF, er Irland ikke bundet af regler fastsat i denne forordnings artikel 5, stk. 1, første afsnit, litra g), i det omfang den finder anvendelse på brugen af systemer til biometrisk kategorisering til aktiviteter inden for politisamarbejde og retligt samarbejde i straffesager, artikel 5, stk. 1, første afsnit, litra d), i det omfang den finder anvendelse på brugen af AI-systemer, der er omfattet af nævnte bestemmelse, artikel 5, stk. 1, første afsnit, litra h), og stk. 2-6, og artikel 26, stk. 10, der er vedtaget på grundlag af artikel 16 i TEUF vedrørende medlemsstaternes behandling af personoplysninger under udøvelsen af aktiviteter, der er omfattet af tredje del, afsnit V, kapitel 4 eller 5, i TEUF, når Irland ikke er bundet af regler vedrørende former for strafferetligt samarbejde eller politisamarbejde, der kræver overholdelse af de bestemmelser, der er fastsat på grundlag af artikel 16 i TEUF.

(41)

I medfør af artikel 2 og 2a i protokol nr. 22 om Danmarks stilling, der er knyttet som bilag til TEU og TEUF, er de regler, der er fastsat i denne forordnings artikel 5, stk. 1, første afsnit, litra g), i det omfang den finder anvendelse på brugen af systemer til biometrisk kategorisering til aktiviteter inden for politisamarbejde og retligt samarbejde i straffesager, artikel5, stk. 1, første afsnit, litra d), i det omfang den finder anvendelse på brugen af AI-systemer, der er omfattet af nævnte bestemmelse, artikel 5, stk. 1, første afsnit, litra h), og stk. 2-6, og artikel 26, stk. 10, der er vedtaget på grundlag af artikel 16 i TEUF vedrørende medlemsstaternes behandling af personoplysninger under udøvelsen af aktiviteter, der er omfattet af tredje del, afsnit V, kapitel 4 eller 5, i TEUF, ikke bindende for og finder ikke anvendelse i Danmark.

(42)

I overensstemmelse med uskyldsformodningen bør fysiske personer i Unionen altid dømmes på grundlag af deres faktiske adfærd. Fysiske personer bør aldrig dømmes på grundlag af AI-forudsagt adfærd, der alene er baseret på deres profilering, personlighedstræk eller personlige egenskaber såsom nationalitet, fødested, bopæl, antal børn, gældsbyrde eller biltype, uden at der er begrundet mistanke om, at den pågældende person er involveret i kriminel aktivitet baseret på objektive verificerbare kendsgerninger, og uden menneskelig vurdering heraf. Risikovurderinger, der udføres med hensyn til fysiske personer med det formål at vurdere risikoen for, at de begår lovovertrædelser, eller forudsige forekomsten af en faktisk eller potentiel strafbar handling alene baseret på profilering af dem eller vurdering af deres personlighedstræk og personlige egenskaber, bør derfor forbydes. Under alle omstændigheder henviser dette forbud ikke til eller berører ikke risikoanalyser, der ikke er baseret på profilering af enkeltpersoner eller på enkeltpersoners personlighedstræk og personlige egenskaber, såsom AI-systemer, der anvender risikoanalyser til at vurdere sandsynligheden for virksomheders økonomiske svig på grundlag af mistænkelige transaktioner eller risikoanalyseværktøjer til at forudsige sandsynligheden for toldmyndighedernes lokalisering af narkotika eller ulovlige varer, f.eks. på grundlag af kendte narkotikaruter.

(43)

Omsætning, ibrugtagning til dette specifikke formål eller anvendelse af AI-systemer, der opretter eller udvider ansigtsgenkendelsesdatabaser gennem ikkemålrettet indsamling af ansigtsbilleder fra internettet eller kameraovervågning, bør forbydes, da denne praksis øger følelsen af masseovervågning og kan føre til grove krænkelser af de grundlæggende rettigheder, herunder retten til privatlivets fred.

(44)

Der er alvorlig bekymring over det videnskabelige grundlag for AI-systemer, der har til formål at identificere eller udlede følelser, navnlig da følelser varierer betydeligt på tværs af kulturer og situationer og endda hos en enkelt person. Blandt de vigtigste mangler ved sådanne systemer er den begrænsede pålidelighed, manglen på specificitet og den begrænsede generaliserbarhed. AI-systemer, der identificerer eller udleder fysiske personers følelser eller hensigter på grundlag af deres biometriske data, kan derfor føre til forskelsbehandlende resultater og kan være indgribende i de berørte personers rettigheder og friheder. Sådanne systemer kan i betragtning af den ulige magtfordeling på arbejdspladsen eller uddannelsesstedet, kombineret med disse systemers indgribende karakter, føre til skadelig eller ugunstig behandling af visse fysiske personer eller hele grupper heraf. Omsætningen, ibrugtagningen eller anvendelsen af AI-systemer, der er tilsigtet at påvise enkeltpersoners følelsesmæssige tilstand i situationer, der vedrører arbejdspladsen og uddannelsesstedet, bør derfor forbydes. Dette forbud bør ikke omfatte AI-systemer, der bringes i omsætning udelukkende af medicinske eller sikkerhedsmæssige årsager, såsom systemer tilsigtet terapeutisk brug.

(45)

Former for praksis, der er forbudt i henhold til EU-retten, herunder databeskyttelsesretten, retten om ikkeforskelsbehandling, forbrugerbeskyttelsesretten og konkurrenceretten, bør ikke berøres af denne forordning.

(46)

Højrisiko-AI-systemer bør kun bringes i omsætning på EU-markedet, ibrugtages eller anvendes, hvis de overholder visse obligatoriske krav. Disse krav bør sikre, at højrisiko-AI-systemer, der er tilgængelige i Unionen, eller hvis output på anden måde anvendes i Unionen, ikke udgør uacceptable risici for vigtige samfundsinteresser i Unionen som anerkendt og beskyttet i EU-retten. På grundlag af den nye lovgivningsmæssige ramme, som præciseret i Kommissionens meddelelse om den blå vejledning om gennemførelsen af EU's produktregler 2022 (20), er den generelle regel, at mere end én EU-harmoniseringslovgivningsretsakt såsom Europa-Parlamentets og Rådets forordning (EU) 2017/745 (21) og (EU) 2017/746 (22) eller Europa-Parlamentets og Rådets direktiv 2006/42/EF (23) kan finde anvendelse på ét produkt, da tilgængeliggørelsen eller ibrugtagningen kun kan finde sted, når produktet overholder al gældende EU-harmoniseringslovgivning. For at sikre konsekvens og undgå unødvendige administrative byrder eller omkostninger bør udbydere af et produkt, der indeholder et eller flere højrisiko-AI-systemer, som kravene i nærværende forordning og kravene i EU-harmoniseringslovgivningen opført i et bilag til nærværende forordning, finder anvendelse på, have fleksibilitet med hensyn til at træffe operationelle beslutninger om, hvordan det sikres, at et produkt, der indeholder et eller flere AI-systemer, overholder alle gældende krav i EU-harmoniseringslovgivningen på en optimal måde. AI-systemer, der identificeres som højrisiko, bør begrænses til systemer, der har en betydelig skadelig indvirkning på personers sundhed, sikkerhed og grundlæggende rettigheder i Unionen, og en sådan begrænsning bør minimere enhver potentiel restriktion for international handel.

(47)

AI-systemer kan have negative virkninger for personers sundhed og sikkerhed, navnlig når sådanne systemer anvendes som produkters sikkerhedskomponenter. I overensstemmelse med målene for EU-harmoniseringslovgivningen om at lette den frie bevægelighed for produkter i det indre marked og sørge for, at kun sikre produkter, der desuden overholder alle de stillede krav, kommer ind på markedet, er det vigtigt, at de sikkerhedsrisici, som et produkt som helhed kan udgøre på grund af dets digitale komponenter, herunder AI-systemer, behørigt forebygges og afbødes. F.eks. bør stadig mere autonome robotter, hvad enten det er i forbindelse med fremstilling eller personlig bistand og pleje, være i stand til at fungere sikkert og udføre deres funktioner i komplekse miljøer. Også i sundhedssektoren, hvor det drejer sig direkte om liv og sundhed, bør stadig mere avancerede diagnosesystemer og systemer, der understøtter menneskers beslutninger, være pålidelige og nøjagtige.

(48)

Omfanget af et AI-systems negative indvirkning på de grundlæggende rettigheder, der er beskyttet af chartret, er særlig relevant, når et AI-system klassificeres som højrisiko. Disse rettigheder omfatter retten til menneskelig værdighed, respekt for privatliv og familieliv, beskyttelse af personoplysninger, ytrings- og informationsfrihed, forsamlings- og foreningsfrihed, retten til ikkeforskelsbehandling, retten til uddannelse, forbrugerbeskyttelse, arbejdstagerrettigheder, rettigheder for personer med handicap, ligestilling mellem kønnene, intellektuelle ejendomsrettigheder, retten til effektive retsmidler og til en retfærdig rettergang, retten til et forsvar og uskyldsformodningen samt retten til god forvaltning. Ud over disse rettigheder er det vigtigt at fremhæve det forhold, at børn har specifikke rettigheder som fastsat i artikel 24 i chartret og i De Forenede Nationers konvention om barnets rettigheder, yderligere udviklet i generel bemærkning nr. 25 vedrørende det digitale miljø fra FN's Komité for Barnets Rettigheder, som begge kræver, at der tages hensyn til børns sårbarhed, og at der ydes den beskyttelse og omsorg, der er nødvendig for deres trivsel. Den grundlæggende ret til et højt miljøbeskyttelsesniveau, der er nedfældet i chartret og gennemført i Unionens politikker, bør også tages i betragtning ved vurderingen af alvorligheden af den skade, som et AI-system kan forvolde, herunder i forbindelse med personers sundhed og sikkerhed.

(49)

For så vidt angår højrisiko-AI-systemer, der er sikkerhedskomponenter i produkter eller systemer, eller som selv er produkter eller systemer, der er omfattet af anvendelsesområdet for Europa-Parlamentets og Rådets forordning (EF) nr. 300/2008 (24), Europa-Parlamentets og Rådets forordning (EU) nr. 167/2013 (25), Europa-Parlamentets og Rådets forordning (EU) nr. 168/2013 (26), Europa-Parlamentets og Rådets direktiv 2014/90/EU (27), Europa-Parlamentets og Rådets direktiv (EU) 2016/797 (28), Europa-Parlamentets og Rådets forordning (EU) 2018/858 (29), Europa-Parlamentets og Rådets forordning (EU) 2018/1139 (30) og Europa-Parlamentets og Rådets forordning (EU) 2019/2144 (31), bør disse retsakter ændres for at sikre, at Kommissionen, på grundlag af de særlige tekniske og reguleringsmæssige forhold i hver enkelt sektor og uden at gribe ind i de eksisterende forvaltnings-, overensstemmelsesvurderings- og håndhævelsesmekanismer og myndigheder, der er fastsat heri, tager hensyn til de obligatoriske krav til højrisiko-AI-systemer, der er fastsat i nærværende forordning, når den vedtager relevante delegerede retsakter eller gennemførelsesretsakter på grundlag af disse retsakter.

(50)

For så vidt angår AI-systemer, der er sikkerhedskomponenter i produkter, eller som selv er produkter, der er omfattet af anvendelsesområdet for en vis EU-harmoniseringslovgivning, der er opført i et bilag til denne forordning, er det hensigtsmæssigt at klassificere dem som højrisiko i henhold til denne forordning, hvis det pågældende produkt overensstemmelsesvurderes af en tredjeparts overensstemmelsesvurderingsorgan i henhold til den relevante EU-harmoniseringslovgivning. Sådanne produkter er navnlig maskiner, legetøj, elevatorer, udstyr og sikringssystemer tilsigtet anvendelse i eksplosionsfarlig atmosfære, radioudstyr, trykudstyr, udstyr til fritidsfartøjer, tovbaneanlæg, gasapparater, medicinsk udstyr, in vitro-diagnostisk medicinsk udstyr, bilindustrien og luftfart.

(51)

Klassificeringen af et AI-system som højrisiko i henhold til denne forordning bør ikke nødvendigvis betyde, at det produkt, hvori AI-systemet indgår som sikkerhedskomponent, eller selve AI-systemet som produkt betragtes som højrisiko i henhold til de kriterier, der er fastsat i den relevante EU-harmoniseringslovgivning, der finder anvendelse på produktet. Dette er navnlig tilfældet med forordning (EU) 2017/745 og (EU) 2017/746, hvor en tredjepart foretager overensstemmelsesvurderinger af mellemrisiko- og højrisikoprodukter.

(52)

For så vidt angår selvstændige AI-systemer, dvs. andre højrisiko-AI-systemer end dem, der er produkters sikkerhedskomponenter, eller selv er produkter, bør de klassificeres som højrisiko, hvis de set i lyset af deres tilsigtede formål udgør en høj risiko for skade på sundhed og sikkerhed eller personers grundlæggende rettigheder, idet der tages hensyn til både sandsynligheden for den mulige skade og dens alvorlighed, og hvis de anvendes på en række specifikt foruddefinerede områder, der er angivet i denne forordning. Disse systemer udpeges ved hjælp af den samme metode og ud fra de samme kriterier som i forbindelse med eventuelle fremtidige ændringer af listen over højrisiko-AI-systemer, som Kommissionen bør tillægges beføjelser til at vedtage ved hjælp af delegerede retsakter for at tage hensyn til den hurtige teknologiske udvikling samt de potentielle ændringer i anvendelsen af AI-systemer.

(53)

Det er også vigtigt at præcisere, at der kan være særlige tilfælde, hvor AI-systemer, der henvises til i foruddefinerede områder som angivet i denne forordning, ikke medfører en væsentlig risiko for at skade de retlige interesser, der beskyttes på disse områder, fordi de ikke i væsentlig grad påvirker beslutningstagningen eller ikke skader disse interesser væsentligt. Med henblik på denne forordning bør et AI-system, der ikke i væsentlig grad påvirker resultatet af beslutningstagning, forstås som et AI-system, der ikke har indvirkning på substansen og dermed resultatet af beslutningstagning, uanset om den er menneskelig eller automatiseret. Et AI-system, der ikke i væsentlig grad påvirker resultatet af beslutningstagning, kan omfatte situationer, hvor en eller flere af følgende betingelser er opfyldt. Den første sådanne betingelse bør være, at AI-systemet er tilsigtet at udføre en snæver proceduremæssig opgave, f.eks. et AI-system, der omdanner ustrukturerede data til strukturerede data, et AI-system, der klassificerer indgående dokumenter i kategorier, eller et AI-system, der anvendes til at påvise duplikater blandt et stort antal ansøgninger. Disse opgaver er så snævre og begrænsede, at de kun udgør begrænsede risici, som ikke øges som følge af anvendelsen af et AI-system i en af de sammenhænge, der er opført som en højrisikoanvendelse i et bilag til denne forordning. Den anden betingelse bør være, at den opgave, AI-systemet udfører, er tilsigtet at forbedre resultatet af en tidligere afsluttet menneskelig aktivitet, der kan være relevant med henblik på de højrisikoanvendelser, der er opført i et bilag til denne forordning. I betragtning af disse karakteristika tilføjer AI-systemet kun et ekstra lag til en menneskelig aktivitet og udgør dermed en lavere risiko. Denne betingelse ville f.eks. gælde AI-systemer, der er tilsigtet at forbedre det sprog, der er anvendt i tidligere udarbejdede dokumenter, f.eks. hvad angår professionel tone og akademisk sprogbrug eller ved at tilpasse teksten til et bestemt produktbudskab. Den tredje betingelse bør være, at AI-systemet er tilsigtet at påvise beslutningsmønstre eller afvigelser fra tidligere beslutningsmønstre. Risikoen vil være lavere, fordi anvendelsen af AI-systemet følger efter en tidligere afsluttet menneskelig vurdering, som det ikke er tiltænkt at skulle erstatte eller påvirke uden en ordentlig menneskelig gennemgang. Sådanne AI-systemer omfatter f.eks. systemer, der ud fra en lærers bestemte bedømmelsesmønster kan anvendes til efterfølgende at kontrollere, om læreren kan have afveget fra bedømmelsesmønstret, således at potentielle uoverensstemmelser eller uregelmæssigheder identificeres. Den fjerde betingelse bør være, at AI-systemet er tilsigtet kun at udføre en forberedende opgave inden en vurdering, der er relevant med henblik på de AI-systemer, der er opført i et bilag til denne forordning, hvilket gør den mulige virkning af systemets output meget lav med hensyn til at udgøre en risiko for den efterfølgende vurdering. Denne betingelse omfatter bl.a. intelligente løsninger til filhåndtering, som indeholder forskellige funktioner såsom indeksering, søgning, tekst- og talebehandling eller sammenkobling af data til andre datakilder, eller AI-systemer, der anvendes til oversættelse af oprindelige dokumenter. Under alle omstændigheder bør AI-systemer, som anvendes i tilfælde af højrisikoanvendelser, der er opført i et bilag til denne forordning, betragtes som at udgøre en betydelig risiko for skade på fysiske personers sundhed, sikkerhed eller grundlæggende rettigheder, hvis AI-systemet indebærer profilering som omhandlet i artikel 4, nr. 4), i forordning (EU) 2016/679, eller artikel 3, nr. 4), i direktiv (EU) 2016/680 eller artikel 3, nr. 5), i forordning (EU) 2018/1725. For at sikre sporbarhed og gennemsigtighed bør en udbyder, der skønner, at et AI-system ikke udgør en høj risiko på grundlag af de ovenfor omhandlede betingelser, udarbejde dokumentation for vurderingen, inden systemet bringes i omsætning eller ibrugtages, og bør efter anmodning forelægge denne dokumentation for de nationale kompetente myndigheder. En sådan udbyder bør være forpligtet til at registrere AI-systemet i den EU-database, der oprettes i henhold til nærværende forordning. Med henblik på at give yderligere vejledning om den praktiske gennemførelse af de betingelser, i henhold til hvilke de AI-systemer, der er opført i et bilag til nærværende forordning, undtagelsesvis er ikkehøjrisiko, bør Kommissionen efter høring af AI-udvalget udarbejde retningslinjer, der præciserer denne praktiske gennemførelse, suppleret med en omfattende liste over praktiske eksempler på anvendelsestilfælde af AI-systemer, der er højrisiko, og anvendelsestilfælde, der ikke er.

(54)

Da biometriske data udgør en særlig kategori af personoplysninger, er det hensigtsmæssigt at klassificere flere kritiske anvendelsestilfælde af biometriske systemer som højrisiko, for så vidt som deres anvendelse er tilladt i henhold til relevant EU-ret og national ret. Tekniske unøjagtigheder i AI-systemer, der er tilsigtet biometrisk fjernidentifikation af fysiske personer, kan føre til resultater behæftet med bias og have forskelsbehandlende virkning. Risikoen for sådanne mulige resultater behæftet med bias og forskelsbehandlende virkninger er særligt relevante med hensyn til alder, etnicitet, race, køn og handicap. Systemer til biometrisk fjernidentifikation bør derfor klassificeres som højrisiko i betragtning af de risici, systemerne udgør. En sådan klassificering udelukker AI-systemer, der tilsigtes anvendt til biometrisk verifikation, herunder autentifikation, hvis eneste formål er at bekræfte, at en bestemt fysisk person er den person, vedkommende hævder at være, og bekræfte en fysisk persons identitet udelukkende med det formål at få adgang til en tjeneste, låse udstyr op eller have sikker adgang til lokaler. Desuden bør AI-systemer, der tilsigtes anvendt til biometrisk kategorisering ifølge følsomme egenskaber eller karakteristika, som er beskyttet i henhold til artikel 9, stk. 1, i forordning (EU) 2016/679, på grundlag af biometriske data, for så vidt som disse ikke er forbudt i henhold til nærværende forordning, og systemer til følelsesgenkendelse, der ikke er forbudt i henhold til nærværende forordning, klassificeres som højrisiko. Biometriske systemer, der udelukkende er tilsigtet anvendt til at muliggøre cybersikkerhedsforanstaltninger og foranstaltninger til beskyttelse af personoplysninger, bør ikke betragtes som højrisiko-AI-systemer.

(55)

For så vidt angår forvaltning og drift af kritisk infrastruktur bør AI-systemer, der tilsigtes anvendt som sikkerhedskomponenter i forvaltningen og driften af kritisk digital infrastruktur som opført i bilaget, punkt 8, til direktiv (EU) 2022/2557, vejtrafik og forsyning af vand, gas, varme og elektricitet, klassificeres som højrisiko, da svigt eller funktionsfejl i disse systemer kan bringe menneskers liv og sundhed i fare i stor målestok og føre til betydelige forstyrrelser i de sociale og økonomiske aktiviteter. Sikkerhedskomponenter i kritisk infrastruktur, herunder kritisk digital infrastruktur, er systemer, der anvendes til direkte at beskytte den kritiske infrastrukturs fysiske integritet eller personers sundhed og sikkerhed og ejendom, men som ikke er nødvendige for, at systemet kan fungere. Svigt eller funktionsfejl i sådanne komponenter kan direkte medføre risici for den kritiske infrastrukturs fysiske integritet og dermed risici for personers sundhed og sikkerhed og ejendom. Komponenter, der udelukkende tilsigtes anvendt til cybersikkerhedsformål, bør ikke betragtes som sikkerhedskomponenter. Eksempler på sikkerhedskomponenter i en sådan kritisk infrastruktur kan omfatte systemer til overvågning af vandtryk eller brandalarmkontrolsystemer i cloudcomputingcentre.

(56)

Det er vigtigt at idriftsætte AI-systemer inden for uddannelse for at fremme digital uddannelse og træning af høj kvalitet og for at give alle lærende og lærere mulighed for at tilegne sig og dele de nødvendige digitale færdigheder og kompetencer, herunder mediekendskab, og kritisk tænkning, til at deltage aktivt i økonomien, samfundet og de demokratiske processer. AI-systemer, der anvendes inden for uddannelse eller erhvervsuddannelse, navnlig til at bestemme adgang eller optagelse, til at fordele personer på uddannelsesinstitutioner eller uddannelser på alle niveauer, til at evaluere personers læringsudbytte, til at bedømme en persons nødvendige uddannelsesniveau og væsentligt påvirke den uddannelse, som den pågældende person vil modtage eller vil kunne få adgang til, eller til at overvåge og opdage forbudt adfærd blandt studerende under prøver, bør dog klassificeres som højrisiko-AI-systemer, da de kan afgøre en persons uddannelsesmæssige og arbejdsmæssige livsforløb og dermed kan påvirke denne persons mulighed for at sikre sig et livsgrundlag. Hvis sådanne systemer udformes og anvendes forkert, kan de være særligt indgribende og krænke retten til uddannelse samt retten til ikke at blive forskelsbehandlet og gøre historiske forskelsbehandlingsmønstre permanente, f.eks. mod kvinder, bestemte aldersgrupper, personer med handicap eller personer af bestemt racemæssig eller etnisk oprindelse eller med en bestemt seksuel orientering.

(57)

AI-systemer, der anvendes inden for beskæftigelse, forvaltning af arbejdskraft og adgang til selvstændig erhvervsvirksomhed, navnlig til rekruttering og udvælgelse af personer, til at træffe beslutninger, der påvirker vilkårene for det arbejdsrelaterede forhold, forfremmelse og ophør af arbejdsmæssige kontraktforhold, til fordeling af opgaver på grundlag af individuel adfærd, personlighedstræk eller personlige egenskaber og til overvågning og evaluering af personer i arbejdsmæssige kontraktforhold, bør også klassificeres som højrisiko, da de kan have en betydelig indvirkning på disse personers fremtidige karrieremuligheder, livsgrundlag og arbejdstagerrettigheder. De relevante arbejdsmæssige kontraktforhold bør på en meningsfuld måde omfatte ansatte og personer, der leverer tjenesteydelser via platforme som omhandlet i Kommissionens arbejdsprogram for 2021. Gennem hele rekrutteringsprocessen og i forbindelse med evaluering, forfremmelse eller fastholdelse af personer i arbejdsrelaterede kontraktforhold kan sådanne systemer gøre historiske forskelsbehandlingsmønstre permanente, f.eks. mod kvinder, bestemte aldersgrupper, personer med handicap eller personer af bestemt racemæssig eller etnisk oprindelse eller med en bestemt seksuel orientering. AI-systemer, der anvendes til at overvåge disse personers præstationer og adfærd, kan også underminere deres grundlæggende ret til databeskyttelse og ret til privatlivets fred.

(58)

Et andet område, hvor anvendelsen af AI-systemer kræver særlig opmærksomhed, er adgangen til og benyttelsen af visse væsentlige private og offentlige tjenester og de ydelser, der er nødvendige for, at mennesker kan deltage fuldt ud i samfundet eller forbedre deres levestandard. Navnlig er fysiske personer, der ansøger om eller modtager væsentlige offentlige bistandsydelser og -tjenester fra offentlige myndigheder, dvs. sundhedstjenester, socialsikringsydelser, sociale tjenester, der yder beskyttelse i tilfælde af barsel, sygdom, arbejdsulykker, afhængighed eller alderdom og tab af beskæftigelse samt social bistand og boligstøtte, typisk afhængige af sådanne ydelser og tjenester og befinder sig i en sårbar situation i forhold til de ansvarlige myndigheder. Hvis der anvendes AI-systemer til at afgøre, om der skal gives afslag på sådanne ydelser og tjenester, eller om de skal tildeles, nedsættes, tilbagekaldes eller kræves tilbagebetalt af myndighederne, herunder om modtagerne reelt er berettigede til disse ydelser eller tjenester, kan disse systemer have en betydelig indvirkning på menneskers livsgrundlag og kan krænke deres grundlæggende rettigheder såsom retten til social beskyttelse, ikkeforskelsbehandling, menneskelig værdighed eller adgang til effektive retsmidler, og de bør derfor klassificeres som højrisiko. Ikke desto mindre bør denne forordning ikke hindre udviklingen eller anvendelsen af innovative tilgange i den offentlige forvaltning, som står til at kunne drage fordel af en bredere anvendelse af AI-systemer, der er i overensstemmelse med reglerne og er sikre, forudsat at de ikke indebærer en høj risiko for juridiske og fysiske personer. Desuden bør AI-systemer, der anvendes til at evaluere fysiske personers kreditvurdering eller kreditværdighed, klassificeres som højrisiko-AI-systemer, da de afgør menneskers adgang til finansielle ressourcer eller væsentlige tjenester såsom bolig, elektricitet og telekommunikationstjenester. AI-systemer, der anvendes til disse formål, kan føre til forskelsbehandling mellem personer eller grupper og kan gøre historiske forskelsbehandlingsmønstre permanente, f.eks. på grundlag af racemæssig eller etnisk oprindelse, køn, handicap, alder eller seksuel orientering, eller være med til at skabe nye former for forskelsbehandlende virkning. AI-systemer, der er fastsat i EU-retten med henblik på at afsløre svig i forbindelse med tilbud af finansielle tjenesteydelser og for i tilsynsøjemed at beregne kreditinstitutters og forsikringsselskabers kapitalkrav, bør dog ikke betragtes som højrisiko i henhold til denne forordning. Desuden kan AI-systemer, der tilsigtes anvendt til risikovurdering og prisfastsættelse i forbindelse med fysiske personer for så vidt angår syge- og livsforsikring, også have en betydelig indvirkning på menneskers livsgrundlag og kan, hvis de ikke udformes, udvikles og anvendes behørigt, krænke deres grundlæggende rettigheder og have alvorlige konsekvenser for menneskers liv og sundhed, herunder økonomisk udstødelse og forskelsbehandling. Endelig bør AI-systemer, der anvendes til at vurdere og klassificere fysiske personers nødopkald eller til at udsende beredskabstjenester i nødsituationer eller til at tildele prioriteter i forbindelse hermed, herunder fra politi, brandmænd og lægehjælp, samt patientsorteringssystemer for førstehjælp, også klassificeres som højrisiko, da de træffer beslutninger i situationer, der er meget kritiske for menneskers liv og sundhed og for deres ejendom.

(59)

I betragtning af deres rolle og ansvar, er retshåndhævende myndigheders tiltag, der omfatter visse anvendelser af AI-systemer, kendetegnet ved en betydelig magtubalance og kan føre til overvågning, anholdelse eller frihedsberøvelse af fysiske personer samt have andre negative indvirkninger på de grundlæggende rettigheder, der er sikret i chartret. Navnlig kan AI-systemer udvælge personer på forskelsbehandlende eller anden ukorrekt eller uretfærdig måde, hvis de ikke er trænet med data af høj kvalitet, ikke opfylder passende krav med hensyn til deres ydeevne, nøjagtighed og robusthed eller ikke er korrekt udformet og afprøvet, før de bringes i omsætning eller på anden måde ibrugtages. Desuden kan udøvelsen af vigtige processuelle grundlæggende rettigheder såsom retten til adgang til effektive retsmidler, retten til en retfærdig rettergang og retten til et forsvar samt uskyldsformodningen hindres, navnlig hvis sådanne AI-systemer ikke er tilstrækkeligt gennemsigtige, forklarlige og dokumenterede. Derfor bør en række AI-systemer, der tilsigtes anvendt i retshåndhævelsesmæssig sammenhæng, hvor det er særlig vigtigt med nøjagtighed, pålidelighed og gennemsigtighed for at undgå negative virkninger, bevare offentlighedens tillid og sikre ansvarlighed og effektive retsmidler, klassificeres som højrisiko, for så vidt som deres anvendelse er tilladt i henhold til relevant EU-ret og national ret. I betragtning af aktiviteternes karakter og de risici, der er forbundet hermed, bør disse højrisiko-AI-systemer navnlig omfatte AI-systemer, der er tilsigtet anvendt af eller på vegne af retshåndhævende myndigheder eller af EU-institutioner, -organer, -kontorer eller -agenturer til støtte for retshåndhævende myndigheder til vurdering af risikoen for, at en fysisk person bliver offer for strafbare handlinger, som polygrafer og lignende værktøjer, til vurdering af pålideligheden af bevismateriale i forbindelse med efterforskning eller retsforfølgning af strafbare handlinger og, for så vidt som det ikke er forbudt i henhold til denne forordning, til vurdering af risikoen for, at en fysisk person begår eller på ny begår lovovertrædelser, der ikke udelukkende er baseret på profilering af fysiske personer eller vurdering af fysiske personers eller gruppers personlighedstræk og personlige egenskaber eller tidligere kriminelle adfærd, samt til profilering i forbindelse med afsløring, efterforskning eller retsforfølgelse af strafbare handlinger. AI-systemer, der specifikt er tilsigtet anvendt til skatte- og toldmyndigheders administrative procedurer og til finansielle efterretningstjenesters udførelse af administrative opgaver, der omfatter analyse af oplysninger i henhold til EU-retten om bekæmpelse af hvidvask af penge, bør ikke klassificeres som højrisiko-AI-systemer, der anvendes af retshåndhævende myndigheder med henblik på forebyggelse, afsløring, efterforskning og retsforfølgning af strafbare handlinger. Retshåndhævende og andre relevante myndigheders anvendelse af AI-værktøjer bør ikke blive en faktor, der bidrager til ulighed eller eksklusion. Den indvirkning, som anvendelsen af AI-værktøjer har på mistænktes ret til forsvar, bør ikke ignoreres, navnlig vanskelighederne ved at skaffe meningsfulde oplysninger om, hvordan disse systemer fungerer, og de deraf følgende vanskeligheder ved at anfægte resultaterne heraf i retten, navnlig for fysiske personer, der efterforskes.

(60)

AI-systemer, der anvendes inden for migrationsstyring, asylforvaltning og grænsekontrol, berører personer, der ofte befinder sig i en særlig sårbar situation, og som er afhængige af resultatet af de kompetente offentlige myndigheders tiltag. Nøjagtigheden, den ikkeforskelsbehandlende karakter og gennemsigtigheden af de AI-systemer, der anvendes i disse sammenhænge, har derfor særlig betydning med hensyn til at sikre, at de berørte personers grundlæggende rettigheder respekteres, navnlig deres ret til fri bevægelighed, ikkeforskelsbehandling, beskyttelse af privatlivets fred og personoplysninger, international beskyttelse og god forvaltning. Derfor bør der, for så vidt som deres anvendelse er tilladt i henhold til relevant EU-ret og national ret, foretages en højrisikoklassificering af AI-systemer, der er tilsigtet anvendt af eller på vegne af de kompetente offentlige myndigheder eller af EU-institutioner, -organer, -kontorer eller -agenturer, der er ansvarlige for opgaver inden for migrationsstyring, asylforvaltning og grænsekontrol, som polygrafer og lignende værktøjer, til at vurdere visse risici, som fysiske personer, der indrejser til en medlemsstats område eller ansøger om visum eller asyl, udgør, til at bistå de kompetente offentlige myndigheder i behandlingen, herunder tilhørende vurdering af pålideligheden af bevismateriale, af ansøgninger om asyl, visum og opholdstilladelse og hertil relaterede klager med henblik på at fastslå, om de fysiske personer, der ansøger, er berettigede, med henblik på at opdage, genkende eller identificere fysiske personer i forbindelse med migrationsstyring, asylforvaltning og grænsekontrolforvaltning, bortset fra verificering af rejselegitimation. AI-systemer, der anvendes inden for migrationsstyring, asylforvaltning og grænsekontrol, og som er omfattet af denne forordning, bør overholde de relevante proceduremæssige krav i Europa-Parlamentets og Rådets forordning (EF) nr. 810/2009 (32), Europa-Parlamentets og Rådets direktiv 2013/32/EU (33) og anden relevant EU-ret. Anvendelsen af AI-systemer inden for migrationsstyring, asylforvaltning og grænsekontrol bør under ingen omstændigheder benyttes af medlemsstater eller EU-institutioner, -organer, -kontorer eller -agenturer som en måde at omgå deres internationale forpligtelser i henhold til FN's konvention om flygtninges retsstilling indgået i Genève den 28. juli 1951, som ændret ved protokollen af 31. januar 1967, og de bør heller ikke anvendes på en måde, der krænker princippet om non-refoulement eller nægter sikre og effektive lovlige adgangsveje til Unionens område, herunder retten til international beskyttelse.

(61)

Visse AI-systemer, der er tilsigtet anvendelse inden for retspleje og i demokratiske processer, bør klassificeres som højrisiko i betragtning af deres potentielt betydelige indvirkning på demokratiet, retsstatsprincippet, individets frihedsrettigheder samt retten til adgang til effektive retsmidler og retten til en retfærdig rettergang. Navnlig for at imødegå risikoen for bias, fejl og uigennemsigtighed bør de AI-systemer, der tilsigtes anvendt af judicielle myndigheder eller på deres vegne for at bistå judicielle myndigheder med at fortolke fakta og lovgivningen og anvende lovgivningen på konkrete sagsforhold, klassificeres som højrisiko. AI-systemer, der tilsigtes anvendt af alternative tvistbilæggelsesorganer til disse formål, bør også betragtes som højrisiko, når resultaterne af den alternative tvistbilæggelsesprocedure har retsvirkninger for parterne. Anvendelsen af AI-værktøjer kan understøtte, men bør ikke erstatte dommernes beslutningskompetence eller retsvæsenets uafhængighed, da den endelige beslutningstagning fortsat skal være en menneskedrevet aktivitet. Klassificeringen af AI-systemer som højrisiko bør dog ikke omfatte AI-systemer, der kun tilsigtes supplerende administrative aktiviteter, som ikke har indflydelse på den egentlige retspleje i de enkelte sager, som f.eks. anonymisering eller pseudonymisering af retsafgørelser, dokumenter eller data, kommunikation mellem personale eller administrative opgaver.

(62)

Uden at det berører de regler, der er fastsat i Europa-Parlamentets og Rådets forordning (EU) 2024/900 (34), og for at imødegå risikoen for unødig ekstern indblanding i retten til at stemme, der er nedfældet i chartrets artikel 39, og for negative indvirkninger på demokratiet og retsstatsprincippet bør AI-systemer, der tilsigtes anvendt til at påvirke resultatet af et valg eller en folkeafstemning eller fysiske personers stemmeadfærd i forbindelse med udøvelsen af deres stemme ved valg eller folkeafstemninger, klassificeres som højrisiko-AI-systemer med undtagelse af AI-systemer, hvis output fysiske personer ikke er direkte eksponeret for, såsom værktøjer, der anvendes til at organisere, optimere og strukturere politiske kampagner ud fra et administrativt og logistisk synspunkt.

(63)

Klassificeringen af et AI-system som et højrisiko-AI-system i henhold til denne forordning bør ikke fortolkes således, at anvendelsen af systemet er lovlig i medfør af andre EU-retsakter eller i medfør af national ret, der er forenelig med EU-retten, som f.eks. om beskyttelsen af personoplysninger, brug af polygrafer og lignende værktøjer eller andre systemer til at påvise fysiske personers følelsesmæssige tilstand. Enhver sådan anvendelse bør fortsat udelukkende ske i overensstemmelse med de gældende krav, der følger af chartret og gældende afledt EU-ret og national ret. Denne forordning bør ikke forstås som et retsgrundlag for behandling af personoplysninger, herunder særlige kategorier af personoplysninger, hvis det er relevant, medmindre andet specifikt er fastsat i denne forordning.

(64)

For at begrænse risiciene fra højrisiko-AI-systemer, der bringes i omsætning eller ibrugtages og for at sikre en høj grad af troværdighed, bør der gælde visse obligatoriske krav for højrisiko-AI-systemer, under hensyntagen til det tilsigtede formål og i forbindelse med anvendelsen af AI-systemet og i overensstemmelse med det risikostyringssystem, som udbyderen skal indføre. De foranstaltninger, som udbyderne vedtager for at overholde de obligatoriske krav i denne forordning, bør tage højde for det generelt anerkendte aktuelle teknologiske niveau inden for AI og være forholdsmæssige og effektive med hensyn til at nå denne forordnings mål. På grundlag af den nye lovgivningsmæssige ramme, som præciseret i Kommissionens meddelelse om den blå vejledning om gennemførelsen af EU's produktregler 2022, er den generelle regel, at mere end én EU-harmoniseringslovgivningsretsakt kan finde anvendelse på ét produkt, da tilgængeliggørelsen eller ibrugtagningen kun kan finde sted, når produktet overholder al gældende EU-harmoniseringslovgivning. Farerne ved de AI-systemer, der er omfattet af kravene i denne forordning, vedrører andre aspekter end den gældende EU-harmoniseringslovgivning, og kravene i denne forordning vil derfor supplere den gældende EU-harmoniseringslovgivning. Maskiner eller medicinsk udstyr, der indeholder et AI-system, kan f.eks. udgøre risici, der ikke er omfattet af de væsentlige sikkerheds- og sundhedskrav i den relevante EU-harmoniseringslovgivning, da denne sektorspecifikke ret ikke omhandler risici, der er specifikke for AI-systemer. Dette kræver, at de forskellige retsakter anvendes samtidigt og på supplerende vis. For at sikre konsekvens og undgå en unødvendig administrativ byrde eller unødvendige omkostninger bør udbydere af et produkt, der indeholder et eller flere højrisiko-AI-systemer, som kravene i denne forordning samt kravene i EU-harmoniseringslovgivningen baseret på den nye lovgivningsmæssige ramme og opført i et bilag til denne forordning finder anvendelse på, have fleksibilitet med hensyn til at træffe operationelle beslutninger om, hvordan det sikres, at et produkt, der indeholder et eller flere AI-systemer, overholder alle gældende krav i denne EU-harmoniseringslovgivning på en optimal måde. Denne fleksibilitet kan f.eks. betyde, at udbyderen beslutter at integrere en del af de nødvendige afprøvnings- og rapporteringsprocesser, oplysninger og dokumentation, der kræves i henhold til denne forordning, i allerede eksisterende dokumentation og procedurer, som kræves i henhold til den gældende EU-harmoniseringslovgivning, der er baseret på den nye lovgivningsmæssige ramme, og som er opført i et bilag til denne forordning. Dette bør på ingen måde underminere udbyderens forpligtelse til at overholde alle gældende krav.

(65)

Risikostyringssystemet bør bestå af en kontinuerlig iterativ proces, der er planlagt og løber i hele højrisiko-AI-systemets livscyklus. Denne proces bør sigte mod at identificere og afbøde de relevante risici ved AI-systemer for sundheden, sikkerheden og de grundlæggende rettigheder. Risikostyringssystemet bør regelmæssigt revideres og ajourføres for at sikre dets fortsatte effektivitet samt begrundelse og dokumentation for eventuelle væsentlige beslutninger og tiltag, der træffes eller foretages i henhold til denne forordning. Denne proces bør sikre, at udbyderen identificerer risici eller negative indvirkninger og gennemfører afbødende foranstaltninger for kendte og rimeligt forudsigelige risici ved AI-systemer for sundheden, sikkerheden og de grundlæggende rettigheder i lyset af deres tilsigtede formål og fejlanvendelse, der med rimelighed kan forudses, herunder de mulige risici som følge af interaktionen mellem AI-systemet og det miljø, som systemet fungerer i. Risikostyringssystemet bør indføre de mest hensigtsmæssige risikostyringsforanstaltninger i lyset af det aktuelle teknologiske niveau inden for AI. Udbyderen bør ved identifikation af de mest hensigtsmæssige risikostyringsforanstaltninger dokumentere og forklare de valg, der er truffet, og, hvis det er relevant, inddrage eksperter og eksterne interessenter. I forbindelse med identifikation af fejlanvendelse, der med rimelighed kan forudses, af højrisiko-AI-systemer bør udbyderen medtage anvendelser af AI-systemer, som, selv om de ikke er direkte omfattet af det tilsigtede formål og fastsat i brugsanvisningen, ikke desto mindre med rimelighed kan forventes at skyldes let forudsigelig menneskelig adfærd i forbindelse med et bestemt AI-systems specifikke karakteristika og anvendelse. Alle kendte eller forudsigelige omstændigheder, som i forbindelse med anvendelse af højrisiko-AI-systemet i overensstemmelse med dets tilsigtede formål eller ved fejlanvendelse, der med rimelighed kan forudses, kan medføre risici for menneskers sundhed og sikkerhed eller grundlæggende rettigheder, bør medtages i den brugsanvisning, som leveres af udbyderen. Dette skal sikre, at idriftsætteren er bekendt med og tager hensyn hertil, når vedkommende anvender højrisiko-AI-systemet. Identifikation og gennemførelse af risikobegrænsende foranstaltninger for forudsigelig fejlanvendelse i henhold til denne forordning bør ikke kræve specifikke yderligere træning for højrisiko-AI-systemet fra udbyderens side for at afhjælpe forudsigelig fejlanvendelse. Udbyderne opfordres imidlertid til at overveje sådanne yderligere træningsforanstaltninger for at afbøde fejlanvendelser, der med rimelighed kan forudses, når det er nødvendigt og hensigtsmæssigt.

(66)

Der bør gælde krav for højrisiko-AI-systemer med hensyn til risikostyring, kvaliteten og relevansen af anvendte datasæt, teknisk dokumentation og registrering, gennemsigtighed og formidling af oplysninger til idriftsætterne, menneskeligt tilsyn og robusthed, nøjagtighed og cybersikkerhed. Disse krav er nødvendige for effektivt at mindske risiciene for sundhed, sikkerhed og grundlæggende rettigheder. Da ingen foranstaltninger, der er mindre begrænsende for handelen, er tilgængelige på rimelig vis, er disse krav ikke uberettigede handelsrestriktioner.

(67)

Data af høj kvalitet og adgang til data af høj kvalitet spiller en afgørende rolle med hensyn til at skabe struktur og sikre mange AI-systemers ydeevne, navnlig når der anvendes teknikker, der omfatter træning af modeller, så det sikres, at højrisiko-AI-systemet yder som tilsigtet og på sikker vis og ikke bliver en kilde til forskelsbehandling, som er forbudt i henhold til EU-retten. Datasæt af høj kvalitet til træning, validering og afprøvning kræver, at der indføres passende former for datastyrings- og dataforvaltningspraksis. Datasæt til træning, validering og afprøvning, herunder mærkninger, bør være relevante, tilstrækkeligt repræsentative og i videst muligt omfang fejlfrie og fuldstændige i lyset af AI-systemets tilsigtede formål. For at lette overholdelsen af EU-databeskyttelsesretten såsom forordning (EU) 2016/679 bør datastyrings- og -forvaltningspraksis i tilfælde af personoplysninger omfatte gennemsigtighed med hensyn til det oprindelige formål med dataindsamlingen. Datasættene bør også have de tilstrækkelige statistiske egenskaber, herunder med hensyn til de personer eller grupper af personer, som højrisiko-AI-systemet er tilsigtet at blive anvendt på, med særlig vægt på afbødning af mulige bias i datasættene, som sandsynligvis vil påvirke menneskers sundhed og sikkerhed, have en negativ indvirkning på grundlæggende rettigheder eller føre til forskelsbehandling, der er forbudt i henhold til EU-retten, navnlig hvis dataoutput påvirker input til fremtidige operationer (»feedbacksløjfer«). Bias kan f.eks. være en iboende del af de underliggende datasæt, navnlig når der anvendes historiske data, eller kan genereres, når systemerne implementeres under virkelige forhold. De resultater, der leveres af AI-systemer, kan påvirkes af sådanne iboende bias, som er tilbøjelige til gradvist at øges og derved videreføre og forstærke eksisterende forskelsbehandling, navnlig for personer, der tilhører bestemte sårbare grupper, herunder racemæssige eller etniske grupper. Kravet om, at datasættene så vidt muligt skal være fuldstændige og fejlfrie, bør ikke påvirke anvendelsen af teknikker til beskyttelse af privatlivets fred i forbindelse med udvikling og afprøvning af AI-systemer. Navnlig bør datasæt, i det omfang det er nødvendigt af hensyn til deres tilsigtede formål, tage hensyn til de karakteristiske træk, egenskaber eller elementer, der er særlige for den specifikke geografiske, kontekstuelle, adfærdsmæssige eller funktionelle ramme, inden for hvilken AI-systemet tiltænkes anvendt. Kravene vedrørende datastyring kan overholdes ved at gøre brug af tredjeparter, der tilbyder certificerede overholdelsestjenester, herunder verifikation af datastyring og datasætintegritet samt datatrænings-, validerings- og afprøvningspraksis, for så vidt som det sikres, at datakravene i denne forordning overholdes.

(68)

Med henblik på udvikling og vurdering af højrisiko-AI-systemer bør visse aktører, som for eksempel udbydere, bemyndigede organer og andre relevante enheder såsom europæiske digitale innovationsknudepunkter, afprøvnings- og forsøgsfaciliteter og forskere, have adgang til og kunne anvende datasæt af høj kvalitet inden for aktivitetsområderne for de aktører, som er relateret til denne forordning. Fælles europæiske dataområder, som Kommissionen har oprettet, og lette af datadeling mellem virksomheder og med myndigheder i samfundets interesse vil være afgørende for at sikre pålidelig, ansvarlig og ikkeforskelsbehandlende adgang til data af høj kvalitet til træning, validering og afprøvning af AI-systemer. På sundhedsområdet vil det europæiske sundhedsdataområde for eksempel lette ikkeforskelsbehandlende adgang til sundhedsdata og træning af AI-algoritmer på disse datasæt på en måde, der beskytter privatlivets fred, er sikker, rettidig, gennemsigtig og troværdig og underlagt en passende institutionel styring. Relevante kompetente myndigheder, herunder sektorspecifikke myndigheder, der giver eller understøtter adgang til data, kan også understøtte tilvejebringelsen af data af høj kvalitet til træning, validering og afprøvning af AI-systemer.

(69)

Retten til privatlivets fred og til beskyttelse af personoplysninger skal sikres i hele AI-systemets livscyklus. I den forbindelse finder principperne om dataminimering og databeskyttelse gennem design og databeskyttelse gennem standardindstillinger som fastsat i EU-databeskyttelsesretten anvendelse, når personoplysninger behandles. Foranstaltninger, der træffes af udbydere for at sikre overholdelse af disse principper, kan ikke blot omfatte anonymisering og kryptering, men også anvendelse af teknologi, der gør det muligt at overføre algoritmer til data og opnå oplæring af AI-systemer uden overførsel mellem parterne eller kopiering af de rå eller strukturerede data, uden at dette berører kravene til datastyring i denne forordning.

(70)

For at beskytte andres ret mod den forskelsbehandling, der kan opstå som følge af bias i AI-systemer, bør udbyderne undtagelsesvis, i det omfang det er strengt nødvendigt for at sikre påvisning og korrektion af bias i forbindelse med højrisiko-AI-systemer, med forbehold af passende sikkerhedsforanstaltninger for fysiske personers grundlæggende rettigheder og friheder og efter anvendelse af alle gældende betingelser, der er fastsat i denne forordning, ud over betingelserne i forordning (EU) 2016/679 og (EU) 2018/1725 samt direktiv (EU) 2016/680, også kunne behandle særlige kategorier af personoplysninger som et spørgsmål af væsentlig samfundsinteresse som omhandlet i artikel 9, stk. 2, litra g), i forordning (EU) 2016/679 og artikel 10, stk. 2, litra g), i forordning (EU) 2018/1725.

(71)

Det er afgørende, at der foreligger forståelige oplysninger om, hvordan højrisiko-AI-systemer er blevet udviklet, og hvordan de yder i hele deres levetid for at gøre det muligt at spore disse systemer, kontrollere overholdelsen af kravene i denne forordning samt sikre overvågning af deres operationer og overvågning efter omsætningen. Det kræver, at der føres fortegnelser og stilles en teknisk dokumentation til rådighed, som indeholder de oplysninger, der er nødvendige for at vurdere AI-systemets overholdelse af de relevante krav og letter overvågning efter omsætningen. Sådanne oplysninger bør omfatte systemets generelle egenskaber, kapacitet og begrænsninger, algoritmer, data, trænings-, afprøvnings- og valideringsprocesser samt dokumentation for det relevante risikostyringssystem og være udarbejdet på en klar og forståelig måde. Den tekniske dokumentation skal holdes tilstrækkeligt ajour i hele AI-systemets levetid. Højrisiko-AI-systemer bør teknisk muliggøre automatisk registrering af hændelser ved hjælp af logfiler under systemets levetid.

(72)

For at imødegå bekymringer vedrørende visse AI-systemers uigennemsigtighed og kompleksitet og hjælpe idriftsættere med at opfylde deres forpligtelser i henhold til denne forordning bør der kræves gennemsigtighed for højrisiko-AI-systemer, inden de bringes i omsætning eller ibrugtages. Højrisiko-AI-systemer bør udformes på en måde, der gør det muligt for idriftsættere at forstå, hvordan AI-systemet fungerer, evaluere dets funktionalitet og forstå dets styrker og begrænsninger. Højrisiko-AI-systemer bør ledsages af passende oplysninger i form af brugsanvisninger. Sådanne oplysninger bør omfatte AI-systemets egenskaber, kapacitet og begrænsninger for dets ydeevne. Disse kan omfatte oplysninger om mulige kendte og forudsigelige omstændigheder i forbindelse med anvendelse af højrisiko-AI-systemet, herunder udbredelsestiltag, der kan påvirke systemets adfærd og ydeevne, under hvilke AI-systemet kan medføre risici for sundhed, sikkerhed og grundlæggende rettigheder, om de ændringer, som udbyderen på forhånd har fastlagt og vurderet med henblik på overensstemmelse, og om de relevante foranstaltninger til menneskeligt tilsyn, herunder foranstaltninger til at lette idriftsætteres fortolkning af AI-systemets output. Gennemsigtighed, herunder den ledsagende brugsanvisning, bør hjælpe idriftsættere med at anvende systemet og støtte deres informerede beslutningstagning. Idriftsættere bør bl.a. være bedre i stand til at træffe det korrekte valg af det system, de har til hensigt at anvende, i lyset af de forpligtelser, der gælder for dem, være informeret om de tilsigtede og udelukkede anvendelser og anvende AI-systemet korrekt og som det er hensigtsmæssigt. For at gøre oplysningerne i brugsanvisningen mere læsbare og tilgængelige, bør der, hvis det er relevant, medtages illustrative eksempler, f.eks. om begrænsninger og om AI-systemets tilsigtede og udelukkede anvendelser. Udbyderne bør sikre, at al dokumentation, herunder brugsanvisningen, indeholder meningsfulde, omfattende, tilgængelige og forståelige oplysninger, der tager hensyn til behov for målgruppen af idriftsættere og deres forventede viden. Brugsanvisningen bør stilles til rådighed på et for målgruppen af idriftsættere letforståeligt sprog, som fastsat af den pågældende medlemsstat.

(73)

Højrisiko-AI-systemer bør udformes og udvikles på en sådan måde, at fysiske personer kan overvåge deres funktion og sikre, at de anvendes som tilsigtet, og at deres virkninger håndteres i hele systemets livscyklus. Med henblik herpå bør udbyderen af systemet fastlægge passende foranstaltninger til menneskeligt tilsyn, inden systemet bringes i omsætning eller ibrugtages. Hvis det er relevant, bør sådanne foranstaltninger navnlig sikre, at systemet er underlagt indbyggede driftsmæssige begrænsninger, som ikke kan tilsidesættes af systemet selv, og reagerer på den menneskelige operatør, og at de fysiske personer, som har fået til opgave at varetage det menneskelige tilsyn, har den nødvendige kompetence, uddannelse og myndighed til at varetage rollen. Det er også afgørende i relevant omfang at sikre, at højrisiko-AI-systemer indeholder mekanismer, der kan vejlede og informere en fysisk person, som har fået til opgave at varetage det menneskelige tilsyn, til at træffe informerede beslutninger om, hvorvidt, hvornår og hvordan der skal gribes ind for at undgå negative konsekvenser eller risici, eller standse systemet, hvis det ikke fungerer som tilsigtet. I betragtning af de betydelige konsekvenser for personer i tilfælde af et ukorrekt match fra visse systemer til biometrisk identifikation er det hensigtsmæssigt at fastsætte et skærpet krav om menneskeligt tilsyn for disse systemer, således at idriftsætteren ikke foretager tiltag eller træffer beslutninger på grundlag af den identifikation, der er frembragt af systemet, medmindre den er blevet verificeret og bekræftet separat af mindst to fysiske personer. Disse personer kan være fra en eller flere enheder og omfatte den person, der driver eller anvender systemet. Dette krav bør ikke medføre unødvendige byrder eller forsinkelser, og det kan være tilstrækkeligt, at de forskellige personers særskilte verifikationer automatisk registreres i de logfiler, der genereres af systemet. I betragtning af de særlige forhold, der gør sig gældende inden for retshåndhævelse, migration, grænsekontrol og asyl, bør dette krav ikke finde anvendelse, når EU-retten eller national ret anser anvendelsen af dette krav for at være uforholdsmæssig.

(74)

Højrisiko-AI-systemer bør yde konsistent i hele deres livscyklus og have et passende niveau af nøjagtighed, robusthed og cybersikkerhed i lyset af deres tilsigtede formål og i overensstemmelse med det generelt anerkendte aktuelle teknologiske niveau. Kommissionen og relevante organisationer og interessenter opfordres til at tage behørigt hensyn til afbødningen af risici og de negative indvirkninger ved AI-systemet. Det forventede niveau for ydeevneparametre bør angives i den ledsagende brugsanvisning. Udbyderne opfordres indtrængende til at videregive disse oplysninger til idriftsætterne på en klar og letforståelig måde uden misforståelser eller vildledende udsagn. EU-ret om retslig metrologi, herunder Europa-Parlamentets og Rådets direktiv 2014/31/EU (35) og 2014/32/EU (36), har til formål at sikre målingernes nøjagtighed og bidrage til gennemsigtighed og retfærdighed i handelstransaktioner. I denne forbindelse bør Kommissionen, alt efter hvad der er relevant og i samarbejde med relevante interessenter og organisationer såsom metrologi- og benchmarkingmyndigheder, tilskynde til udvikling af benchmarks og målemetoder for AI-systemer. Kommissionen bør herved notere sig og samarbejde med internationale partnere, der arbejder med metrologi og relevante måleindikatorer vedrørende AI.

(75)

Teknisk robusthed er et centralt krav for højrisiko-AI-systemer. De bør være modstandsdygtige i forbindelse med skadelig eller på anden vis uønsket adfærd, der kan skyldes begrænsninger i systemerne eller det miljø, som systemerne fungerer i (f.eks. fejl, svigt, uoverensstemmelser og uventede situationer). Der bør derfor træffes tekniske og organisatoriske foranstaltninger for at sikre højrisiko-AI-systemers robusthed, f.eks. ved at udforme og udvikle passende tekniske løsninger for at forebygge eller minimere denne skadelige eller på anden måde uønskede adfærd. Disse tekniske løsninger kan f.eks. omfatte mekanismer, der gør det muligt for systemet på sikker vis at afbryde dets drift (»fail-safe plans«), hvis der opstår visse uregelmæssigheder, eller hvis driften ligger uden for visse forudbestemte grænser. Manglende beskyttelse mod disse risici kan have sikkerhedsmæssige konsekvenser eller en negativ indvirkning på de grundlæggende rettigheder, f.eks. som følge af fejlagtige beslutninger eller forkerte output eller output behæftet med bias genereret af AI-systemet.

(76)

Cybersikkerhed spiller en afgørende rolle med hensyn til at sikre, at AI-systemer er modstandsdygtige over for ondsindede tredjeparters forsøg på at ændre deres anvendelse, adfærd eller ydeevne eller bringe deres sikkerhedsegenskaber i fare ved at udnytte systemets sårbarheder. Cyberangreb mod AI-systemer kan udnytte AI-specifikke aktiver såsom træningsdatasæt (f.eks. dataforgiftning) eller trænede modeller (f.eks. ondsindede angreb eller »membership inference«) eller udnytte sårbarheder i AI-systemets digitale aktiver eller den underliggende IKT-infrastruktur. For at sikre et cybersikkerhedsniveau, der er passende i forhold til risiciene, bør udbydere af højrisiko-AI-systemer træffe passende foranstaltninger såsom sikkerhedskontroller, idet der også i relevant omfang tages hensyn til den underliggende IKT-infrastruktur.

(77)

Uden at det berører de krav til robusthed og nøjagtighed, der er fastsat i denne forordning, kan højrisiko-AI-systemer, der er omfattet af anvendelsesområdet for en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer, i overensstemmelse med nævnte forordning påvise overholdelse af cybersikkerhedskravene i nærværende forordning ved at opfylde de væsentlige cybersikkerhedskrav, der er fastsat i nævnte forordning. Når højrisiko-AI-systemer opfylder de væsentlige krav i en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer, bør de anses for at overholde cybersikkerhedskravene i nærværende forordning, for så vidt opfyldelsen af disse krav påvises ved EU-overensstemmelseserklæringen eller dele heraf udstedt i henhold til nævnte forordning. Med henblik herpå bør vurderingen af de cybersikkerhedsrisici, der er forbundet med et produkt med digitale elementer klassificeret som et højrisiko-AI-system i henhold til nærværende forordning, og som foretages i henhold til en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer tage hensyn til risici for et AI-systems cyberrobusthed for så vidt angår uautoriserede tredjeparters forsøg på at ændre dets anvendelse, adfærd eller ydeevne, herunder AI-specifikke sårbarheder såsom dataforgiftning eller ondsindede angreb, samt, hvis det er relevant, risici for grundlæggende rettigheder som krævet i nærværende forordning.

(78)

Overensstemmelsesvurderingsproceduren i denne forordning bør finde anvendelse i forbindelse med de væsentlige cybersikkerhedskrav til et produkt med digitale elementer, der er omfattet af en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer og klassificeret som et højrisiko-AI-system i henhold til nærværende forordning. Denne regel bør dog ikke resultere i en reduktion af det nødvendige sikkerhedsniveau for kritiske produkter med digitale elementer, der er omfattet af en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer. Uanset denne regel bør højrisiko-AI-systemer, der er omfattet af anvendelsesområdet for nærværende forordning og også betragtes som vigtige og kritiske produkter med digitale elementer i henhold til en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer, og som proceduren for overensstemmelsesvurdering baseret på intern kontrol fastsat i et bilag til nærværende forordning finder anvendelse på, derfor være omfattet af bestemmelserne om overensstemmelsesvurdering i en forordning vedtaget af Europa-Parlamentet og Rådet om horisontale cybersikkerhedskrav til produkter med digitale elementer for så vidt angår de væsentlige cybersikkerhedskrav i nævnte forordning. I så fald bør de respektive bestemmelser om overensstemmelsesvurdering baseret på intern kontrol, der er fastsat i et bilag til nærværende forordning, finde anvendelse på alle de øvrige aspekter, der er omfattet af nærværende forordning. På grundlag af ENISA's viden og ekspertise om cybersikkerhedspolitik og de opgaver, som ENISA har fået tildelt i henhold til Europa-Parlamentets og Rådets forordning (EU) 2019/881 (37), bør Kommissionen samarbejde med ENISA om spørgsmål vedrørende cybersikkerhed i forbindelse med AI-systemer.

(79)

Det er passende, at en bestemt fysisk eller juridisk person, defineret som udbyderen, påtager sig ansvar for omsætningen eller ibrugtagningen af et højrisiko-AI-system, uanset om denne fysiske eller juridiske person er den person, der har udformet eller udviklet systemet.

(80)

Unionen og alle medlemsstaterne er som underskrivere af De Forenede Nationers konvention om rettigheder for personer med handicap juridisk forpligtede til at beskytte personer med handicap mod forskelsbehandling og fremme deres ligestilling med henblik på at sikre, at personer med handicap har adgang på lige fod med andre til informations- og kommunikationsteknologier og -systemer, og med henblik på at sikre respekten for personer med handicaps privatliv. På grund af den voksende betydning og brug af AI-systemer bør anvendelsen af universelle designprincipper på alle nye teknologier og tjenesteydelser sikre en fuldstændig og ligelig adgang for alle, der potentielt berøres af eller benytter AI-teknologier, herunder personer med handicap, på en måde, der fuldt ud tager hensyn til deres iboende værdighed og mangfoldighed. Det er derfor afgørende, at udbyderne sikrer fuld overholdelse af tilgængelighedskravene, herunder Europa-Parlamentets og Rådets direktiv (EU) 2016/2102 (38) og direktiv (EU) 2019/882. Udbyderne bør sikre overholdelsen af disse krav gennem design. Derfor bør de nødvendige foranstaltninger så vidt muligt integreres i udformningen af højrisiko-AI-systemet.

(81)

Udbyderen bør etablere et solidt kvalitetsstyringssystem, sikre gennemførelsen af den påkrævede overensstemmelsesvurderingsprocedure, udarbejde den relevante dokumentation og etablere et robust system til overvågning efter omsætningen. Udbydere af højrisiko-AI-systemer, der er underlagt forpligtelser vedrørende kvalitetsstyringssystemer i henhold til relevant sektorspecifik EU-ret, bør have mulighed for at medtage elementerne i det kvalitetsstyringssystem, der er fastsat i denne forordning, som en del af det eksisterende kvalitetsstyringssystem, der er fastsat i denne anden sektorspecifikke EU-ret. Komplementariteten mellem denne forordning og eksisterende sektorspecifik EU-ret bør også tages i betragtning i fremtidige standardiseringsaktiviteter eller retningslinjer vedtaget af Kommissionen. Offentlige myndigheder, der ibrugtager højrisiko-AI-systemer til egen brug, kan vedtage og gennemføre reglerne for kvalitetsstyringssystemet som en del af det kvalitetsstyringssystem, der er vedtaget på nationalt eller regionalt plan, alt efter hvad der er relevant, under hensyntagen til de særlige forhold i sektoren og den pågældende offentlige myndigheds kompetencer og organisation.

(82)

For at muliggøre håndhævelsen af denne forordning og skabe lige vilkår for operatørerne og under hensyntagen til de forskellige former for tilgængeliggørelse af digitale produkter er det vigtigt at sikre, at en person, der er etableret i Unionen, under alle omstændigheder kan give myndighederne alle de nødvendige oplysninger om et AI-systems overensstemmelse med reglerne. Udbydere, der er etableret i tredjelande, bør, inden deres AI-systemer gøres tilgængelige i Unionen, derfor ved skriftligt mandat udpege en bemyndiget repræsentant, der er etableret i Unionen. Denne bemyndigede repræsentant spiller en central rolle med hensyn til at sikre, at højrisiko-AI-systemer, der bringes i omsætning eller ibrugtages i Unionen af disse udbydere, der ikke er etableret i Unionen, overholder kravene, og som deres kontaktperson i Unionen.

(83)

I lyset af arten og kompleksiteten af værdikæden for AI-systemer og i overensstemmelse med den nye lovgivningsmæssige ramme er det vigtigt at sikre retssikkerheden og lette overholdelsen af denne forordning. Det er derfor nødvendigt at præcisere den rolle og de specifikke forpligtelser, der påhviler relevante operatører i denne værdikæde såsom importører og distributører, der kan bidrage til udviklingen af AI-systemer. I visse situationer kan disse operatører optræde i mere end én rolle på samme tid og bør derfor kumulativt opfylde alle relevante forpligtelser, der er forbundet med disse roller. F.eks. kan en operatør fungere som distributør og importør på samme tid.

(84)

For at sikre retssikkerheden er det nødvendigt at præcisere, at enhver distributør, importør, idriftsætter eller anden tredjepart under visse særlige omstændigheder bør betragtes som udbyder af et højrisiko-AI-system og derfor påtage sig alle de relevante forpligtelser. Dette vil være tilfældet, hvis den pågældende part anbringer sit navn eller varemærke på et højrisiko-AI-system, der allerede er bragt i omsætning eller ibrugtaget, uden at det berører kontraktlige ordninger om, at forpligtelserne er fordelt anderledes. Dette vil også være tilfældet, hvis den pågældende part foretager en væsentlig ændring af et højrisiko-AI-system, der allerede er bragt i omsætning eller allerede er ibrugtaget på en sådan måde, at det forbliver et højrisiko-AI-system i overensstemmelse med denne forordning, eller hvis denne ændrer det tilsigtede formål med et AI-system, herunder et AI-system til almen brug, der ikke er blevet klassificeret som højrisiko, og som allerede er bragt i omsætning eller ibrugtaget, på en sådan måde, at AI-systemet bliver et højrisiko-AI-system i overensstemmelse med denne forordning. Disse bestemmelser bør finde anvendelse, uden at det berører mere specifikke bestemmelser, der er fastsat i særlig EU-harmoniseringslovgivning baseret på den nye lovgivningsmæssige ramme, som denne forordning bør finde anvendelse sammen med. F.eks. bør artikel 16, stk. 2, i forordning (EU) 2017/745, der fastsætter, at visse ændringer ikke bør betragtes som ændringer af udstyr, der kan påvirke dets overholdelse af gældende krav, fortsat finde anvendelse på højrisiko-AI-systemer, der er medicinsk udstyr som omhandlet i nævnte forordning.

(85)

AI-systemer til almen brug kan anvendes som højrisiko-AI-systemer i sig selv eller som komponenter i andre højrisiko-AI-systemer. Derfor bør udbydere af sådanne systemer på grund af deres særlige karakter og for at sikre en rimelig ansvarsfordeling i hele AI-værdikæden, uanset om de kan anvendes som højrisiko-AI-systemer som sådan af andre udbydere eller som komponenter i højrisiko-AI-systemer, og medmindre andet er fastsat i denne forordning, arbejde tæt sammen med udbyderne af de relevante højrisiko-AI-systemer, så de kan overholde de relevante forpligtelser i henhold til denne forordning og med de kompetente myndigheder, der er fastsat i henhold til denne forordning.

(86)

Hvis den udbyder, der oprindeligt bragte AI-systemet i omsætning eller ibrugtog det, på de betingelser, der er fastsat i denne forordning, ikke længere bør anses for at være udbyder i denne forordnings forstand, og når denne udbyder ikke udtrykkeligt har udelukket ændringen af AI-systemet til et højrisiko-AI-system, bør den tidligere udbyder ikke desto mindre arbejde tæt sammen og stille de nødvendige oplysninger til rådighed og give den tekniske adgang og anden bistand, som med rimelighed kan forventes, og som kræves for at opfylde forpligtelserne i denne forordning, navnlig hvad angår overholdelse af overensstemmelsesvurderingen af højrisiko-AI-systemer.

(87)

Hvis et højrisiko-AI-system, som er en sikkerhedskomponent i et produkt, der er omfattet af anvendelsesområdet for EU-harmoniseringslovgivning baseret på den nye lovgivningsmæssige ramme, desuden ikke bringes i omsætning eller ibrugtages uafhængigt af produktet, bør producenten af produktet defineret i den pågældende lovgivning overholde de forpligtelser, der påhviler udbyderen i henhold til denne forordning, og bør navnlig sikre, at det AI-system, der er indlejret i slutproduktet, overholder kravene i denne forordning.

(88)

I AI-værdikæden leverer flere parter ofte AI-systemer, værktøjer og tjenester, men også komponenter eller processer, som udbyderen indarbejder i AI-systemet til forskellige formål, herunder modeltræning, fornyet modeltræning, modelafprøvning og -evaluering, integration i software eller andre aspekter af modeludvikling. Disse parter spiller en vigtig rolle i værdikæden over for udbyderen af det højrisiko-AI-system, som deres AI-systemer, værktøjer, tjenester, komponenter eller processer er integreret i, og bør ved skriftlig aftale give denne udbyder den nødvendige information, kapacitet, tekniske adgang og anden bistand på grundlag af det generelt anerkendte aktuelle teknologiske niveau, således at udbyderen er i stand til fuldt ud at overholde forpligtelserne i denne forordning uden at bringe deres egne intellektuelle ejendomsrettigheder eller forretningshemmeligheder i fare.

(89)

Tredjeparter, der gør andre værktøjer, tjenester, processer eller AI-komponenter tilgængelige for offentligheden end AI-modeller til almen brug, bør ikke være forpligtet til at overholde krav rettet mod ansvar i hele AI-værdikæden, navnlig mod den udbyder, der har anvendt eller integreret dem, når disse værktøjer, tjenester, processer eller AI-komponenter gøres tilgængelige i henhold til en gratis open source-licens. Udviklere af andre gratis open source-værktøjer, -tjenester, -processer eller -AI-komponenter end AI-modeller til almen brug bør dog tilskyndes til at gennemføre bredt indførte former for dokumentationspraksis såsom modelkort og datablade som en måde at fremskynde informationsdeling i hele AI-værdikæden på og derved fremme troværdige AI-systemer i Unionen.

(90)

Kommissionen kan udvikle og anbefale frivillige standardaftalevilkår mellem udbydere af højrisiko-AI-systemer og tredjeparter, der leverer værktøjer, tjenester, komponenter eller processer, som anvendes eller integreres i højrisiko-AI-systemer, for at lette samarbejdet i hele værdikæden. Når Kommissionen udarbejder frivillige standardaftalevilkår, tager den også hensyn til eventuelle kontraktlige krav, der gælder i specifikke sektorer eller forretningsscenarier.

(91)

I betragtning af AI-systemers karakter og de risici for sikkerheden og de grundlæggende rettigheder, der kan være forbundet med deres anvendelse, herunder behovet for at sikre korrekt overvågning af et AI-systems ydeevne i virkelige rammer, bør der fastsættes specifikke ansvarsområder for idriftsættere. Idriftsættere bør navnlig træffe passende tekniske og organisatoriske foranstaltninger for at sikre, at de anvender højrisiko-AI-systemer i overensstemmelse med brugsanvisningen, og der bør fastsættes visse andre forpligtelser med hensyn til overvågning af AI-systemernes funktion og med hensyn til registrering, alt efter hvad der er relevant. Idriftsættere bør desuden sikre, at de personer, som har fået til opgave at gennemføre brugsanvisningen og det menneskelige tilsyn som fastsat i denne forordning, har den nødvendige kompetence, navnlig et passende niveau af AI-færdigheder, -træning og -myndighed til at udføre disse opgaver korrekt. Disse forpligtelser bør ikke berøre andre af idriftsætterens forpligtelser i forbindelse med højrisiko-AI-systemer i henhold til EU-retten eller national ret.

(92)

Denne forordning berører ikke arbejdsgivernes forpligtelser til at informere eller høre arbejdstagerne eller deres repræsentanter i henhold til EU-retten og EU-praksis eller national ret og praksis, herunder Europa-Parlamentets og Rådets direktiv 2002/14/EF (39), om beslutninger om at ibrugtage eller anvende AI-systemer. Det er fortsat nødvendigt at sikre, at arbejdstagerne og deres repræsentanter informeres om den planlagte idriftsættelse af højrisiko-AI-systemer på arbejdspladsen, hvis betingelserne for disse informations- eller informations- og høringsforpligtelser i andre retlige instrumenter ikke er opfyldt. En sådan ret til information er desuden accessorisk og nødvendig i forhold til målet om at beskytte de grundlæggende rettigheder, der ligger til grund for denne forordning. Der bør derfor fastsættes et informationskrav med henblik herpå i denne forordning, uden at det berører arbejdstagernes eksisterende rettigheder.

(93)

Risici i forbindelse med AI-systemer kan være resultatet af den måde, sådanne systemer er udformet på, men risici kan også stamme fra måden, hvorpå sådanne AI-systemer anvendes. Idriftsættere af højrisiko-AI-systemer spiller derfor en afgørende rolle i at sikre, at de grundlæggende rettigheder beskyttes og i at supplere udbyderens forpligtelser i forbindelse med udviklingen af AI-systemet. Idriftsætterne er bedst i stand til at forstå, hvordan højrisiko-AI-systemet vil blive anvendt konkret, og kan derfor afdække potentielle risici, der ikke var forudset i udviklingsfasen, takket være et mere præcist kendskab til anvendelseskonteksten, de personer eller grupper af personer, der kan blive berørt, herunder sårbare grupper. Idriftsættere af de højrisiko-AI-systemer, der er opført i et bilag til denne forordning, spiller også en afgørende rolle med hensyn til at informere fysiske personer og bør, når de træffer beslutninger eller bistår med at træffe beslutninger vedrørende fysiske personer, om nødvendigt underrette de fysiske personer om, at de er omfattet af anvendelsen af højrisiko-AI-systemet. Disse oplysninger bør omfatte det tilsigtede formål og typen af beslutninger, det træffer. Idriftsætteren bør ligeledes oplyse de fysiske personer om deres ret til en forklaring som fastsat i denne forordning. For så vidt angår højrisiko-AI-systemer, der anvendes til retshåndhævelsesformål, bør denne forpligtelse gennemføres i overensstemmelse med artikel 13 i direktiv (EU) 2016/680.

(94)

Enhver behandling af biometriske data, der indgår i anvendelsen af AI-systemer til biometrisk identifikation med henblik på retshåndhævelse, skal overholde artikel 10 i direktiv (EU) 2016/680, som kun tillader en sådan behandling, når det er strengt nødvendigt, forudsat at behandlingen er omfattet af de fornødne sikkerhedsforanstaltninger for den registreredes rettigheder og frihedsrettigheder, og hvis hjemlet i EU-retten eller medlemsstaternes nationale ret. En sådan anvendelse skal, når den er tilladt, også overholde principperne i artikel 4, stk. 1, i direktiv (EU) 2016/680, herunder lovlighed, rimelighed og gennemsigtighed, formålsbegrænsning, rigtighed og begrænsning af opbevaring.

(95)

Uden at det berører gældende EU-ret, navnlig forordning (EU) 2016/679 og direktiv (EU) 2016/680, bør brugen af systemer til efterfølgende biometrisk fjernidentifikation, i betragtning af den indgribende karakter af systemer til efterfølgende biometrisk fjernidentifikation, være underlagt sikkerhedsforanstaltninger. Systemer til efterfølgende biometrisk fjernidentifikation bør altid anvendes på en måde, der er forholdsmæssig, legitim og strengt nødvendig, og dermed, for så vidt angår de personer, der skal identificeres, være målrettet stedet og den tidsmæssige rækkevidde og være baseret på et lukket datasæt af lovligt erhvervede videooptagelser. Under alle omstændigheder bør systemer til efterfølgende biometrisk fjernidentifikation ikke anvendes inden for retshåndhævelse til at føre vilkårlig overvågning. Betingelserne for efterfølgende biometrisk fjernidentifikation bør under alle omstændigheder ikke danne grundlag for at omgå betingelserne for forbuddet mod og de strenge undtagelser for biometrisk fjernidentifikation i realtid.

(96)

For effektivt at sikre, at de grundlæggende rettigheder beskyttes, bør idriftsættere af højrisiko-AI-systemer, der er offentligretlige organer, eller private enheder, der leverer offentlige tjenester, og idriftsættere af visse højrisiko-AI-systemer, der er opført i et bilag til denne forordning, såsom banker eller forsikringsselskaber, foretage en konsekvensanalyse vedrørende grundlæggende rettigheder inden ibrugtagning. Tjenester, der er vigtige for enkeltpersoner, og som er af offentlig karakter, kan også leveres af private enheder. Private enheder, der leverer sådanne offentlige tjenester, er knyttet til samfundsnyttige opgaver såsom. inden for uddannelse, sundhedspleje, sociale tjenester, boliger og retspleje. Formålet med konsekvensanalysen vedrørende grundlæggende rettigheder er, at idriftsætteren skal identificere de specifikke risici for rettighederne for enkeltpersoner eller grupper af enkeltpersoner, der sandsynligvis vil blive berørt, og identificere de foranstaltninger, der skal træffes, hvis disse risici skulle opstå. Konsekvensanalysen bør udføres før idriftsættelse af højrisiko-AI-systemet og bør ajourføres, når idriftsætteren vurderer, at de relevante faktorer har ændret sig. Konsekvensanalysen bør identificere idriftsætterens relevante processer, i hvilke højrisiko-AI-systemet vil blive anvendt i overensstemmelse med dets tilsigtede formål, og bør indeholde en beskrivelse af den periode og hyppighed, hvori systemet tilsigtes anvendt, samt af specifikke kategorier af fysiske personer og grupper, der sandsynligvis vil blive berørt i den specifikke anvendelsessammenhæng. Analysen bør også omfatte kortlægning af specifikke risici for skade, der sandsynligvis vil påvirke disse personers eller gruppers grundlæggende rettigheder. I forbindelse med denne analyse bør idriftsætteren tage hensyn til oplysninger, der er relevante for en korrekt analyse af konsekvenser, herunder, men ikke begrænset til, de oplysninger, som udbyderen af højrisiko-AI-systemet giver i brugsanvisningen. I lyset af de kortlagte risici bør idriftsætteren afgøre, hvilke foranstaltninger der skal træffes, hvis disse risici skulle opstå, herunder f.eks. ledelsesordninger i den specifikke anvendelsessammenhæng, såsom ordninger for menneskeligt tilsyn i henhold til brugsanvisningen eller klagebehandlings- og erstatningsprocedurer, da de kan bidrage til at afbøde risici for grundlæggende rettigheder i konkrete anvendelsestilfælde. Efter at have foretaget denne konsekvensanalyse bør idriftsætteren underrette den relevante markedsovervågningsmyndighed. For at indsamle de relevante oplysninger, der er nødvendige for at foretage konsekvensanalysen, kan idriftsættere af højrisiko-AI-systemer, navnlig når AI-systemer anvendes i den offentlige sektor, inddrage relevante interessenter, herunder repræsentanter for grupper af personer, der sandsynligvis vil blive berørt af AI-systemet, uafhængige eksperter og civilsamfundsorganisationer i gennemførelsen af sådanne konsekvensanalyser og udformningen af foranstaltninger, der skal træffes, hvis risiciene opstår. Det Europæiske Kontor for Kunstig Intelligens (»AI-kontoret«) bør udvikle en skabelon til et spørgeskema for at lette overholdelsen og mindske den administrative byrde for idriftsættere.

(97)

Begrebet AI-modeller til almen brug bør af hensyn til retssikkerheden defineres klart og adskilles fra begrebet AI-systemer. Definitionen bør baseres på de vigtigste funktionelle karakteristika ved en AI-model til almen brug, navnlig generaliteten og kapaciteten til med kompetence at udføre en lang række forskellige opgaver. Disse modeller trænes typisk med store mængder data ved hjælp af forskellige metoder såsom ved selvovervåget, ikkeovervåget eller forstærket læring. AI-modeller til almen brug kan bringes i omsætning på forskellige måder, herunder via biblioteker eller programmeringsgrænseflader for applikationer (API'er), som direkte download eller som fysisk kopi. Disse modeller kan ændres yderligere eller finjusteres til nye modeller. Selv om AI-modeller er væsentlige komponenter i AI-systemer, udgør de ikke i sig selv AI-systemer. AI-modeller kræver, at der tilføjes yderligere komponenter, f.eks. en brugergrænseflade, for at blive til AI-systemer. AI-modeller er typisk integreret i og udgør en del af AI-systemer. Denne forordning fastsætter specifikke regler for AI-modeller til almen brug og for AI-modeller til almen brug, der udgør systemiske risici, som også bør finde anvendelse, når disse modeller integreres eller indgår i et AI-system. Det forudsættes, at forpligtelserne for udbydere af AI-modeller til almen brug bør finde anvendelse, når AI-modellerne til almen brug er bragt i omsætning.Når udbyderen af en AI-model til almen brug integrerer en egen model i sit eget AI-system, der gøres tilgængeligt på markedet eller ibrugtages, bør den pågældende model betragtes som at være bragt i omsætning, og derfor bør forpligtelserne i denne forordning for modeller fortsat finde anvendelse foruden forpligtelserne for AI-systemer. De forpligtelser, der er fastsat for modeller, bør under alle omstændigheder ikke finde anvendelse, når en egen model anvendes til rent interne processer, som ikke er væsentlige for leveringen af et produkt eller en tjeneste til tredjeparter, og fysiske personers rettigheder ikke berøres. I betragtning af deres potentielt væsentlige negative virkninger bør AI-modeller til almen brug med systemisk risiko altid være underlagt de relevante forpligtelser i henhold til denne forordning. Definitionen bør ikke omfatte AI-modeller, der anvendes, inden de bringes i omsætning, udelukkende med henblik på forsknings-, udviklings- og prototypeaktiviteter. Dette berører ikke forpligtelsen til at overholde denne forordning, når en model bringes i omsætning efter sådanne aktiviteter.

(98)

Mens en models generalitet blandt andet også kan bestemmes af en række parametre, bør modeller med mindst en milliard parametre, og som er trænet med en stor mængde data ved hjælp af selvovervågning, i stor skala betragtes som at udvise betydelig generalitet og kompetence til at udføre en lang række forskellige opgaver.

(99)

Store generative AI-modeller er et typisk eksempel på en AI-model til almen brug, da de giver mulighed for fleksibel generering af indhold, f.eks. i form af tekst, lyd, billeder eller video, der let kan tilpasses en lang række forskellige opgaver.

(100)

Hvis en AI-model til almen brug integreres i eller udgør en del af et AI-system, bør dette system betragtes som at være et AI-system til almen brug, når dette system som følge af denne integration har kapacitet til at tjene en række forskellige formål. Et AI-system til almen brug kan anvendes direkte, eller det kan integreres i andre AI-systemer.

(101)

Udbydere af AI-modeller til almen brug har en særlig rolle og et særligt ansvar i AI-værdikæden, da de modeller, de leverer, kan danne grundlag for en række downstreamsystemer, der ofte leveres af downstreamudbydere, og som kræver en god forståelse af modellerne og deres kapacitet, både for at gøre det muligt at integrere sådanne modeller i deres produkter og for at opfylde deres forpligtelser i henhold til denne eller andre forordninger. Der bør derfor fastsættes forholdsmæssige gennemsigtighedsforanstaltninger, herunder udarbejdelse og ajourføring af dokumentation og formidling af oplysninger om AI-modellen til almen brug med henblik på downstreamudbydernes anvendelse heraf. Den tekniske dokumentation bør udarbejdes og ajourføres af udbyderen af AI-modellen til almen brug med henblik på efter anmodning at stille den til rådighed for AI-kontoret og de nationale kompetente myndigheder. Minimumssættet af elementer, der skal medtages i sådan dokumentation, bør fastsættes i særlige bilag til denne forordning. Kommissionen bør have beføjelse til at ændre disse bilag ved hjælp af delegerede retsakter i lyset af den teknologiske udvikling.

(102)

Software og data, herunder modeller frigivet i henhold til en gratis open source-licens, der gør det muligt at dele dem åbent, og hvor brugerne frit kan få adgang til, anvende, ændre og videregive dem eller ændrede versioner heraf, kan bidrage til forskning og innovation på markedet og skabe betydelige vækstmuligheder for Unionens økonomi. AI-modeller til almen brug, som er frigivet i henhold til gratis open source-licenser, bør betragtes som at sikre en høj grad af gennemsigtighed og åbenhed, hvis deres parametre, herunder vægtene, oplysningerne om modelarkitekturen og oplysningerne om modelanvendelsen, gøres offentligt tilgængelige. Licensen bør også betragtes som gratis og open source, når den giver brugerne mulighed for at køre, kopiere, distribuere, undersøge, ændre og forbedre software og data, herunder modeller, forudsat at den oprindelige udbyder af modellen krediteres, og at de identiske eller sammenlignelige distributionsvilkår overholdes.

(103)

Gratis open source-AI-komponenter omfatter software og data, herunder modeller og AI-modeller til almen brug, værktøjer, tjenester eller processer i et AI-system. Gratis open source-AI-komponenter kan leveres gennem forskellige kanaler, herunder deres udvikling i åbne databaser. Med henblik på denne forordning bør AI-komponenter, der leveres mod en pris, eller som der på anden vis tjenes penge på, herunder gennem levering af teknisk støtte eller andre tjenester, bl.a. gennem en softwareplatform, i forbindelse med AI-komponenten, eller anvendelse af personoplysninger af andre årsager end udelukkende for at forbedre softwarens sikkerhed, kompatibilitet eller interoperabilitet, med undtagelse af transaktioner mellem mikrovirksomheder, ikke være omfattet af undtagelserne for gratis open source-AI-komponenter. Det forhold, at AI-komponenter stilles til rådighed gennem åbne databaser, bør ikke i sig selv udgøre en monetarisering.

(104)

Udbydere af AI-modeller til almen brug, der frigives i henhold til en gratis open source-licens, og hvis parametre, herunder vægtene, oplysningerne om modelarkitekturen og oplysningerne om modelanvendelsen, gøres offentligt tilgængelige, bør være omfattet af undtagelser for så vidt angår de krav om gennemsigtighed, der stilles til AI-modeller til almen brug, medmindre de kan anses for at udgøre en systemisk risiko, i hvilket tilfælde det forhold, at modellen er gennemsigtig og ledsaget af en open source-licens, ikke bør betragtes som tilstrækkelig grund til at udelukke, at forpligtelserne i henhold til denne forordning overholdes. I betragtning af at frigivelsen af AI-modeller til almen brug i henhold til en gratis open source-licens ikke nødvendigvis afslører væsentlige oplysninger om det datasæt, der anvendes til træning eller finjustering af modellen, og om hvordan overholdelsen af ophavsretten derved blev sikret, bør undtagelsen for AI-modeller til almen brug fra overholdelse af krav om gennemsigtighed under alle omstændigheder ikke vedrøre forpligtelsen til at udarbejde en sammenfatning af det indhold, der anvendes til modeltræning, og forpligtelsen til at indføre en politik, der overholder EU-retten om ophavsret, navnlig med hensyn til at identificere og overholde forbeholdet af rettigheder i henhold til artikel 4, stk. 3, i Europa-Parlamentets og Rådets direktiv (EU) 2019/790 (40).

(105)

AI-modeller til almen brug, navnlig store generative AI-modeller, der kan generere tekst, billeder og andet indhold, giver unikke innovationsmuligheder, men også udfordringer for kunstnere, forfattere og andre skabere og den måde, hvorpå deres kreative indhold skabes, distribueres, anvendes og forbruges. Udviklingen og træningen af sådanne modeller kræver adgang til store mængder tekst, billeder, videoer og andre data. Tekst- og dataminingteknikker kan anvendes i vid udstrækning i denne forbindelse til søgning og analyse af sådant indhold, som kan være beskyttet af ophavsret og beslægtede rettigheder. Enhver anvendelse af ophavsretligt beskyttet indhold kræver tilladelse fra den pågældende rettighedshaver, medmindre der gælder relevante undtagelser og indskrænkninger i ophavsretten. Direktiv (EU) 2019/790 indførte undtagelser og indskrænkninger, der tillader reproduktion og udtræk af værker eller andre frembringelser med henblik på tekst- og datamining på visse betingelser. I henhold til disse regler kan rettighedshavere vælge at forbeholde deres rettigheder til deres værker eller andre frembringelser for at forhindre tekst- og datamining, medmindre dette sker med henblik på videnskabelig forskning. Hvis retten til fravalg udtrykkeligt er blevet forbeholdt på passende vis, skal udbydere af AI-modeller til almen brug indhente en tilladelse fra rettighedshaverne, hvis de ønsker at udføre tekst- og datamining i forbindelse med sådanne værker.

(106)

Udbydere, der bringer AI-modeller til almen brug i omsætning på EU-markedet, bør sikre overholdelse af de relevante forpligtelser i denne forordning. Med henblik herpå bør udbydere af AI-modeller til almen brug indføre en politik, der overholder EU-retten om ophavsret og beslægtede rettigheder, navnlig med hensyn til at identificere og overholde det forbehold af rettigheder, som rettighedshaverne har givet udtryk for i henhold til artikel 4, stk. 3, i direktiv (EU) 2019/790. Enhver udbyder, der bringer en AI-model til almen brug i omsætning på EU-markedet, bør overholde denne forpligtelse, uanset i hvilken jurisdiktion de ophavsretligt relevante handlinger, der ligger til grund for træningen af disse AI-modeller til almen brug, finder sted. Dette er nødvendigt for at sikre lige vilkår for udbydere af AI-modeller til almen brug, da ingen udbyder bør kunne opnå en konkurrencemæssig fordel på EU-markedet ved at anvende lavere ophavsretlige standarder end dem, der er fastsat i Unionen.

(107)

For at øge gennemsigtigheden af de data, der anvendes i forbindelse med forhåndstræning og træning af AI-modeller til almen brug, herunder tekst og data, der er beskyttet af ophavsret, er det tilstrækkeligt, at udbydere af sådanne modeller udarbejder og offentliggør en tilstrækkeligt detaljeret sammenfatning af det indhold, der anvendes til træning af AI-modellen til almen brug. Under behørig hensyntagen til behovet for at beskytte forretningshemmeligheder og fortrolige forretningsoplysninger bør denne sammenfatning generelt have et bredt anvendelsesområde i stedet for at være teknisk detaljeret, så det bliver lettere for parter med legitime interesser, herunder indehavere af ophavsret, at udøve og håndhæve deres rettigheder i henhold til EU-retten, f.eks. ved at opregne de vigtigste datasamlinger eller datasæt, der er gået til at træne modellen, såsom store private eller offentlige databaser eller dataarkiver, og ved at give en beskrivende redegørelse for andre anvendte datakilder. Det er hensigtsmæssigt, at AI-kontoret tilvejebringer en skabelon for sammenfatningen, som bør være enkel og effektiv, og giver udbyderen mulighed for at fremsende den krævede sammenfatning i beskrivende tekst.

(108)

Hvad angår de forpligtelser, der pålægges udbydere af AI-modeller til almen brug, til at indføre en politik med henblik på at overholde EU-retten om ophavsret og offentliggøre en sammenfatning af det indhold, der anvendes til træningen, bør AI-kontoret overvåge, om udbyderen har opfyldt disse forpligtelser uden at verificere eller vurdere træningsdataene for hvert enkelt værk med hensyn til overholdelse af ophavsretten. Denne forordning berører ikke håndhævelsen af ophavsretsreglerne som fastsat i EU-retten.

(109)

Overholdelsen af de forpligtelser, der gælder for udbydere af AI-modeller til almen brug, bør stå i et rimeligt forhold til og være proportionalt med typen af modeludbyder, bortset fra behovet for overholdelse for personer, der udvikler eller anvender modeller til ikkeprofessionelle eller videnskabelige forskningsformål, og som ikke desto mindre bør tilskyndes til frivilligt at overholde disse krav. Uden at det berører EU-retten om ophavsret, bør der ved overholdelsen af disse forpligtelser tages behørigt hensyn til udbyderens størrelse, og SMV'er, herunder iværksættervirksomheder, bør have mulighed for forenklede måder at overholde reglerne på, som ikke bør indebære uforholdsmæssigt store omkostninger og ikke modvirke anvendelsen af sådanne modeller. I tilfælde af en ændring eller finjustering af en model bør forpligtelserne for udbydere af AI-modeller til almen brug begrænses til denne ændring eller finjustering, f.eks. ved at supplere den allerede eksisterende tekniske dokumentation med oplysninger om ændringerne, herunder nye træningsdatakilder, som et middel til at overholde værdikædeforpligtelserne i denne forordning.

(110)

AI-modeller til almen brug kan udgøre systemiske risici, som omfatter, men ikke er begrænset til, faktiske negative virkninger, der med rimelighed kan forudses, i forbindelse med større ulykker, forstyrrelser i kritiske sektorer og alvorlige konsekvenser for folkesundheden og sikkerheden, enhver faktisk negativ virkning, der med rimelighed kan forudses, for demokratiske processer, offentlig og økonomisk sikkerhed samt formidling af ulovligt, falsk eller forskelsbehandlende indhold. Det skal forstås sådan, at systemiske risici øges med modelkapaciteter og modelrækkevidde, kan opstå i hele modellens livscyklus og påvirkes af betingelser for misbrug, modelpålidelighed, modelrimelighed og modelsikkerhed, graden af modellens autonomi, dens adgang til værktøjer, nye eller kombinerede metoder, frigivelses- og distributionsstrategier, potentialet til at fjerne beskyttelsesforanstaltninger og andre faktorer. Navnlig har internationale tilgange hidtil vist, at det er nødvendigt at være opmærksom på risici fra potentielt bevidst misbrug eller utilsigtede problemer med kontrol i forbindelse med tilpasning til menneskelig hensigt, kemiske, biologiske, radiologiske og nukleare risici, f.eks. hvordan adgangsbarrierer kan sænkes, herunder for udvikling, erhvervelse eller anvendelse af våben, offensive cyberkapaciteter, f.eks. hvordan metoder til opdagelse, udnyttelse eller operationel brug af sårbarheder kan muliggøres, virkningerne af interaktion og brug af værktøjer, herunder f.eks. kapaciteten til at kontrollere fysiske systemer og gribe ind i kritisk infrastruktur, risici fra modeller, der fremstiller kopier af sig selv eller bliver »selvkopierende« eller træner andre modeller, hvordan modeller kan medføre skadelig bias og forskelsbehandling med risici for enkeltpersoner, lokalsamfund eller samfund, lettelse af desinformation eller krænkelse af privatlivets fred med trusler mod demokratiske værdier og menneskerettighederne samt risiko for, at en bestemt hændelse kan skabe en kædereaktion med betydelige negative virkninger, der kan påvirke en hel by, en hel domæneaktivitet eller et helt fællesskab.

(111)

Der bør fastlægges en metode til klassificering af AI-modeller til almen brug som AI-modeller til almen brug med systemiske risici. Da systemiske risici skyldes særlig høj kapacitet, bør en AI-model til almen brug betragtes som at udgøre systemiske risici, hvis de har kapaciteter med stor virkning, vurderet på grundlag af passende tekniske værktøjer og metoder, eller en betydelig indvirkning på det indre marked på grund af dens omfang. Ved kapaciteter med stor virkning i AI-modeller til almen brug forstås kapaciteter, som svarer til eller overstiger de kapaciteter, der er registreret i de mest avancerede AI-modeller til almen brug. Hele spektret af kapaciteter i en model kan bedre forstås, efter at den er blevet bragt i omsætning på markedet, eller når idriftsætterne interagerer med modellen. Ifølge det aktuelle teknologiske niveau på tidspunktet for denne forordnings ikrafttræden er den kumulerede mængde beregningskraft, der anvendes til træning af AI-modellen til almen brug, målt i flydende kommatalsberegninger, en af de relevante tilnærmelser for modelkapaciteter. Den kumulerede mængde beregningskraft, der anvendes til træning, omfatter den beregningskraft, der anvendes på tværs af de aktiviteter og metoder, der er tilsigtet at forbedre modellens kapaciteter forud for idriftsættelsen, såsom forhåndstræning, generering af syntetiske data og finjustering. Der bør derfor fastsættes en foreløbig tærskel for flydende kommatalsberegninger, som, hvis den opnås af en AI-model til almen brug, fører til en formodning om, at modellen er en AI-model til almen brug med systemiske risici. Denne tærskel bør justeres over tid for at afspejle teknologiske og industrielle ændringer såsom algoritmiske forbedringer eller øget hardwareeffektivitet og bør suppleres med benchmarks og indikatorer for modelkapacitet.For at kvalificere dette bør AI-kontoret samarbejde med det videnskabelige samfund, industrien, civilsamfundet og andre eksperter. Tærskler samt værktøjer og benchmarks til vurdering af kapaciteter med stor virkning bør være stærke forudsigelsesfaktorer for generaliteten, kapaciteterne og den dermed forbundne systemiske risiko ved AI-modeller til almen brug og kan tage hensyn til måden, hvorpå modellen vil blive bragt i omsætning, eller antallet af brugere, den kan påvirke. For at supplere dette system bør Kommissionen have mulighed for at træffe individuelle beslutninger om, at en AI-model til almen brug udpeges som en AI-model til almen brug med systemisk risiko, hvis det konstateres, at en sådan model har samme kapaciteter eller en virkning som dem, der fremgår af den fastsatte tærskel. Denne beslutning bør træffes på grundlag af en samlet vurdering af kriterierne for udpegelse af en AI-model til almen brug med systemisk risiko, der er fastsat i et bilag til denne forordning, såsom kvaliteten eller størrelsen af træningsdatasættet, antallet af virksomheds- og slutbrugere, dens input- og outputmetoder, dens grad af autonomi og skalerbarhed eller de værktøjer, den har adgang til. Efter en begrundet anmodning fra en udbyder, hvis model er blevet udpeget som en AI-model til almen brug med systemisk risiko, bør Kommissionen tage hensyn til anmodningen og kan beslutte på ny at vurdere, om AI-modellen til almen brug stadig kan anses for at frembyde systemiske risici.

(112)

Det er også nødvendigt at klargøre en procedure til klassificering af en AI-model til almen brug med systemiske risici. En AI-model til almen brug, som opfylder den gældende tærskel for kapaciteter med stor virkning, må formodes at være en AI-model til almen brug med systemisk risiko. Udbyderen bør underrette AI-kontoret senest to uger efter, at kravene er opfyldt, eller det bliver kendt, at en AI-model til almen brug vil opfylde de krav, der fører til formodningen. Dette er navnlig relevant i forbindelse med tærsklen for flydende kommatalsberegninger, eftersom træning af AI-modeller til almen brug kræver betydelig planlægning, som omfatter forhåndsallokering af beregningskraftsressourcer, og udbydere af AI-modeller til almen brug kan derfor have kendskab til, om deres model opfylder tærsklen, inden træningen afsluttes. I forbindelse med denne notifikation bør udbyderen kunne påvise, at en AI-model til almen brug som følge af dens specifikke karakteristika undtagelsesvis ikke udgør systemiske risici, og at den derfor ikke bør klassificeres som en AI-model til almen brug med systemiske risici. Denne oplysning er nyttig for AI-kontoret med henblik på at foregribe omsætningen af AI-modeller til almen brug med systemiske risici, så udbyderne tidligt kan begynde at samarbejde med AI-kontoret. Denne oplysning er navnlig vigtig for så vidt angår AI-modeller til almen brug, som efter planen skal frigives som open source, eftersom de nødvendige foranstaltninger til at sikre overholdelse af forpligtelserne i medfør af denne forordning kan være vanskeligere at gennemføre efter frigivelsen af modellen som open source.

(113)

Hvis Kommissionen får kendskab til, at en AI-model til almen brug opfylder kravene til klassificering som en AI-model til almen brug med systemisk risiko, som tidligere enten ikke var kendt, eller som den relevante udbyder har undladt at underrette Kommissionen om, bør Kommissionen have beføjelse til at udpege den som sådan. I tillæg til AI-kontorets overvågningsaktiviteter bør et system med kvalificerede varslinger sikre, at AI-kontoret af det videnskabelige panel får kendskab til AI-modeller til almen brug, som eventuelt bør klassificeres som AI-modeller til almen brug med systemisk risiko.

(114)

Udbydere af AI-modeller til almen brug, som udgør systemiske risici, bør foruden de forpligtelser, der er fastsat for udbydere af AI-modeller til almen brug, være underlagt forpligtelser med det formål at identificere og afbøde disse risici og sikre et tilstrækkeligt cybersikkerhedsbeskyttelsesniveau, uanset om de leveres som en selvstændig model eller er indlejret i et AI-system eller et produkt. For at nå disse mål bør denne forordning kræve, at udbydere foretager de nødvendige modelevalueringer, navnlig inden de første gang bringes i omsætning, herunder gennemførelse og dokumentation af afprøvning af modeller mod ondsindet brug, herunder også i relevant omfang, gennem intern eller uafhængig ekstern afprøvning. Udbydere af AI-modeller til almen brug med systemiske risici bør desuden løbende vurdere og afbøde systemiske risici, herunder f.eks. ved at indføre risikostyringspolitikker såsom ansvarligheds- og forvaltningsprocesser, gennemføre overvågning efter omsætningen, træffe passende foranstaltninger i hele modellens livscyklus og samarbejde med relevante aktører i AI-værdikæden.

(115)

Udbydere af AI-modeller til almen brug med systemiske risici bør vurdere og afbøde eventuelle systemiske risici. Hvis udviklingen eller anvendelsen af modellen trods bestræbelser på at identificere og forebygge risici forbundet med en AI-model til almen brug, som kan udgøre systemiske risici, forårsager en alvorlig hændelse, bør udbyderen af AI-modellen til almen brug uden unødigt ophold spore hændelsen og indberette alle relevante oplysninger og eventuelle korrigerende foranstaltninger til Kommissionen og de nationale kompetente myndigheder. Udbydere bør desuden sikre et tilstrækkeligt cybersikkerhedsbeskyttelsesniveau for modellen og dens fysiske infrastruktur, hvis det er relevant, i hele modellens livscyklus. Cybersikkerhedsbeskyttelse i forbindelse med systemiske risici, der er knyttet til ondsindet brug af eller angreb, bør tage behørigt hensyn til utilsigtet modellækage, uautoriserede frigivelser, omgåelse af sikkerhedsforanstaltninger og forsvar mod cyberangreb, uautoriseret adgang eller modeltyveri. Denne beskyttelse kan lettes ved at sikre modelvægte, algoritmer, servere og datasæt såsom gennem operationelle sikkerhedsforanstaltninger med henblik på informationssikkerhed, specifikke cybersikkerhedspolitikker, passende tekniske og etablerede løsninger samt cyberadgangskontroller og fysiske adgangskontroller, der er tilpasset de relevante forhold og de involverede risici.

(116)

AI-kontoret bør tilskynde til og lette udarbejdelsen, gennemgangen og tilpasningen af praksiskodekser under hensyntagen til internationale tilgange. Alle udbydere af AI-modeller til almen brug kan indbydes til at deltage. For at sikre at praksiskodekser afspejler det aktuelle teknologiske niveau og tager behørigt hensyn til en række forskellige perspektiver, bør AI-kontoret samarbejde med relevante nationale kompetente myndigheder og kan, hvis det er relevant, høre civilsamfundsorganisationer og andre relevante interessenter og eksperter, herunder det videnskabelige panel, om udarbejdelsen af sådanne kodekser. Praksiskodekser bør omfatte forpligtelser for udbydere af AI-modeller til almen brug og af modeller til almen brug, der udgør systemiske risici. Hvad angår systemiske risici, bør praksiskodekser derudover bidrage til at opstille en risikotaksonomi for typen og arten af de systemiske risici på EU-plan, herunder deres kilder. Praksiskodekser bør også fokusere på specifikke risikovurderinger og risikobegrænsende foranstaltninger.

(117)

Praksiskodekser bør udgøre et centralt redskab med henblik på korrekt overholdelse af de forpligtelser, der er fastsat i medfør af denne forordning, og som gælder for udbydere af AI-modeller til almen brug. Udbydere bør kunne forlade sig på praksiskodekser for at påvise overholdelse af forpligtelserne. Kommissionen kan ved hjælp af gennemførelsesretsakter beslutte at godkende en praksiskodeks og tillægge den almen gyldighed i Unionen eller alternativt fastsætte fælles regler for gennemførelsen af de relevante forpligtelser, hvis en praksiskodeks på tidspunktet for denne forordnings ikrafttræden ikke kan færdiggøres eller af AI-kontoret anses for at være utilstrækkelig. Når en harmoniseret standard er offentliggjort, og AI-kontoret har vurderet den som egnet til at dække de relevante forpligtelser, bør overholdelse af en europæisk harmoniseret standard medføre en formodning om overensstemmelse hermed fra udbydernes side. Udbydere af AI-modeller til almen brug bør desuden kunne påvise overensstemmelse ved hjælp af alternative passende metoder, hvis der ikke findes praksiskodekser eller harmoniserede standarder, eller de vælger ikke at anvende sådanne.

(118)

Denne forordning regulerer AI-systemer og AI-modeller, idet den indfører visse krav og forpligtelser for relevante markedsaktører, som bringer dem i omsætning, ibrugtager dem eller anvender dem i Unionen, og derved supplerer forpligtelserne for udbydere af formidlingstjenester, som indlejrer sådanne systemer eller modeller i deres tjenester, som er reguleret ved forordning (EU) 2022/2065. I det omfang sådanne systemer eller modeller er indlejret i udpegede meget store onlineplatforme eller meget store onlinesøgemaskiner, er de underlagt den ramme for risikostyring, som er fastsat i forordning (EU) 2022/2065. De tilsvarende forpligtelser i nærværende forordning må derfor formodes at være opfyldt, medmindre betydelige systemiske risici, der ikke er omfattet af forordning (EU) 2022/2065, forekommer og identificeres i sådanne modeller. Inden for disse rammer er udbydere af meget store onlineplatforme forpligtet til at vurdere potentielle systemiske risici, der hidrører fra udformningen, funktionen og anvendelsen af deres tjenester, herunder hvordan udformningen af algoritmiske systemer, der anvendes i tjenesten, kan bidrage til sådanne risici, samt systemiske risici, der hidrører fra potentielt misbrug. Disse udbydere er også forpligtet til at træffe afbødende foranstaltninger for at overholde de grundlæggende rettigheder.

(119)

I betragtning af innovationshastigheden og den teknologiske udvikling inden for digitale tjenester, som er omfattet af forskellige EU-retlige instrumenters anvendelsesområde, navnlig under hensyntagen til anvendelsen og opfattelsen af modtagerne heraf, kan de AI-systemer, der er omfattet af denne forordning, leveres som formidlingstjenester eller dele heraf som omhandlet i forordning (EU) 2022/2065, som bør fortolkes på en teknologineutral måde. AI-systemer kan f.eks. anvendes til at levere onlinesøgemaskiner, navnlig i det omfang et AI-system såsom en onlinechatbot i princippet foretager søgninger på alle websteder, dernæst indarbejder resultaterne i sin eksisterende viden og anvender den ajourførte viden til at generere et enkelt output, der kombinerer forskellige informationskilder.

(120)

De forpligtelser, der pålægges udbydere og idriftsættere af visse AI-systemer i denne forordning, for at give mulighed for at påvise og oplyse, at outputtet af disse systemer er blevet genereret kunstigt eller manipuleret, er desuden særlig relevante for at lette en effektiv gennemførelse af forordning (EU) 2022/2065. Dette gælder navnlig for forpligtelserne for udbydere af meget store onlineplatforme eller meget store onlinesøgemaskiner til at identificere og afbøde systemiske risici, der kan opstå som følge af formidlingen af indhold, der er blevet kunstigt genereret eller manipuleret, navnlig risikoen for de faktiske eller forventede negative virkninger for demokratiske processer, samfundsdebatten og valgprocesser, herunder gennem desinformation.

(121)

Standardisering bør spille en central rolle med hensyn til at levere tekniske løsninger til udbyderne for at sikre overholdelse af denne forordning i overensstemmelse med det aktuelle teknologiske niveau og fremme innovation samt konkurrenceevnen og væksten på det indre marked. Overholdelse af harmoniserede standarder som defineret i artikel 2, nr. 1), litra c), i Europa-Parlamentets og Rådets forordning (EU) nr. 1025/2012 (41), der sædvanligvis forventes at afspejle det aktuelle teknologiske niveau, bør være et middel for udbydere til at påvise overensstemmelse med kravene i nærværende forordning. Der bør derfor tilskyndes til en afbalanceret repræsentation af interesser, der inddrager alle relevante interessenter i udviklingen af standarder, navnlig SMV'er, forbrugerorganisationer og miljøorganisationer og sociale interessenter i overensstemmelse med artikel 5 og 6 i forordning (EU) nr. 1025/2012. For at lette overholdelsen bør standardiseringsanmodningerne fremsættes af Kommissionen uden unødigt ophold. I forbindelse med udarbejdelsen af standardiseringsanmodninger bør Kommissionen høre det rådgivende forum og AI-udvalget med henblik på at indsamle relevant ekspertise. I mangel af relevante referencer til harmoniserede standarder bør Kommissionen dog ved hjælp af gennemførelsesretsakter og efter høring af det rådgivende forum kunne fastsætte fælles specifikationer for visse krav i henhold til nærværende forordning. Den fælles specifikation bør være en ekstraordinær nødløsning for at lette udbyderens forpligtelse til at overholde kravene i nærværende forordning, når standardiseringsanmodningen ikke er blevet accepteret af de europæiske standardiseringsorganisationer, eller når de relevante harmoniserede standarder i utilstrækkelig grad tager hensyn til betænkeligheder vedrørende grundlæggende rettigheder, eller når de harmoniserede standarder ikke er i overensstemmelse med anmodningen, eller når der er forsinkelser i vedtagelsen af en passende harmoniseret standard. Hvis en sådan forsinkelse i vedtagelsen af en harmoniseret standard skyldes den pågældende standards tekniske kompleksitet, bør Kommissionen tage dette i betragtning, inden det overvejes at udarbejde fælles specifikationer. Ved udarbejdelsen af fælles specifikationer tilskyndes Kommissionen til at samarbejde med internationale partnere og internationale standardiseringsorganer.

(122)

Uden at det berører anvendelsen af harmoniserede standarder og fælles specifikationer, bør udbydere af et højrisiko-AI-system, som er blevet trænet og afprøvet på data, der afspejler de specifikke geografiske, adfærdsmæssige, kontekstuelle eller funktionelle rammer, som AI-systemet tilsigtes anvendt inden for, formodes at være i overensstemmelse med den relevante foranstaltning, der er fastsat i kravet til datastyring i denne forordning. Uden at det berører kravene til robusthed og nøjagtighed i denne forordning og i overensstemmelse med artikel 54, stk. 3, i forordning (EU) 2019/881 formodes højrisiko-AI-systemer, der er certificeret, eller for hvilke der er udstedt en overensstemmelseserklæring inden for rammerne af en cybersikkerhedsordning i henhold til nævnte forordning, og hvis referencer er offentliggjort i Den Europæiske Unions Tidende, at overholde cybersikkerhedskravene i nærværende forordning, såfremt cybersikkerhedsattesten eller overensstemmelseserklæringen eller dele heraf dækker cybersikkerhedskravet i nærværende forordning. Dette berører ikke den pågældende cybersikkerhedsordnings frivillige karakter.

(123)

For at sikre en høj grad af troværdighed i højrisiko-AI-systemer bør disse systemer underkastes en overensstemmelsesvurdering, inden de bringes i omsætning eller ibrugtages.

(124)

For så vidt angår højrisiko-AI-systemer, der vedrører produkter, der er omfattet af gældende EU-harmoniseringslovgivning baseret på den nye lovgivningsmæssige ramme, bør disse AI-systemers overholdelse af kravene i denne forordning vurderes som led i den overensstemmelsesvurdering, der allerede er fastsat i nævnte ret, for at minimere byrden for operatørerne og undgå ethvert muligt overlap. Anvendeligheden af kravene i denne forordning bør derfor ikke påvirke den specifikke logik, metode eller generelle struktur i overensstemmelsesvurderingen i henhold til den relevante EU-harmoniseringslovgivning.

(125)

I betragtning af højrisiko-AI-systemers kompleksitet og de med disse forbundne risici er det vigtigt at udvikle en passende overensstemmelsesvurderingsprocedure for højrisiko-AI-systemer, der involverer bemyndigede organer, en såkaldt overensstemmelsesvurdering udført af tredjepart. I betragtning af den aktuelle erfaring, som professionelle, der udfører certificering forud for omsætning, har inden for produktsikkerhed og de relevante risicis forskellige karakter, bør anvendelsesområdet for tredjeparters overensstemmelsesvurderinger af andre højrisiko-AI-systemer end dem, der vedrører produkter, dog begrænses, i det mindste i den indledende fase af anvendelsen af denne forordning. Overensstemmelsesvurderinger af sådanne systemer bør derfor som hovedregel foretages af udbyderen på dennes eget ansvar, med undtagelse af AI-systemer, der tilsigtes anvendt til biometri.

(126)

Med henblik på tredjeparters overensstemmelsesvurderinger, når der er behov for sådanne, bør bemyndigede organer notificeres i henhold til denne forordning af de nationale kompetente myndigheder, forudsat at de overholder en række krav, navnlig med hensyn til uafhængighed, kompetencer, interessekonflikter og passende cybersikkerhedskrav. De nationale kompetente myndigheder bør sende notifikationen af disse organer til Kommissionen og de andre medlemsstater ved hjælp af det elektroniske notifikationsværktøj, der er udviklet og forvaltes af Kommissionen i henhold til artikel R23 i bilag I til afgørelse nr. 768/2008/EF.

(127)

I overensstemmelse med Unionens forpligtelser i henhold til Verdenshandelsorganisationens aftale om tekniske handelshindringer er det hensigtsmæssigt at lette den gensidige anerkendelse af resultater af overensstemmelsesvurderinger udarbejdet af de kompetente overensstemmelsesvurderingsorganer, uafhængigt af hvor de er etableret, forudsat at disse overensstemmelsesvurderingsorganer, der er oprettet i henhold til retten i et tredjeland, opfylder de gældende krav i denne forordning, og Unionen har indgået aftale herom. I denne forbindelse bør Kommissionen aktivt undersøge mulige internationale instrumenter til dette formål og navnlig søge at indgå aftaler om gensidig anerkendelse med tredjelande.

(128)

I overensstemmelse med det almindeligt anerkendte begreb væsentlig ændring for produkter, der er reguleret af EU-harmoniseringslovgivningen, bør AI-systemet, når der sker en ændring, som kan have indflydelse på højrisiko-AI-systemets overensstemmelse med denne forordning (f.eks. ændring af styresystem eller softwarearkitektur), eller hvis systemets tilsigtede formål ændrer sig, betragtes som et nyt AI-system, der bør underkastes en ny overensstemmelsesvurdering. Ændringer i algoritmen og ydeevnen af AI-systemer, der fortsætter med at »lære« efter, at de er bragt i omsætning eller ibrugtaget, dvs. at de automatisk tilpasser, hvordan funktionerne udføres, bør ikke udgøre en væsentlig ændring, forudsat at disse ændringer er fastlagt på forhånd af udbyderen og vurderet på tidspunktet for overensstemmelsesvurderingen.

(129)

Højrisiko-AI-systemer bør være forsynet med CE-mærkning for at vise, at de er i overensstemmelse med denne forordning, således at de sikres fri bevægelighed på det indre marked. For højrisiko-AI-systemer, der er indlejret i et produkt, bør der anbringes en fysisk CE-mærkning, som kan suppleres med en digital CE-mærkning. For højrisiko-AI-systemer, der kun leveres digitalt, bør der anvendes en digital CE-mærkning. Medlemsstaterne bør ikke skabe uberettigede hindringer for omsætningen eller ibrugtagningen af højrisiko-AI-systemer, der overholder kravene i denne forordning, og som er forsynet med CE-mærkning.

(130)

Under visse omstændigheder kan hurtig adgang til innovative teknologier være afgørende for personers sundhed og sikkerhed, miljøbeskyttelse og klimaændringer og for samfundet som helhed. Markedsovervågningsmyndighederne kan derfor af ekstraordinære hensyn til den offentlige sikkerhed eller beskyttelsen af fysiske personers liv og sundhed, miljøbeskyttelse og beskyttelse af centrale industrielle og infrastrukturmæssige aktiver tillade omsætning eller ibrugtagning af AI-systemer, der ikke har været genstand for en overensstemmelsesvurdering. I behørigt begrundede situationer som fastsat i denne forordning kan de retshåndhævende myndigheder eller civilbeskyttelsesmyndighederne tage et specifikt højrisiko-AI-system i brug uden tilladelse fra markedsovervågningsmyndigheden, forudsat at der under eller efter anvendelsen anmodes om en sådan tilladelse uden unødigt ophold.

(131)

For at lette Kommissionens og medlemsstaternes arbejde inden for AI og øge gennemsigtigheden for offentligheden bør udbydere af andre højrisiko-AI-systemer end dem, der vedrører produkter, der er omfattet af relevant gældende EU-harmoniseringslovgivning, og udbydere, der finder, at et AI-system, der er opført som tilfælde af højrisikoanvendelser i et bilag til denne forordning, ikke er højrisiko på grundlag af en undtagelse, pålægges at registrere sig selv og oplysninger om deres AI-system i en EU-database, der skal oprettes og forvaltes af Kommissionen. Inden anvendelse af et AI-system, der er opført som tilfælde af højrisikoanvendelser i et bilag til denne forordning, bør idriftsættere af højrisiko-AI-systemer, der er offentlige myndigheder, agenturer eller organer, registrere sig selv i en sådan database og udvælge det system, de påtænker at anvende.Andre idriftsættere bør have ret til at gøre dette frivilligt. Denne del af EU-databasen bør være offentligt tilgængelig og gratis, og oplysningerne bør være lettilgængelige, forståelige og maskinlæsbare. EU-databasen bør også være brugervenlig, f.eks. ved at råde over søgefunktioner, herunder gennem nøgleord, der gør det muligt for offentligheden at finde relevante oplysninger, der skal indsendes ved registrering af højrisiko-AI-systemer, og om højrisiko-AI-systemers anvendelsestilfælde fastsat i et bilag til denne forordning, som højrisiko-AI-systemerne svarer til. Enhver væsentlig ændring af højrisiko-AI-systemer bør også registreres i EU-databasen. For højrisiko-AI-systemer inden for retshåndhævelse og migrationsstyring, asylforvaltning og grænsekontrol bør registreringsforpligtelserne opfyldes i en sikker ikkeoffentlig del af EU-databasen. Adgang til den sikre ikkeoffentlige del bør være strengt begrænset til Kommissionen og til markedsovervågningsmyndighederne for så vidt angår deres nationale del af den pågældende database. Højrisiko-AI-systemer inden for kritisk infrastruktur bør kun registreres på nationalt plan. Kommissionen bør være dataansvarlig for EU-databasen i overensstemmelse med forordning (EU) 2018/1725. For at sikre at EU-databasen fungerer efter hensigten, når den tages i idriftsættes, bør proceduren for oprettelse af databasen omfatte, at Kommissionen udarbejder funktionsspecifikationer, samt en uafhængig revisionsrapport. Kommissionen bør tage hensyn til cybersikkerhedsrisici, når den udfører sine opgaver som dataansvarlig for EU-databasen. For at maksimere offentlighedens tilgængelighed og anvendelse af EU-databasen bør EU-databasen, herunder oplysninger, der stilles til rådighed igennem den, overholde kravene i medfør af direktiv (EU) 2019/882.

(132)

Visse AI-systemer, der er tilsigtet at interagere med fysiske personer eller generere indhold, kan indebære særlige risici for imitation eller vildledning, uanset om de er klassificeret som højrisiko eller ej. Under visse omstændigheder bør anvendelsen af disse systemer derfor være underlagt særlige gennemsigtighedsforpligtelser, uden at dette berører kravene og forpligtelserne for højrisiko-AI-systemer, og målrettede undtagelser for at tage hensyn til særlige behov inden for retshåndhævelse. Fysiske personer bør navnlig underrettes om, at de interagerer med et AI-system, medmindre dette er indlysende ud fra en rimelig oplyst, opmærksom og velunderrettet fysisk persons synspunkt under hensyntagen til omstændighederne og anvendelsessammenhængen. Ved gennemførelsen af denne forpligtelse bør der tages hensyn til egenskaber hos fysiske personer, der tilhører sårbare grupper på grund af deres alder eller handicap, i det omfang AI-systemet er tilsigtet også at interagere med disse grupper. Fysiske personer bør desuden underrettes, når de udsættes for AI-systemer, der ved at behandle personernes biometriske data kan genkende eller udlede følelserne eller hensigterne hos disse personer eller placere dem i specifikke kategorier. Sådanne specifikke kategorier kan vedrøre aspekter såsom køn, alder, hårfarve, øjenfarve, tatoveringer, personlighedstræk, etnisk oprindelse, personlige præferencer og interesser. Sådanne oplysninger og underretninger bør gives i formater, der er tilgængelige for personer med handicap.

(133)

En række AI-systemer kan generere store mængder syntetisk indhold, som bliver stadig vanskeligere for mennesker at adskille fra menneskegenereret og autentisk indhold. Disse systemers brede tilgængelighed og øgede kapaciteter har en betydelig indvirkning på integriteten af og tilliden til informationsøkosystemet, hvilket skaber nye risici for misinformation og manipulation i stor målestok, svig, imitation eller vildledning af forbrugerne. I lyset af disse virkninger, det hurtige teknologiske tempo og behovet for nye metoder og teknikker til sporing af oplysningernes oprindelse bør udbydere af disse systemer pålægges at indlejre tekniske løsninger, som muliggør markering i et maskinlæsbart format og påvisning af, at outputtet er blevet genereret eller manipuleret af et AI-system og ikke af et menneske. Sådanne teknikker og metoder bør være tilstrækkeligt pålidelige, interoperable, effektive og robuste, i det omfang dette er teknisk muligt, under hensyntagen til tilgængelige teknikker eller en kombination af sådanne teknikker såsom vandmærker, metadataidentifikationer, kryptografiske metoder til påvisning af indholdets oprindelse og ægthed, registreringsmetoder, fingeraftryk eller andre teknikker, alt efter hvad der kan være relevant. Udbydere bør ved gennemførelsen af denne forpligtelse tage hensyn til de forskellige typer indholds særlige forhold og begrænsninger og markedsudviklinger på området, som er afspejlet i det generelt anerkendte aktuelle teknologiske niveau. Sådanne teknikker og metoder kan gennemføres på AI-systemniveau eller AI-modelniveau, som omfatter AI-modeller til almen brug, der genererer indhold, og derved gøre det nemmere for AI-systemets downstreamudbyder at opfylde denne forpligtelse. Det bør fastsættes, at hvis denne mærkningsforpligtelse skal forblive forholdsmæssig, bør den ikke omfatte AI-systemer, der primært udfører en hjælpefunktion med henblik på standardredigering, eller AI-systemer, der ikke i væsentlig grad ændrer de inputdata, der leveres af idriftsætteren, eller semantikken heraf.

(134)

I forlængelse af de tekniske løsninger, som udbydere af AI-systemet anvender, bør de idriftsættere, der anvender et AI-system til at generere eller manipulere billed-, lyd- eller videoindhold, der i væsentlig grad ligner faktiske personer, genstande, steder, enheder eller begivenheder, og som fejlagtigt vil fremstå ægte eller sandfærdigt for en person (»deepfakes«), også klart og synligt oplyse, at indholdet er kunstigt skabt eller manipuleret, ved at mærke AI-outputtet i overensstemmelse hermed og oplyse om dets kunstige oprindelse. Overholdelse af denne gennemsigtighedsforpligtelse bør ikke fortolkes således, at anvendelse af AI-systemet eller dets output hindrer ytringsfriheden eller retten til frihed for kunst og videnskab, der er sikret ved chartret, navnlig når indholdet er en del af et åbenlyst kreativt, satirisk, kunstnerisk, fiktivt eller tilsvarende arbejde eller program, med forbehold af passende sikkerhedsforanstaltninger for tredjemands rettigheder og friheder. I disse tilfælde er gennemsigtighedsforpligtelsen for deepfakes fastsat i denne forordning begrænset til oplysning om eksistensen af sådant genereret eller manipuleret indhold på en passende måde, der ikke er til gene for visningen eller nydelsen af værket, herunder den normale udnyttelse og anvendelse heraf, samtidig med at værkets nytteværdi og kvalitet bevares. En lignende oplysningspligt bør desuden tilstræbes for AI-genereret eller manipuleret tekst, for så vidt den offentliggøres med det formål at informere offentligheden om spørgsmål af offentlig interesse, medmindre det AI-genererede indhold har gennemgået en proces med menneskelig gennemgang eller redaktionel kontrol, og en fysisk eller juridisk person har det redaktionelle ansvar for offentliggørelsen af indholdet.

(135)

Uden at det berører disse gennemsigtighedsforpligtelsers obligatoriske karakter og fulde anvendelighed, kan Kommissionen også tilskynde til og lette udarbejdelsen af praksiskodekser på EU-plan for at lette en effektiv gennemførelse af forpligtelserne til påvisning og mærkning af kunstigt genereret eller manipuleret indhold, herunder til støtte for praktiske ordninger for i relevant omfang at gøre sporingsmekanismerne tilgængelige og lette samarbejdet med andre aktører i værdikæden, formidle indhold eller kontrollere dets ægthed og oprindelse, så offentligheden effektivt kan adskille AI-genereret indhold.

(136)

De forpligtelser, der pålægges udbydere og idriftsættere af visse AI-systemer i denne forordning, for at gøre det muligt at påvise og oplyse, at outputtet af disse systemer er blevet genereret kunstigt eller manipuleret, er særlig relevante for at lette en effektiv gennemførelse af forordning (EU) 2022/2065. Dette gælder navnlig for forpligtelserne for udbydere af meget store onlineplatforme eller meget store onlinesøgemaskiner til at identificere og afbøde systemiske risici, der kan opstå som følge af formidlingen af indhold, der er blevet kunstigt genereret eller manipuleret, navnlig risikoen for de faktiske eller forventede negative virkninger for demokratiske processer, samfundsdebatten og valgprocesser, herunder gennem desinformation. Kravet om mærkning af indhold genereret af AI-systemer i henhold til nærværende forordning berører ikke forpligtelsen i artikel 16, stk. 6, i forordning (EU) 2022/2065 for udbydere af oplagringstjenester til at behandle anmeldelser om ulovligt indhold, som er modtaget i henhold til nævnte forordnings artikel 16, stk. 1, og bør ikke påvirke vurderingen af og afgørelsen om det specifikke indholds lovlighed. Denne vurdering bør udelukkende foretages under henvisning til reglerne om lovligheden af indholdet.

(137)

Overholdelse af de gennemsigtighedsforpligtelser for AI-systemer, som er omfattet af denne forordning, bør ikke fortolkes således, at anvendelsen af systemet eller dets output er lovlig i henhold til denne forordning eller anden EU-ret eller ret i medlemsstaterne, og bør ikke berøre andre gennemsigtighedsforpligtelser for idriftsættere af AI-systemer i EU-retten eller national ret.

(138)

AI er en hurtigt voksende familie af teknologier, der kræver myndighedstilsyn og et sikkert og kontrolleret miljø til forsøg, samtidig med at der sikres ansvarlig innovation og integration af passende sikkerhedsforanstaltninger og risikobegrænsende foranstaltninger. For at sikre en lovgivningsmæssig ramme, der fremmer innovation og er fremtidssikret og modstandsdygtig over for forstyrrelser, bør medlemsstaterne sikre, at deres nationale kompetente myndigheder opretter mindst én reguleringsmæssig AI-sandkasse på nationalt plan for at lette udviklingen og afprøvningen af innovative AI-systemer under strengt myndighedstilsyn, før disse systemer bringes i omsætning eller på anden måde ibrugtages. Medlemsstaterne kan også opfylde denne forpligtelse ved at deltage i allerede eksisterende reguleringsmæssige sandkasser eller oprette en sandkasse sammen med én eller flere medlemsstaters kompetente myndigheder, for så vidt som denne deltagelse giver de deltagende medlemsstater et tilsvarende nationalt dækningsniveau. Reguleringsmæssige AI-sandkasser kan oprettes i fysisk, digital eller hybrid form og kan tilpasses fysiske såvel som digitale produkter. De oprettende myndigheder bør også sikre de reguleringsmæssige AI-sandkasser tilstrækkelige ressourcer, herunder finansielle og menneskelige ressourcer, til at fungere.

(139)

Formålet med de reguleringsmæssige AI-sandkasser bør være at fremme innovation inden for kunstig intelligens ved at skabe et kontrolleret forsøgs- og afprøvningsmiljø i udviklingsfasen forud for omsætning med henblik på at sikre, at de innovative AI-systemer er i overensstemmelse med denne forordning og anden relevant EU-ret og national ret. De reguleringsmæssige AI-sandkasser bør endvidere øge retssikkerheden for innovatorer og de kompetente myndigheders tilsyn og forståelse af de muligheder, nye risici og virkninger, der er forbundet med anvendelsen af AI, lette lovgivningsmæssig læring for myndigheder og virksomheder, herunder med henblik på fremtidige tilpasninger af den retlige ramme, støtte samarbejdet og udvekslingen af bedste praksis med de myndigheder, der er involveret i den reguleringsmæssige AI-sandkasse, samt fremskynde adgangen til markeder, herunder ved at fjerne hindringer for SMV'er, herunder iværksættervirksomheder. Reguleringsmæssige AI-sandkasser bør være bredt tilgængelige i hele Unionen, og der bør lægges særlig vægt på deres tilgængelighed for SMV'er, herunder iværksættervirksomheder. Deltagelsen i den reguleringsmæssige AI-sandkasse bør fokusere på spørgsmål, der skaber retsusikkerhed for udbydere og potentielle udbydere med hensyn til at innovere, eksperimentere med kunstig intelligens i Unionen og bidrage til evidensbaseret lovgivningsmæssig læring. Tilsynet med AI-systemerne i den reguleringsmæssige AI-sandkasse bør derfor omfatte deres udvikling, træning, afprøvning og validering, inden systemerne bringes i omsætning eller ibrugtages samt begrebet og forekomsten af væsentlige ændringer, der kan kræve en ny overensstemmelsesvurderingsprocedure. Enhver væsentlig risiko, der konstateres under udviklingen og afprøvningen af sådanne AI-systemer, bør afbødes i tilstrækkelig grad, og hvis dette ikke er muligt, bør udviklings- og afprøvningsprocessen suspenderes. Hvis det er relevant, bør de nationale kompetente myndigheder, der opretter reguleringsmæssige AI-sandkasser, samarbejde med andre relevante myndigheder, herunder dem, der fører tilsyn med beskyttelsen af grundlæggende rettigheder, og de kan muliggøre inddragelse af andre aktører i AI-økosystemet såsom nationale eller europæiske standardiseringsorganisationer, bemyndigede organer, afprøvnings- og forsøgsfaciliteter, forsknings- og forsøgslaboratorier, europæiske digitale innovationsknudepunkter og relevante interessenter og civilsamfundsorganisationer. For at sikre en ensartet gennemførelse i hele Unionen samt stordriftsfordele bør der fastsættes fælles regler for gennemførelsen af de reguleringsmæssige AI-sandkasser og en ramme for samarbejde mellem de relevante myndigheder, der er involveret i tilsynet med sandkasserne. Reguleringsmæssige AI-sandkasser, der oprettes i henhold til denne forordning, bør ikke berøre anden ret, der giver mulighed for at oprette andre sandkasser, der har til formål at sikre overholdelse af anden ret end denne forordning. Hvis det er relevant, bør de relevante kompetente myndigheder med ansvar for disse andre reguleringsmæssige sandkasser også overveje fordelene ved at anvende disse sandkasser med henblik på at sikre AI-systemers overensstemmelse med denne forordning. Efter aftale mellem de nationale kompetente myndigheder og deltagerne i den reguleringsmæssige AI-sandkasse kan der også gennemføres og føres tilsyn med afprøvning under faktiske forhold inden for rammerne af den reguleringsmæssige AI-sandkasse.

(140)

Denne forordning bør udgøre retsgrundlaget for udbyderne og de potentielle udbydere i den reguleringsmæssige AI-sandkasse til kun på bestemte betingelser at anvende personoplysninger, der er indsamlet til andre formål med henblik på udvikling af visse samfundsnyttige AI-systemer inden for rammerne af den reguleringsmæssige AI-sandkasse, jf. artikel 6, stk. 4, og artikel 9, stk. 2, litra g), i forordning (EU) 2016/679 og artikel 5, 6 og 10 i forordning (EU) 2018/1725, og uden at det berører artikel 4, stk. 2, og artikel 10 i direktiv (EU) 2016/680. Alle andre forpligtelser for databehandlere og rettigheder for registrerede i henhold til forordning (EU) 2016/679 og (EU) 2018/1725 samt direktiv (EU) 2016/680 finder fortsat anvendelse. Især bør nærværende forordning ikke udgøre et retsgrundlag som omhandlet i artikel 22, stk. 2, litra b), i forordning (EU) 2016/679 og artikel 24, stk. 2, litra b), i forordning (EU) 2018/1725. Udbydere og potentielle udbydere i den reguleringsmæssige AI-sandkasse bør sørge for passende sikkerhedsforanstaltninger og samarbejde med de kompetente myndigheder, herunder ved at følge deres vejledning og handle hurtigt og i god tro for i tilstrækkelig grad at afbøde eventuelle konstaterede betydelige risici med hensyn til sikkerhed, sundhed og de grundlæggende rettigheder, som måtte opstå under udviklingen, afprøvningen og forsøgene i denne sandkasse.

(141)

For at fremskynde udviklingen og omsætningen af de højrisiko-AI-systemer, der er opført i et bilag til denne forordning, er det vigtigt, at udbydere eller potentielle udbydere af sådanne systemer også kan drage fordel af en særlig ordning for afprøvning af disse systemer under faktiske forhold uden at deltage i en reguleringsmæssig AI-sandkasse. I sådanne tilfælde og under hensyntagen til de mulige konsekvenser af en sådan afprøvning for enkeltpersoner bør det imidlertid sikres, at denne forordning indfører passende og fornødne sikkerhedsforanstaltninger og betingelser for udbydere eller potentielle udbydere. Sådanne garantier bør bl.a. omfatte anmodning om fysiske personers informerede samtykke til at deltage i afprøvninger under faktiske forhold med undtagelse af retshåndhævelse, hvis indhentning af informeret samtykke ville forhindre AI-systemet i at blive afprøvet. Registreredes samtykke til at deltage i sådanne afprøvninger i henhold til denne forordning adskiller sig fra og berører ikke de registreredes samtykke til behandling af deres personoplysninger i henhold til den relevante databeskyttelsesret. Det er også vigtigt at minimere risiciene og give de kompetente myndigheder mulighed for at føre tilsyn og dermed kræve, at potentielle udbydere har en plan for afprøvning under faktiske forhold, som forelægges for den kompetente markedsovervågningsmyndighed, registrerer afprøvningen i særlige dele i EU-databasen med forbehold af visse begrænsede undtagelser, fastsætter begrænsninger for den periode, inden for hvilken afprøvningen kan finde sted, og stiller krav om yderligere sikkerhedsforanstaltninger for personer, der tilhører visse sårbare grupper, samt om en skriftlig aftale, der definerer potentielle udbyderes og idriftsætteres rolle og ansvarsområder og et effektivt tilsyn fra det kompetente personales side, som er involveret i afprøvningen under faktiske forhold. Der bør desuden tilstræbes yderligere sikkerhedsforanstaltninger for at sikre, at AI-systemets forudsigelser, anbefalinger eller beslutninger reelt kan omgøres og ses bort fra, og at personoplysninger beskyttes og slettes, når de registrerede har trukket deres samtykke til at deltage i afprøvningen tilbage, uden at det berører deres rettigheder som registrerede i henhold til EU-databeskyttelsesretten. For så vidt angår overførsel af data bør det tilstræbes, at data, der indsamles og behandles med henblik på afprøvning under faktiske forhold, kun bør overføres til tredjelande, hvis der gennemføres passende og gældende sikkerhedsforanstaltninger i henhold til EU-retten, navnlig i overensstemmelse med grundlag for overførsel af personoplysninger i henhold til EU-databeskyttelsesretten, mens der for andre data end personoplysninger indføres passende sikkerhedsforanstaltninger i overensstemmelse med EU-retten såsom Europa-Parlamentets og Rådets forordning (EU) 2022/868 (42) og (EU) 2023/2854 (43).

(142)

For at sikre at AI fører til socialt og miljømæssigt gavnlige resultater, tilskyndes medlemsstaterne til at støtte og fremme forskning i og udvikling af AI-løsninger til støtte for socialt og miljømæssigt gavnlige resultater såsom AI-baserede løsninger for at øge tilgængeligheden for personer med handicap, bekæmpe socioøkonomiske uligheder eller opfylde miljømål ved at afsætte tilstrækkelige ressourcer, herunder offentlig finansiering og EU-finansiering, og, hvis det er relevant, og forudsat at støtteberettigelses- og udvælgelseskriterierne er opfyldt, ved navnlig at tage højde for projekter, der forfølger sådanne mål. Sådanne projekter bør baseres på princippet om tværfagligt samarbejde mellem AI-udviklere, eksperter i ulighed og ikkeforskelsbehandling, tilgængelighed, forbrugerrettigheder, miljørettigheder og digitale rettigheder samt akademikere.

(143)

For at fremme og beskytte innovation er det vigtigt at tage særligt hensyn til interesserne hos SMV'er, herunder iværksættervirksomheder, som er udbydere eller idriftsættere af AI-systemer. Med henblik herpå bør medlemsstaterne udarbejde initiativer, der er rettet mod disse operatører, herunder vedrørende oplysning og informationsformidling. Medlemsstaterne bør give SMV'er, herunder iværksættervirksomheder, der har vedtægtsmæssigt hjemsted eller en filial i Unionen, prioriteret adgang til de reguleringsmæssige AI-sandkasser, forudsat at de opfylder støtteberettigelsesbetingelserne og udvælgelseskriterierne, og uden at andre udbydere og potentielle udbydere udelukkes fra at få adgang til sandkasserne, såfremt de samme betingelser og kriterier er opfyldt. Medlemsstaterne bør udnytte eksisterende kanaler og, hvis det er relevant, etablere nye særlige kanaler for kommunikation med SMV'er, herunder iværksættervirksomheder, idriftsættere, andre innovatorer og, alt efter hvad der er relevant, lokale offentlige myndigheder, med henblik på at støtte SMV'er gennem hele deres udviklingsforløb ved at yde vejledning og besvare spørgsmål om gennemførelsen af denne forordning. Hvis det er relevant, bør disse kanaler arbejde sammen om at skabe synergier og sikre ensartethed i deres vejledning til SMV'er, herunder iværksættervirksomheder, og idriftsættere. Medlemsstaterne bør desuden lette deltagelse af SMV'er og andre relevante interessenter i standardiseringsudviklingsprocessen. Desuden bør der tages hensyn til de særlige interesser og behov hos udbydere, der er SMV'er, herunder iværksættervirksomheder, når bemyndigede organer fastsætter gebyrer for overensstemmelsesvurderinger. Kommissionen bør regelmæssigt vurdere certificerings- og efterlevelsesomkostningerne for SMV'er, herunder iværksættervirksomheder, gennem gennemsigtige høringer og arbejde sammen med medlemsstaterne om at nedbringe disse omkostninger. Omkostninger forbundet med oversættelse af obligatorisk dokumentation og kommunikation med myndigheder kan f.eks. udgøre en betydelig omkostning for udbydere og andre operatører, navnlig mindre udbydere og operatører. Medlemsstaterne bør eventuelt sørge for, at et af de sprog, som de bestemmer sig for og accepterer til de relevante udbyderes dokumentation og til kommunikation med operatørerne, er et sprog, der forstås bredt af flest mulige idriftsættere på tværs af grænserne. For at imødekomme SMV'ers, herunder iværksættervirksomheder, specifikke behov bør Kommissionen efter anmodning fra AI-udvalget tilvejebringe standardiserede skabeloner for de områder, der er omfattet af denne forordning. Desuden bør Kommissionen supplere medlemsstaternes indsats ved at stille en central informationsplatform med brugervenlige oplysninger om denne forordning til rådighed for alle udbydere og idriftsættere, idet den tilrettelægger passende kommunikationskampagner for at øge bevidstheden om de forpligtelser, der følger af denne forordning, og evaluerer og fremmer konvergensen af bedste praksis i offentlige udbudsprocedurer i forbindelse med AI-systemer. Mellemstore virksomheder, der indtil for nylig var små virksomheder som omhandlet i bilaget til Kommissionens henstilling 2003/361/EF (44), bør have adgang til disse støtteforanstaltninger, eftersom disse nye mellemstore virksomheder undertiden kan mangle de juridiske ressourcer og den uddannelse, der er nødvendig for at sikre en korrekt forståelse og overholdelse af denne forordning.

(144)

For at fremme og beskytte innovation bør AI-on-demand-platformen og alle relevante EU-finansieringsprogrammer og -projekter såsom programmet for et digitalt Europa og Horisont Europa, der gennemføres af Kommissionen og medlemsstaterne på EU-plan eller nationalt plan, i relevant omfang bidrage til at nå denne forordnings mål.

(145)

For at minimere risiciene i gennemførelsen som følge af manglende viden og ekspertise på markedet samt for at gøre det lettere for udbydere, navnlig SMV'er, herunder iværksættervirksomheder, og bemyndigede organer at overholde deres forpligtelser i medfør af denne forordning bør navnlig AI-on-demand-platformen, de europæiske digitale innovationsknudepunkter og de afprøvnings- og forsøgsfaciliteter, som Kommissionen og medlemsstaterne har oprettet på EU-plan eller nationalt plan, bidrage til gennemførelsen af denne forordning. Inden for rammerne af deres respektive opgave- og kompetenceområde kan AI-on-demand-platformen, de europæiske digitale innovationsknudepunkter og afprøvnings- og forsøgsfaciliteterne navnlig yde teknisk og videnskabelig støtte til udbydere og bemyndigede organer.

(146)

I lyset af nogle operatørers meget beskedne størrelse og for at sikre proportionalitet med hensyn til innovationsomkostninger er det desuden hensigtsmæssigt at give mikrovirksomheder mulighed for at opfylde en af de dyreste forpligtelser, nemlig etablering af et kvalitetsstyringssystem, der på en forenklet måde vil mindske den administrative byrde og omkostningerne for disse virksomheder uden at påvirke beskyttelsesniveauet og behovet for overholdelse af kravene til højrisiko-AI-systemer. Kommissionen bør udarbejde retningslinjer med henblik på at præcisere, hvilke elementer i kvalitetsstyringssystemet mikrovirksomheder skal opfylde på denne forenklede måde.

(147)

Kommissionen bør så vidt muligt lette adgangen til afprøvnings- og forsøgsfaciliteter for organer, grupper eller laboratorier, der er oprettet eller akkrediteret i henhold til relevant EU-harmoniseringslovgivning, og som udfører opgaver i forbindelse med overensstemmelsesvurderinger af produkter eller udstyr, der er omfattet af EU-harmoniseringslovgivningen. Dette er navnlig tilfældet for ekspertpaneler, ekspertlaboratorier og referencelaboratorier på området for medicinsk udstyr, jf. forordning (EU) 2017/745 og (EU) 2017/746.

(148)

Denne forordning bør fastsætte en forvaltningsramme, som gør det muligt både at koordinere og støtte anvendelsen af denne forordning på nationalt plan samt opbygge kapaciteter på EU-plan og inddrage interessenter inden for AI. En effektiv gennemførelse og håndhævelse af denne forordning kræver en forvaltningsramme, som gør det muligt at koordinere og opbygge central ekspertise på EU-plan. AI-kontoret blev oprettet ved Kommissionens afgørelse (45) og har som mission at udvikle Unionens ekspertise og kapaciteter inden for AI og bidrage til gennemførelsen af EU-ret om AI. Medlemsstaterne bør lette AI-kontorets opgaver med henblik på at støtte udviklingen af Unionens ekspertise og kapaciteter på EU-plan og styrke det digitale indre markeds funktion. Der bør endvidere oprettes et AI-udvalg bestående af repræsentanter for medlemsstaterne, et videnskabeligt panel til at integrere det videnskabelige samfund og et rådgivende forum, der skal bidrage med input fra interessenter til gennemførelsen af denne forordning, både på EU-plan og nationalt plan. Udviklingen af Unionens ekspertise og kapaciteter bør også indebære, at eksisterende ressourcer og ekspertise udnyttes, navnlig gennem synergier med strukturer, der er opbygget i forbindelse med håndhævelse på EU-plan af anden ret, og synergier med tilhørende initiativer på EU-plan såsom fællesforetagendet EuroHPC og AI-afprøvnings- og -forsøgsfaciliteter under programmet for et digitalt Europa.

(149)

For at lette en gnidningsløs, effektiv og harmoniseret gennemførelse af denne forordning bør der nedsættes et AI-udvalg. AI-udvalget bør afspejle AI-økosystemets forskellige interesser og bestå af repræsentanter for medlemsstaterne. AI-udvalget bør være ansvarligt for en række rådgivningsopgaver såsom udtalelser, henstillinger, rådgivning eller bidrag til vejledning om spørgsmål vedrørende gennemførelsen af denne forordning, herunder med hensyn til håndhævelsesspørgsmål, tekniske specifikationer eller eksisterende standarder i forbindelse med de krav, der er fastsat i denne forordning, samt rådgive og bistå Kommissionen og medlemsstaterne og deres nationale kompetente myndigheder i forbindelse med specifikke spørgsmål vedrørende AI. For at give medlemsstaterne en vis fleksibilitet med hensyn til udpegelsen af deres repræsentanter i AI-udvalget kan sådanne repræsentanter være alle personer tilhørende offentlige enheder, som bør have de relevante kompetencer og beføjelser til at lette koordinering på nationalt plan og bidrage til udførelsen af AI-udvalgets opgaver. AI-udvalget bør nedsætte to stående undergrupper for at tilvejebringe en platform for samarbejde og udveksling mellem markedsovervågningsmyndigheder og bemyndigende myndigheder om spørgsmål vedrørende henholdsvis markedsovervågning og bemyndigede organer. Den stående undergruppe for markedsovervågning bør fungere som den administrative samarbejdsgruppe (ADCO) i forbindelse med denne forordning som omhandlet i artikel 30 i forordning (EU) 2019/1020. I overensstemmelse med artikel 33 i nævnte forordning bør Kommissionen støtte aktiviteterne i den stående undergruppe for markedsovervågning ved at foretage markedsevalueringer eller -undersøgelser, navnlig med henblik på at identificere aspekter af nærværende forordning, der kræver specifik og hurtig koordinering mellem markedsovervågningsmyndighederne. AI-udvalget kan nedsætte andre stående eller midlertidige undergrupper, alt efter hvad der er relevant, med henblik på at behandle specifikke spørgsmål. AI-udvalget bør også i relevant omfang samarbejde med relevante EU-organer, -ekspertgrupper og -netværk, der er aktive inden for rammerne af relevant EU-ret, herunder navnlig dem, der er aktive i henhold til den relevante EU-ret om data, digitale produkter og tjenester.

(150)

Med henblik på at sikre inddragelse af interessenter i gennemførelsen og anvendelsen af denne forordning bør der oprettes et rådgivende forum, som skal rådgive og yde teknisk ekspertise til AI-udvalget og Kommissionen. For at sikre en varieret og afbalanceret repræsentation af interessenter med kommercielle og ikkekommercielle interesser og inden for kategorien af kommercielle interesser for så vidt angår SMV'er og andre virksomheder bør det rådgivende forum bl.a. bestå af industrien, iværksættervirksomheder, SMV'er, den akademiske verden, civilsamfundet, herunder arbejdsmarkedets parter, samt Agenturet for Grundlæggende Rettigheder, ENISA, Den Europæiske Standardiseringsorganisation (CEN), Den Europæiske Komité for Elektroteknisk Standardisering (Cenelec) og Det Europæiske Standardiseringsinstitut for Telekommunikation (ETSI).

(151)

For at støtte gennemførelsen og håndhævelsen af denne forordning, navnlig AI-kontorets overvågningsaktiviteter med hensyn til AI-modeller til almen brug, bør der oprettes et videnskabeligt panel af uafhængige eksperter. De uafhængige eksperter, der udgør det videnskabelige panel, bør udvælges på grundlag af ajourført videnskabelig eller teknisk ekspertise inden for AI og varetage deres opgaver upartisk og objektivt og sikre fortroligheden af oplysninger og data, der indhentes under udførelsen af deres opgaver og aktiviteter. For at gøre det muligt at styrke de nationale kapaciteter, der er nødvendige for en effektiv håndhævelse af denne forordning, bør medlemsstaterne kunne anmode om støtte til deres håndhævelsesaktiviteter fra den pulje af eksperter, der udgør det videnskabelige panel.

(152)

For at støtte passende håndhævelse af AI-systemer og styrke medlemsstaternes kapaciteter bør der oprettes EU-støttestrukturer for afprøvning af AI, som stilles til rådighed for medlemsstaterne.

(153)

Medlemsstaterne spiller en central rolle i anvendelsen og håndhævelsen af denne forordning. I den forbindelse bør hver medlemsstat udpege mindst én bemyndigende myndighed og mindst én markedsovervågningsmyndighed som nationale kompetente myndigheder til at føre tilsyn med anvendelsen og gennemførelsen af denne forordning. Medlemsstaterne kan beslutte at udpege enhver type offentlig enhed til at udføre de nationale kompetente myndigheders opgaver som omhandlet i denne forordning i overensstemmelse med deres specifikke nationale organisatoriske karakteristika og behov. For at øge organisationseffektiviteten for medlemsstaternes vedkommende og oprette et centralt kontaktpunkt for offentligheden og andre modparter på nationalt plan og EU-plan bør hver medlemsstat udpege en markedsovervågningsmyndighed, der skal fungere som centralt kontaktpunkt.

(154)

De nationale kompetente myndigheder bør udøve deres beføjelser uafhængigt, upartisk og uden bias for derved at beskytte principperne om objektivitet i deres aktiviteter og opgaver og for at sikre anvendelsen og gennemførelsen af denne forordning. Medlemmerne af disse myndigheder bør afholde sig fra ethvert tiltag, der er uforenelig med deres beføjelser, og være underlagt fortrolighedsreglerne i denne forordning.

(155)

For at sikre at udbydere af højrisiko-AI-systemer tager erfaringerne med anvendelse af højrisiko-AI-systemer i betragtning, når de vil forbedre deres systemer og udformnings- og udviklingsprocessen, eller kan foretage eventuelle korrigerende tiltag rettidigt, bør alle udbydere have indført et system til overvågning efter omsætningen. Hvis det er relevant, bør overvågning efter omsætningen omfatte en analyse af interaktionen med andre AI-systemer, herunder andet udstyr og software. Overvågning efter omsætningen bør ikke omfatte følsomme operationelle data fra idriftsættere, som er retshåndhævende myndigheder. Dette system er også afgørende for at sikre, at eventuelle risici som følge af AI-systemer, der fortsætter med at »lære« efter at være bragt i omsætning eller ibrugtaget, kan imødegås mere effektivt og rettidigt. I den forbindelse bør udbyderne også forpligtes til at have indført et system til at indberette alvorlige hændelser til de relevante myndigheder, som skyldes anvendelsen af deres AI-systemer, dvs. en hændelse eller funktionsfejl, der fører til dødsfald eller alvorlig sundhedsskade, alvorlig og uoprettelig forstyrrelse i forvaltningen og driften af kritisk infrastruktur, overtrædelser af forpligtelser i henhold til den del af EU-retten, der har til formål at beskytte de grundlæggende rettigheder, eller alvorlig skade på ejendom eller miljøet.

(156)

For at sikre en hensigtsmæssig og effektiv håndhævelse af de krav og forpligtelser, der er fastsat i denne forordning, som repræsenterer Unionens harmoniseringslovgivning, bør det system til markedsovervågning og produktoverensstemmelse, der er indført ved forordning (EU) 2019/1020, finde anvendelse i sin helhed. Markedsovervågningsmyndigheder, der er udpeget i henhold til nærværende forordning, bør alle have håndhævelsesbeføjelser som fastsat i nærværende forordning og i forordning (EU) 2019/1020 og bør udøve deres beføjelser og udføre deres opgaver uafhængigt, upartisk og uden bias. Selv om de fleste AI-systemer ikke er underlagt specifikke krav og forpligtelser i henhold til nærværende forordning, kan markedsovervågningsmyndighederne træffe foranstaltninger vedrørende alle AI-systemer, når de udgør en risiko i overensstemmelse med nærværende forordning. På grund af den særlige karakter af EU-institutioner, -agenturer og -organer, der er omfattet af nærværende forordnings anvendelsesområde, er det hensigtsmæssigt at udpege Den Europæiske Tilsynsførende for Databeskyttelse som kompetent markedsovervågningsmyndighed for dem. Dette bør ikke berøre medlemsstaternes udpegelse af nationale kompetente myndigheder. Markedsovervågningsaktiviteter bør ikke påvirke de tilsynsbelagte enheders evne til at udføre deres opgaver uafhængigt, når en sådan uafhængighed er påbudt i henhold til EU-retten.

(157)

Denne forordning berører ikke kompetencerne, opgaverne, beføjelserne og uafhængigheden hos relevante nationale offentlige myndigheder eller organer, der fører tilsyn med anvendelsen af EU-retten om beskyttelse af grundlæggende rettigheder, herunder ligestillingsorganer og databeskyttelsesmyndigheder. Hvis det er nødvendigt for deres mandat, bør disse nationale offentlige myndigheder eller organer også have adgang til al den dokumentation, der er udarbejdet i henhold til denne forordning. Der bør fastsættes en særlig beskyttelsesprocedure for at sikre passende og rettidig håndhævelse over for AI-systemer, som udgør en risiko for sundhed, sikkerhed og grundlæggende rettigheder. Proceduren for sådanne AI-systemer, som udgør en risiko, bør anvendes på højrisiko-AI-systemer, der udgør en risiko, forbudte systemer, der er bragt i omsætning, ibrugtaget eller anvendt i strid med de forbudte former for praksis, der er fastsat i denne forordning, og AI-systemer, der er gjort tilgængelige i strid med de gennemsigtighedskrav, der er fastsat i denne forordning, og som udgør en risiko.

(158)

EU-retten om finansielle tjenesteydelser omfatter regler og krav vedrørende intern ledelse og risikostyring, som finder anvendelse på regulerede finansielle institutioner i forbindelse med leveringen af sådanne tjenester, også når de gør brug af AI-systemer. For at sikre en sammenhængende anvendelse og håndhævelse af forpligtelserne i henhold til denne forordning og de relevante regler og krav i EU-retsakter om finansielle tjenesteydelser bør de kompetente myndigheder for tilsyn med og håndhævelse af disse retsakter, navnlig kompetente myndigheder som defineret i Europa-Parlamentets og Rådets forordning (EU) nr. 575/2013 (46) og Europa-Parlamentets og Rådets direktiv 2008/48/EF (47), 2009/138/EF (48), 2013/36/EU (49), 2014/17/EU (50) og (EU) 2016/97 (51), udpeges som kompetente myndigheder inden for deres respektive kompetenceområder med henblik på at føre tilsyn med gennemførelsen af nærværende forordning, herunder også markedsovervågningsaktiviteter, for så vidt angår AI-systemer, der leveres eller anvendes af finansielle institutioner, som er regulerede, og som der føres tilsyn med, medmindre medlemsstaterne beslutter at udpege en anden myndighed til at udføre disse markedsovervågningsopgaver. Disse kompetente myndigheder bør have alle beføjelser i henhold til denne forordning og forordning (EU) 2019/1020 til at håndhæve nærværende forordnings krav og forpligtelser, herunder beføjelser til at udføre ex post-markedsovervågningsaktiviteter, der, alt efter hvad der er relevant, kan integreres i deres eksisterende tilsynsmekanismer og -procedurer i henhold til den relevante EU-ret om finansielle tjenesteydelser. Det bør fastsættes, at de nationale myndigheder, der er ansvarlige for tilsynet med kreditinstitutter, som er reguleret ved direktiv 2013/36/EU, og som deltager i den fælles tilsynsmekanisme, der er oprettet ved Rådets forordning (EU) nr. 1024/2013 (52), når de fungerer som markedsovervågningsmyndigheder i henhold til nærværende forordning, straks bør indberette alle oplysninger, som identificeres i forbindelse med deres markedsovervågningsaktiviteter, og som kan være af potentiel interesse for Den Europæiske Centralbanks tilsynsopgaver som fastsat i nævnte forordning, til Den Europæiske Centralbank. For yderligere at styrke sammenhængen mellem nærværende forordning og de regler, der gælder for kreditinstitutter, der er reguleret ved direktiv 2013/36/EU, bør nogle af udbydernes proceduremæssige forpligtelser i forbindelse med risikostyring, overvågning efter omsætningen og dokumentation indarbejdes i de eksisterende forpligtelser og procedurer i henhold i direktiv 2013/36/EU. For at undgå overlapninger bør der også overvejes begrænsede undtagelser for så vidt angår udbydernes kvalitetsstyringssystem og den overvågningsforpligtelse, der pålægges idriftsættere af højrisiko-AI-systemer, i det omfang disse gælder for kreditinstitutter, der er reguleret ved direktiv 2013/36/EU. Den samme ordning bør gælde for forsikrings- og genforsikringsselskaber og forsikringsholdingselskaber i henhold til direktiv 2009/138/EF og forsikringsformidlere i henhold til direktiv (EU) 2016/97 og andre typer finansielle institutioner, der er underlagt krav vedrørende intern ledelse, ordninger eller processer, der er fastsat i henhold til den relevante EU-ret om finansielle tjenesteydelser, for at sikre konsekvens og ligebehandling i den finansielle sektor.

(159)

Hver markedsovervågningsmyndighed for højrisiko-AI-systemer inden for biometri som opført i et bilag til denne forordning, for så vidt disse systemer anvendes med henblik på retshåndhævelse og migrationsstyring, asylforvaltning og grænsekontrol eller retspleje og demokratiske processer, bør have undersøgelsesbeføjelser og korrigerende beføjelser, herunder som minimum beføjelse til at få adgang til alle personoplysninger, der behandles, og til alle de oplysninger, der er nødvendige for at varetage sine opgaver. Markedsovervågningsmyndighederne bør kunne udøve deres beføjelser i fuld uafhængighed. Enhver begrænsning i deres adgang til følsomme operationelle data i henhold til denne forordning bør ikke berøre de beføjelser, som de har fået tillagt ved direktiv (EU) 2016/680. Ingen undtagelse om videregivelse af data til de nationale databeskyttelsesmyndigheder i henhold til denne forordning bør påvirke disse myndigheders nuværende eller fremtidige beføjelser uden for denne forordnings anvendelsesområde.

(160)

Markedsovervågningsmyndighederne og Kommissionen bør kunne foreslå fælles aktiviteter, herunder fælles undersøgelser, som skal gennemføres af markedsovervågningsmyndigheder eller af markedsovervågningsmyndigheder sammen med Kommissionen, og som har til formål at fremme overholdelse, identificere manglende overholdelse, øge bevidstheden og yde vejledning for så vidt angår denne forordning med hensyn til specifikke kategorier af højrisiko-AI-systemer, der anses for at udgøre en alvorlig risiko i to eller flere medlemsstater. Der bør gennemføres fælles aktiviteter til fremme af overholdelse i overensstemmelse med artikel 9 i forordning (EU) 2019/1020. AI-kontoret bør sørge for koordinerende støtte til de fælles undersøgelser.

(161)

Det er nødvendigt at præcisere ansvarsområder og kompetenceområder på EU-plan og nationalt plan for så vidt angår AI-systemer, der bygger på AI-modeller til almen brug. For at undgå, at kompetenceområderne overlapper med hinanden, hvis et AI-system bygger på en AI-model til almen brug, og modellen og systemet leveres af den samme udbyder, bør tilsynet finde sted på EU-plan gennem AI-kontoret, som i den forbindelse bør have markedsovervågningsmyndighedens beføjelser som omhandlet i forordning (EU) 2019/1020. I alle andre tilfælde er de nationale markedsovervågningsmyndigheder fortsat ansvarlige for tilsynet med AI-systemer. Hvad angår AI-systemer til almen brug, som kan anvendes direkte af idriftsættere til mindst ét formål, der er klassificeret som højrisiko, bør markedsovervågningsmyndighederne dog samarbejde med AI-Kontoret om at foretage evalueringer af overholdelsen og underrette AI-udvalget og andre markedsovervågningsmyndigheder i overensstemmelse hermed. Markedsovervågningsmyndighederne bør desuden kunne anmode AI-kontoret om bistand, hvis markedsovervågningsmyndigheden ikke er i stand til at afslutte en undersøgelse af et højrisiko-AI-system som følge af manglende adgang til visse oplysninger vedrørende AI-modeller til almen brug, som højrisiko-AI-systemet er bygget på. I sådanne tilfælde bør proceduren for gensidig bistand i grænseoverskridende sager i kapitel VI i forordning (EU) 2019/1020 finde tilsvarende anvendelse.

(162)

For at udnytte den centraliserede EU-ekspertise og synergier bedst muligt på EU-plan bør Kommissionen tillægges beføjelser til at føre tilsyn med og håndhæve forpligtelserne for udbydere af AI-modeller til almen brug. AI-kontoret bør kunne foretage alle nødvendige tiltag for at overvåge, om denne forordning gennemføres effektivt for så vidt angår AI-modeller til almen brug. Det bør både på eget initiativ på baggrund af resultaterne af sine overvågningsaktiviteter eller efter anmodning fra markedsovervågningsmyndigheder i overensstemmelse med de betingelser, der er fastsat i denne forordning, kunne undersøge mulige overtrædelser af reglerne for udbydere af AI-modeller til almen brug. For at understøtte AI-kontoret med at foretage en effektiv overvågning bør det give downstreamudbydere mulighed for at indgive klager over mulige overtrædelser af reglerne om udbydere af AI-modeller og -systemer til almen brug.

(163)

Med henblik på at supplere forvaltningssystemerne for AI-modeller til almen brug bør det videnskabelige panel støtte AI-kontorets overvågningsaktiviteter og kan i visse tilfælde sende kvalificerede varslinger til AI-kontoret, hvilket udløser opfølgende foranstaltninger såsom undersøgelser. Dette bør være tilfældet, hvis det videnskabelige panel har begrundet mistanke om, at en AI-model til almen brug udgør en konkret og identificerbar risiko på EU-plan. Dette bør desuden være tilfældet, hvis det videnskabelige panel har begrundet mistanke om, at en AI-model til almen brug opfylder de kriterier, der medfører en klassificering som en AI-model til almen brug med systemisk risiko. For at give det videnskabelige panel de oplysninger, der er nødvendige for at varetage disse opgaver, bør der findes en mekanisme, hvorved det videnskabelige panel kan anmode Kommissionen om at kræve dokumentation eller oplysninger fra en udbyder.

(164)

AI-kontoret bør kunne foretage de nødvendige tiltag til at overvåge, at de forpligtelser for udbydere af AI-modeller til almen brug, der er fastsat i denne forordning, gennemføres og overholdes effektivt. AI-kontoret bør kunne undersøge mulige overtrædelser i overensstemmelse med de beføjelser, der er fastsat i denne forordning, herunder ved at anmode om dokumentation og oplysninger, foretage evalueringer samt ved at anmode udbydere af AI-modeller til almen brug om at træffe foranstaltninger. For at gøre brug af uafhængig ekspertise bør AI-kontoret ved gennemførelse af evalueringer kunne inddrage uafhængige eksperter, som foretager evalueringer på dets vegne. Overholdelse af forpligtelserne bør bl.a. kunne håndhæves gennem anmodninger om at træffe passende foranstaltninger, herunder risikobegrænsende foranstaltninger i tilfælde af konstaterede systemiske risici samt tilgængeliggørelse på markedet, tilbagetrækning eller tilbagekaldelse af modellen. Såfremt der skulle opstå behov ud over de procedurerettigheder, der er fastsat i denne forordning, bør udbydere af AI-modeller til almen brug som en sikkerhedsforanstaltning råde over de procedurerettigheder, der er fastsat i artikel 18 i forordning (EU) 2019/1020, som bør finde tilsvarende anvendelse, uden at dette berører de mere specifikke procedurerettigheder fastsat i nærværende forordning.

(165)

Udviklingen af andre AI-systemer end højrisiko-AI-systemer i overensstemmelse med kravene i denne forordning kan føre til en større udbredelse af etisk og troværdig AI i Unionen. Udbydere af AI-systemer, der ikke er højrisiko, bør tilskyndes til at udarbejde adfærdskodekser, herunder tilhørende forvaltningsmekanismer, med det formål at fremme frivillig anvendelse af visse af eller alle de obligatoriske krav, der gælder for højrisiko-AI-systemer, og som er tilpasset i lyset af det tilsigtede formål med systemerne og den lavere risiko, og under hensyntagen til de tilgængelige tekniske løsninger og industriens bedste praksis såsom model og datakort. Udbydere og, alt efter hvad der er relevant, idriftsættere af alle AI-systemer, højrisiko eller ej, og AI-modeller bør også tilskyndes til på frivillig basis at anvende yderligere krav vedrørende f.eks. elementerne i Unionens etiske retningslinjer for troværdig AI, miljømæssig bæredygtighed, foranstaltninger vedrørende AI-færdigheder, inklusiv og mangfoldig udformning og udvikling af AI-systemer, herunder med fokus på sårbare personer og tilgængelighed for personer med handicap, deltagelse af interessenter med inddragelse i relevant omfang af relevante interessenter såsom erhvervslivet og civilsamfundsorganisationer, den akademiske verden, forskningsorganisationer, fagforeninger og forbrugerbeskyttelsesorganisationer i udformning og udvikling af AI-systemer og mangfoldighed i udviklingsteamene, herunder kønsbalance. For at sikre at de frivillige adfærdskodekser er effektive, bør de baseres på klare mål og centrale resultatindikatorer til måling af realiseringen af disse mål. De bør også udvikles på en inklusiv måde og i relevant omfang med inddragelse af relevante interessenter såsom erhvervslivet og civilsamfundsorganisationer, den akademiske verden, forskningsorganisationer, fagforeninger og forbrugerbeskyttelsesorganisationer. Kommissionen kan udvikle initiativer, bl.a. på sektorniveau, for at lette mindskelsen af tekniske hindringer for grænseoverskridende udveksling af data til AI-udvikling, herunder med hensyn til dataadgangsinfrastruktur og semantisk og teknisk interoperabilitet af forskellige typer data.

(166)

Det er vigtigt, at AI-systemer vedrørende produkter, der ikke er højrisikoprodukter i overensstemmelse med denne forordning og derfor ikke skal overholde kravene for højrisiko-AI-systemer, ikke desto mindre er sikre, når de bringes i omsætning eller ibrugtages. Med henblik på at bidrage til dette mål vil Europa-Parlamentets og Rådets forordning (EU) 2023/988 (53) finde anvendelse som sikkerhedsnet.

(167)

For at sikre et tillidsfuldt og konstruktivt samarbejde mellem de kompetente myndigheder på EU-plan og nationalt plan bør alle de parter, der er involveret i anvendelsen af denne forordning, respektere fortroligheden af oplysninger og data, der er indhentet under udførelsen af deres opgaver i overensstemmelse med EU-retten eller national ret. De bør udføre deres opgaver og aktiviteter på en sådan måde, at de navnlig beskytter intellektuelle ejendomsrettigheder, fortrolige forretningsoplysninger og forretningshemmeligheder, en effektiv gennemførelse af denne forordning, offentlige og nationale sikkerhedsinteresser, strafferetlige og administrative procedurers integritet og klassificerede informationers integritet.

(168)

Overholdelsen af denne forordning bør kunne håndhæves ved pålæg af sanktioner og andre håndhævelsesforanstaltninger. Medlemsstaterne bør træffe alle nødvendige foranstaltninger til at sikre, at bestemmelserne i denne forordning gennemføres, herunder ved at fastsætte sanktioner for overtrædelse heraf, som er effektive, står i et rimeligt forhold til overtrædelsen og har afskrækkende virkning, og at princippet om ne bis in idem respekteres. For at styrke og harmonisere de administrative sanktioner for overtrædelse af denne forordning bør der fastsættes øvre grænser for fastsættelse af administrative bøder for visse specifikke overtrædelser. Ved vurdering af bødernes størrelse bør medlemsstaterne i hvert enkelt tilfælde tage hensyn til alle relevante omstændigheder i den specifikke situation, navnlig under behørig hensyntagen til overtrædelsens art, grovhed og varighed og dens konsekvenser samt til udbyderens størrelse, navnlig hvis udbyderen er en SMV, herunder en iværksættervirksomhed. Den Europæiske Tilsynsførende for Databeskyttelse bør have beføjelse til at pålægge de EU-institutioner, -agenturer og -organer, der er omfattet af denne forordnings anvendelsesområde, bøder.

(169)

Overholdelse af de forpligtelser for udbydere af AI-modeller til almen brug, der pålægges i henhold til denne forordning, bør bl.a. kunne håndhæves ved hjælp af bøder. Med henblik herpå bør der også fastsættes passende bødeniveauer for overtrædelse af disse forpligtelser, herunder manglende overholdelse af de foranstaltninger, som Kommissionen har anmodet om i overensstemmelse med denne forordning, som er genstand for passende forældelsesfrister i overensstemmelse med proportionalitetsprincippet. Alle afgørelser, der træffes af Kommissionen i medfør af denne forordning, underkastes fornyet prøvelse ved EU-Domstolen i overensstemmelse med TEUF, herunder EU-Domstolens fulde prøvelsesret vedrørende sanktioner i henhold til artikel 261 i TEUF.

(170)

EU-retten og national ret indeholder allerede bestemmelser om effektive retsmidler for fysiske og juridiske personer, hvis rettigheder og frihedsrettigheder påvirkes negativt af anvendelsen af AI-systemer. Uden at det berører disse retsmidler, bør enhver fysisk eller juridisk person, der har grund til at mene, at der er sket en overtrædelse af denne forordning, have ret til at indgive en klage til den relevante markedsovervågningsmyndighed.

(171)

De berørte personer bør have ret til at få en forklaring, hvis en idriftsætters afgørelse hovedsagelig er baseret på output fra visse højrisiko-AI-systemer, der er omfattet af anvendelsesområdet for denne forordning, og hvis afgørelsen har retsvirkninger eller på tilsvarende måde i væsentlig grad påvirker disse personer på en måde, som de anser for at have negativ indvirkning på deres sundhed, sikkerhed eller grundlæggende rettigheder. Denne forklaring bør være klar og meningsfuld og danne et grundlag, ud fra hvilket de berørte personer kan udøve deres rettigheder. Retten til at få en forklaring bør ikke gælde for anvendelsen af AI-systemer, for hvilke undtagelser eller begrænsninger følger af EU-retten eller national ret, og bør kun gælde, for så vidt denne rettighed ikke allerede er fastsat i EU-retten.

(172)

Personer, der fungerer som »whistleblowere« i forbindelse med overtrædelser af denne forordning, bør beskyttes i henhold til EU-retten. Europa-Parlamentets og Rådets direktiv (EU) 2019/1937 (54) bør derfor finde anvendelse på indberetning af overtrædelser af denne forordning og på beskyttelsen af personer, der indberetter sådanne overtrædelser.

(173)

For at den lovgivningsmæssige ramme om nødvendigt kan tilpasses, bør beføjelsen til at vedtage retsakter delegeres til Kommissionen i overensstemmelse med artikel 290 i TEUF for at ændre betingelserne for, at et AI-system ikke skal betragtes som værende højrisiko, listen over højrisiko-AI-systemer, bestemmelserne vedrørende teknisk dokumentation, indholdet af EU-overensstemmelseserklæringen, bestemmelserne vedrørende overensstemmelsesvurderingsprocedurer, bestemmelserne om fastsættelse af de højrisiko-AI-systemer, på hvilke overensstemmelsesvurderingsproceduren på grundlag af en vurdering af kvalitetsstyringssystemet og en vurdering af den tekniske dokumentation bør finde anvendelse, tærsklen, benchmarks og indikatorer, herunder ved at supplere disse benchmarks og indikatorer, i reglerne om klassificering af AI-modeller til almen brug med systemisk risiko, kriterierne for udpegelse af AI-modeller til almen brug med systemisk risiko, den tekniske dokumentation for udbydere af AI-modeller til almen brug og gennemsigtighedsoplysningerne for udbydere af AI-modeller til almen brug. Det er navnlig vigtigt, at Kommissionen gennemfører relevante høringer under sit forberedende arbejde, herunder på ekspertniveau, og at disse høringer gennemføres i overensstemmelse med principperne i den interinstitutionelle aftale af 13. april 2016 om bedre lovgivning (55). For at sikre lige deltagelse i forberedelsen af delegerede retsakter modtager Europa-Parlamentet og Rådet navnlig alle dokumenter på samme tid som medlemsstaternes eksperter, og deres eksperter har systematisk adgang til møder i Kommissionens ekspertgrupper, der beskæftiger sig med forberedelse af delegerede retsakter.

(174)

I betragtning af den hastige teknologiske udvikling og den tekniske ekspertise, der er nødvendig for effektivt at anvende denne forordning, bør Kommissionen evaluere og revidere denne forordning senest den 2. august 2029 og derefter hvert fjerde år og aflægge rapport til Europa-Parlamentet og Rådet. Under hensyntagen til konsekvenserne for denne forordnings anvendelsesområde bør Kommissionen desuden foretage en vurdering af behovet for at ændre listen over højrisiko-AI-systemer og listen over forbudte praksisser én gang om året. Senest den 2. august 2028 og derefter hvert fjerde år bør Kommissionen ydermere evaluere og aflægge rapport til Europa-Parlamentet og Rådet om behovet for at ændre listen over højrisikoområdeoverskrifter i bilaget til denne forordning, de AI-systemer, der er omfattet af gennemsigtighedsforpligtelserne, effektiviteten af tilsyns- og forvaltningssystemet og fremskridt med udviklingen af standardiseringsdokumentation om en energieffektiv udvikling af AI-modeller til almen brug, herunder behovet for yderligere foranstaltninger eller tiltag. Endelig bør Kommissionen senest den 2. august 2028 og derefter hvert tredje år evaluere virkningen og effektiviteten af frivillige adfærdskodekser med henblik på at fremme anvendelsen af de fastsatte krav til højrisiko-AI-systemer i tilfælde af andre AI-systemer end højrisiko-AI-systemer og eventuelt andre yderligere krav til sådanne AI-systemer.

(175)

For at sikre ensartede betingelser for gennemførelsen af denne forordning bør Kommissionen tillægges gennemførelsesbeføjelser. Disse beføjelser bør udøves i overensstemmelse med Europa-Parlamentets og Rådets forordning (EU) nr. 182/2011 (56).

(176)

Målet for denne forordning, nemlig at forbedre det indre markeds funktion og fremme udbredelsen af menneskecentreret og troværdig AI og samtidig sikre et højt niveau af beskyttelse af sundhed, sikkerhed og de grundlæggende rettigheder, der er nedfældet i chartret, herunder demokratiet, retsstatsprincippet og miljøbeskyttelse, mod skadelige virkninger af AI-systemer i Unionen og støtte innovation, kan ikke i tilstrækkelig grad opfyldes af medlemsstaterne, men kan på grund af handlingens omfang eller virkninger bedre nås på EU-plan; Unionen kan derfor vedtage foranstaltninger i overensstemmelse med nærhedsprincippet, jf. artikel 5 i TEU. I overensstemmelse med proportionalitetsprincippet, jf. nævnte artikel, går denne forordning ikke videre, end hvad der er nødvendigt for at nå dette mål.

(177)

Med henblik på at sikre retssikkerheden, sikre en passende tilpasningsperiode for operatører og undgå markedsforstyrrelser, herunder ved at sikre kontinuitet i anvendelsen af AI-systemer, bør denne forordning kun finde anvendelse på højrisiko-AI-systemer, der er bragt i omsætning eller ibrugtaget inden den generelle anvendelsesdato, hvis disse systemer fra denne dato er genstand for betydelige ændringer af deres udformning eller tilsigtede formål. Det er hensigtsmæssigt at præcisere, at begrebet betydelig ændring i denne henseende bør forstås som indholdsmæssigt ækvivalent med begrebet væsentlig ændring, som kun anvendes i forbindelse med højrisiko-AI-systemer i medfør af denne forordning. Undtagelsesvist og i lyset af offentlig ansvarlighed bør operatører af AI-systemer, som er komponenter i de store IT-systemer, der er oprettet ved de retsakter, der er opført i et bilag til denne forordning, og operatører af højrisiko-AI-systemer, der er tilsigtet anvendt af offentlige myndigheder, henholdsvis tage de nødvendige skridt til at overholde kravene i denne forordning inden udgangen af 2030 og senest den 2. august 2030.

(178)

Udbydere af højrisiko-AI-systemer tilskyndes til frivilligt at begynde at overholde de relevante forpligtelser i denne forordning allerede i overgangsperioden.

(179)

Denne forordning bør finde anvendelse fra den 2. august 2026. Under hensyntagen til den uacceptable risiko, der på visse måder er forbundet med anvendelsen af AI, bør forbuddene og de almindelige bestemmelser i denne forordning dog finde anvendelse allerede fra den 2. februar 2025. Selv om den fulde virkning af disse forbud følger med indførelsen af forvaltningen og håndhævelsen af denne forordning, er det vigtigt at foregribe anvendelsen af forbuddene for at tage hensyn til uacceptable risici, som har indvirkning på andre procedurer såsom i civilretten. Infrastrukturen i forbindelse med forvaltnings- og overensstemmelsesvurderingssystemet bør desuden være operationel inden den 2. august 2026, og bestemmelserne om bemyndigede organer og forvaltningsstruktur bør derfor finde anvendelse fra den 2. august 2025. I betragtning af de hastige teknologiske fremskridt og udbredelsen af AI-modeller til almen brug bør forpligtelserne for udbydere af AI-modeller til almen brug finde anvendelse fra den 2. august 2025. Praksiskodekser skal være klar senest den 2. maj 2025 med henblik på at gøre det muligt for udbyderne rettidigt at påvise overholdelse. AI-kontoret bør sikre, at klassificeringsregler og -procedurer er ajourførte i lyset af den teknologiske udvikling. Desuden bør medlemsstaterne fastsætte og meddele Kommissionen bestemmelserne om sanktioner, herunder administrative bøder, og sikre, at de er gennemført korrekt og effektivt på datoen for denne forordnings anvendelse. Bestemmelserne om sanktioner bør derfor finde anvendelse fra den 2. august 2025.

(180)

Den Europæiske Tilsynsførende for Databeskyttelse og Det Europæiske Databeskyttelsesråd er blevet hørt i overensstemmelse med artikel 42, stk. 1 og 2, i forordning (EU) 2018/1725 og afgav deres fælles udtalelse den 18. juni 2021 —