Choose the experimental features you want to try

This document is an excerpt from the EUR-Lex website

Document 32024R1689

    Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144, en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie) (Voor de EER relevante tekst)

    PE/24/2024/REV/1

    PB L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj (BG, ES, CS, DA, DE, ET, EL, EN, FR, GA, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

    Legal status of the document In force

    ELI: http://data.europa.eu/eli/reg/2024/1689/oj

    European flag

    Publicatieblad
    van de Europese Unie

    NL

    L-serie


    2024/1689

    12.7.2024

    VERORDENING (EU) 2024/1689 VAN HET EUROPEES PARLEMENT EN DE RAAD

    van 13 juni 2024

    tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144, en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie)

    (Voor de EER relevante tekst)

    HET EUROPEES PARLEMENT EN DE RAAD VAN DE EUROPESE UNIE,

    Gezien het Verdrag betreffende de werking van de Europese Unie, en met name de artikelen 16 en 114,

    Gezien het voorstel van de Europese Commissie,

    Na toezending van het ontwerp van wetgevingshandeling aan de nationale parlementen,

    Gezien het advies van het Europees Economisch en Sociaal Comité (1),

    Gezien het advies van de Europese Centrale Bank (2),

    Gezien het advies van het Comité van de Regio’s (3),

    Handelend volgens de gewone wetgevingsprocedure (4),

    Overwegende hetgeen volgt:

    (1)

    Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen, het in gebruik stellen, en het gebruik van artificiële-intelligentiesystemen (AI-systemen) in de Unie, in overeenstemming met de waarden van de Unie, de introductie van mensgerichte en betrouwbare artificiële intelligentie (AI) te bevorderen en te zorgen voor een hoge mate van bescherming van de gezondheid, de veiligheid en de grondrechten zoals vastgelegd in het Handvest van de grondrechten van de Europese Unie (het “Handvest”), met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, te beschermen tegen de schadelijke effecten van AI-systemen in de Unie, alsook innovatie te ondersteunen. Deze verordening waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.

    (2)

    Deze verordening moet worden toegepast in overeenstemming met de in het Handvest vastgelegde waarden van de Unie, om zo de bescherming van natuurlijke personen, ondernemingen, de democratie, de rechtsstaat en de bescherming van het milieu te faciliteren en tegelijkertijd innovatie en werkgelegenheid te stimuleren en van de Unie een voortrekker te maken bij de introductie van betrouwbare AI.

    (3)

    AI-systemen kunnen gemakkelijk worden ingezet in een ruime verscheidenheid van economische sectoren en in tal van onderdelen van de samenleving, ook grensoverschrijdend, en kunnen gemakkelijk in de hele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat AI betrouwbaar en veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en tot vermindering van de rechtszekerheid voor operatoren die AI-systemen ontwikkelen, importeren of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd zodat AI betrouwbaar is, terwijl verschillen die het vrije verkeer, de innovatie, de inzet en de ingebruikneming van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor operatoren vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, waarbij beperkingen worden opgelegd aan het voor rechtshandhaving bedoelde gebruik van AI-systemen voor biometrische identificatie op afstand, AI-systemen voor risicobeoordelingen van natuurlijke personen en AI-systemen voor biometrische categorisering, moet deze verordening, wat die specifieke regels betreft, worden gebaseerd op artikel 16 VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.

    (4)

    AI is een snel evoluerende verzameling van technologieën die bijdraagt aan een brede waaier van economische, milieu- en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Het gebruik van AI kan ondernemingen, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor natuurlijke personen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om sociaal en ecologische gunstige resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, voedselveiligheid, onderwijs en opleiding, media, sport, cultuur, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, milieumonitoring, behoud en herstel van biodiversiteit en ecosystemen en klimaatmitigatie en -adaptatie.

    (5)

    Tegelijkertijd kan AI, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, en van het niveau van technologische ontwikkeling, risico’s opleveren en schade toebrengen aan de openbare belangen en grondrechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn, en kan lichamelijke, psychische, maatschappelijke of economische schade omvatten.

    (6)

    Aangezien AI van grote invloed op de samenleving kan zijn en het dus nodig is vertrouwen op te bouwen, is het essentieel dat AI en het AI-regelgevingskader worden ontwikkeld in overeenstemming met de waarden van de Unie zoals verankerd in artikel 2 van het Verdrag betreffende de Europese Unie (VEU), met de in de Verdragen vastgelegde grondrechten en fundamentele vrijheden, alsook, op grond van artikel 6 VEU, met het Handvest. Een eerste voorwaarde is dat AI een mensgerichte technologie moet zijn. Het moet dienen als instrument voor mensen, met als uiteindelijk doel het welzijn van de mens te vergroten.

    (7)

    Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke regels voor AI-systemen met een hoog risico worden vastgesteld. Die regels moeten in overeenstemming zijn met het Handvest, niet-discriminerend zijn en stroken met de internationale handelsverbintenissen van de Unie. In de regels moet ook rekening worden gehouden met de Europese verklaring over digitale rechten en beginselen voor het digitale decennium en de ethische richtsnoeren voor betrouwbare KI van de deskundigengroep op hoog niveau inzake artificiële intelligentie (AI HLEG).

    (8)

    Om de ontwikkeling, het gebruik en de introductie van AI op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake AI, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen, het in gebruik stellen en het gebruik van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen profiteren van het beginsel van vrij verkeer van goederen en diensten. Die regels moeten duidelijk en robuust zijn voor wat betreft de bescherming van de grondrechten, en nieuwe innovatieve oplossingen ondersteunen, om zo een Europees ecosysteem mogelijk te maken van publieke en particuliere actoren die AI-systemen creëren conform de waarden van de Unie, en het potentieel van de digitale transformatie in alle regio’s van de Unie te ontsluiten. Door die regels, alsook maatregelen ter ondersteuning van innovatie met bijzondere nadruk op kleine en middelgrote ondernemingen (kmo’s), waaronder start-ups, vast te stellen, steunt deze verordening de doelstelling om de Europese mensgerichte benadering van AI te bevorderen en wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische AI, zoals verklaard door de Europese Raad (5), en waarborgt deze verordening de bescherming van ethische beginselen, zoals specifiek gevraagd door het Europees Parlement (6).

    (9)

    Er moeten geharmoniseerde regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico, en in overeenstemming zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad (7), Besluit nr. 768/2008/EG van het Europees Parlement en de Raad (8) en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad (9) (“het nieuwe wetgevingskader”). De in deze verordening vastgelegde geharmoniseerde regels moeten in alle sectoren van toepassing zijn en mogen, in overeenstemming met het nieuwe wetgevingskader, geen afbreuk doen aan bestaand Unierecht, met name het Unierecht inzake gegevensbescherming, consumentenbescherming, grondrechten, werkgelegenheid, bescherming van werknemers en productveiligheid, waarop deze verordening een aanvulling vormt. Bijgevolg blijven alle rechten en rechtsmiddelen waarin dat Unierecht voorziet voor consumenten en andere personen voor wie AI-systemen negatieve gevolgen kunnen hebben, onder meer wat betreft de vergoeding van mogelijke schade overeenkomstig Richtlijn 85/374/EEG van de Raad (10), onverlet en volledig van toepassing. Voorts mag deze verordening, in het kader van de werkgelegenheid en de bescherming van werknemers, derhalve geen afbreuk doen aan het recht van de Unie inzake sociaal beleid, noch aan het nationale arbeidsrecht, in naleving van het Unierecht, wat betreft werkgelegenheid en arbeidsvoorwaarden, met inbegrip van gezondheid en veiligheid op het werk en de betrekkingen tussen werkgevers en werknemers. Deze verordening mag evenmin afbreuk doen aan de uitoefening van de in de lidstaten en op het niveau van de Unie erkende grondrechten, waaronder het stakingsrecht of de stakingsvrijheid dan wel het recht of de vrijheid om in het kader van de specifieke stelsels van arbeidsverhoudingen in de lidstaten andere acties te voeren, alsook het recht om over collectieve overeenkomsten te onderhandelen, deze te sluiten en naleving ervan af te dwingen, of om collectieve actie te voeren overeenkomstig het nationaal recht. Deze verordening mag geen afbreuk doen aan de bepalingen ter verbetering van de arbeidsomstandigheden bij platformwerk die zijn vastgelegd in een richtlijn van het Europees Parlement en de Raad betreffende de verbetering van de arbeidsvoorwaarden bij platformwerk. Daarnaast heeft deze verordening tot doel de doeltreffendheid van dergelijke bestaande rechten en rechtsmiddelen te versterken door specifieke eisen en verplichtingen vast te stellen, onder meer met betrekking tot de transparantie, technische documentatie en registratie van AI-systemen. Voorts moeten de verplichtingen die verschillende operatoren die betrokken zijn bij de AI-waardeketen uit hoofde van deze verordening krijgen opgelegd, van toepassing zijn onverminderd het nationale recht, in naleving van het Unierecht, met als gevolg dat het gebruik van bepaalde AI-systemen wordt beperkt indien dergelijk nationaal recht buiten het toepassingsgebied van deze verordening valt of andere legitieme doelstellingen van algemeen belang nastreeft dan die welke door deze verordening worden nagestreefd. Deze verordening mag bijvoorbeeld geen afbreuk doen aan het nationale arbeidsrecht en de wetgeving inzake de bescherming van minderjarigen, namelijk personen jonger dan 18 jaar, rekening houdend met algemene opmerking nr. 25 (2021) bij het Verdrag van de Verenigde Naties inzake de rechten van het kind over kinderrechten met betrekking tot de digitale omgeving, voor zover deze niet specifiek zijn voor AI-systemen en andere legitieme doelstellingen van algemeen belang nastreven.

    (10)

    Het grondrecht van de bescherming van persoonsgegevens wordt met name gewaarborgd door de Verordeningen (EU) 2016/679 (11) en (EU) 2018/1725 (12) van het Europees Parlement en de Raad en Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad (13). Daarnaast beschermt Richtlijn 2002/58/EG van het Europees Parlement en de Raad (14) het privéleven en de vertrouwelijkheid van communicatie, onder meer door te voorzien in voorwaarden met betrekking tot de opslag van en de toegang tot persoonsgegevens en niet-persoonsgebonden gegevens in eindapparatuur. Die rechtshandelingen van de Unie vormen de basis voor duurzame en verantwoorde dataverwerking, onder meer wanneer datasets een mix van persoonsgegevens en niet-persoonsgebonden gegevens bevatten. Deze verordening laat de toepassing van de bestaande Uniewetgeving betreffende de verwerking van persoonsgegevens, met inbegrip van de taken en bevoegdheden van de onafhankelijke toezichthoudende autoriteiten die met het toezicht op de naleving van die instrumenten belast zijn, onverlet. Deze verordening doet evenmin afbreuk aan de verplichtingen van aanbieders en gebruiksverantwoordelijken van AI-systemen in hun rol als verwerkingsverantwoordelijke of verwerker die voortvloeien uit het Unie- of nationale recht inzake de bescherming van persoonsgegevens, voor zover er in het kader van het ontwerp, de ontwikkeling of het gebruik van AI-systemen persoonsgegevens worden verwerkt. Het is ook passend te verduidelijken dat betrokkenen alle rechten en waarborgen blijven genieten die hun door dat Unierecht zijn toegekend, met inbegrip van de rechten die verband houden met uitsluitend geautomatiseerde individuele besluitvorming, waaronder profilering. De in deze verordening vastgelegde geharmoniseerde regels voor het in de handel brengen, de ingebruikstelling en het gebruik van AI-systemen moeten de doeltreffende uitvoering vergemakkelijken en de uitoefening van de rechten en andere rechtsmiddelen van betrokkenen mogelijk maken die worden gewaarborgd door het Unierecht inzake de bescherming van persoonsgegevens en andere grondrechten.

    (11)

    Deze verordening mag geen afbreuk doen aan de bepalingen betreffende de aansprakelijkheid van aanbieders van tussenhandelsdiensten, zoals vastgelegd in Verordening 2022/2065 van het Europees Parlement en de Raad (15).

    (12)

    Het begrip “AI-systeem” in deze verordening moet duidelijk worden gedefinieerd en moet nauw aansluiten op het werk van internationale organisaties die zich bezighouden met AI, om rechtszekerheid te waarborgen, internationale convergentie en brede acceptatie te faciliteren, en tegelijkertijd de nodige flexibiliteit te bieden om op de snelle technologische ontwikkelingen op dit gebied te kunnen inspelen. Bovendien moet de definitie gebaseerd zijn op de belangrijkste kenmerken van AI-systemen die het onderscheiden van eenvoudigere traditionele softwaresystemen of programmeringsbenaderingen, en mag het geen betrekking hebben op systemen die gebaseerd zijn op regels die uitsluitend door natuurlijke personen zijn vastgesteld om automatisch handelingen uit te voeren. Een belangrijk kenmerk van AI-systemen is hun inferentievermogen. Dit inferentievermogen slaat op het proces waarbij output, zoals voorspellingen, content, aanbevelingen of besluiten, wordt verkregen waarmee fysieke en virtuele omgevingen kunnen worden beïnvloed, en op het vermogen van AI-systemen om modellen of algoritmen, of beide, af te leiden uit input of data. De technieken die inferentie mogelijk maken bij de opbouw van een AI-systeem, omvatten benaderingen op basis van machinaal leren waarbij aan de hand van data wordt geleerd hoe bepaalde doelstellingen kunnen worden bereikt, alsook op logica en kennis gebaseerde benaderingen waarbij iets wordt geïnfereerd uit gecodeerde kennis of uit een symbolische weergave van de op te lossen taak. Het inferentievermogen van een AI-systeem overstijgt de elementaire verwerking van data door leren, redeneren of modelleren mogelijk te maken. De term “op een machine gebaseerd” verwijst naar het feit dat AI-systemen op machines draaien. De verwijzing naar expliciete of impliciete doelstellingen onderstreept dat AI-systemen kunnen functioneren volgens expliciete, gedefinieerde doelstellingen, of volgens impliciete doelstellingen. De doelstellingen van een AI-systeem kunnen verschillen van het beoogde doel van het AI-systeem in een specifieke context. Voor de toepassing van deze verordening moeten onder omgevingen de contexten worden verstaan waarin de AI-systemen werken, terwijl de output die door het AI-systeem wordt gegenereerd een uiting is van de verschillende functies van AI-systemen en de vorm kan aannemen van voorspellingen, content, aanbevelingen of besluiten. AI-systemen worden zodanig ontworpen dat zij in verschillende mate autonoom kunnen functioneren, wat betekent dat zij een zekere mate van onafhankelijkheid van menselijke betrokkenheid bezitten en zonder menselijke tussenkomst kunnen functioneren. Het aanpassingsvermogen dat een AI-systeem na het inzetten ervan kan vertonen, heeft betrekking op zelflerende capaciteiten, waardoor het systeem tijdens het gebruik kan veranderen. AI-systemen kunnen op standalonebasis of als component van een product worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed).

    (13)

    Het in deze verordening bedoelde begrip “gebruiksverantwoordelijke” moet worden uitgelegd als alle natuurlijke of rechtspersonen, met inbegrip van overheidsinstanties, agentschappen of andere organen, die een AI-systeem onder eigen verantwoordelijkheid gebruiken, behalve in gevallen waarin het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-professionele activiteit. Afhankelijk van het type AI-systeem kan het gebruik van het systeem invloed hebben op andere personen dan de gebruiksverantwoordelijke.

    (14)

    Het in deze verordening gebruikte begrip “biometrische gegevens” moet worden uitgelegd in het licht van het begrip biometrische gegevens zoals gedefinieerd in artikel 4, punt 14), van Verordening (EU) 2016/679, artikel 3, punt 18), van Verordening (EU) 2018/1725 en artikel 3, punt 13), van Richtlijn (EU) 2016/680. Biometrische gegevens kunnen de authenticatie, identificatie of categorisering van natuurlijke personen en de herkenning van emoties van natuurlijke personen mogelijk maken.

    (15)

    Het in deze verordening bedoelde begrip “biometrische identificatie” moet worden gedefinieerd als de automatische herkenning van fysieke, fysiologische en gedragsgerelateerde menselijke kenmerken zoals het gezicht, oogbewegingen, lichaamsvorm, stem, prosodie, gang, houding, hartslag, bloeddruk, geur, toetsaanslagen, met als doel de identiteit van een natuurlijke persoon vast te stellen door biometrische gegevens van die natuurlijke persoon te vergelijken met opgeslagen biometrische gegevens van natuurlijke personen in een referentiedatabank, ongeacht of die natuurlijke persoon daarmee heeft ingestemd. Daarvan uitgesloten zijn AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, die er uitsluitend op gericht zijn te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie.

    (16)

    Het begrip “biometrische categorisering” in deze verordening moet worden gedefinieerd als het toewijzen van natuurlijke personen aan specifieke categorieën op basis van hun biometrische gegevens. Zulke specifieke categorieën kunnen betrekking hebben op aspecten zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, gedragsgerelateerde of persoonlijkheidskenmerken, taal, religie, het behoren tot een nationale minderheid, seksuele gerichtheid of politieke overtuiging. Daarvan uitgesloten zijn systemen voor biometrische categorisering die een louter bijkomstige functie zijn die intrinsiek verbonden is met een andere commerciële dienst, waarbij die functie om objectieve technische redenen niet los van de hoofddienst kan worden gebruikt, en de integratie van die functie of functionaliteit geen middel is om de toepassing van de regels van deze verordening te omzeilen. Filters die op onlinemarktplaatsen gebruikte gezichts- of lichaamskenmerken categoriseren, kunnen bijvoorbeeld een dergelijke nevenfunctie vormen, aangezien zij alleen kunnen worden gebruikt voor de hoofddienst die bestaat in de verkoop van een product door de consument in staat te stellen de weergave van het product op zichzelf te bekijken en de consument te helpen een aankoopbeslissing te nemen. Filters die worden gebruikt op online socialenetwerkdiensten die gezichts- of lichaamskenmerken categoriseren om gebruikers in staat te stellen foto’s of video’s toe te voegen of te wijzigen, kunnen ook als bijkomstig worden beschouwd, aangezien dergelijke filters niet kunnen worden gebruikt zonder de hoofddienst van de socialenetwerkdiensten die bestaat in het online delen van content.

    (17)

    Het in deze verordening bedoelde begrip “systeem voor biometrische identificatie op afstand” moet functioneel worden gedefinieerd, als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen, doorgaans van een afstand, zonder dat zij hier actief bij betrokken zijn, door vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank, ongeacht de specifieke gebruikte technologie, processen of soorten biometrische gegevens. Dergelijke systemen voor biometrische identificatie op afstand worden doorgaans gebruikt om meerdere personen of hun gedrag gelijktijdig waar te nemen, teneinde de identificatie van natuurlijke personen, zonder dat zij er actief bij betrokken zijn, aanzienlijk te vergemakkelijken. Daarvan uitgesloten zijn AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, met als enige doel te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie. Die uitsluiting wordt gerechtvaardigd door het feit dat dergelijke systemen waarschijnlijk geringe gevolgen zullen hebben voor de grondrechten van natuurlijke personen in vergelijking met systemen voor biometrische identificatie op afstand die kunnen worden gebruikt voor de verwerking van biometrische gegevens van een groot aantal personen, zonder dat zij er actief bij betrokken zijn. In het geval van realtimesystemen gebeurt de vastlegging van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de betrokken AI-systemen te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van: “live” of “bijna live” materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een noemenswaardige vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.

    (18)

    Het in deze verordening bedoelde begrip “systeem voor het herkennen van emoties” moet worden gedefinieerd als een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens. Het begrip verwijst naar emoties of intenties zoals geluk, droefheid, woede, verrassing, weerzin, verlegenheid, opwinding, schaamte, minachting, tevredenheid en plezier. Het omvat geen fysieke toestanden, zoals pijn of vermoeidheid, met inbegrip van bijvoorbeeld systemen die worden gebruikt om vermoeidheid bij beroepspiloten of beroepschauffeurs te detecteren om ongevallen te voorkomen. Het omvat evenmin de loutere detectie van gemakkelijk zichtbare uitdrukkingen, gebaren of bewegingen, tenzij deze worden gebruikt om emoties te herkennen of af te leiden. Die uitdrukkingen kunnen basale gezichtsuitdrukkingen zijn, zoals een frons of een glimlach, of gebaren zoals hand-, arm-, of hoofdbewegingen, of kenmerken van iemands stem, zoals een luide spreektoon of een fluistertoon.

    (19)

    Voor de toepassing van deze verordening moet het begrip “openbare ruimte” worden opgevat als een verwijzing naar elke fysieke plaats die toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of de plaats in kwestie particulier of publiek eigendom is, ongeacht de activiteit waarvoor de plaats kan worden gebruikt, zoals voor handel, zoals winkels, restaurants, cafés, voor diensten, zoals banken, beroepsactiviteiten, horeca, voor sport, zoals zwembaden, fitnesscentra, stadions, voor vervoer, zoals bus-, metro- en treinstations, luchthavens, vervoermiddelen, voor ontspanning, zoals bioscopen, theaters, musea, concert- en conferentiezalen of voor vrijetijdsbesteding of anderszins, zoals openbare wegen en pleinen, parken, bossen, speelplaatsen. Een plaats moet ook als openbare ruimte worden ingedeeld indien, ongeacht potentiële capaciteits- of beveiligings-beperkingen, de toegang onderworpen is aan bepaalde vooraf vastgestelde voorwaarden waaraan een onbepaald aantal personen kan voldoen, zoals de aankoop van een vervoerbewijs of een vervoerstitel, voorafgaande registratie of het hebben van een bepaalde leeftijd. Een plaats mag daarentegen niet als openbare ruimte worden beschouwd indien de toegang beperkt is tot specifieke en gedefinieerde natuurlijke personen door middel van Unie- of nationale wetgeving die rechtstreeks verband houdt met de openbare veiligheid of beveiliging of door de duidelijke wilsuiting van de persoon die ter plaatse over de benodigde autoriteit beschikt. De feitelijke mogelijkheid van toegang alleen, zoals een onvergrendelde deur of een open poort in een omheining, betekent niet dat de plaats een openbare ruimte is wanneer er aanwijzingen of omstandigheden zijn die het tegendeel suggereren, zoals borden die de toegang verbieden of beperken. Bedrijfsruimten en fabrieksgebouwen, alsook kantoren en werkplekken die alleen bestemd zijn voor bevoegde werknemers en dienstverleners, zijn plaatsen die niet openbaar zijn. Gevangenissen of grenstoezichtsgebieden mogen niet als openbare ruimte worden ingedeeld. Sommige andere plaatsen kunnen uit zowel niet-openbare als openbare ruimten bestaan, zoals de hal van een particulier woongebouw waar men door moet om bij een arts te komen, of een luchthaven. Onlineruimten vallen onder het toepassingsgebied, omdat het geen fysieke ruimten zijn. Of een bepaalde ruimte openbaar is, moet echter per geval worden bepaald, rekening houdend met de specifieke omstandigheden van de situatie in kwestie.

    (20)

    Om de grootste voordelen van AI-systemen te behalen en tegelijkertijd de grondrechten, gezondheid en veiligheid te beschermen en democratische controle mogelijk te maken, moeten aanbieders, gebruiksverantwoordelijken en betrokken personen door middel van AI-geletterdheid van de nodige kennis voorzien worden om onderbouwde beslissingen te nemen met betrekking tot AI-systemen. Die kennis kan verschillen naargelang de context en kan inzicht omvatten in de correcte toepassing van technische elementen tijdens de ontwikkelingsfase van het AI-systeem, de maatregelen die moeten worden toegepast tijdens het gebruik ervan, hoe de output van het AI-systeem moet worden geïnterpreteerd, en, in het geval van betrokken personen, de kennis die nodig is om te begrijpen hoe beslissingen die met behulp van AI worden genomen, op hen van invloed zullen zijn. In het kader van de toepassing van deze verordening moet AI-geletterdheid alle relevante actoren in de AI-waardeketen de inzichten verschaffen die nodig zijn om de passende naleving en de correcte handhaving ervan te waarborgen. Voorts kunnen de brede uitvoering van maatregelen op het gebied van AI-geletterdheid en de invoering van passende vervolgmaatregelen bijdragen tot het verbeteren van de arbeidsomstandigheden en uiteindelijk de consolidatie en innovatie van betrouwbare AI in de Unie ondersteunen. De Europese raad voor artificiële intelligentie (European Artificial Intelligence Board — de “AI-board”) moet de Commissie ondersteunen bij het bevorderen van instrumenten voor AI-geletterdheid en van de bekendheid van het publiek met en hun begrip van de voordelen, risico’s, waarborgen, rechten en plichten met betrekking tot het gebruik van AI-systemen. In samenwerking met de relevante belanghebbenden moeten de Commissie en de lidstaten de opstelling van vrijwillige gedragscodes faciliteren om de AI-geletterdheid te bevorderen bij personen die zich bezighouden met de ontwikkeling, de exploitatie en het gebruik van AI.

    (21)

    Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van natuurlijke personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruiksverantwoordelijken van AI-systemen.

    (22)

    Gezien hun digitale aard moeten zelfs bepaalde AI-systemen die niet in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt, onder het toepassingsgebied van deze verordening vallen. Dit is bijvoorbeeld het geval wanneer een in de Unie gevestigde operator aan een in een derde land gevestigde operator bepaalde diensten uitbesteedt voor een activiteit die wordt verricht door een AI-systeem dat als een AI-systeem met een hoog risico kan worden aangemerkt. In die omstandigheden zou het AI-systeem dat door de operator in een derde land wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende operator in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat het AI-systeem in de Unie in de handel wordt gebracht, in gebruik wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output bedoeld is om in de Unie te worden gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake toekomstige samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal worden uitgewisseld, mag deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van samenwerking of internationale overeenkomsten die op het niveau van de Unie of op nationaal niveau zijn gesloten met het oog op samenwerking met de Unie of haar lidstaten op het gebied van rechtshandhaving en justitie, mits het betrokken derde land of de betrokken internationale organisatie in passende waarborgen voorziet met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. In voorkomend geval kan dit betrekking hebben op activiteiten van entiteiten die door derde landen zijn belast met de uitvoering van specifieke taken ter ondersteuning van deze samenwerking op het gebied van rechtshandhaving en justitie. Een dergelijk kader voor samenwerking of dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere agentschappen van de Unie enerzijds en derde landen en internationale organisaties anderzijds. De autoriteiten die uit hoofde van deze verordening bevoegd zijn voor het toezicht op de rechtshandhavingsinstanties en justitiële autoriteiten, moeten beoordelen of die kaders voor samenwerking of internationale overeenkomsten passende waarborgen bevatten met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. De ontvangende nationale autoriteiten en de ontvangende instellingen, organen en instanties van de Unie die gebruikmaken van dergelijke output in de Unie, blijven er verantwoordelijk voor dat het gebruik ervan in overeenstemming is met het recht van de Unie. Wanneer die internationale overeenkomsten worden herzien of er in de toekomst nieuwe worden gesloten, moeten de overeenkomstsluitende partijen alles in het werk stellen om die overeenkomsten in overeenstemming te brengen met de eisen van deze verordening.

    (23)

    Deze verordening moet ook van toepassing zijn op instellingen, organen en instanties van de Unie wanneer zij optreden als aanbieder of gebruiksverantwoordelijke van een AI-systeem.

    (24)

    Indien en voor zover AI-systemen voor militaire, defensie- of nationale veiligheidsdoeleinden, met of zonder wijziging van die systemen, in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt, moeten deze worden uitgesloten van het toepassingsgebied van deze verordening, ongeacht welk soort entiteit, bv. een publieke of private entiteit, die activiteiten uitvoert. Wat militaire en defensiedoeleinden betreft, wordt een dergelijke uitsluiting zowel gerechtvaardigd door artikel 4, lid 2, VEU, als door de specifieke kenmerken van het defensiebeleid van de lidstaten en het gemeenschappelijk defensiebeleid van de Unie krachtens titel V, hoofdstuk 2, VEU, die onder het internationaal publiekrecht vallen, wat derhalve het geschiktere rechtskader is voor de regulering van AI-systemen in de context van het gebruik van dodelijk geweld en andere AI-systemen in de context van militaire en defensieactiviteiten. Wat de doeleinden van nationale veiligheid betreft, wordt de uitsluiting zowel gerechtvaardigd door het feit dat nationale veiligheid overeenkomstig artikel 4, lid 2, VEU, de uitsluitende verantwoordelijkheid van elke lidstaat blijft, als door de specifieke aard en operationele behoeften van de nationale veiligheidsactiviteiten en door de specifieke nationale regels die op die activiteiten van toepassing zijn. Indien echter een AI-systeem dat is ontwikkeld, in de handel is gebracht, in gebruik is gesteld of wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, tijdelijk of permanent voor andere dan die doeleinden wordt gebruikt, bijvoorbeeld civiele of humanitaire doeleinden, rechtshandhaving of openbare veiligheid, valt een dergelijk systeem wel binnen het toepassingsgebied van deze verordening. In dat geval moet de entiteit die het AI-systeem voor andere doeleinden dan militaire, defensie- of nationale veiligheidsdoeleinden gebruikt, ervoor zorgen dat het AI-systeem voldoet aan deze verordening, tenzij dat reeds het geval is. AI-systemen die in de handel worden gebracht of in gebruik worden gesteld voor een uitgesloten doeleinde, d.w.z. militaire, defensie- of nationaleveiligheidsdoeleinden, en een of meer niet-uitgesloten doeleinden, zoals civiele doeleinden of rechtshandhaving, vallen binnen het toepassingsgebied van deze verordening, en aanbieders van die systemen moeten er dan ook voor zorgen dat deze verordening wordt nageleefd. In die gevallen mag het feit dat een AI-systeem onder het toepassingsgebied van deze verordening valt, geen afbreuk doen aan de mogelijkheid voor entiteiten die nationale veiligheids-, defensie- en militaire activiteiten verrichten, ongeacht het soort entiteit dat die activiteiten uitvoert, om de AI-systemen te gebruiken voor nationale veiligheids-, militaire en defensiedoeleinden, waarvan het gebruik is uitgesloten van het toepassingsgebied van deze verordening. Een AI-systeem dat in de handel wordt gebracht voor civiele of rechtshandhavingsdoeleinden en dat met of zonder wijziging wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, mag niet binnen het toepassingsgebied van deze verordening vallen, ongeacht het soort entiteit dat die activiteiten uitvoert.

    (25)

    Deze verordening moet innovatie ondersteunen en de vrijheid van wetenschap eerbiedigen en mag onderzoeks- en ontwikkelingsactiviteiten niet ondermijnen. Het is daarom noodzakelijk AI-systemen en -modellen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel, van het toepassingsgebied van deze verordening uit te sluiten. Bovendien moet ervoor worden gezorgd dat deze verordening geen andere gevolgen heeft voor wetenschappelijke onderzoeks- en ontwikkelingsactiviteiten met betrekking tot AI-systemen of -modellen voordat zij in de handel worden gebracht of in gebruik worden gesteld. Wat productgericht onderzoek en test- en ontwikkelingsactiviteiten met betrekking tot AI-systemen of -modellen betreft, mogen de bepalingen van deze verordening ook niet van toepassing zijn voordat die systemen en modellen in gebruik worden gesteld of in de handel worden gebracht. Die uitsluiting doet geen afbreuk aan de verplichting om aan deze verordening te voldoen wanneer een AI-systeem dat onder het toepassingsgebied van deze verordening valt, in de handel wordt gebracht of in gebruik wordt gesteld als gevolg van dergelijke onderzoeks- en ontwikkelingsactiviteiten, noch aan de toepassing van bepalingen inzake AI-testomgevingen voor regelgeving en testen onder reële omstandigheden. Onverminderd de uitsluiting van AI-systemen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en ontwikkeling als enig doel, moet elk ander AI-systeem dat voor de uitvoering van onderzoeks- en ontwikkelingsactiviteiten kan worden gebruikt, onderworpen blijven aan de bepalingen van deze verordening. Alle onderzoeks- en ontwikkelingsactiviteiten moeten in elk geval worden uitgevoerd met inachtneming van de erkende ethische en beroepsnormen voor wetenschappelijk onderzoek, en in overeenstemming met het toepasselijke Unierecht.

    (26)

    Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en content van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde onaanvaardbare praktijken op het gebied van AI te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken operatoren vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

    (27)

    Hoewel de risicogebaseerde aanpak de basis vormt voor een evenredige en doeltreffende reeks bindende regels, is het belangrijk te herinneren aan de ethische richtsnoeren voor betrouwbare KI van 2019 die zijn opgesteld door de onafhankelijke AI HLEG die door de Commissie is aangesteld. In die richtsnoeren heeft de AI HLEG zeven niet-bindende ethische beginselen ontwikkeld die ervoor moeten zorgen dat AI betrouwbaar en ethisch verantwoord is. Die beginselen zijn: invloed en toezicht door mensen, technische robuustheid en veiligheid, privacy en datagovernance, transparantie; diversiteit, non-discriminatie en rechtvaardigheid, sociaal en ecologisch welzijn, en verantwoordingsplicht. Onverminderd de juridisch bindende eisen van deze verordening en enig ander toepasselijk Unierecht dragen die richtsnoeren bij tot het ontwerpen van coherente, betrouwbare en mensgerichte AI, in overeenstemming met het Handvest en de waarden waarop de Unie is gegrondvest. Volgens de richtsnoeren van de AI HLEG houdt “invloed en toezicht door mensen” in dat AI-systemen worden ontwikkeld en gebruikt als een instrument dat ten dienste staat van mensen, dat de menselijke waardigheid en persoonlijke autonomie eerbiedigt, en dat functioneert op een wijze waar mensen op passende wijze controle en toezicht op kunnen houden. “Technische robuustheid en veiligheid” betekent dat AI-systemen worden ontwikkeld op een wijze die voorziet in robuustheid in geval van problemen en in weerbaarheid tegen pogingen om het gebruik of de prestaties van het AI-systeem te wijzigen voor onrechtmatig gebruik door derden, en die onbedoelde schade tot een minimum beperkt. “Privacy en datagovernance” betekent dat AI-systemen worden ontwikkeld en gebruikt in overeenstemming met de regels inzake privacy en gegevensbescherming, en de verwerking van gegevens voldoet aan hoge normen wat kwaliteit en integriteit betreft. “Transparantie” betekent dat AI-systemen worden ontwikkeld en gebruikt op een wijze die passende traceerbaarheid en verklaarbaarheid mogelijk maakt, waarbij mensen ervan bewust worden gemaakt dat zij communiceren of interageren met een AI-systeem, en gebruiksverantwoordelijken naar behoren worden geïnformeerd over de mogelijkheden en beperkingen van dat AI-systeem en betrokken personen worden geïnformeerd over hun rechten. “Diversiteit, non-discriminatie en rechtvaardigheid” betekent dat AI-systemen zodanig worden ontwikkeld en gebruikt dat de inclusie van diverse actoren wordt gewaarborgd en dat gelijke toegang, gendergelijkheid en culturele diversiteit worden bevorderd, waarbij discriminerende effecten en onrechtvaardige vertekeningen die op grond van het Unierecht of het nationale recht verboden zijn, worden voorkomen. “Sociaal en ecologisch welzijn” betekent dat AI-systemen worden ontwikkeld en gebruikt op een duurzame en milieuvriendelijke wijze en op een manier die alle mensen ten goede komt, waarbij de langetermijneffecten op het individu, de samenleving en de democratie worden gemonitord en beoordeeld. De toepassing van die beginselen moet waar mogelijk worden vertaald in het ontwerp en het gebruik van AI-modellen. Zij moeten in ieder geval dienen als basis voor het opstellen van gedragscodes in het kader van deze verordening. Alle belanghebbenden, met inbegrip van het bedrijfsleven, de academische wereld, het maatschappelijk middenveld en normalisatieorganisaties, worden aangemoedigd om in voorkomend geval rekening te houden met de ethische beginselen voor de ontwikkeling van vrijwillige beste praktijken en normen.

    (28)

    Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

    (29)

    Op AI gebaseerde manipulatietechnieken kunnen worden gebruikt om gebruikers te overtuigen zich ongewenst te gedragen en ze te misleiden door hen aan te zetten tot bepaalde beslissingen waardoor hun autonomie, besluitvorming en keuze worden ondermijnd en beperkt. Het in de handel brengen, in gebruik stellen of gebruiken van bepaalde AI-systemen met als doel of gevolg het menselijk gedrag wezenlijk te verstoren, waarbij waarschijnlijk aanzienlijke schade, met name met voldoende belangrijke negatieve gevolgen voor de fysieke of psychologische gezondheid of voor financiële belangen, zal optreden, is bijzonder gevaarlijk en moet daarom worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten zoals audio-, beeld- en videostimuli die personen niet kunnen waarnemen, omdat deze stimuli verder gaan dan de menselijke perceptie, of andere manipulatieve of bedrieglijke technieken die de autonomie, besluitvorming of vrije keuze van personen ondermijnen of beperken op wijzen waarvan mensen zich van deze technieken niet bewust zijn of waarbij, zelfs als ze zich er bewust van zijn, ze nog steeds misleid kunnen worden of hen niet kunnen beheersen of weerstaan. Dit kan bijvoorbeeld worden vergemakkelijkt door machine-hersen-interfaces of virtuele realiteit, aangezien zij een hogere mate van controle mogelijk maken over de stimuli die aan personen worden gepresenteerd, voor zover zij hun gedrag wezenlijk kunnen verstoren op een aanzienlijk schadelijke manier. Daarnaast kunnen AI-systemen ook kwetsbaarheden uitbuiten van een persoon of een specifieke groep personen als gevolg van hun leeftijd, handicap in de zin van Richtlijn (EU) 2019/882 van het Europees Parlement en de Raad (16) of een specifieke sociale of economische situatie waardoor deze personen waarschijnlijk kwetsbaarder zullen zijn voor uitbuiting, zoals personen die in extreme armoede leven of personen die tot een etnische of religieuze minderheid behoren. Dergelijke AI-systemen kunnen in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt met als doel of als gevolg dat het gedrag van een persoon wezenlijk wordt verstoord op een manier die deze persoon, een andere persoon of groepen personen aanzienlijke schade berokkent of redelijkerwijs dreigt te berokkenen, met inbegrip van schade die in de loop der tijd erger kan worden, en moeten daarom worden verboden. Er kan worden aangenomen dat er geen sprake is van een intentie om gedrag te verstoren wanneer de verstoring het gevolg is van factoren buiten het AI-systeem waarop de aanbieder of de gebruiksverantwoordelijke geen invloed heeft, namelijk factoren die redelijkerwijs niet te voorzien zijn en die de aanbieder of de gebruiksverantwoordelijke van het AI-systeem bijgevolg niet kan beperken. In ieder geval is het niet vereist dat de aanbieder of de gebruiksverantwoordelijke de intentie heeft aanzienlijke schade te berokkenen, op voorwaarde dat deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. De verbodsbepalingen voor dergelijke AI-praktijken vormen een aanvulling op de bepalingen van Richtlijn 2005/29/EG van het Europees Parlement en de Raad (17), met name die bepalingen waarin is vastgesteld dat oneerlijke handelspraktijken die tot economische of financiële schade voor consumenten leiden onder alle omstandigheden verboden zijn, ongeacht of zij via AI-systemen of anderszins tot stand worden gebracht. Het verbod op manipulatie- en uitbuitingspraktijken in deze verordening mag geen afbreuk doen aan rechtmatige praktijken in het kader van medische behandelingen, zoals psychologische behandeling van een psychische aandoening of lichamelijke revalidatie, wanneer die praktijken worden uitgevoerd overeenkomstig de toepasselijke medische normen en wetgeving, bijvoorbeeld met uitdrukkelijke toestemming van de natuurlijke personen of hun wettelijke vertegenwoordigers. Bovendien mogen gangbare en legitieme handelspraktijken, bijvoorbeeld in de reclamesector, die in overeenstemming zijn met het toepasselijke recht op zich niet worden beschouwd als schadelijke manipulatieve op AI gebaseerde praktijken.

    (30)

    Systemen voor biometrische categorisering die gebaseerd zijn op biometrische gegevens van natuurlijke personen, zoals het gezicht of vingerafdrukken, om de politieke opvattingen, het lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, ras, seksleven of seksuele gerichtheid van een persoon af te leiden of te infereren, moeten worden verboden. Dat verbod mag geen betrekking hebben op het rechtmatig labelen, filteren of categoriseren van reeksen biometrische gegevens die in overeenstemming met het Unierecht of het nationale recht met betrekking tot biometrische gegevens zijn verkregen, zoals het sorteren van beelden op basis van haar- of oogkleur, die bijvoorbeeld op het gebied van rechtshandhaving kunnen worden gebruikt.

    (31)

    AI-systemen die door publieke of door private actoren worden gebruikt om een beoordeling van natuurlijke personen (“social scoring”) uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren natuurlijke personen of groepen natuurlijke personen op basis van meerdere datapunten met betrekking tot hun sociale gedrag in meerdere contexten of op basis van bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken gedurende een bepaalde periode. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen natuurlijke personen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. AI-systemen die dergelijke onaanvaardbare scoringpraktijken met zich meebrengen en tot dergelijke nadelige of ongunstige resultaten leiden, moeten daarom worden verboden. Dat verbod mag geen afbreuk doen aan wettige praktijken voor de evaluatie van natuurlijke personen die worden verricht voor een specifiek doeleinde in overeenstemming met het Unierecht en het nationale recht.

    (32)

    Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten voor rechtshandhavingsdoeleinden wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Technische onnauwkeurigheden van AI-systemen voor biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Dergelijke mogelijke vertekende resultaten en discriminerende effecten zijn met name relevant met betrekking tot leeftijd, etniciteit, ras, geslacht of handicap. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de betrokken personen in de context van rechtshandhavingsactiviteiten of wanneer die personen van de rechtshandhavingsactiviteiten gevolgen ondervinden.

    (33)

    Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik strikt noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar bepaalde slachtoffers van misdrijven, waaronder vermiste personen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag, en de lokalisatie of identificatie van daders of verdachten van de in een bijlage bij deze verordening genoemde strafbare feiten, indien die strafbare feiten in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumduur van ten minste vier jaar en zoals zij zijn gedefinieerd in het recht van die lidstaat. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt erop toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van systemen voor biometrische identificatie op afstand in real time te rechtvaardigen. De in een bijlage bij deze verordening genoemde strafbare feiten zijn gebaseerd op de 32 in KaderBesluit 2002/584/JBZ van de Raad (18) genoemde strafbare feiten, ermee rekening houdend dat sommige van die strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zou kunnen zijn voor de praktische uitvoering van de lokalisatie of identificatie van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen. Een imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen kan ook het gevolg zijn van een ernstige verstoring van kritieke infrastructuur, zoals gedefinieerd in artikel 2, punt 4), van Richtlijn (EU) 2022/2557 van het Europees Parlement en de Raad (19), wanneer de verstoring of vernietiging van dergelijke kritieke infrastructuur zou leiden tot een imminente dreiging voor het leven of de fysieke veiligheid van een persoon, onder meer door ernstige schade aan de levering van basisvoorzieningen aan de bevolking of aan de uitoefening van de kernfunctie van de staat. Daarnaast moet deze verordening de rechtshandhavingsinstanties en de grenstoezichts-, immigratie- of asielautoriteiten in staat stellen identiteitscontroles uit te voeren in aanwezigheid van de betrokken persoon overeenkomstig de voorwaarden die in het Unierecht en het nationale recht voor dergelijke controles zijn vastgelegd. Met name moeten die autoriteiten informatiesystemen kunnen gebruiken in overeenstemming met het Unierecht of het nationale recht om personen te identificeren die tijdens een identiteitscontrole weigeren te worden geïdentificeerd of niet in staat zijn hun identiteit bekend te maken of te bewijzen, zonder dat zij door deze verordening verplicht worden om voorafgaande toestemming te verkrijgen. Het kan hierbij bijvoorbeeld gaan om een persoon die betrokken is bij een misdrijf of iemand die als gevolg van een ongeval of een medische aandoening niet bereid of in staat is zijn identiteit bekend te maken aan rechtshandhavingsinstanties.

    (34)

    Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Daarnaast mag het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op rechtshandhaving alleen worden ingezet om de identiteit van de specifiek beoogde natuurlijke persoon te bevestigen en moet het worden beperkt tot wat strikt noodzakelijk qua duur en geografische en personele reikwijdte, met name rekening houdend met het bewijs of de aanwijzingen met betrekking tot de dreigingen, de slachtoffers of de dader. Het gebruik van het systeem voor biometrische identificatie op afstand in real time in openbare ruimten mag alleen worden toegestaan indien de betrokken rechtshandhavingsinstantie een in deze verordening bedoelde effectbeoordeling op het gebied van de grondrechten heeft voltooid en, tenzij anders bepaald in deze verordening, het systeem in de databank heeft geregistreerd zoals vastgelegd in deze verordening. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de bovenvermelde situaties.

    (35)

    Voor elk gebruik van een systeem voor biometrische identificatie op afstand in real time in openbare ruimten voor rechtshandhavingsdoeleinden moet uitdrukkelijke en specifieke toestemming vereist zijn van een gerechtelijke instantie of van een onafhankelijke administratieve instantie van een lidstaat, met bindende beslissingsbevoegdheid. Deze toestemming moet in beginsel worden verkregen voordat het AI-systeem voor de identificatie van een of meer personen wordt gebruikt. Uitzonderingen op deze regel moeten worden toegestaan in naar behoren gemotiveerde dringende situaties, namelijk in situaties waarin het wegens de noodzaak om het betrokken AI-systeem te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik van het AI-systeem worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en door de rechtshandhavingsinstantie zelf vastgesteld in de context van elk afzonderlijk dringend gebruik. In dergelijke situaties moet de rechtshandhavingsinstantie onverwijld en uiterlijk binnen 24 uur om dergelijke toestemming verzoeken, met opgave van de redenen waarom zij niet eerder een verzoek daartoe heeft kunnen indienen. Indien een dergelijke toestemming wordt geweigerd, moet het gebruik van systemen voor biometrische identificatie in real time waarop dat verzoek betrekking heeft, met onmiddellijke ingang worden stopgezet en moeten alle gegevens met betrekking tot dat gebruik worden verwijderd en gewist. Onder dergelijke gegevens wordt verstaan: inputdata die rechtstreeks door een AI-systeem zijn verkregen tijdens het gebruik van een dergelijk systeem, alsook de resultaten en output van het gebruik in verband met dat verzoek. Daaronder mag niet worden verstaan: input die rechtmatig is verkregen overeenkomstig een ander Unierecht of nationaal recht. In geen geval mag een besluit dat nadelige rechtsgevolgen heeft voor een persoon uitsluitend worden genomen op basis van de output van het systeem voor biometrische identificatie op afstand.

    (36)

    Om hun taken overeenkomstig de eisen van deze verordening en de nationale regels uit te voeren, moeten de betrokken markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit in kennis worden gesteld van elk gebruik van het systeem voor biometrische identificatie in real time. De markttoezicht-autoriteiten en de nationale gegevensbeschermingsautoriteiten die in kennis zijn gesteld, moeten bij de Commissie een jaarverslag indienen over het gebruik van systemen voor biometrische identificatie in real time.

    (37)

    Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk mag zijn indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen. Dergelijke nationale regels moeten binnen dertig dagen na de vaststelling ervan ter kennis van de Commissie worden gebracht.

    (38)

    Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten voor rechtshandhavingsdoeleinden brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, met inachtneming van bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mogen een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het bij deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke gegevens in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn (EU) 2016/680. Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader met betrekking tot dergelijk gebruik voor rechtshandhavingsdoeleinden dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van toestemming uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die aan die toestemming uitvoering kunnen geven.

    (39)

    Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, die geen verband houdt met het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten voor rechtshandhavingsdoeleinden zoals geregeld in deze verordening, moet blijven voldoen aan alle eisen die voortvloeien uit artikel 10 van Richtlijn (EU) 2016/680. Voor andere doeleinden dan rechtshandhaving verbieden artikel 9, lid 1, van Verordening (EU) 2016/679 en artikel 10, lid 1, van Verordening (EU) 2018/1725 de verwerking van biometrische gegevens, met inachtneming van beperkte uitzonderingen zoals bepaald in die artikelen. Bij de toepassing van artikel 9, lid 1, van Verordening (EU) 2016/679 is het gebruik van biometrische identificatie op afstand voor andere doeleinden dan rechtshandhaving reeds onderworpen aan verbodsbesluiten van nationale gegevensbeschermingsautoriteiten.

    (40)

    Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, gehecht aan het VEU en het VWEU, is Ierland niet gebonden door de regels die zijn vastgelegd in artikel 5, lid 1, eerste alinea, punt g), voor zover dit van toepassing is op het gebruik van systemen voor biometrische categorisering voor activiteiten op het gebied van politiële samenwerking en justitiële samenwerking in strafzaken, artikel 5, lid 1, eerste alinea, punt d), voor zover het van toepassing is op het gebruik van onder die bepaling vallende AI-systemen, artikel 5, lid 1, eerste alinea, punt h), artikel 5, leden 2 tot en met 6, en artikel 26, lid 10, van deze verordening, en die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van hoofdstuk 4 of 5 van titel V van het derde deel van het VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

    (41)

    Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, gehecht aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, eerste alinea, punt g), voor zover dit van toepassing is op het gebruik van systemen voor biometrische categorisering voor activiteiten op het gebied van politiële samenwerking en justitiële samenwerking in strafzaken, artikel 5, lid 1, eerste alinea, punt d), voor zover het van toepassing is op het gebruik van onder die bepaling vallende AI-systemen, artikel 5, lid 1, eerste alinea, punt h), artikel 5, leden 2 tot en met 6, en artikel 26, lid 10, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van hoofdstuk 4 of 5 van titel V van het derde deel van het VWEU, niet bindend voor, noch van toepassing op Denemarken.

    (42)

    In overeenstemming met het vermoeden van onschuld moeten natuurlijke personen in de Unie altijd worden beoordeeld op hun feitelijke gedrag. Natuurlijke personen mogen nooit worden beoordeeld op basis van door AI voorspeld gedrag dat uitsluitend gebaseerd is op hun profilering, persoonlijkheidskenmerken of kenmerken, zoals nationaliteit, geboorteplaats, verblijfplaats, aantal kinderen, schuldniveau of type auto, zonder een redelijk vermoeden dat die persoon betrokken is bij een criminele activiteit op basis van objectieve, verifieerbare feiten en zonder menselijke beoordeling daarvan. Daarom moeten risicobeoordelingen die met betrekking tot natuurlijke personen worden uitgevoerd, uitsluitend op basis van profilering of beoordeling van hun persoonlijkheidskenmerken en kenmerken, om de waarschijnlijkheid dat zij strafbare feiten plegen, te beoordelen, of om te voorspellen dat er een feitelijk of potentieel strafbaar feit zal plaatsvinden, worden verboden. In elk geval heeft dat verbod geen betrekking op risicoanalyses die niet zijn gebaseerd op de profilering van natuurlijke personen of op de persoonlijkheidskenmerken en kenmerken van natuurlijke personen, zoals AI-systemen die gebruikmaken van risicoanalyses om de waarschijnlijkheid van financiële fraude door ondernemingen te beoordelen op basis van verdachte transacties, of van risicoanalyse-instrumenten om de waarschijnlijkheid van vondsten van verdovende middelen of illegale goederen door douaneautoriteiten te voorspellen, bijvoorbeeld op basis van bekende smokkelroutes.

    (43)

    Het in de handel brengen, het in gebruik stellen voor dat specifieke doel en het gebruiken van AI-systemen die databanken voor gezichtsherkenning creëren of uitbreiden door middel van de niet-gerichte scraping van gezichtsopnamen van het internet of CCTV-beelden, moeten worden verboden omdat dergelijke praktijken het gevoel van grootschalig toezicht vergroten en kunnen leiden tot grove schendingen van de grondrechten, waaronder het recht op privacy.

    (44)

    Er bestaat ernstige bezorgdheid over de wetenschappelijke basis van AI-systemen die gericht zijn op het identificeren of afleiden van emoties, met name omdat emoties sterk uiteenlopen tussen culturen en situaties, en zelfs bij één persoon. Tot de belangrijkste tekortkomingen van dergelijke systemen behoren de beperkte betrouwbaarheid, het gebrek aan specificiteit en de beperkte veralgemeenbaarheid. Daarom kunnen AI-systemen die emoties of intenties van natuurlijke personen identificeren of afleiden op basis van hun biometrische gegevens, tot discriminerende resultaten leiden en inbreuk maken op de rechten en vrijheden van de betrokken personen. Gezien de ongelijke machtsverhoudingen in de context van werk of onderwijs, in combinatie met het ingrijpende karakter van deze systemen, kunnen dergelijke systemen leiden tot een nadelige of ongunstige behandeling van bepaalde natuurlijke personen of hele groepen personen. Daarom moeten het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen die bedoeld zijn om te worden gebruikt om de emotionele toestand van natuurlijke personen in situaties die verband houden met de werkplek en het onderwijs te detecteren, worden verboden. Dat verbod mag geen betrekking hebben op AI-systemen die uitsluitend om medische of veiligheidsredenen in de handel worden gebracht, zoals systemen die bedoeld zijn voor therapeutisch gebruik.

    (45)

    Deze verordening moet praktijken die verboden zijn uit hoofde van het Unierecht, met inbegrip van het gegevensbeschermingsrecht, het non-discriminatierecht, het recht inzake consumentenbescherming, en het mededingingsrecht, onverlet laten.

    (46)

    AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. Op basis van het nieuwe wetgevingskader, zoals verduidelijkt in de mededeling van de Commissie “De Blauwe Gids van 2022: richtlijnen voor de uitvoering van de productvoorschriften van de EU” (20), luidt de algemene regel dat meer dan een rechtshandeling van de harmonisatiewetgeving van de Unie, zoals de Verordeningen (EU) 2017/745 (21) en (EU) 2017/746 (22) van het Europees Parlement en de Raad of Richtlijn 2006/42/EG van het Europees Parlement en de Raad (23), op één product van toepassing kan zijn, aangezien het aanbieden of in gebruik stellen van het product alleen kan plaatsvinden wanneer het product voldoet aan alle toepasselijke harmonisatiewetgeving van de Unie. Om consistentie te waarborgen en onnodige administratieve lasten of kosten te vermijden, moeten aanbieders van een product dat een of meer AI-systemen met een hoog risico bevat waarop de eisen van deze verordening en van de harmonisatiewetgeving van de Unie zoals vermeld in een bijlage bij deze verordening van toepassing zijn, flexibel zijn met betrekking tot operationele beslissingen over hoe ervoor kan worden gezorgd dat een product dat een of meer AI-systemen bevat, op optimale wijze voldoet aan alle toepasselijke eisen van die harmonisatiewetgeving van de Unie. De aanmerking als AI-systeem met een hoog risico, moet worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en daarbij moeten potentiële restricties voor de internationale handel tot een minimum worden beperkt.

    (47)

    AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als veiligheidscomponenten van producten. Overeenkomstig de in de harmonisatiewetgeving van de Unie beoogde doelstellingen om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn.

    (48)

    Een bijzonder relevante factor voor de classificering van een AI-systeem als AI-systeem met een hoog risico, is de omvang van de door het AI-systeem veroorzaakte nadelige effecten op de grondrechten die door het Handvest worden beschermd. Onder die rechten zijn begrepen: het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, het recht op non-discriminatie, het recht op onderwijs, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, gendergelijkheid, intellectuele-eigendomsrechten, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, alsook het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het Handvest en in het Verdrag van de Verenigde Naties inzake de rechten van het kind, nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving, waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Ook het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is vastgelegd en in het beleid van de Unie wordt uitgevoerd, moet in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, onder meer met betrekking tot de gezondheid en de veiligheid van personen.

    (49)

    Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad (24), Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad (25), Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad (26), Richtlijn 2014/90/EU van het Europees Parlement en de Raad (27), Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad (28), Verordening (EU) 2018/858 van het Europees Parlement en de Raad (29), Verordening (EU) 2018/1139 van het Europees Parlement en de Raad (30), en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad (31), moeten die handelingen worden gewijzigd om ervoor te zorgen dat de Commissie, op basis van de technische en regelgeving van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en autoriteiten die daarbij zijn ingesteld, rekening houdt met de in deze verordening vastgelegde dwingende eisen voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen desbetreffende gedelegeerde of uitvoeringshandelingen vaststelt.

    (50)

    Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde in een bijlage bij deze verordening vermelde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico te classificeren indien het betrokken product de conformiteits-beoordelingsprocedure ondergaat bij een conformiteitsbeoordelingsinstantie op grond van die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen, medische hulpmiddelen voor in-vitrodiagnostiek, de automobiel- en de luchtvaartsector.

    (51)

    De classificatie van een AI-systeem als een AI-systeem met een hoog risico op grond van deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgelegd in de toepasselijke harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor de Verordeningen (EU) 2017/745 en (EU) 2017/746, waarin wordt voorzien in een conformiteitsbeoordeling door een derde partij voor producten met een middelgroot risico en producten met een hoog risico.

    (52)

    Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden geclassificeerd indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in deze verordening beschreven, specifieke en vooraf bepaalde gebieden. De identificatie van die systemen is gebaseerd op dezelfde methode en criteria die ook worden overwogen voor toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico die de Commissie via gedelegeerde handelingen moet kunnen vaststellen om rekening te houden met het snelle tempo van de technologische ontwikkeling en met de mogelijke veranderingen in het gebruik van AI-systemen.

    (53)

    Het is ook belangrijk te verduidelijken dat er specifieke gevallen kunnen zijn waarin AI-systemen die worden gebruikt op in deze verordening beschreven, specifieke gebieden, niet leiden tot een aanzienlijk risico op schade aan de juridische belangen die op die gebieden worden beschermd, omdat zij de besluitvorming niet wezenlijk beïnvloeden of die belangen niet wezenlijk schaden. Voor de toepassing van deze verordening moet een AI-systeem dat het resultaat van de besluitvorming niet wezenlijk beïnvloedt, worden beschouwd als een AI-systeem dat geen invloed heeft op de inhoud, en daarmee op het resultaat, van de menselijke of geautomatiseerde besluitvorming. Er kan sprake zijn van een AI-systeem dat het resultaat van de besluitvorming niet wezenlijk beïnvloedt, indien aan een of meer van de volgende voorwaarden is voldaan. De eerste voorwaarde luidt dat het AI-systeem bedoeld moet zijn om een enge procedurele taak uit te voeren, zoals een AI-systeem dat ongestructureerde data omzet in gestructureerde data, een AI-systeem dat binnenkomende documenten classificeert in categorieën of een AI-systeem dat wordt gebruikt om binnen een groot aantal aanvragen dubbels op te sporen. Dergelijke taken zijn dermate specifiek en beperkt dat zij slechts beperkte risico’s met zich meebrengen, die niet toenemen door gebruik van een AI-systeem in een context die in een bijlage bij deze verordening als gebruik met een hoog risico is opgenomen. De tweede voorwaarde is dat de door het AI-systeem uitgevoerde taak bedoeld moet zijn om het resultaat te verbeteren van een eerder voltooide menselijke activiteit die relevant kan zijn in voor de in een lijst in een bijlage bij deze verordening vermelde gevallen van hoog-risicogebruik. Die kenmerken in beschouwing genomen, voegt het AI-systeem slechts een extra laag toe aan een menselijke activiteit, en houdt dit bijgevolg een lager risico in. Dit is bijvoorbeeld het geval voor AI-systemen die bedoeld zijn om de taal van eerder opgestelde documenten te verbeteren, bijvoorbeeld met betrekking tot professionele toon of academische stijl, of door een tekst af te stemmen op een bepaalde merkboodschap. Als derde voorwaarde geldt dat het AI-systeem bedoeld moet zijn om besluitvormings-patronen of afwijkingen van eerdere besluitvormingspatronen op te sporen. Het risico zou in dergelijke gevallen lager liggen omdat het AI-systeem wordt gebruikt na een eerder afgeronde menselijke beoordeling en het niet de bedoeling is dat het AI-systeem deze vervangt of wijzigt zonder gedegen menselijke toetsing. Dergelijke AI-systemen omvatten bijvoorbeeld systemen die, aan de hand van een bepaald beoordelingspatroon van een leerkracht, achteraf kunnen worden gebruikt om na te gaan of de leerkracht mogelijk van dat patroon is afgeweken, en zo mogelijke inconsistenties of anomalieën te signaleren. De vierde voorwaarde houdt in dat het AI-systeem bedoeld moet zijn om een taak uit te voeren die slechts dient ter voorbereiding van een beoordeling die relevant is voor de in een bijlage bij deze verordening vermelde AI-systemen, waardoor het mogelijke effect van de output van het systeem een zeer laag risico inhoudt voor de beoordeling die erop volgt. Daarbij kan het onder meer gaan over slimme oplossingen voor bestandsbeheer, waaronder verschillende functies zoals indexering, opzoeking, tekst- en spraakverwerking of het koppelen van gegevens aan andere gegevensbronnen, of AI-systemen die worden gebruikt voor de vertaling van brondocumenten. In elk geval moeten AI-systemen die worden gebruikt in een bijlage bij deze verordening vermelde gevallen van gebruik met een hoog risico worden geacht een aanzienlijk risico te vormen op schade aan de gezondheid, veiligheid of grondrechten indien het AI-systeem profilering inhoudt in de zin van artikel 4, punt 4), van Verordening (EU) 2016/679 of artikel 3, punt 4), van Richtlijn (EU) 2016/680 of artikel 3, punt 5), van Verordening (EU) 2018/1725. Om de traceerbaarheid en transparantie te waarborgen, moet een aanbieder die op basis van de hierboven vermelde voorwaarden van mening is dat een AI-systeem geen hoog risico vormt, documentatie van de beoordeling opstellen voordat dat systeem in de handel wordt gebracht of in gebruik wordt gesteld, en moet hij deze documentatie op verzoek aan de nationale bevoegde autoriteiten verstrekken. Een dergelijke aanbieder moet worden verplicht het AI-systeem te registreren in de EU-databank die bij deze verordening wordt opgezet. Met het oog op het verstrekken van verdere richtsnoeren voor de praktische uitvoering van de voorwaarden waaronder de in een bijlage bij deze verordening vermelde AI-systemen bij wijze van uitzondering geen hoog risico vormen, moet de Commissie, na raadpleging van de AI-board, richtsnoeren verstrekken waarin die praktische uitvoering wordt uiteengezet, aangevuld met een uitgebreide lijst van praktische voorbeelden van gebruiksgevallen van AI-systemen met een hoog risico en van gebruiksgevallen van AI-systemen zonder hoog risico.

    (54)

    Aangezien biometrische gegevens een bijzondere categorie persoonsgegevens vormen, is het passend verschillende gevallen van kritiek gebruik van biometrische systemen te classificeren als gebruik met een hoog risico, voor zover het gebruik is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Het risico op dergelijke vertekende resultaten en discriminerende effecten is met name relevant wanneer zij betrekking hebben op leeftijd, etniciteit, ras, geslacht of handicap. Systemen voor biometrische identificatie op afstand moeten daarom worden geclassificeerd als systemen met een hoog risico, gezien de risico’s die zij met zich meebrengen. Een dergelijke classificatie geldt niet voor AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, met als enige doel te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die die persoon beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie. Daarnaast moeten AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische categorisering op basis van krachtens artikel 9, lid 1, van Verordening (EU) 2016/679 beschermde gevoelige eigenschappen of kenmerken op basis van biometrische gegevens, voor zover deze niet verboden zijn op grond van deze verordening, en systemen voor het herkennen van emoties die niet verboden zijn op grond van deze verordening, worden geclassificeerd als systemen met een hoog risico. Biometrische systemen die uitsluitend bedoeld zijn om te worden gebruikt om cyberbeveiligings- en persoonsgegevensbeschermingsmaatregelen mogelijk te maken, mogen niet als AI-systemen met een hoog risico worden beschouwd.

    (55)

    Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer en de exploitatie van kritieke digitale infrastructuur als opgenomen in bijlage I, punt 8), van Richtlijn (EU) 2022/2557, wegverkeer en de levering van water, gas, verwarming en elektriciteit, te classificeren als systemen met een hoog risico, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en kan leiden tot aanzienlijke verstoringen van de normale beoefening van sociale en economische activiteiten. Veiligheidscomponenten van kritieke infrastructuur, waaronder kritieke digitale infrastructuur, zijn systemen die worden gebruikt om de fysieke integriteit van kritieke infrastructuur of de gezondheid en veiligheid van personen en eigendommen rechtstreeks te beschermen, maar die niet noodzakelijk zijn voor de werking van het systeem. Het falen of gebrekkig functioneren van dergelijke componenten kan direct leiden tot risico’s voor de fysieke integriteit van kritieke infrastructuur en bijgevolg tot risico’s voor de gezondheid en veiligheid van personen en eigendommen. Componenten die uitsluitend voor cyberbeveiligingsdoeleinden zijn bestemd, mogen niet als veiligheidscomponenten worden aangemerkt. Voorbeelden van veiligheidscomponenten van dergelijke kritieke infrastructuur zijn systemen voor de monitoring van waterdruk of brandalarminstallaties in centra voor cloud computing.

    (56)

    Het inzetten van AI-systemen in het onderwijs is belangrijk om digitaal onderwijs en digitale opleidingen van hoge kwaliteit te bevorderen en om alle lerenden en leerkrachten in staat te stellen de nodige digitale vaardigheden en competenties te verwerven en te delen, met inbegrip van mediageletterdheid, en kritisch denken, om actief deel te nemen aan de economie, de samenleving en democratische processen. AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, met name voor het bepalen van toegang of toelating, voor het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of programma’s op alle niveaus, voor het evalueren van leerresultaten van personen, voor de beoordeling van het passende onderwijsniveau voor een persoon en het uitoefenen van wezenlijke invloed op het niveau van onderwijs en opleiding dat aan die persoon zal worden verstrekt of waartoe die persoon toegang zal kunnen krijgen, of voor het monitoren en opsporen van ongeoorloofd gedrag van studenten tijdens tests, moeten echter als AI-systemen met een hoog risico worden geclassificeerd, aangezien ze bepalend kunnen zijn voor de onderwijs- en beroepsloopbaan van die persoon en derhalve invloed kunnen hebben op zijn vermogen om in zijn levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij bijzonder ingrijpend zijn en in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden, bijvoorbeeld ten nadele van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid.

    (57)

    AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de werving en selectie van personen, voor het nemen van besluiten die van invloed zijn op de voorwaarden van arbeidsgerelateerde betrekkingen, de bevordering en beëindiging van arbeidsgerelateerde contractuele betrekkingen, voor het toewijzen van taken op basis van individueel gedrag of persoonlijke eigenschappen of kenmerken, en voor monitoring of evaluatie van personen in arbeidsgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen, alsook voor de rechten van werknemers. Relevante arbeidsgerelateerde contractuele betrekkingen moeten, op betekenisvolle wijze, werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Dergelijke systemen kunnen er in het wervingsproces en bij de evaluatie, de promotie of het behoud van personen in arbeidsgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld ten aanzien van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook afbreuk doen aan hun grondrechten inzake gegevensbescherming en privacy.

    (58)

    Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. Met name natuurlijke personen die essentiële overheidsuitkeringen en -diensten van overheidsinstanties aanvragen of ontvangen, namelijk gezondheidszorg, socialezekerheidsuitkeringen, sociale diensten die bescherming bieden in gevallen zoals moederschap, ziekte, arbeidsongevallen, afhankelijkheid of ouderdom en verlies van werkgelegenheid en sociale bijstand en bijstand voor huisvesting, zijn doorgaans afhankelijk van deze uitkeringen en diensten en bevinden zich in een kwetsbare positie ten opzichte van de bevoegde autoriteiten. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden verleend, geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, alsook of begunstigden daadwerkelijk recht hebben op dergelijke uitkeringen of diensten, kunnen deze systemen aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte, en moeten zij derhalve als AI-systemen met een hoog risico worden geclassificeerd. Deze verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die baat zou hebben bij een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Voorts moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dergelijke doeleinden worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen, en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet voor het opsporen van fraude bij het aanbieden van financiële diensten en voor prudentiële doeleinden om de kapitaalvereisten van kredietinstellingen en verzekeringsondernemingen te berekenen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Daarnaast kunnen AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen voor gezondheids- en levensverzekeringen ook aanzienlijke gevolgen hebben voor het levensonderhoud van personen en kunnen zij, indien zij niet naar behoren zijn ontworpen, ontwikkeld en gebruikt, inbreuk maken op hun grondrechten en ernstige gevolgen hebben voor het leven en de gezondheid van mensen, waaronder financiële uitsluiting en discriminatie. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten, met inbegrip van politiediensten, brandweer en medische hulp, uit te sturen of hierbij voorrang te bepalen, alsook systemen voor de triage van patiënten bij dringende medische zorg, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen in zeer kritieke situaties voor het leven en de gezondheid van personen en hun eigendom.

    (59)

    Gezien hun rol en verantwoordelijkheid worden maatregelen van rechtshandhavings-instanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen deze leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende eisen wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Met het oog op de aard van de activiteiten en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties te worden gebruikt voor het beoordelen van het risico dat een natuurlijk persoon potentieel slachtoffer van strafbare feiten wordt, zoals leugendetectortests en vergelijkbare instrumenten, voor het beoordelen van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten en, voor zover niet verboden op grond van deze verordening, voor het beoordelen van het risico dat een natuurlijk persoon een inbreuk pleegt of recidive pleegt, niet uitsluitend op basis van de profilering van natuurlijke personen of de beoordeling van persoonlijkheidskenmerken of het criminele gedrag van natuurlijke personen of groepen in het verleden, voor profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten en door financiële-inlichtingeneenheden die administratieve taken uitvoeren en informatie analyseren overeenkomstig de antiwitwaswetgeving van de Unie, mogen niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavingsinstanties en andere relevante autoriteiten mag geen factor van ongelijkheid of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet worden genegeerd, met name het probleem om betekenisvolle informatie over de werking van die systemen te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door natuurlijke personen tegen wie een onderzoek loopt.

    (60)

    AI-systemen die worden gebruikt op het gebied van migratie, asiel en grenstoezichtsbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van privéleven en persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht, als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of instellingen, organen of instanties van de Unie die taken op het gebied van migratie, asiel en grenstoezichtsbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om bevoegde overheidsinstanties bij te staan bij de behandeling, met inbegrip van een gerelateerde beoordeling van de betrouwbaarheid van bewijsmateriaal, van aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten teneinde vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen, met het oog op het opsporen, het herkennen of identificeren van natuurlijke personen in het kader van migratie, asiel en grenstoezichtsbeheer, met uitzondering van de verificatie van reisdocumenten. AI-systemen op het gebied van migratie, asiel en grenstoezichtsbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele eisen die zijn vastgelegd in Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad (32), Richtlijn 2013/32/EU van het Europees Parlement en de Raad (33) en ander toepasselijk Unierecht. Het gebruik van AI-systemen in het kader van migratie, asiel en grenstoezichtsbeheer mag in geen geval door de lidstaten of de instellingen, organen of instanties van de Unie worden gebruikt als middel om hun internationale verplichtingen uit hoofde van het VN-Verdrag betreffende de status van vluchtelingen, ondertekend te Genève op 28 juli 1951 en gewijzigd bij het Protocol van 31 januari 1967, te omzeilen. Evenmin mogen zij worden gebruikt om op enigerlei wijze inbreuk te maken op het beginsel van non-refoulement of om veilige en doeltreffende legale wegen naar het grondgebied van de Unie te ontzeggen, met inbegrip van het recht op internationale bescherming.

    (61)

    Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen met een hoog risico die bedoeld zijn om door of namens een gerechtelijke instantie te worden gebruikt voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. AI-systemen die bedoeld zijn om door organen voor alternatieve geschillenbeslechting voor die doeleinden te worden gebruikt, moeten ook als systemen met een hoog risico worden beschouwd indien de resultaten van de alternatieve geschillenbeslechtingsprocedure rechtsgevolgen hebben voor de partijen. Het gebruik van AI-instrumenten kan de beslissingsbevoegdheid van rechters of de onafhankelijkheid van de rechterlijke macht ondersteunen, maar mag deze niet vervangen: de uiteindelijke besluitvorming moet een door de mens aangestuurde activiteit blijven. De classificatie van AI-systemen als AI-systemen met een hoog risico mag echter geen AI-systemen betreffen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden en administratieve taken.

    (62)

    Onverminderd de regels van Verordening (EU) 2024/900 van het Europees Parlement en de Raad (34), en om de risico’s van ongepaste externe inmenging van buitenaf in het in artikel 39 van het Handvest verankerde stemrecht en van onevenredige gevolgen voor democratische processen, democratie en de rechtsstaat aan te pakken, moeten AI-systemen die bedoeld zijn om de uitslag van een verkiezing of referendum of het stemgedrag van natuurlijke personen wanneer zij hun stem uitbrengen bij verkiezingen of referenda te beïnvloeden, worden geclassificeerd als AI-systemen met een hoog risico, met uitzondering van AI-systemen waarvan de output niet rechtstreeks is gericht op natuurlijke personen, zoals instrumenten voor het organiseren, optimaliseren en structureren van politieke campagnes vanuit administratief en logistiek oogpunt.

    (63)

    Het feit dat een AI-systeem uit hoofde van deze verordening als een AI-systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem rechtmatig is op grond van andere handelingen van het Unierecht of op grond van nationaal recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens, het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke eisen die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en nationaal recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing, tenzij in deze verordening uitdrukkelijk anders is bepaald.

    (64)

    Om de risico’s van AI-systemen met een hoog risico die in de handel zijn gebracht of in gebruik zijn gesteld te beperken en om te zorgen voor een hoog niveau van betrouwbaarheid, moeten op AI-systemen met een hoog risico bepaalde dwingende eisen van toepassing zijn, rekening houdend met het beoogde doel en de context van het gebruik van het AI-systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld. De maatregelen die de aanbieders met het oog op het voldoen aan de dwingende eisen van deze verordening hebben vastgesteld, moeten rekening gehouden met de algemeen erkende stand van de techniek op het gebied van AI, evenredig en doeltreffend zijn teneinde de doelstellingen van deze verordening te verwezenlijken. Op basis van het nieuwe wetgevingskader, zoals uiteengezet in de mededeling van de Commissie “De “Blauwe Gids” voor de uitvoering van de productvoorschriften van de EU 2022”, is de algemene regel dat meer dan een rechtshandeling van de harmonisatiewetgeving van de Unie van toepassing kan zijn op één product, aangezien een product alleen mag worden aangeboden of in gebruik worden gesteld wanneer het voldoet aan alle toepasselijke harmonisatiewetgeving van de Unie. De gevaren van AI-systemen die onder de eisen van deze verordening vallen, hebben betrekking op andere aspecten dan de bestaande harmonisatiewetgeving van de Unie en daarom zouden de eisen van deze verordening een aanvulling vormen op het bestaande corpus van de harmonisatiewetgeving van de Unie. Machines of medische hulpmiddelen die een AI-systeem bevatten, kunnen bijvoorbeeld risico’s inhouden die niet worden gedekt door de essentiële gezondheids- en veiligheidseisen van de toepasselijke geharmoniseerde wetgeving van de Unie, aangezien die sectorale wetgeving geen betrekking heeft op risico’s die specifiek zijn voor AI-systemen. Dit vereist een gezamenlijke en aanvullende toepassing van de verschillende wetgeving. Om consistentie te waarborgen en onnodige administratieve lasten en onnodige kosten te vermijden, moeten aanbieders van een product dat een of meer AI-systemen met een hoog risico bevat waarop de eisen van deze verordening en van de in een bijlage bij deze verordening vermelde harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader van toepassing zijn, flexibel zijn met betrekking tot operationele beslissingen over de wijze waarop ervoor kan worden gezorgd dat een product dat een of meer AI-systemen bevat, op optimale wijze voldoet aan alle toepasselijke eisen van die geharmoniseerde wetgeving van de Unie. Die flexibiliteit kan bijvoorbeeld inhouden dat de aanbieder besluit om een deel van de nodige test- en rapportageprocessen en de krachtens deze verordening te verstrekken informatie en documentatie op te nemen in de reeds bestaande documentatie en procedures die vereist zijn uit hoofde van bestaande harmonisatiewetgeving van de Unie die is gebaseerd is op het nieuwe wetgevingskader en in een bijlage bij deze verordening wordt vermeld. Dit mag op geen enkele wijze afbreuk doen aan de verplichting van de aanbieder om aan alle toepasselijke eisen te voldoen.

    (65)

    Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, de veiligheid en de grondrechten. Het systeem voor risicobeheer moet periodiek worden geëvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van deze verordening zijn genomen. Dit proces moet ervoor zorgen dat de aanbieder de risico’s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten in het licht van het beoogde doel ervan en redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico’s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen in het licht van de stand van de techniek op het gebied van AI. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden erbij betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systemen met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, redelijkerwijs mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag in de context van de specifieke kenmerken en het gebruik van een bepaald AI-systeem. Eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten, moeten worden opgenomen in de gebruiksinstructies die de aanbieder ter beschikking heeft gesteld. Dit moet ervoor zorgen dat de gebruiksverantwoordelijke hiervan op de hoogte is en hiermee rekening houdt bij het gebruik van het AI-systeem met een hoog risico. Het vaststellen en uitvoeren van risicobeperkende maatregelen voor te voorzien misbruik uit hoofde van deze verordening mag van de aanbieder geen voor het AI-systeem met een hoog risico specifieke aanvullende training vergen om te voorzien misbruik aan te pakken. De aanbieders worden echter aangemoedigd dergelijke aanvullende trainingsmaatregelen te overwegen om redelijkerwijs te voorzien misbruik waar nodig en passend te beperken.

    (66)

    Op AI-systemen met een hoog risico moeten eisen van toepassing zijn met betrekking tot risicobeheer, de kwaliteit en relevantie van de gebruikte datasets, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruiksverantwoordelijken, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze eisen zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten te verminderen. Aangezien er geen andere maatregelen die de handel in mindere mate beperken, redelijkerwijs beschikbaar zijn, vormen die eisen geen ongerechtvaardigde beperkingen van de handel.

    (67)

    Kwalitatief hoogwaardige data en de toegang hiertoe is van wezenlijk belang voor het bieden van structuur en het waarborgen van de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datasets voor training, validatie en tests vereisen de uitvoering van passende praktijken voor datagovernance en -beheer. Datasets voor training, validatie en tests, met inbegrip van het labelen ervan, moeten relevant, voldoende representatief, en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel van het systeem zijn. Om de naleving van het Unierecht inzake gegevensbescherming, zoals Verordening (EU) 2016/679, te vergemakkelijken, moeten praktijken voor datagovernance en beheer, in het geval van persoonsgegevens, transparantie met betrekking tot het oorspronkelijke doel van de dataverzameling omvatten. De datasets moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen in verband met wie de AI-systemen met een hoog risico moeten worden gebruikt, met bijzondere aandacht voor het tegengaan van mogelijke vertekeningen in de datasets, die waarschijnlijk gevolgen hebben voor de gezondheid en de veiligheid van personen, nadelige effecten hebben op de grondrechten, of leiden tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties (“feedback loops”). Vertekeningen kunnen bijvoorbeeld inherent zijn aan de onderliggende datasets, met name wanneer historische gegevens worden gebruikt of gegenereerd wanneer de systemen onder reële omstandigheden worden toegepast. De resultaten die door AI-systemen worden aangeboden, kunnen worden beïnvloed door dergelijke inherente vertekeningen, die vaak geleidelijk groter worden en daarmee bestaande discriminatie bestendigen en verergeren, met name voor personen die tot bepaalde kwetsbare groepen behoren, waaronder raciale of etnische groepen. De eis dat de datasets zoveel mogelijk volledig en foutenvrij moeten zijn, mag geen invloed hebben op het gebruik van privacybeschermende technieken in het kader van de ontwikkeling en het testen van AI-systemen. Ten aanzien van datasets moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, gedragsgerelateerde of functionele omgeving waarin het AI-systeem moet worden gebruikt. Aan de eisen inzake databeheer kan worden voldaan door een beroep te doen op derden die gecertificeerde nalevingsdiensten aanbieden, waaronder verificatie van datagovernance, integriteit van datasets, en datatraining, -validatie en -tests, voor zover de naleving van de datavereisten van deze verordening wordt gewaarborgd.

    (68)

    Voor de ontwikkeling en beoordeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals Europese digitale-innovatiehubs, test- en experimenteerfaciliteiten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datasets op de gebieden waarop deze actoren activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van AI-algoritmen aan de hand van deze datasets vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

    (69)

    Het recht op privacy en bescherming van persoonsgegevens moet gedurende de hele levenscyclus van het AI-systeem worden gewaarborgd. In dit verband zijn bij de verwerking van persoonsgegevens de beginselen van minimale gegevensverwerking en van gegevensbescherming door ontwerp en door standaardinstellingen, zoals vastgelegd in het Unierecht inzake gegevensbescherming, van toepassing. De maatregelen die aanbieders nemen om te zorgen voor de naleving van die beginselen, moeten niet alleen anonimisering en versleuteling omvatten, maar ook het gebruik van technologie die de toepassing van algoritmen op gegevens en de training van AI-systemen mogelijk maakt zonder de uitwisseling van de ruwe of gestructureerde gegevens zelf tussen partijen of het kopiëren daarvan, onverminderd de eisen inzake datagovernance waarin deze verordening voorziet.

    (70)

    Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vooringenomenheid (bias) in AI-systemen, moeten aanbieders, bij wijze van uitzondering, voor zover dit strikt noodzakelijk is om de opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen en na toepassing van alle toepasselijke voorwaarden die in deze verordening, alsmede in de Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 zijn vastgelegd, ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang in de zin van artikel 9, lid 2, punt g), van Verordening (EU) 2016/679 en artikel 10, lid 2, punt g), van Verordening (EU) 2018/1725.

    (71)

    Begrijpelijke informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de traceerbaarheid van die systemen mogelijk te maken, om de overeenstemming met de eisen van deze verordening te controleren, en om de monitoring van de werking en de monitoring na het in handel brengen mogelijk te maken. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende eisen te beoordelen en de monitoring na het in handel brengen te vergemakkelijken. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer, en moet op heldere en begrijpelijke wijze zijn gesteld. De technische documentatie moet gedurende de levensduur van het AI-systeem op gepaste wijze actueel worden gehouden. Voorts moeten AI-systemen met een hoog risico dusdanig technisch zijn vormgegeven dat gebeurtenissen gedurende de levensduur van het systeem, automatisch worden geregistreerd door middel van “logs”.

    (72)

    Om problemen in verband met de ondoorzichtigheid en complexiteit van bepaalde AI-systemen aan te pakken en gebruiksverantwoordelijken te helpen hun verplichtingen uit hoofde van deze verordening na te komen, moet transparantie vereist zijn voor AI-systemen met een hoog risico voordat zij in de handel worden gebracht of in gebruik worden gesteld. AI-systemen met een hoog risico moeten zodanig zijn ontworpen dat gebruiksverantwoordelijken kunnen begrijpen hoe het AI-systeem werkt, de werking ervan kunnen evalueren en de sterke punten en beperkingen ervan kunnen begrijpen. AI-systemen met een hoog risico moeten vergezeld gaan van relevante documentatie in de vorm van gebruiksaanwijzingen. Deze informatie moet de kenmerken, mogelijkheden en beperkingen van de prestaties van het AI-systeem bevatten. Die elementen zouden informatie omvatten over mogelijke bekende en te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico, waaronder handelingen van de gebruiksverantwoordelijke die van invloed kunnen zijn op het gedrag en de prestaties van het systeem, op grond waarvan het AI-systeem risico’s kan veroorzaken voor de gezondheid, veiligheid en grondrechten, over de wijzigingen die vooraf zijn bepaald en beoordeeld met het oog op conformiteit door de aanbieder, en over de relevante maatregelen voor menselijk toezicht, waaronder de maatregelen om de interpretatie van de output van het AI-systeem door de gebruiksverantwoordelijken te vergemakkelijken. Transparantie, met inbegrip van de bijbehorende gebruiksaanwijzingen, moet gebruiksverantwoordelijken helpen bij het gebruik van het systeem, en hen helpen onderbouwde beslissingen te nemen. De gebruiksverantwoordelijken moeten onder meer beter in staat zijn om het juiste systeem te kiezen dat zij voornemens zijn te gebruiken in het licht van de verplichtingen die op hen van toepassing zijn, om te worden geïnformeerd over het beoogde en uitgesloten gebruik, en om het AI-systeem correct en op passende wijze te gebruiken. Om de leesbaarheid en toegankelijkheid van de informatie in de gebruiksaanwijzingen te verbeteren, moeten, waar passend, illustratieve voorbeelden worden opgenomen, bijvoorbeeld over de beperkingen en het beoogde en uitgesloten gebruik van het AI-systeem. De aanbieders moeten ervoor zorgen dat alle documentatie, met inbegrip van de gebruiksaanwijzingen, zinvolle, volledige, toegankelijke en begrijpelijke informatie bevat, die rekening houdt met de behoeften en de te verwachten kennis van de beoogde gebruiksverantwoordelijken. De gebruiksaanwijzingen moeten beschikbaar worden gesteld in een taal die de beoogde gebruiksverantwoordelijken gemakkelijk kunnen begrijpen, welke de betrokken lidstaat bepaalt.

    (73)

    AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan en dat zij zoals beoogd worden gebruikt, en dat de gevolgen ervan gedurende de levenscyclus van het systeem worden aangepakt. Daartoe moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat het in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke operator en dat de natuurlijke personen aan wie de taak van het menselijk toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren. Het is in voorkomend geval ook van essentieel belang dat AI-systemen met een hoog risico mechanismen bevatten om een natuurlijke persoon aan wie de taak van het menselijk toezicht is toegewezen, te begeleiden en te informeren zodat deze persoon geïnformeerd kan beslissen of, wanneer en hoe moet worden ingegrepen om negatieve gevolgen of risico’s te voorkomen, of om het systeem stop te zetten als het niet naar behoren functioneert. Gezien de aanzienlijke gevolgen voor personen in geval van een onjuiste match door bepaalde systemen voor biometrische identificatie, is het passend te voorzien in een voorschrift voor verscherpt menselijk toezicht voor die systemen, zodat er door de gebruiksverantwoordelijke geen maatregelen of beslissingen kunnen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen afzonderlijk is geverifieerd en bevestigd. Deze personen kunnen afkomstig zijn van een of meer entiteiten en deze functie kan worden vervuld door de persoon die het systeem exploiteert of gebruikt. Deze eis mag geen onnodige lasten of vertragingen met zich meebrengen en het kan volstaan dat de afzonderlijke verificaties door de verschillende personen automatisch worden geregistreerd in de logbestanden die door het systeem worden gegenereerd. Gezien de specifieke kenmerken van rechtshandhaving, migratie, grenstoezicht en asiel, mag deze eis niet van toepassing zijn wanneer het Unierecht of het nationale recht de toepassing van dat vereiste onevenredig acht.

    (74)

    AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in het licht van het beoogde doel ervan en overeenstemming met de algemeen erkende stand van de techniek. De Commissie en relevante organisaties en belanghebbenden worden aangemoedigd om terdege rekening te houden met de beperking van risico’s en de negatieve gevolgen van het AI-systeem. Het verwachte prestatieniveau moet in de bijbehorende gebruiksaanwijzingen worden vermeld. Aanbieders wordt verzocht die informatie aan de gebruiksverantwoordelijken mee te delen op een manier die duidelijk en gemakkelijk te begrijpen is en die geen misleidende opmerkingen bevat of ruimte biedt voor misverstanden. Het Unierecht inzake wettelijke metrologie, waaronder de Richtlijnen 2014/31/EU (35) en 2014/32/EU (36) van het Europees Parlement en de Raad, heeft tot doel de nauwkeurigheid van metingen te waarborgen en de transparantie en eerlijkheid van handelstransacties te bevorderen. In dat verband moet de Commissie, in samenwerking met relevante belanghebbenden en organisaties, zoals metrologie- en benchmarkingautoriteiten, waar passend, de ontwikkeling van benchmarks en meetmethoden voor AI-systemen aanmoedigen. Daarbij moet de Commissie nota nemen en samenwerken met internationale partners die werken rond metrologie en relevante meetindicatoren met betrekking tot AI.

    (75)

    Technische robuustheid is een essentiële eis voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen schadelijk of anderszins ongewenst gedrag dat kan voortvloeien uit de beperkingen binnen de systemen of de omgeving waarin de systemen opereren (bv. fouten, onregelmatigheden, onverwachte situaties). Daarom moeten technische en organisatorische maatregelen worden getroffen om de robuustheid van AI-systemen met een hoog risico te waarborgen, bijvoorbeeld door passende technische oplossingen te ontwerpen en te ontwikkelen om schadelijk of anderszins ongewenst gedrag te voorkomen of tot een minimum te beperken. Deze technische oplossing kan bijvoorbeeld bestaan uit mechanismen die het systeem in staat stellen zijn werking veilig te onderbreken (storingsbeveiligingsplannen) wanneer zich bepaalde anomalieën voordoen of wanneer de werking buiten bepaalde vooraf bepaalde grenzen plaatsvindt. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.

    (76)

    Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van kwaadwillige derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals trainingsdatasets (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of membership inference), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen zoals veiligheidscontroles nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.

    (77)

    Onverminderd de bij deze verordening vastgestelde eisen met betrekking tot robuustheid en nauwkeurigheid kunnen AI-systemen met een hoog risico die onder het toepassingsgebied van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen vallen, overeenkomstig die verordening de naleving van de cyberbeveiligingseisen van onderhavige verordening aantonen door te voldoen aan de essentiële cyberbeveiligingseisen van die verordening. Wanneer AI-systemen met een hoog risico voldoen aan de essentiële eisen van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen, moeten zij worden geacht in overeenstemming te zijn met de cyberbeveiligingseisen van deze verordening, voor zover de naleving van die eisen wordt aangetoond in de EU-conformiteitsverklaring of delen daarvan die is afgegeven op grond van die verordening. Daartoe moet bij de beoordeling van de cyberbeveiligingsrisico’s die verbonden zijn aan een product met digitale elementen dat overeenkomstig deze verordening als AI-systeem met een hoog risico is geclassificeerd, welke wordt uitgevoerd uit hoofde van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen, rekening worden gehouden met risico’s voor de cyberweerbaarheid van een AI-systeem tegen pogingen van ongeautoriseerde derden om het gebruik, het gedrag of de prestaties ervan te wijzigen, en met AI-specifieke kwetsbaarheden zoals datavervuiling of vijandige aanvallen, alsook, voor zover relevant, risico’s voor de grondrechten zoals op grond van deze verordening is vereist.

    (78)

    De conformiteitsbeoordelingsprocedure waarin deze verordening voorziet, moet van toepassing zijn op de essentiële cyberbeveiligingseisen van een product met digitale elementen dat onder een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen valt en op grond van deze verordening als AI-systeem met een hoog risico is geclassificeerd. Deze regel mag echter niet leiden tot een verlaging van het vereiste betrouwbaarheidsniveau voor kritieke producten met digitale elementen die onder een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen vallen. In afwijking van deze regel zijn AI-systemen met een hoog risico die onder het toepassingsgebied van deze verordening vallen en eveneens op grond van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen als belangrijke en kritieke producten met digitale elementen zijn geclassificeerd en waarop de in een bijlage bij deze verordening vastgelegde conformiteitsbeoordelingsprocedure op basis van interne controle van toepassing is, derhalve onderworpen aan de conformiteitsbeoordelingsbepalingen van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen voor zover het de essentiële cyberbeveiligingseisen van die verordening betreft. In dat geval moeten de in een bijlage bij deze verordening vastgelegde respectieve bepalingen inzake conformiteitsbeoordeling op basis van interne controle van toepassing zijn op alle andere aspecten die onder die verordening vallen. Voortbouwend op de kennis en deskundigheid van Enisa inzake het cyberbeveiligingsbeleid en de taken die krachtens Verordening (EU) 2019/881 van het Europees Parlement en de Raad (37) aan Enisa zijn toegewezen, moet de Commissie op het gebied van kwesties in verband met de cyberbeveiliging van AI-systemen samenwerken met Enisa.

    (79)

    Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.

    (80)

    Als ondertekenaars van het Verdrag van de Verenigde Naties inzake de rechten van personen met een handicap zijn de Unie en de lidstaten wettelijk verplicht personen met een handicap te beschermen tegen discriminatie en hun gelijkheid te bevorderen, ervoor te zorgen dat personen met een handicap op voet van gelijkheid met anderen toegang hebben tot informatie- en communicatietechnologieën en -systemen, en de eerbiediging van de privacy van personen met een handicap te waarborgen. Gezien het toenemende belang en gebruik van AI-systemen moet de toepassing van universele ontwerpbeginselen op alle nieuwe technologieën en diensten zorgen voor volledige en gelijke toegang voor iedereen die mogelijk gevolgen ondervindt van of gebruikmaakt van AI-technologieën, met inbegrip van personen met een handicap, op een manier waarbij ten volle rekening wordt gehouden met hun inherente waardigheid en diversiteit. Het is daarom van essentieel belang dat aanbieders ervoor zorgen dat zij voldoen aan de toegankelijkheidseisen, alsook aan de Richtlijnen (EU) 2016/2102 van het Europees Parlement en de Raad (38) en (EU) 2019/882. Aanbieders moeten ervoor zorgen dat door ontwerp aan deze eisen wordt voldaan. De nodige maatregelen moeten daarom zo goed mogelijk in het ontwerp van AI-systemen met een hoog risico worden geïntegreerd.

    (81)

    De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Aanbieders van AI-systemen met een hoog risico die onderworpen zijn aan verplichtingen met betrekking tot kwaliteitsbeheersystemen uit hoofde van het desbetreffende sectorale Unierecht, moeten de mogelijkheid hebben om de elementen van het kwaliteitsbeheersysteem waarin deze verordening voorziet, op te nemen als onderdeel van het bestaande kwaliteitsbeheersysteem waarin dat andere sectorale Unierecht voorziet. Bij toekomstige normalisatieactiviteiten of in richtsnoeren van de Commissie moet ook rekening worden gehouden met de complementariteit tussen deze verordening en het bestaande sectorale Unierecht. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

    (82)

    Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor operatoren en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gesteld, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar stellen in de Unie, moeten aanbieders die in derde landen zijn gevestigd derhalve per schriftelijke machtiging een gemachtigde aanwijzen die is gevestigd in de Unie. Deze gemachtigde vervult een spilfunctie bij de waarborging van de conformiteit van de door niet in de Unie gevestigde aanbieders in de handel gebrachte of in gebruik gestelde AI-systemen met een hoog risico en in zijn hoedanigheid van hun in de Unie gevestigde contactpersoon.

    (83)

    Gezien de aard en complexiteit van de waardeketen voor AI-systemen en in lijn met het nieuwe wetgevingskader is het van essentieel belang rechtszekerheid te waarborgen en de naleving van deze verordening te vergemakkelijken. Daarom is het van belang de rol en de specifieke verplichtingen van betrokken operatoren in die hele waardeketen, zoals importeurs en distributeurs die kunnen bijdragen tot de ontwikkeling van AI-systemen, te verduidelijken. In bepaalde situaties kunnen deze operatoren in meer dan één rol tegelijkertijd optreden en moeten zij derhalve alle relevante verplichtingen die aan die rollen zijn verbonden, samen vervullen. Een operator kan bijvoorbeeld tegelijkertijd als distributeur en als importeur optreden.

    (84)

    Om rechtszekerheid te waarborgen, moet worden verduidelijkt dat, onder bepaalde specifieke voorwaarden, om het even welke distributeur, importeur, gebruiksverantwoordelijke of andere derde moet worden beschouwd als aanbieder van een AI-systeem met een hoog risico en deze derhalve alle relevante verplichtingen moet nakomen. Dit zou het geval zijn als die partij haar naam of merk op een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico zet, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Dit zou ook het geval zijn als die partij een substantiële wijziging aanbrengt aan een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico en dit op zodanige wijze doet dat het een AI-systeem met een hoog risico overeenkomstig deze verordening blijft, of als zij het beoogde doel van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een AI-systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze wijzigt dat het AI-systeem een AI-systeem met een hoog risico overeenkomstig deze verordening wordt. Die bepalingen moeten van toepassing zijn onverminderd specifiekere bepalingen in bepaalde harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader waarmee deze verordening gezamenlijk moet worden toegepast. Zo moet artikel 16, lid 2, van Verordening (EU) 2017/745, waarin is bepaald dat bepaalde wijzigingen niet mogen worden beschouwd als een wijziging van een hulpmiddel die gevolgen kan hebben voor de naleving van de toepasselijke eisen, van toepassing blijven op AI-systemen met een hoog risico die medische hulpmiddelen zijn in de zin van die verordening.

    (85)

    AI-systemen voor algemene doeleinden kunnen worden gebruikt als standalone AI-systeem met een hoog risico of als component van AI-systemen met een hoog risico. Daarom moeten de aanbieders van deze systemen vanwege de specifieke aard ervan en om een eerlijke verdeling van verantwoordelijkheden in de AI-waardeketen te waarborgen, ongeacht of zij als AI-systemen met een hoog risico als zodanig door andere aanbieders of als componenten van AI-systemen met een hoog risico kunnen worden gebruikt en tenzij in deze verordening anders is bepaald, nauw samenwerken met de aanbieders van de betrokken AI-systemen met een hoog risico, om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken, en met de bevoegde autoriteiten zoals vastgelegd in deze verordening.

    (86)

    Wanneer, onder de in deze verordening vastgelegde voorwaarden, de aanbieder die het AI-systeem oorspronkelijk in de handel heeft gebracht of in gebruik heeft gesteld, voor de toepassing van deze verordening niet langer als de aanbieder mag worden beschouwd, en indien die aanbieder de wijziging van het AI-systeem in een AI-systeem met een hoog risico niet uitdrukkelijk heeft uitgesloten, moet de eerstgenoemde aanbieder niettemin nauw samenwerken en de nodige informatie beschikbaar stellen, en de redelijkerwijs te verwachten technische toegang en andere bijstand verstrekken die nodig is voor de naleving van de bij deze verordening vastgestelde verplichtingen, met name wat betreft de naleving van de conformiteitsbeoordeling van AI-systemen met een hoog risico.

    (87)

    Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder het toepassingsgebied van de harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader, niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de productfabrikant, zoals gedefinieerd in die wetgeving, voorts de verplichtingen van de aanbieder naleven, zoals vastgelegd in deze verordening, en moet hij er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de eisen van deze verordening.

    (88)

    In de hele de AI-waardeketen worden vaak door meerdere partijen AI-systemen, instrumenten en diensten geleverd, alsook onderdelen of processen, die door de aanbieder in het AI-systeem worden geïntegreerd, een en ander met verscheidene doelstellingen, waaronder het (opnieuw) trainen, testen en evalueren van modellen, de integratie in software, of andere aspecten van modelontwikkeling. Die partijen hebben een belangrijke rol te spelen in de waardeketen ten aanzien van de aanbieder van het AI-systeem met een hoog risico waarin hun AI-systemen, instrumenten, diensten, componenten of processen zijn geïntegreerd, en moeten deze aanbieder bij schriftelijke overeenkomst de nodige informatie, capaciteiten, technische toegang en andere bijstand verstrekken op basis van de algemeen erkende stand van de techniek, teneinde de aanbieder in staat te stellen volledig te voldoen aan de verplichtingen van deze verordening, zonder afbreuk te doen aan hun eigen intellectuele-eigendomsrechten of bedrijfsgeheimen.

    (89)

    Derden die andere instrumenten, diensten, processen of AI-componenten dan AI-modellen voor algemene doeleinden toegankelijk maken voor het publiek, mogen niet worden verplicht te voldoen aan eisen die gericht zijn op de verantwoordelijkheden in de AI-waardeketen, met name ten aanzien van de aanbieder die deze heeft gebruikt of geïntegreerd, wanneer die instrumenten, diensten, processen of AI-componenten onder een vrije en opensource licentie toegankelijk worden gemaakt. Ontwikkelaars van vrije en opensource-AI-componenten, diensten, processen of andere AI-componenten dan AI-modellen voor algemene doeleinden moeten echter worden aangemoedigd om algemeen aanvaarde documentatiepraktijken, zoals model- en gegevenskaarten, toe te passen als een manier om de uitwisseling van informatie in de hele AI-waardeketen te versnellen, in het kader van de bevordering van betrouwbare AI-systemen in de Unie.

    (90)

    De Commissie kan vrijwillige modelcontractvoorwaarden ontwikkelen en aanbevelen tussen aanbieders van AI-systemen met een hoog risico en derden die instrumenten, diensten, componenten of processen leveren die worden gebruikt of geïntegreerd in AI-systemen met een hoog risico, teneinde de samenwerking in de hele waardeketen te vergemakkelijken. Bij de ontwikkeling van vrijwillige modelcontractvoorwaarden moet de Commissie tevens rekening houden met de contractuele eisen die kunnen gelden in specifieke sectoren of businesscases.

    (91)

    Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten waarmee het gebruik ervan mogelijk gepaard gaat, onder meer wat betreft de noodzaak van een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk, is het passend om specifieke verantwoordelijkheden voor gebruiksverantwoordelijken vast te stellen. Met name moeten gebruiksverantwoordelijken passende technische en organisatorische maatregelen treffen om ervoor te zorgen dat hun gebruik van AI-systemen met een hoog risico in overeenstemming is met de gebruiksaanwijzingen en voorts moeten er, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie. Ook moeten gebruiksverantwoordelijken ervoor zorgen dat de personen die zijn aangewezen voor de uitvoering van de bij deze verordening vastgestelde gebruiksinstructies en menselijk toezicht, over de nodige bekwaamheid beschikken, met name over afdoende AI-geletterdheid, opleiding en autoriteit om die taken naar behoren uit te voeren. Die verplichtingen mogen geen afbreuk doen aan andere verplichtingen van gebruiksverantwoordelijken met betrekking tot AI-systemen met een hoog risico uit hoofde van het Unierecht of het nationale recht.

    (92)

    Deze verordening doet geen afbreuk aan de verplichtingen van werkgevers op grond van het Unierecht of de nationale wetgeving en praktijk, met inbegrip van Richtlijn 2002/14/EG van het Europees Parlement en de Raad (39), om werknemers of hun vertegenwoordigers te informeren, of te informeren en te raadplegen, over besluiten om AI-systemen in gebruik te stellen of aan te wenden. Ook indien de voorwaarden voor deze informerings- of deze informerings- en raadplegingsverplichtingen uit hoofde van andere rechtsinstrumenten niet vervuld zijn, blijft het noodzakelijk om werknemers en hun vertegenwoordigers over het geplande inzetten van AI-systemen met een hoog risico op de werkplek te informeren. Bovendien is het recht te worden geïnformeerd aanvullend en noodzakelijk voor de aan deze verordening ten grondslag liggende doelstelling van bescherming van de grondrechten. Om die reden moet deze verordening een informeringsvereiste bevatten, die evenwel geen afbreuk mag doen aan de bestaande rechten van werknemers.

    (93)

    Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop deze systemen zijn vormgegeven, kunnen de risico’s ook het gevolg zijn van de manier waarop ze worden gebruikt. Gebruiksverantwoordelijken van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van aanbieders bij de ontwikkeling van het AI-systeem. Gebruiksverantwoordelijken zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële aanzienlijke risico’s identificeren die niet in de ontwikkelingsfase voorzien werden, want zij hebben preciezere kennis van de gebruikscontext, de personen of groepen personen die waarschijnlijk zullen worden geraakt, met inbegrip van kwetsbare groepen. De in een bijlage bij deze verordening opgenomen gebruiksverantwoordelijken van AI-systemen met een hoog risico zijn ook cruciaal voor de informering van natuurlijke personen en moeten, wanneer zij besluiten met betrekking tot natuurlijke personen nemen of helpen dergelijke besluiten te nemen, de natuurlijke personen in voorkomend geval te informeren dat zij aan het gebruik van het AI-systeem met een hoog risico zijn onderworpen. Deze informatie dient tevens het beoogde doel en het soort besluitvorming te omvatten waarvoor het systeem wordt gebruikt. De gebruiksverantwoordelijke dient de natuurlijke personen ook te informeren over hun recht op uitleg krachtens deze verordening. Als het om AI-systemen met een hoog risico gaat die voor rechtshandhavingsdoeleinden worden gebruikt, moet die verplichting worden uitgevoerd overeenkomstig artikel 13 van Richtlijn (EU) 2016/680.

    (94)

    Elke vorm van verwerking van biometrische gegevens voor rechtshandhavingsdoeleinden door AI-systemen voor biometrische identificatie, moet in overeenstemming zijn met artikel 10 van Richtlijn (EU) 2016/680, op grond waarvan verwerking uitsluitend is toegestaan indien die strikt noodzakelijk is, in welk geval er passende waarborgen voor de rechten en vrijheden van de betrokkene moeten worden geboden, alsmede indien het Unierecht of het lidstatelijk recht in een dergelijke verwerking voorziet. Een dergelijk gebruik moet, indien toegestaan, tevens voldoen aan de beginselen van artikel 4, lid 1, van Richtlijn (EU) 2016/680, waaronder rechtmatigheid, billijkheid en transparantie, doelbinding, nauwkeurigheid en opslagbeperking.

    (95)

    Het gebruik van systemen voor biometrische identificatie op afstand achteraf moet onverminderd het toepasselijke Unierecht en dan met name Verordening (EU) 2016/679 en Richtlijn (EU) 2016/680, gezien de indringende aard van deze systemen, worden onderworpen aan waarborgen. Systemen voor biometrische identificatie op afstand achteraf moeten te allen tijde worden gebruikt op een evenredige, legitieme en strikt noodzakelijke wijze, hetgeen betekent dat ze specifiek gericht moeten worden op de te identificeren personen en de locatie, binnen een beperkte tijdspanne, met gebruikmaking van een gesloten reeks wettelijk verkregen videobeelden. Systemen voor biometrische identificatie op afstand achteraf in het kader van rechtshandhaving mogen in geen geval gebruikt worden op een wijze die tot algemene surveillance leidt. De voorwaarden voor biometrische identificatie op afstand achteraf mogen onder geen enkel beding ruimte bieden voor omzeiling van de voorwaarden van het verbod, noch van de strikte uitzonderingen voor realtime biometrische identificatie op afstand.

    (96)

    Om efficiënt te waarborgen dat de grondrechten worden beschermd, moeten gebruiksverantwoordelijken van AI-systemen met een hoog risico die een publiekrechtelijk orgaan, of openbare diensten verlenende particuliere entiteiten en gebruiksverantwoordelijken van bepaalde in een bijlage bij deze verordening vermelde AI-systemen met een hoog risico, zoals bank- of verzekeringsentiteiten, een effectbeoordeling op het gebied van de grondrechten uitvoeren alvorens deze systemen in gebruik te stellen. Voor personen belangrijke diensten die van openbare aard zijn, kunnen tevens door particuliere entiteiten worden verleend. Particuliere entiteiten die dergelijke openbare diensten aanbieden, houden verband met taken van algemeen belang op het gebied van onder meer onderwijs, gezondheidszorg, sociale diensten, huisvesting en rechtsbedeling. Doel van de effectbeoordeling op het gebied van de grondrechten is dat de gebruiksverantwoordelijke de specifieke risico’s voor de rechten van personen of groepen personen die waarschijnlijk zullen worden getroffen, in kaart brengt, en dat hij bepaalt welke maatregelen er nodig zijn in het geval die risico’s zich voordoen. De effectbeoordeling moet worden verricht voordat het AI-systeem met een hoog risico wordt ingezet en moet worden geactualiseerd in het geval de gebruiksverantwoordelijke van mening is dat een van de relevante factoren is veranderd. De effectbeoordeling moet in kaart brengen in welke relevante processen van de gebruiksverantwoordelijke het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan zal worden gebruikt, en moet voorts een beschrijving bevatten van de periode waarin en de frequentie waarmee het systeem zal worden gebruikt, alsmede van de specifieke categorieën natuurlijke personen en groepen die in de specifieke gebruikscontext waarschijnlijk gevolgen zullen ondervinden. In de beoordeling moet tevens worden geïnventariseerd welke specifieke risico’s op schade gevolgen kunnen hebben voor de grondrechten van die personen of groepen. De gebruiksverantwoordelijke moet bij de beoordeling informatie gebruiken die relevant is voor een behoorlijke effectbeoordeling, waaronder door de aanbieder van het AI-systeem met een hoog risico in de gebruiksaanwijzing verstrekte informatie. Gebruiksverantwoordelijken moeten aan de hand van de vastgestelde risico’s bepalen welke maatregelen er getroffen moeten worden in het geval die risico’s zich voordoen, zoals governanceregelingen in die specifieke gebruikscontext in de vorm van onder meer regelingen voor menselijk toezicht overeenkomstig de gebruiksaanwijzing of in de vorm van klachten- en beroepsprocedures, omdat deze een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in concrete gebruiksgevallen. Na uitvoering van die effectbeoordeling moet de gebruiksverantwoordelijke de relevante markttoezichtautoriteit daarvan in kennis stellen. Gebruiksverantwoordelijken van AI-systemen met een hoog risico kunnen bij de uitvoering van de effectbeoordeling en het ontwerpen van maatregelen voor het geval de risico’s werkelijkheid worden, met name bij gebruik van AI-systemen in de publieke sector, zich voor de inwinning van relevante informatie voor de effectbeoordeling in voorkomend geval tot relevante belanghebbenden wenden, zoals de vertegenwoordigers van groepen personen die waarschijnlijk gevolgen van het AI-systeem zullen ondervinden, alsmede tot onafhankelijke deskundigen en maatschappelijke organisaties. Het Europees Bureau voor artificiële intelligentie (“AI-bureau”) moet een model-vragenlijst ontwikkelen om naleving te vergemakkelijken en de administratieve lasten voor gebruiksverantwoordelijken te verminderen.

    (97)

    Het begrip “AI-model voor algemene doeleinden” moet met het oog op de rechtszekerheid duidelijk worden gedefinieerd en worden gescheiden van het begrip “AI-systeem”. De definitie moet gebaseerd zijn op de belangrijkste eigenschappen en kenmerken van AI-modellen voor algemene doeleinden, met name het algemene karakter en het vermogen om op competente wijze een breed scala aan onderscheiden taken uit te voeren. Dit soort modellen wordt getraind met grote hoeveelheden gegevens, via uiteenlopende methoden als self-supervised, unsupervised of reinforcement learning. AI-modellen voor algemene doeleinden kunnen op verschillende manieren in de handel worden gebracht, onder meer via bibliotheken en applicatie-programma-interfaces (API’s), of als rechtstreekse download of fysieke kopie. Deze modellen kunnen nader worden gewijzigd of verfijnd tot nieuwe modellen. AI-modellen zijn weliswaar een essentieel onderdeel van AI-systemen, maar vormen geen AI-systemen op zich. Om een AI-systeem te worden, moeten er aan AI-modellen nog andere componenten worden toegevoegd, bijvoorbeeld een gebruikersinterface. AI-modellen worden doorgaans geïntegreerd in en vormen een onderdeel van AI-systemen. Deze verordening voorziet in specifieke regels voor AI-modellen voor algemene doeleinden en voor AI-modellen voor algemene doeleinden die systeemrisico’s inhouden, hetgeen ook van toepassing dient te zijn als deze modellen geïntegreerd zijn in of deel uitmaken van een AI-systeem. De verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden behoren van toepassing te zijn zodra een AI-model voor algemene doeleinden in de handel wordt gebracht. In het geval een aanbieder van een AI-model voor algemene doeleinden in een eigen AI-systeem dat op de markt wordt aangeboden of in gebruik wordt gesteld, een eigen model integreert, moet dat model worden geacht in de handel te zijn gebracht en dienen de verplichtingen krachtens deze verordening voor modellen derhalve van toepassing blijven naast die voor AI-systemen. De verplichtingen voor modellen behoren evenwel niet van toepassing te zijn indien een eigen model gebruikt wordt voor zuiver interne processen die niet essentieel zijn voor de levering van een product of een dienst aan derden en indien er geen rechten van natuurlijke personen in het geding zijn. AI-modellen voor algemene doeleinden met een systeemrisico moeten gezien hun in potentie aanzienlijk negatieve effecten altijd onderworpen zijn aan de relevante verplichtingen uit hoofde van deze verordening. De definitie mag geen betrekking hebben op AI-modellen die louter voor onderzoeks-, ontwikkelings- en prototypingdoeleinden worden gebruikt alvorens zij in de handel worden gebracht. Dit laat onverlet dat eenmaal een model na gebruik voor voornoemde doeleinden in de handel wordt gebracht, aan deze verordening moet worden voldaan.

    (98)

    Hoewel het algemene karakter van een model, onder meer, ook aan de hand van het aantal parameters kan worden bepaald, moeten modellen met ten minste een miljard parameters die via grootschalig self-supervised leren getraind zijn met grote hoeveelheden gegevens, geacht worden een aanzienlijke algemeenheid te vertonen en op competente wijze een breed scala aan onderscheidende taken te kunnen uitvoeren.

    (99)

    Grote generatieve AI-modellen zijn een typisch voorbeeld van AI-modellen voor algemene doeleinden, aangezien ze op flexibele wijze content kunnen genereren in de vorm van bijvoorbeeld tekst, audio, beelden of video, waarmee eenvoudig een breed scala aan onderscheiden taken kan worden uitgevoerd.

    (100)

    Indien een AI-model voor algemene doeleinden is geïntegreerd in of deel uitmaakt van een AI-systeem, moet dit systeem als AI-systeem voor algemene doeleinden worden aangemerkt indien het dankzij deze integratie aangewend kan worden voor uiteenlopende doeleinden. Een AI-systeem voor algemene doeleinden kan rechtstreeks worden gebruikt of kan worden geïntegreerd in meerdere andere AI-systemen.

    (101)

    Aanbieders van AI-modellen voor algemene doeleinden hebben een bijzondere rol en verantwoordelijkheid binnen de AI-waardeketen, aangezien de modellen die zij leveren de basis kunnen vormen voor een reeks systemen verder in de AI-waardeketen, veelal aangeboden door aanbieders verder in de AI-waardeketen, hetgeen om een goed inzicht in de modellen en hun capaciteiten vraagt, zowel qua integratie van de modellen in hun producten als qua naleving van hun verplichtingen uit hoofde van deze of andere verordeningen. Er zijn derhalve evenredige transparantiemaatregelen nodig, zoals opstelling en bijwerking van documentatie en verstrekking van informatie over het AI-model voor algemeen gebruik door de aanbieders verder in de AI-waardeketen. De aanbieder van het AI-model voor algemene doeleinden dient technische documentatie op te stellen en bij te werken om deze op verzoek te kunnen overleggen aan het AI-bureau en de nationale bevoegde autoriteiten. De minimaal in de documentatie op te nemen elementen moeten worden vastgelegd in specifieke bijlagen bij deze verordening. De Commissie moet de bevoegdheid krijgen om die bijlagen in het licht van de technologische ontwikkelingen bij gedelegeerde handelingen te wijzigen.

    (102)

    Software en gegevens, met inbegrip van modellen, vrijgegeven in het kader van een vrije en opensource licentie op basis waarvan ze vrijelijk kunnen worden gedeeld en gebruikers ze in al dan niet gewijzigde vorm vrijelijk kunnen raadplegen, gebruiken, wijzigen en herdistribueren, kunnen bijdragen tot onderzoek en innovatie op de markt en aanzienlijke groeikansen bieden voor de economie van de Unie. In het kader van vrije en opensource licenties vrijgegeven AI-modellen voor algemene doeleinden moeten worden aangemerkt als hoge transparantie en openheid waarborgend, indien de parameters ervan, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt. Een licentie moet eveneens als vrij en open source worden aangemerkt ingeval gebruikers op basis ervan software en gegevens kunnen exploiteren, kopiëren, verspreiden, bestuderen, wijzigen en verbeteren, met inbegrip van modellen, mits de oorspronkelijke aanbieder van het model vermeld wordt en er identieke of vergelijkbare distributievoorwaarden in acht worden genomen.

    (103)

    “Vrije en opensource-AI-componenten” staat voor de software en de gegevens, met inbegrip van de modellen en AI-modellen, -instrumenten, -diensten of -processen voor algemene doeleinden van een AI-systeem. Vrije en opensource-AI-componenten kunnen via verschillende kanalen worden aangeboden, inclusief via ontwikkeling op open dataopslagplaatsen. AI-componenten die worden verstrekt tegen betaling of anderszins te gelde worden gemaakt via onder meer verlening van technische ondersteuning of andere diensten met betrekking tot de AI-component, waaronder op een softwareplatform, of via het gebruik van persoonsgegevens om andere redenen dan uitsluitend ter verbetering van de beveiliging, compatibiliteit of interoperabiliteit van de software, met uitzondering van transacties tussen micro-ondernemingen, mogen voor de toepassing van deze verordening niet in aanmerking komen voor de uitzonderingen op vrije en opensource-AI-componenten. Het loutere beschikbaar stellen van AI-componenten via open registers mag niet als tegeldemaking worden aangemerkt.

    (104)

    De aanbieders van AI-modellen voor algemene doeleinden die worden vrijgegeven in het kader van een vrije en opensource-licentie en waarvan de parameters, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt, moeten worden onderworpen aan uitzonderingen met betrekking tot de transparantievereisten voor AI-modellen voor algemene doeleinden, tenzij zij geacht kunnen worden een systeemrisico te vertegenwoordigen. In dat geval mag de omstandigheid dat het model transparant is en vergezeld gaat van een opensource-licentie niet als voldoende reden worden aangemerkt om de verplichtingen uit hoofde van deze verordening niet na te leven. Aangezien het geen vanzelfsprekendheid is dat er bij de beschikbaarstelling van AI-modellen voor algemene doeleinden middels vrije en opensource-licenties substantiële informatie beschikbaar komt over de voor de training of verfijning van het model gebruikte datasets of over de wijze waarop daarbij gezorgd is voor naleving van het auteursrecht, mag de uitzondering voor AI-modellen voor algemene doeleinden wat betreft de naleving van de transparantievereisten in elk geval geen betrekking hebben op de verplichting om een samenvatting op te stellen van de content die voor de training van het model is gebruikt en ook niet op de verplichting tot invoering van een beleid ter naleving van het Unierecht inzake auteursrechten en dan met name ter vaststelling en naleving van het voorbehoud van rechten op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 van het Europees Parlement en de Raad (40).

    (105)

    AI-modellen voor algemeen gebruik, met name grote generatieve AI-modellen, die tekst, beelden en andere content kunnen genereren, bieden unieke innovatiemogelijkheden, maar leiden ook tot uitdagingen voor kunstenaars, auteurs en andere makers en de manier waarop hun creatieve content wordt gecreëerd, verspreid, gebruikt en geconsumeerd. Voor de ontwikkeling en opleiding van dergelijke modellen is toegang nodig tot enorme hoeveelheden tekst, afbeeldingen, video’s en andere data. In dit verband kan voor het vergaren en analyseren van die mogelijkerwijs door het auteursrecht en naburige rechten beschermde content, op grote schaal tekst- en dataminingtechnieken worden gebruikt. Voor elk gebruik van auteursrechtelijk beschermde content is toestemming van de betrokken rechthebbende vereist, tenzij er relevante uitzonderingen en beperkingen op het auteursrecht gelden. Bij Richtlijn (EU) 2019/790 zijn uitzonderingen en beperkingen ingevoerd die onder bepaalde voorwaarden toestaan dat werken of andere materialen voor doeleinden van tekst- en datamining worden gereproduceerd of geëxtraheerd. Op grond van deze regels kunnen rechthebbenden ervoor kiezen hun rechten op hun werken of andere materialen voor te behouden teneinde tekst- en datamining te voorkomen, tenzij dit gebeurt voor doeleinden van wetenschappelijk onderzoek. Indien opt-outrechten uitdrukkelijk en op passende wijze zijn voorbehouden, dient een aanbieder van AI-modellen voor algemene doeleinden indien hij de werken voor tekst- en datamining wil gebruiken, toestemming aan de rechthebbenden te vragen.

    (106)

    Aanbieders die AI-modellen voor algemene doeleinden in de Unie in de handel brengen, zijn gehouden de naleving van de desbetreffende verplichtingen in deze verordening te waarborgen. Zij moeten daartoe een beleid invoeren ter naleving van het Unierecht inzake auteursrechten en naburige rechten, met name om kennis te hebben van het door rechthebbenden geuite voorbehoud van rechten op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 en dit na te leven. Aanbieders die in de Unie een AI-model voor algemene doeleinden in de handel brengen, zijn hiertoe verplicht, ongeacht de jurisdictie waarin de auteursrechtelijke relevante handelingen plaatsvinden die helpen die AI-modellen voor algemene doeleinden te trainen. Alleen op deze manier kan gezorgd worden voor een gelijk speelveld voor aanbieders van AI-modellen voor algemene doeleinden, waar geen enkele aanbieder zich een concurrentievoordeel op de Uniemarkt mag kunnen verschaffen met lagere auteursrechtelijke normen dan de in de Unie toepasselijke normen.

    (107)

    Voor een grotere transparantie ten aanzien van de bij de pre-training en training van AI-modellen voor algemene doeleinden gebruikte data, met inbegrip van door het auteursrecht beschermde tekst en data, is het passend dat aanbieders van dergelijke modellen een voldoende gedetailleerde samenvatting maken en publiceren van de voor de training van het AI-model voor algemene doeleinden gebruikte content. Terdege rekening houdend met de noodzaak tot bescherming van bedrijfsgeheimen en vertrouwelijke bedrijfsinformatie moet deze samenvatting breed van karakter zijn in plaats van technisch gedetailleerd, teneinde partijen met legitieme belangen, waaronder houders van auteursrechten, in staat te stellen hun rechten uit hoofde van het Unierecht uit te oefenen en te handhaven. Zo kan er bijvoorbeeld een opsomming worden gegeven van de belangrijkste gegevensverzamelingen of -reeksen waarmee het model is getraind, zoals grote particuliere of openbare databanken of gegevensarchieven, en kan een uitleg in de vorm van een relaas worden gegeven over andere gebruikte gegevensbronnen. Het is passend dat het AI-bureau een model voor die samenvatting verstrekt, dat een eenvoudig en doeltreffend model dient te zijn waarmee de aanbieder de vereiste samenvatting in de vorm van een relaas verstrekken kan.

    (108)

    Wat betreft de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden om een beleid in te voeren om aan het recht van de Unie inzake auteursrecht te voldoen en om een samenvatting van de voor de training gebruikte content te publiceren, moet het AI-bureau controleren of de aanbieder aan die verplichtingen voldoet, zonder evenwel geval voor geval de trainingsdata te controleren of te beoordelen qua naleving van het auteursrecht. Deze verordening doet geen afbreuk aan de handhaving van de auteursrechtregels krachtens het Unierecht.

    (109)

    De naleving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden moet evenredig zijn aan en in verhouding staan tot het soort modelaanbieder, waarbij personen die modellen ontwikkelen of gebruiken voor niet-professioneel of wetenschappelijk onderzoek, van de verplichtingen zijn uitgesloten maar wel moeten worden aangemoedigd deze verplichtingen vrijwillig te omarmen. Onverminderd het recht van de Unie inzake auteursrechten moet qua naleving van die verplichtingen terdege rekening worden gehouden met de omvang van de aanbieder en moeten er voor kmo’s, waaronder start-ups, vereenvoudigde wijzen van naleving mogelijk zijn die geen buitensporige kosten mogen meebrengen en het gebruik van dergelijke modellen niet mogen ontmoedigen. Bij wijziging of verfijning van een model moeten de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden beperkt blijven tot die wijziging of verfijning, bijvoorbeeld door voor te schrijven dat de reeds bestaande technische documentatie louter aangevuld wordt met informatie over de wijzigingen, met inbegrip van nieuwe trainingsdatabronnen, als middel om te voldoen aan de waardeketenverplichtingen krachtens deze verordening.

    (110)

    AI-modellen voor algemene doeleinden kunnen systeemrisico’s met zich meebrengen, waaronder feitelijke of redelijkerwijs te voorziene negatieve effecten die verband houden met zware ongevallen, verstoringen van kritieke sectoren en ernstige gevolgen voor de volksgezondheid en de openbare veiligheid, allerhande feitelijke of redelijkerwijs voorzienbare negatieve effecten op democratische processen en de openbare en economische veiligheid, alsmede de verspreiding van illegale, valse of discriminerende content. Systeemrisico’s nemen logischerwijs toe naargelang de capaciteiten en het bereik van een model groter zijn, kunnen zich voordoen gedurende de gehele levenscyclus van het model en worden beïnvloed door elementen als misbruik van het model, de betrouwbaarheid, billijkheid, beveiliging en mate van autonomie ervan, alsmede door de toegang van het model tot instrumenten, nieuwe of gecombineerde modaliteiten, introductie- en distributiestrategieën, en door het potentieel om waarborgen te omzeilen en andere factoren. Internationaal is bij de aanpak van de problematiek tot dusver met name gebleken dat aandacht moet worden besteed aan de risico’s die voortvloeien uit mogelijk opzettelijk misbruik of uit onbedoelde problemen met de controle op de afstemming op wat de mens met het model beoogt; chemische, biologische, radiologische en nucleaire risico’s, zoals de manieren waarop belemmeringen op de toegang kunnen worden verlaagd, onder meer voor doeleinden van wapenontwikkeling, van verwerving van wapenontwerpen, en van wapengebruik, offensieve cybercapaciteiten, zoals manieren om kwetsbaarheden op te sporen, te exploiteren of operationeel te gebruiken; de effecten van interactie en het gebruik van instrumenten, waaronder bijvoorbeeld de capaciteit om fysieke systemen te controleren en kritieke infrastructuur te verstoren; het risico dat modellen kopieën van zichzelf maken, zichzelf repliceren, of andere modellen trainen; de manieren waarop modellen kunnen leiden tot schadelijke vooringenomenheid en discriminatie, met alle risico’s voor individuen, gemeenschappen of samenlevingen van dien; de facilitering van desinformatie of privacyschendingen die een bedreiging vormen voor de democratische rechtsorde en de mensenrechten; het risico dat een bepaalde gebeurtenis kan leiden tot een kettingreactie met aanzienlijke negatieve effecten op een hele stad, een heel vakgebied of een hele gemeenschap.

    (111)

    Het strekt tot aanbeveling een methodiek te ontwikkelen voor de classificatie van AI-modellen voor algemene doeleinden als AI-model voor algemene doeleinden met een systeemrisico. Systeemrisico’s zijn het gevolg van bijzonder hoge capaciteiten, reden waarom een AI-model voor algemene doeleinden geacht moet worden systeemrisico’s te vertegenwoordigen indien het capaciteiten met een grote impact heeft, dewelke als zodanig wordt vastgesteld op basis van passende technische instrumenten en methodieken, of indien het vanwege zijn bereik aanzienlijke gevolgen heeft voor de interne markt. “Capaciteiten met een grote impact” in AI-modellen voor algemene doeleinden: capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden; het volledige scala aan mogelijkheden binnen een model wordt pas duidelijker eenmaal het in de handel is gebracht of gebruiksverantwoordelijken met het model werken. Volgens de stand van de techniek op het moment van inwerkingtreding van deze verordening is de voor de training van het AI-model voor algemene doeleinden gebruikte cumulatieve rekeninput, gemeten in zwevendekommabewerkingen, een van de relevante benaderingen voor modelcapaciteiten. De voor het trainen gebruikte cumulatieve rekeninput bevat het totaal aan voor de activiteiten en methoden ter verbetering van de capaciteiten van het model gebruikte rekeninput voorafgaand aan het inzetten ervan, zoals pre-training, het genereren van synthetische gegevens en verfijning. Er moet derhalve een initiële drempel voor zwevendekommabewerkingen worden vastgesteld, die, indien een AI-model voor algemene doeleinden daaraan voldoet, leidt tot de aanname dat het model een AI-model voor algemene doeleinden met systeemrisico’s is. Deze drempel moet in de loop van de tijd worden aangepast aan de technologische en industriële vooruitgang, zoals betere algoritmes of efficiëntere hardware, en moet worden aangevuld met modelcapaciteit-benchmarks en -indicatoren. Om deze vooruitgang te kennen, moet het AI-bureau samenwerken met de wetenschappelijke gemeenschap, het bedrijfsleven, het maatschappelijk middenveld en andere deskundigen. Drempelwaarden en ook instrumenten en benchmarks ter beoordeling van capaciteiten met een grote impact, moeten gedegen kunnen voorspellen in hoeverre een AI-model voor algemene doeleinden van algemene aard is, wat de capaciteiten ervan zijn en welk systeemrisico aan het model kleeft. Daarnaast zouden de drempelwaarden en de instrumenten en benchmarks ter beoordeling van capaciteiten met een grote impact, rekening kunnen houden met de wijze waarop het model in de handel zal worden gebracht of het aantal gebruikers waarvoor het gevolgen kan hebben. Ter aanvulling van dit systeem moet de Commissie de mogelijkheid hebben om individuele besluiten te nemen tot aanmerking van een dergelijk model als AI-model voor algemene doeleinden met een systeemrisico, in het geval wordt vastgesteld dat een AI-model voor algemene doeleinden mogelijkheden of een effect heeft dat gelijkwaardig is aan die welke onder de vastgestelde drempel vallen. Dat besluit moet worden genomen op basis van een algemene beoordeling van de in een bijlage bij deze verordening vastgestelde criteria voor de aanwijzing van een AI-model voor algemene doeleinden met een systeemrisico, zoals de kwaliteit of omvang van de trainingsdataset, het aantal zakelijke en eindgebruikers van het model, de input- en outputmodaliteiten ervan, de mate van autonomie en schaalbaarheid ervan, of de instrumenten waartoe het toegang heeft. Als een aanbieder wiens model is aangewezen als AI-model voor algemene doeleinden met een systeemrisico een met redenen omkleed verzoek indient, dient de Commissie daarmee rekening te houden en kan zij besluiten opnieuw te beoordelen of het AI-model voor algemene doeleinden nog steeds wordt beschouwd als een AI-model dat systeemrisico’s vertoont.

    (112)

    Het is tevens noodzakelijk tot een procedure te komen voor de classificatie van AI-modellen voor algemene doeleinden met een systeemrisico. Een AI-model voor algemeen gebruik dat aan de toepasselijke drempel voor capaciteiten met een grote impact voldoet, dient als AI-model voor algemene doeleinden met een systeemrisico te worden aangemerkt. De aanbieder behoort uiterlijk twee weken nadat aan de vereisten is voldaan of nadat bekend is geworden dat een AI-model voor algemene doeleinden voldoet aan de vereisten die tot het vermoeden leiden, het AI-bureau daarvan in kennis te stellen. Dit is met name relevant met betrekking tot de drempel van zwevendekommabewerkingen, omdat de training van AI-modellen voor algemene doeleinden uitgebreide planning vergt met onder meer voorafgaande toewijzing van rekeninputmiddelen, waardoor aanbieders van AI-modellen voor algemene doeleinden reeds vóór voltooiing van de training weten kunnen of hun model aan de drempel zal voldoen. In het kader van die kennisgeving moet de aanbieder kunnen aantonen dat een AI-model voor algemene doeleinden dankzij zijn specifieke kenmerken bij wijze van uitzondering geen systeemrisico’s meebrengt en dat het dus niet als AI-model voor algemene doeleinden met systeemrisico’s mag worden aangemerkt. Het AI-bureau kan dankzij die informatie anticiperen op het in de handel brengen van AI-modellen voor algemene doeleinden met systeemrisico’s, en de aanbieders kunnen reeds in een vroeg stadium met het AI-bureau in contact treden. Die informatie is met name van belang met betrekking tot AI-modellen voor algemene doeleinden waarvan het de bedoeling is deze als open source vrij te geven, want eenmaal als het opensourcemodel is vrijgegeven, kan het moeilijker zijn de nodige maatregelen ter naleving van de verplichtingen uit hoofde van deze verordening te treffen.

    (113)

    Indien de Commissie kennis krijgt van het feit dat een AI-model voor algemene doeleinden voldoet aan de vereisten om als AI-model voor algemene doeleinden met een systeemrisico te worden aangemerkt, terwijl dat eerder niet bekend was of de betrokken aanbieder de Commissie kennisgeving had gedaan, moet de Commissie de bevoegdheid hebben dit model alsnog als zodanig aan te merken. Naast de monitoringactiviteiten van het AI-bureau moet er een systeem van gekwalificeerde waarschuwingen komen dat ervoor zorgt dat het AI-bureau door het wetenschappelijk panel in kennis wordt gesteld van AI-modellen voor algemene doeleinden die mogelijk als AI-modellen voor algemene doeleinden met een systeemrisico moeten worden geclassificeerd.

    (114)

    De aanbieders van AI-modellen voor algemene doeleinden die systeemrisico’s inhouden, moeten, naast de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden, onderworpen worden aan verplichtingen die gericht zijn op het identificeren en beperken van die risico’s en op waarborging van een passend niveau van cyberbeveiliging, ongeacht of het model een op zichzelf staand model is of ingebed in een AI-systeem of in een product. Aanbieders moeten met het oog op verwezenlijking van deze doelstellingen, bij deze verordening verplicht worden de nodige modelevaluaties uit te voeren, met name voordat een model voor het eerst in de handel wordt gebracht, in het kader waarvan onder meer tests gericht op het ontdekken van kwetsbaarheden in het model moeten worden uitgevoerd, alsmede, in voorkomend geval, uiteenlopende interne of onafhankelijke externe tests. Daarnaast moeten aanbieders van AI-modellen voor algemene doeleinden met systeemrisico’s die systeemrisico’s voortdurend analyseren en binnen de perken houden via onder meer beleid voor risicobeheer in de vorm van bijvoorbeeld verantwoordings- en governanceprocessen, monitoring na het in de handel brengen van het model, passende maatregelen gedurende de gehele levenscyclus, en samenwerking met relevante actoren in de AI-waardeketen.

    (115)

    Aanbieders van AI-modellen voor algemene doeleinden met systeemrisico’s dienen mogelijke systeemrisico’s te beoordelen en te beperken. Indien er zich als gevolg van de ontwikkeling of het gebruik van een AI-model voor algemene doeleinden die systeemrisico’s kan inhouden een ernstig incident voordoet, ondanks inspanningen om met het model verband houdende risico’s te identificeren en te voorkomen, moet de aanbieder van het AI-model voor algemene doeleinden onverwijld het verdere verloop van het incident beginnen te volgen en de Commissie en de nationale bevoegde autoriteiten alle relevante informatie en mogelijke corrigerende maatregelen melden. Bovendien moeten aanbieders zorgen voor een passend niveau van cyberbeveiliging voor het model en de fysieke infrastructuur ervan, indien van toepassing, gedurende de gehele levenscyclus van het model. Bij de cyberbeveiliging in verband met systeemrisico’s als gevolg van kwaadwillig gebruik of aanvallen, moet terdege rekening worden gehouden met onopzettelijke modellekken, ongeoorloofde vrijgave, omzeiling van veiligheidsmaatregelen, alsmede met bescherming tegen cyberaanvallen, ongeoorloofde toegang, en modeldiefstal. Die bescherming kan worden geboden door modelwegingen, algoritmen, servers en datasets te beveiligen, bijvoorbeeld met operationele beveiligingsmaatregelen voor informatie, specifiek cyberbeveiligingsbeleid, passende technische en bewezen oplossingen, alsmede met controles op cyber- en fysieke toegang, afgestemd op de relevante omstandigheden en risico’s.

    (116)

    Het AI-bureau moet de opstelling, evaluatie en aanpassing van praktijkcodes aanmoedigen en vergemakkelijken, rekening houdend met internationale manieren van aanpak. Alle aanbieders van AI-modellen voor algemene doeleinden kunnen worden uitgenodigd eraan deel te nemen. Om ervoor te zorgen dat de praktijkcodes aansluiten op de stand van de techniek en ze terdege rekening houden met een brede waaier aan perspectieven, moet het AI-bureau samenwerken met de relevante nationale bevoegde autoriteiten en kan het, in voorkomend geval, ter opstelling van de praktijkcodes overleg voeren met maatschappelijke organisaties en andere relevante belanghebbenden en deskundigen, waaronder het wetenschappelijk panel. De praktijkcodes moeten betrekking hebben op verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden en van AI-modellen voor algemene doeleinden die systeemrisico’s inhouden. Wat systeemrisico’s betreft, moeten praktijkcodes bovendien bijdragen tot de vaststelling van een taxonomie van de soorten systeemrisico’s op het niveau van de Unie, voorzien van de kenmerken en bronnen van deze risico’s. Voorts moeten praktijkcodes gericht zijn op specifieke risicobeoordelings- en risicobeperkende maatregelen.

    (117)

    De praktijkcodes moeten een centraal instrument zijn voor de correcte naleving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden uit hoofde van deze verordening. Aanbieders moeten voor het staven van hun naleving van de verplichtingen kunnen vertrouwen op praktijkcodes. De Commissie kan bij uitvoeringshandelingen een gedragscode vaststellen en deze binnen de Unie een algemene geldigheid verlenen, of anderszins gemeenschappelijke regels vaststellen voor de uitvoering van de desbetreffende verplichtingen, indien er op het moment dat deze verordening van toepassing wordt nog geen gedragscode voorhanden is of het AI-bureau de wel reeds voorhanden zijnde gedragscode ontoereikend acht. Zodra een geharmoniseerde norm gepubliceerd is en het AI-bureau deze in het licht van de relevante verplichtingen geschikt heeft bevonden, moet naleving van een Europese geharmoniseerde norm aanbieders het vermoeden van conformiteit bieden. Aanbieders van AI-modellen voor algemene doeleinden moeten ook met alternatieve geschikte middelen kunnen aantonen dat zij aan de relevante verplichtingen voldoen in het geval er geen praktijkcodes of geharmoniseerde normen beschikbaar zijn, of wanneer zij ervoor kiezen geen beroep op die codes of normen te doen.

    (118)

    Deze verordening reguleert AI-systemen en AI-modellen door relevante marktdeelnemers die deze in de Unie in de handel brengen, in gebruik stellen of in gebruik nemen bepaalde eisen en verplichtingen op te leggen, en vormt een aanvulling op de verplichtingen voor aanbieders van tussenhandelsdiensten die dit soort systemen of modellen in hun bij Verordening (EU) 2022/2065 gereguleerde diensten integreren. Voor zover dergelijke systemen of modellen zijn ingebed in als zeer groot aangemerkte onlineplatforms of onlinezoekmachines, vallen zij onder het kader voor risicobeheer krachtens Verordening (EU) 2022/2065. Bijgevolg moeten de overeenkomstige verplichtingen van deze verordening als vervuld worden beschouwd, tenzij er in dergelijke modellen aanzienlijke systeemrisico’s worden geconstateerd die niet onder Verordening (EU) 2022/2065 vallen. Binnen dit kader zijn aanbieders van zeer grote onlineplatforms en zeer grote onlinezoekmachines verplicht te beoordelen welke systeemrisico’s er potentieel uit het ontwerp, de werking en het gebruik van hun diensten voortvloeien, met inbegrip van de wijze waarop het ontwerp van de in de dienst gebruikte algoritmische systemen die tot dergelijke risico’s kunnen bijdragen, alsmede welke systeemrisico’s er kunnen optreden bij misbruik. Deze aanbieders zijn ook verplicht passende risicobeperkende maatregelen te treffen, met inachtneming van de grondrechten.

    (119)

    Gezien het snelle innovatietempo en de technologische ontwikkeling van de digitale diensten die onder het toepassingsgebied van verschillende Unierechtelijke instrumenten vallen en met name rekening houdend met het gebruik en de perceptie van de afnemers van die diensten, kunnen de onder deze verordening vallende AI-systemen worden aangeboden als tussenhandelsdiensten of delen daarvan in de zin van Verordening (EU) 2022/2065, die op technologieneutrale wijze moet worden geïnterpreteerd. AI-systemen kunnen bijvoorbeeld worden gebruikt om onlinezoekmachines aan te bieden, en wel dusdanig dat een AI-systeem zoals een online-chatbot in beginsel alle websites doorzoekt, om de zoekresultaten vervolgens in zijn bestaande kennis op te nemen en dan de bijgewerkte kennis te gebruiken voor het genereren van één enkele output waarin informatie uit verschillende bronnen wordt gecombineerd.

    (120)

    Voorts zijn de verplichtingen die in deze verordening aan aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen worden opgelegd om opsporing mogelijk te maken, evenals de bekendmaking dat de outputs van die systemen kunstmatig worden gegenereerd of gemanipuleerd, bijzonder relevant voor het vergemakkelijken van de doeltreffende uitvoering van Verordening (EU) 2022/2065. Dit geldt met name voor de verplichtingen van aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines om systeemrisico’s die kunnen voortvloeien uit de verspreiding van kunstmatig gegenereerde of gemanipuleerde content te identificeren en te beperken, en dan met name het risico op feitelijke of voorzienbare negatieve effecten op democratische processen, het maatschappelijk debat en verkiezingsprocessen, onder meer van desinformatie.

    (121)

    Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen, in overeenstemming met de stand van de techniek, opdat de innovatie, het concurrentievermogen en ook de groei op de eengemaakte markt kunnen worden bevorderd. De naleving van geharmoniseerde normen, zoals gedefinieerd in artikel 2, lid 1, punt c), van Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad (41), die normaal gesproken de stand van de techniek moet weerspiegelen, moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. Het is daarom zaak aan te sturen op evenwichtige belangenvertegenwoordiging door overeenkomstig de artikelen 5 en 6 van Verordening (EU) nr. 1025/2012 alle relevante belanghebbenden te betrekken bij de ontwikkeling van normen, met name kmo’s, consumentenorganisaties en belanghebbenden op sociaal gebied en dat van milieu. De Commissie moet voor een soepelere naleving de normalisatieverzoeken zonder onnodige vertraging afgeven. Bij het opstellen van normalisatieverzoeken moet de Commissie de nodige expertise inwinnen bij het adviesforum voor AI en de AI-board. Bij ontstentenis van relevante verwijzingen naar geharmoniseerde normen moet de Commissie evenwel gemeenschappelijke specificaties voor bepaalde eisen uit hoofde van deze verordening kunnen vaststellen, bij uitvoeringshandeling en na raadpleging van het adviesforum. De gemeenschappelijke specificaties moeten een uitzonderlijke achtervang zijn om de aanbieder te kunnen laten voldoen aan de eisen van deze verordening ingeval het normalisatieverzoek door geen van de Europese normalisatieorganisaties is aanvaard, ingeval de relevante geharmoniseerde normen onvoldoende tegemoetkomen aan problemen op het gebied van de grondrechten, ingeval de geharmoniseerde normen niet aan het verzoek voldoen, of ingeval er vertraging is ontstaan bij de vaststelling van een passende geharmoniseerde norm. Indien een dergelijke vertraging bij de vaststelling van een geharmoniseerde norm te wijten is aan de technische complexiteit van die norm, moet de Commissie hier rekening mee houden alvorens te overwegen gemeenschappelijke specificaties vast te stellen. De Commissie wordt aangemoedigd om bij de ontwikkeling van gemeenschappelijke specificaties samen te werken met internationale partners en internationale normalisatie-instellingen.

    (122)

    Het is onverminderd het gebruik van geharmoniseerde normen en gemeenschappelijke specificaties passend dat aanbieders van een AI-systeem met een hoog risico dat getraind en getest is op data met betrekking tot de specifieke geografische, gedrags-, contextuele of functionele omgeving waarin het de bedoeling is het systeem te gebruiken, verondersteld worden aan de desbetreffende maatregel krachtens de bij deze verordening vastgestelde datagovernancevereiste te voldoen. Onverminderd de bij deze verordening vastgestelde vereisten met betrekking tot robuustheid en nauwkeurigheid, moeten overeenkomstig artikel 54, lid 3, van Verordening (EU) 2019/881, gecertificeerde AI-systemen met een hoog risico of AI-systemen met een hoog risico waarvoor in het kader van een cyberbeveiligingsregeling uit hoofde van die verordening een conformiteitsverklaring is afgegeven en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht aan het cyberbeveiligingsvereiste van deze verordening te voldoen, voor zover het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan het cyberbeveiligingsvereiste van deze verordening bestrijken. Dit doet geen afbreuk aan het vrijwillige karakter van die cyberbeveiligingsregeling.

    (123)

    Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.

    (124)

    Teneinde de lasten voor operatoren tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, moet de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens het nieuwe wetgevingskader met de voorschriften van deze verordening, worden beoordeeld als onderdeel van de conformiteitsbeoordeling waarin bij die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende harmonisatiewetgeving van de Unie.

    (125)

    Gezien de complexiteit van AI-systemen met een hoog risico en de aan die systemen verbonden risico’s, is het belangrijk een adequate conformiteitsbeoordelingsprocedure voor AI-systemen met een hoog risico te ontwikkelen en daar aangemelde instanties bij te betrekken, de zogeheten conformiteitsbeoordeling door derden. Gezien de huidige ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van de risico’s waarmee dat gepaard gaat, is het echter passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen door derden van AI-systemen met een hoog risico die geen verband houden met producten, te beperken. Daarom moet de conformiteitsbeoordeling van dergelijke systemen in de regel onder eigen verantwoordelijkheid door de aanbieder worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om voor biometrie te worden gebruikt.

    (126)

    Met het oog op de uitvoering van conformiteitsbeoordelingen door derden, wanneer deze vereist zijn, moeten de nationale bevoegde autoriteiten aangemelde instanties aanmelden op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties, afwezigheid van belangenconflicten en passende voorschriften inzake cyberbeveiliging. De aanmelding van die instanties moet door de nationale bevoegde autoriteiten aan de Commissie en de andere lidstaten worden gezonden via het op grond van artikel R23 van bijlage I bij Besluit 768/2008/EG door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.

    (127)

    Het is in overeenstemming met de verbintenissen van de Unie in het kader van de WTO-overeenkomst inzake technische handelsbelemmeringen, passend om de wederzijdse erkenning van door bevoegde conformiteitsbeoordelingsinstanties voortgebrachte conformiteitsbeoordelingsresultaten te bevorderen, ongeacht het grondgebied waar deze instanties zijn gevestigd, met dien verstande dat die naar het recht van een derde land opgerichte instanties voldoen aan de toepasselijke eisen van deze verordening en de Unie daartoe een overeenkomst heeft gesloten. In dit verband moet de Commissie actief op zoek gaan naar mogelijke internationale instrumenten daartoe en zich met name inzetten voor de sluiting van overeenkomsten inzake wederzijdse erkenning met derde landen.

    (128)

    In lijn met het algemeen erkende begrip van substantiële wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat, indien zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van een AI-systeem met een hoog risico met deze verordening (bijvoorbeeld een verandering van het besturingssysteem of de softwarearchitectuur) of indien het beoogde doel van het systeem verandert, dat AI-systeem wordt beschouwd als een nieuw AI-systeem dat aan een nieuwe conformiteitsbeoordeling moet worden onderworpen. Wijzigingen met betrekking tot het algoritme en de prestaties van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik gesteld, die met name automatisch aanpassen hoe taken worden uitgevoerd, mogen echter geen substantiële wijziging vormen, mits die wijzigingen vooraf door de aanbieder zijn bepaald en op het moment van de conformiteitsbeoordeling zijn beoordeeld.

    (129)

    Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat het vrije verkeer ervan op de interne markt mogelijk is. Op AI-systemen met een hoog risico die in een product zijn geïntegreerd moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor AI-systemen met een hoog risico die alleen digitaal worden verstrekt, moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en het in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde eisen voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

    (130)

    In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen, de bescherming van het milieu en de klimaatverandering, en de samenleving in haar geheel. Het is derhalve passend dat de markttoezichtautoriteiten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen, de bescherming van het milieu en de bescherming van essentiële industriële en infrastructurele activa toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen. In naar behoren gemotiveerde situaties, zoals voorzien in deze verordening, kunnen rechtshandhavingsinstanties of civielebeschermingsautoriteiten zonder toestemming van de markttoezichtautoriteit een specifiek AI-systeem met een hoog risico in gebruik stellen, op voorwaarde dat tijdens of na het gebruik onverwijld om een dergelijke toestemming wordt verzocht.

    (131)

    Om de werkzaamheden van de Commissie en de lidstaten op het gebied van AI te vergemakkelijken en om de transparantie voor het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, evenals aanbieders die van mening zijn dat een in de in een bijlage bij deze verordening opgenomen gebruiksgevallen met een hoog risico vermeld AI-systeem op basis van een afwijking geen hoog risico inhoudt, worden verplicht zichzelf en informatie over hun AI-systeem te registreren in een EU-databank, die door de Commissie moet worden opgericht en beheerd. Alvorens een in de in een bijlage bij deze verordening opgenomen gebruiksgevallen met een hoog risico vermeld AI-systeem te gebruiken, moeten gebruiksverantwoordelijken van AI-systemen met een hoog risico die overheidsinstanties, -agentschappen of -organen zijn, zich bij een dergelijke databank registreren en het systeem selecteren dat zij voornemens zijn te gebruiken. Andere gebruiksverantwoordelijken moeten het recht hebben dit vrijwillig te doen. Dit deel van de EU-databank moet voor het publiek toegankelijk en kosteloos zijn, en de informatie moet gemakkelijk te doorzoeken, begrijpelijk en machineleesbaar zijn. De EU-databank moet ook gebruiksvriendelijk zijn, bijvoorbeeld door zoekfuncties aan te bieden, onder meer door middel van trefwoorden, zodat het grote publiek relevante informatie kan vinden die moet worden ingediend bij de registratie van AI-systemen met een hoog risico, evenals informatie over de gebruikssituatie van AI-systemen met een hoog risico, zoals uiteengezet in een bijlage bij deze verordening, waarmee de AI-systemen met een hoog risico overeenstemmen. Ook alle substantiële wijzigingen van AI-systemen met een hoog risico moeten in de EU-databank worden geregistreerd. Voor AI-systemen met een hoog risico op het gebied van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer moeten de registratieverplichtingen worden verricht in een beveiligd niet-openbaar deel van de EU-databank. De toegang tot het beveiligde niet-openbare deel moet strikt worden beperkt tot de Commissie en, wat hun nationale deel van die databank betreft, tot markttoezichtautoriteiten. AI-systemen met een hoog risico op het gebied van kritieke infrastructuur mogen alleen op nationaal niveau worden geregistreerd. De Commissie moet de verwerkingsverantwoordelijke van de EU-databank zijn, overeenkomstig Verordening (EU) 2018/1725. Teneinde de volledige functionaliteit van de EU-databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten. De Commissie moet bij de uitvoering van haar taken als verwerkingsverantwoordelijke voor de EU-databank rekening houden met cyberbeveiligingsrisico’s. Om de beschikbaarheid en het gebruik van de EU-databank door het publiek te maximaliseren, moet de databank, met inbegrip van de via de EU-databank beschikbaar gestelde informatie, voldoen aan de eisen van Richtlijn (EU) 2019/882.

    (132)

    Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om content te genereren, kunnen specifieke risico’s op imitatie of misleiding met zich meebrengen, ongeacht of zij als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de eisen en verplichtingen voor AI-systemen met een hoog risico, en moeten zij onderworpen zijn aan gerichte uitzonderingen om rekening te houden met de bijzondere behoeften van rechtshandhaving. Met name moeten natuurlijke personen ervan in kennis worden gesteld dat zij interageren met een AI-systeem, tenzij dit duidelijk is vanuit het oogpunt van een normaal geïnformeerde en redelijk opmerkzame en omzichtige natuurlijke persoon, rekening houdend met de omstandigheden en de gebruikscontext. Bij de toepassing van die verplichting moet rekening worden gehouden met de kenmerken van tot kwetsbare groepen horende natuurlijke personen die vanwege hun leeftijd of handicap kwetsbaar zijn, voor zover het AI-systeem bedoeld is om ook met die groepen te interageren. Bovendien moeten natuurlijke personen indien zij worden blootgesteld aan AI-systemen die, door hun biometrische gegevens te verwerken, de emoties of intenties van deze personen kunnen vaststellen of afleiden of hen in een specifieke categorie kunnen indelen, hiervan in kennis worden gesteld. Zulke specifieke categorieën kunnen betrekking hebben op aspecten zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, persoonlijke kenmerken, etnische afkomst, persoonlijke voorkeuren en interesses. Dergelijke informatie en kennisgevingen moeten worden verstrekt in een formaat dat toegankelijk is voor personen met een handicap.

    (133)

    Bepaalde AI-systemen kunnen grote hoeveelheden synthetische content genereren waarbij het voor de mens steeds moeilijker wordt deze te onderscheiden van door de mens gegenereerde en authentieke content. De brede beschikbaarheid en de toenemende capaciteit van deze systemen hebben een aanzienlijke impact op de integriteit van en het vertrouwen in het informatie-ecosysteem, waardoor nieuwe risico’s op desinformatie en manipulatie op grote schaal, fraude, imitatie en consumentenbedrog ontstaan. In het licht van die effecten, het snelle technologische tempo en de behoefte aan nieuwe methoden en technieken om de oorsprong van informatie te traceren, is het passend aanbieders van die systemen voor te schrijven dat zij technische oplossingen inbouwen die markering in een machineleesbaar formaat mogelijk maken en aantonen dat de output is gegenereerd of gemanipuleerd door een AI-systeem en niet door een mens. Dergelijke technieken en methoden moeten voldoende betrouwbaar, interoperabel, doeltreffend en robuust zijn, voor zover dit technisch haalbaar is, rekening houdend met de beschikbare technieken of een combinatie van dergelijke technieken, zoals watermerken, metagegevens, cryptografische methoden voor het aantonen van de herkomst en authenticiteit van inhoud, loggingmethoden, vingerafdrukken of andere technieken, naargelang het geval. Bij de uitvoering van deze verplichting moeten aanbieders ook rekening houden met de specifieke kenmerken en beperkingen van de verschillende soorten content en de relevante technologische en marktontwikkelingen op dit gebied, zoals blijkt uit de algemeen erkende stand van de techniek. Dergelijke technieken en methoden kunnen worden toegepast op het niveau van het AI-systeem of op het niveau van het AI-model, met inbegrip van AI-modellen voor algemene doeleinden die content genereren, waardoor de aanbieder verder in de AI-waardeketen van het AI-systeem gemakkelijker aan deze verplichting kan voldoen. Met het oog op de evenredigheid, moet worden overwogen dat deze markeringsverplichting niet van toepassing mag zijn op AI-systemen die in de eerste plaats een ondersteunende functie hebben voor het uitvoeren van standaardbewerkingen of op AI-systemen die de door de gebruiksverantwoordelijke verstrekte inputdata, of de semantiek ervan, niet wezenlijk wijzigen.

    (134)

    Naast de technische oplossingen die door de aanbieders van het AI-systeem worden gebruikt, moeten gebruiksverantwoordelijken die een AI-systeem gebruiken om beeld-, audio- of video-content te genereren of te manipuleren die aanzienlijk lijkt op bestaande personen, voorwerpen, plaatsen, entiteiten of gebeurtenissen en voor een persoon ten onrechte authentiek of waarachtig kunnen lijken (deepfakes), ook klaar en duidelijk kenbaar maken dat de content kunstmatig is gecreëerd of gemanipuleerd door de AI-output als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken. Naleving van deze transparantieverplichting mag niet aldus worden uitgelegd dat het gebruik van het AI-systeem of de output ervan afbreuk doet aan het in het Handvest gewaarborgde recht op vrijheid van meningsuiting en het recht op vrijheid van kunsten en wetenschappen belemmert, met name indien de content deel uitmaakt van een werk of programma dat duidelijk creatief, satirisch, artistiek, fictief of analoog van aard is, met inachtneming van passende waarborgen voor de rechten en vrijheden van derden. In die gevallen is de in deze verordening vastgestelde transparantieverplichting voor deepfakes beperkt tot de openbaarmaking van het bestaan van dergelijke gegenereerde of gemanipuleerde content, en dit op een passende wijze die geen belemmering vormt voor de weergave of het genot van het werk, met inbegrip van de normale exploitatie en het normale gebruik ervan, met behoud van het nut en de kwaliteit van het werk. Daarnaast is het ook passend te voorzien in een soortgelijke openbaarmakingsplicht met betrekking tot door AI gegenereerde of gemanipuleerde tekst, voor zover deze wordt gepubliceerd met als doel het publiek te informeren over aangelegenheden van algemeen belang, tenzij de door AI gegenereerde content een proces van menselijke toetsing of redactionele controle heeft ondergaan en een natuurlijke of rechtspersoon redactionele verantwoordelijkheid draagt voor de publicatie van de content.

    (135)

    Onverminderd het verplichte karakter en de volledige toepasselijkheid van de transparantieverplichtingen, kan de Commissie ook het opstellen van praktijkcodes op het niveau van de Unie aanmoedigen en faciliteren om de doeltreffende uitvoering van de verplichtingen met betrekking tot het opsporen en het aanmerken van kunstmatig gegenereerde of gemanipuleerde content te vergemakkelijken, onder meer ter ondersteuning van praktische regelingen voor, in voorkomend geval, het toegankelijk maken van de detectiemechanismen en het faciliteren van samenwerking met andere actoren in de waardeketen, het verspreiden van content of het controleren van de authenticiteit en herkomst ervan, teneinde het publiek in staat te stellen door AI gegenereerde content doeltreffend te onderscheiden.

    (136)

    De verplichtingen die in deze verordening aan aanbieders en gebruiksverantwoordelijken van bepaalde aI-systemen worden opgelegd om opsporing mogelijk te maken, evenals de bekendmaking dat de outputs van die systemen kunstmatig worden gegenereerd of gemanipuleerd, zijn bijzonder relevant om de doeltreffende uitvoering van Verordening (EU) 2022/2065 te vergemakkelijken. Dit geldt met name voor de verplichtingen van aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines om systeemrisico’s te identificeren en te beperken die kunnen voortvloeien uit de verspreiding van kunstmatig gegenereerde of gemanipuleerde content, met name het risico op feitelijke of voorzienbare negatieve effecten op democratische processen, het maatschappelijk debat en verkiezingsprocessen, onder meer door desinformatie. Het vereiste om uit hoofde van deze verordening content die door AI-systemen wordt gegenereerd, aan te merken, doet geen afbreuk aan de verplichting van artikel 16, lid 6, van Verordening (EU) 2022/2065 voor aanbieders van hostingdiensten om meldingen van illegale content te verwerken op grond van artikel 16, lid 1, van die verordening, en mag geen invloed hebben op de beoordeling van en het besluit over de onwettigheid van de specifieke content. Die beoordeling moet uitsluitend worden verricht aan de hand van de regels inzake de rechtmatigheid van de content.

    (137)

    Naleving van de bovengenoemde transparantieverplichtingen voor AI-systemen die onder deze verordening vallen, mag niet aldus worden uitgelegd dat het gebruik van het systeem of de output ervan rechtmatig is op grond van deze verordening of andere wetgeving van de Unie en de lidstaten, en moet andere in het Unierecht of het nationale recht vastgelegde transparantieverplichtingen voor gebruiksverantwoordelijken van AI-systemen onverlet laten.

    (138)

    AI is een snel ontwikkelende familie van technologieën die regelgevingstoezicht en een veilige en gecontroleerde plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en risicobeperkende maatregelen worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatie stimuleert, toekomstbestendig is en bestand is tegen verstoringen, moeten de lidstaten ervoor zorgen dat hun nationale bevoegde autoriteiten ten minste één AI-testomgeving voor regelgeving op nationaal niveau tot stand brengen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld. De lidstaten kunnen deze verplichting ook nakomen door deel te nemen aan reeds bestaande testomgevingen voor regelgeving of door samen met de bevoegde autoriteiten van een of meer lidstaten een testomgeving op te zetten, voor zover deze deelname de deelnemende lidstaten een gelijkwaardig niveau van nationale dekking biedt. AI-testomgevingen voor regelgeving kunnen in fysieke, digitale of hybride vorm worden opgezet en kunnen zowel fysieke als digitale producten bevatten. De autoriteiten die de AI-testomgeving hebben ontwikkeld, moeten er ook voor zorgen dat de AI-testomgevingen voor regelgeving over voldoende middelen beschikken, met inbegrip van financiële en personele middelen.

    (139)

    De doelstellingen van AI-testomgevingen voor regelgeving moeten bestaan in het bevorderen van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten. Bovendien moeten de AI-testomgevingen voor regelgeving gericht zijn op het verbeteren van de rechtszekerheid voor innovatoren en het toezicht en begrip van de bevoegde autoriteiten ten aanzien van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI, het leren van regelgeving voor autoriteiten en ondernemingen te vergemakkelijken, onder meer met het oog op toekomstige aanpassingen van het rechtskader, de samenwerking en de uitwisseling van beste praktijken met de autoriteiten die betrokken zijn bij de AI-testomgeving voor regelgeving te ondersteunen, en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kmo’s, met inbegrip van start-ups, weg te nemen. AI-testomgevingen voor regelgeving moeten in de hele Unie op grote schaal beschikbaar zijn, en er moet bijzondere aandacht worden besteed aan de toegankelijkheid ervan voor kmo’s, met inbegrip van start-ups. Bij deelname aan een AI-testomgeving voor regelgeving moet de focus liggen op kwesties die leiden tot rechtsonzekerheid voor aanbieders en potentiële aanbieders met betrekking tot innovatie, experimenten met AI in de Unie en bijdragen aan het empirisch leren op het gebied van regelgeving. Toezicht op de AI-systemen in een AI-testomgeving voor regelgeving moet daarom gericht zijn op het ontwikkelen, trainen, testen en valideren van deze systemen, voordat ze in de handel worden gebracht of in gebruik worden gesteld, alsook op het begrip substantiële wijziging en het zich voordoen ervan, hetgeen een nieuwe conformiteitsbeoordelingsprocedure kan vereisen. Aanzienlijke risico’s die tijdens het ontwikkelen en testen van dergelijke AI-systemen worden vastgesteld, moeten op adequate wijze worden beperkt en bij gebreke daarvan leiden tot de opschorting van het ontwikkelings- en testproces. Waar passend moeten nationale bevoegde autoriteiten die AI-testomgevingen voor regelgeving opzetten, samenwerken met andere betrokken autoriteiten, waaronder autoriteiten die toezicht houden op de bescherming van de grondrechten, en kunnen zij toestaan dat andere actoren binnen het AI-ecosysteem hierbij betrokken worden, zoals nationale of Europese normalisatie-instellingen, aangemelde instanties, test- en experimenteerfaciliteiten, laboratoria voor onderzoek en experimenteren, Europese digitale-innnovatiehubs en relevante belanghebbenden en maatschappelijke organisaties. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van AI-testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Krachtens deze verordening opgezette AI-testomgevingen voor regelgeving mogen geen afbreuk doen aan andere wetgeving op grond waarvan andere testomgevingen kunnen worden opgezet om de naleving van ander recht dan deze verordening te waarborgen. Waar passend moeten de bevoegde autoriteiten die verantwoordelijk zijn voor die andere testomgevingen voor regelgeving nagaan welke voordelen het zou opleveren als die testomgevingen ook worden gebruikt om te waarborgen dat AI-systemen in overeenstemming zijn met deze verordening. Als de nationale bevoegde autoriteiten en de deelnemers aan de AI-testomgeving voor regelgeving het hierover eens zijn, kunnen in het kader van de AI-testomgeving voor regelgeving ook testen onder reële omstandigheden worden uitgevoerd en gecontroleerd.

    (140)

    Deze verordening moet aanbieders en potentiële aanbieders van de AI-testomgeving voor regelgeving de rechtsgrond bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, echter alleen onder bepaalde omstandigheden, overeenkomstig artikel 6, lid 4, en artikel 9, lid 2, punt g), van Verordening (EU) 2016/679 en de artikelen 5, 6 en 10 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, en artikel 10 van Richtlijn (EU) 2016/680. Alle andere verplichtingen van verwerkingsverantwoordelijken en rechten van betrokkenen uit hoofde van Verordening (EU) 2016/679, Verordening (EU) 2018/1725 en Richtlijn (EU) 2016/680 blijven van toepassing. In het bijzonder mag deze verordening geen rechtsgrond bieden in de zin van artikel 22, lid 2, punt b), van Verordening (EU) 2016/679 en artikel 24, lid 2, punt b), van Verordening (EU) 2018/1725. Aanbieders en potentiële aanbieders van de AI-testomgeving voor regelgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en te goeder trouw te handelen om eventuele vastgestelde significante risico’s voor de veiligheid, de gezondheid en de grondrechten die zich tijdens de ontwikkeling en het experimenteren in die testomgeving kunnen voordoen, op adequate wijze te beperken.

    (141)

    Om de ontwikkeling en het in de handel brengen van de in een bijlage bij deze verordening opgenomen AI-systemen met een hoog risico te versnellen is het belangrijk dat aanbieders of potentiële aanbieders van deze systemen ook zonder deel te nemen aan een AI-testomgeving voor regelgeving gebruik kunnen maken van een speciale regeling voor het testen van deze systemen onder reële omstandigheden. De verordening moet in dergelijke gevallen echter voorzien in passende en voldoende waarborgen en voorwaarden voor aanbieders en potentiële aanbieders, rekening houdend met de mogelijke gevolgen van die testen voor individuele natuurlijke personen. Deze waarborgen moeten onder meer inhouden dat natuurlijke personen om geïnformeerde toestemming wordt gevraagd voor deelname aan testen onder reële omstandigheden, behalve in het kader van rechtshandhaving waarbij het vragen van geïnformeerde toestemming zou verhinderen dat het AI-systeem wordt getest. Toestemming van proefpersonen voor deelname aan dergelijke tests in het kader van deze verordening staat los van de toestemming van betrokkenen voor de verwerking van hun persoonsgegevens uit hoofde van het relevante gegevensbeschermingsrecht en laat deze onverlet. Het is ook belangrijk om de risico’s tot een minimum te beperken en toezicht door bevoegde autoriteiten mogelijk te maken en daarom potentiële aanbieders voor te schrijven dat zij een plan voor testen onder reële omstandigheden indienen bij de bevoegde markttoezichtautoriteit, de testen registreren in specifieke rubrieken in de EU-databank, met uitzondering van enkele beperkte uitzonderingen, beperkingen stellen aan de periode gedurende welke de testen kunnen worden uitgevoerd en aanvullende waarborgen voor tot bepaalde kwetsbare groepen horende personen vereisen, evenals een schriftelijke overeenkomst waarin de rollen en verantwoordelijkheden van potentiële aanbieders en gebruiksverantwoordelijken worden omschreven en doeltreffend toezicht door bevoegd personeel dat betrokken is bij de testen onder reële omstandigheden. Voorts is het passend te voorzien in aanvullende waarborgen om ervoor te zorgen dat de voorspellingen, aanbevelingen of besluiten van het AI-systeem daadwerkelijk kunnen worden teruggedraaid en genegeerd en dat persoonsgegevens worden beschermd en gewist indien de proefpersonen hun toestemming om aan de testen deel te nemen hebben ingetrokken, onverminderd hun rechten als betrokkenen uit hoofde van het Unierecht inzake gegevensbescherming. Wat de doorgifte van gegevens betreft, is het ook passend te voorzien dat gegevens die zijn verzameld en verwerkt met het oog op testen in reële omstandigheden alleen aan derde landen mogen worden doorgegeven die passende en toepasselijke waarborgen uit hoofde van het Unierecht toepassen, met name in overeenstemming met de basisvoorwaarden voor de doorgifte van persoonsgegevens uit hoofde van het Unierecht inzake gegevensbescherming, terwijl voor niet-persoonsgebonden gegevens passende waarborgen worden voorzien in overeenstemming met het Unierecht, zoals Verordeningen (EU) 2022/868 (42) en (EU) 2023/2854 (43) van het Europees Parlement en de Raad.

    (142)

    Om ervoor te zorgen dat AI tot sociaal en ecologisch gunstige resultaten leidt, worden de lidstaten aangemoedigd onderzoek naar en ontwikkeling van AI-oplossingen ter ondersteuning van sociaal en ecologisch gunstige resultaten te steunen en te bevorderen, zoals op AI gebaseerde oplossingen om de toegankelijkheid voor personen met een handicap te vergroten, sociaal-economische ongelijkheden aan te pakken of milieudoelstellingen te halen, door voldoende middelen toe te wijzen, met inbegrip van overheidsfinanciering en financiering door de Unie, en met name, in voorkomend geval en op voorwaarde dat aan de subsidiabiliteits- en selectiecriteria is voldaan, vooral projecten in overweging te nemen waarmee dergelijke doelstellingen worden nagestreefd. Dergelijke projecten moeten gebaseerd zijn op het beginsel van interdisciplinaire samenwerking tussen AI-ontwikkelaars, deskundigen op het gebied van ongelijkheid en non-discriminatie, toegankelijkheid, consumentenrecht, milieurecht en digitale rechten, alsook academici.

    (143)

    Om de innovatie te bevorderen en beschermen, is het belangrijk dat er in het bijzonder rekening wordt gehouden met de belangen van kmo’s, met inbegrip van start-ups, die aanbieders of gebruiksverantwoordelijken van AI-systemen zijn. Daartoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze operatoren, onder meer met het oog op bewustmaking en informatieverstrekking. De lidstaten moeten kmo’s, met inbegrip van start-ups, die een maatschappelijke zetel of een bijkantoor in de Unie hebben, prioritaire toegang bieden tot de AI-testomgevingen voor regelgeving, mits zij voldoen aan de subsidiabiliteitsvoorwaarden en selectiecriteria en zonder andere aanbieders en potentiële aanbieders uit te sluiten van de testomgevingen, mits aan dezelfde voorwaarden en criteria is voldaan. De lidstaten moeten hiervoor de bestaande kanalen gebruiken en waar nodig nieuwe specifieke kanalen voor de communicatie met kmo’s, met inbegrip van start-ups, gebruiksverantwoordelijken, andere innovatoren en, in voorkomend geval, lokale overheidsinstanties opzetten om kmo’s in hun ontwikkelingstraject te ondersteunen door begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden. Waar nodig moeten deze kanalen met elkaar samenwerken om synergieën te creëren en te zorgen voor een homogene aanpak bij hun adviezen aan kmo’s, met inbegrip van start-ups, en gebruiksverantwoordelijken. Daarnaast moeten de lidstaten de deelname van kmo’s en andere relevante belanghebbenden aan het proces voor de ontwikkeling van normen faciliteren. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van aanbieders die kmo’s zijn, met inbegrip van start-ups, wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. De Commissie moet de certificerings- en nalevingskosten voor kmo’s, met inbegrip van start-ups, regelmatig beoordelen via transparant overleg, en moet met de lidstaten samenwerken om die kosten te verlagen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen bijvoorbeeld een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere operatoren. De lidstaten moeten er indien mogelijk voor zorgen dat een van de door hen vastgestelde en aanvaarde talen voor de documentatie van betrokken aanbieders en voor de communicatie met operatoren in grote lijnen wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruiksverantwoordelijken. Om tegemoet te komen aan de specifieke behoeften van kmo’s, met inbegrip van start-ups, moet de Commissie op verzoek van de AI-board gestandaardiseerde sjablonen verstrekken voor de gebieden die onder deze verordening vallen. Daarnaast moet de Commissie de inspanningen van de lidstaten aanvullen door te voorzien in een centraal informatieplatform met gebruiksvriendelijke informatie over deze verordening voor alle aanbieders en gebruiksverantwoordelijken, door passende communicatiecampagnes te organiseren om het bewustzijn over de uit deze verordening voortvloeiende verplichtingen te vergroten, en door de convergentie van beste praktijken in openbare aanbestedingsprocedures met betrekking tot AI-systemen te evalueren en te bevorderen. Middelgrote ondernemingen die tot voor kort als kleine ondernemingen werden aangemerkt in de zin van de bijlage bij Aanbeveling 2003/361/EG van de Commissie (44), moeten toegang hebben tot die steunmaatregelen, aangezien die nieuwe middelgrote ondernemingen soms niet over de nodige juridische middelen en opleiding beschikken om een goed begrip en een goede naleving van deze verordening te waarborgen.

    (144)

    Om innovatie te bevorderen en te beschermen, moeten het platform voor AI on demand en alle relevante financieringsprogramma’s en projecten van de Unie, zoals het programma Digitaal Europa en Horizon Europa, die op Unie- of nationaal niveau worden uitgevoerd door de Commissie en de lidstaten, in voorkomend geval, bijdragen aan de verwezenlijking van de doelstellingen van deze verordening.

    (145)

    Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders, met name kmo’s, met inbegrip van start-ups, en aangemelde instanties van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden met name het platform voor AI on demand, de Europese digitale-innovatiehubs en de test- en experimenteerfaciliteiten die door de Commissie en de lidstaten op Unie- of nationaal niveau zijn vastgesteld, moeten bijdragen tot de uitvoering van deze verordening. Binnen hun respectieve opdracht en bevoegdheidsgebieden kunnen het platform voor AI on demand, de Europese digitale-innovatiehubs en de test- en experimenteerfaciliteiten met name technische en wetenschappelijke ondersteuning bieden aan aanbieders en aangemelde instanties.

    (146)

    Voorts is het, gezien de zeer kleine omvang van sommige operatoren en om de evenredigheid met betrekking tot de kosten van innovatie te waarborgen, passend dat micro-ondernemingen op vereenvoudigde wijze aan een van de duurste vereisten, namelijk het opzetten van een systeem voor kwaliteitsbeheer, voldoen, hetgeen de administratieve lasten en de kosten voor deze ondernemingen zou verminderen zonder afbreuk te doen aan het beschermingsniveau en de noodzaak om de vereisten voor AI-systemen met een hoog risico na te leven. De Commissie moet richtsnoeren ontwikkelen om de elementen te specificeren van het kwaliteitsbeheersysteem waaraan micro-ondernemingen op deze vereenvoudigde wijze moeten voldoen.

    (147)

    Het is passend dat de Commissie voor zover mogelijk de toegang tot test- en experimenteerfaciliteiten vergemakkelijkt voor instanties, groepen of laboratoria die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.

    (148)

    Bij deze verordening moet een governancekader worden vastgelegd dat het mogelijk maakt de toepassing van deze verordening op nationaal niveau te coördineren en te ondersteunen, evenals capaciteiten op het niveau van de Unie op te bouwen en belanghebbenden op het gebied van AI te integreren. De doeltreffende uitvoering en handhaving van deze verordening vereist een governancekader dat het mogelijk maakt centrale deskundigheid op het niveau van de Unie te coördineren en uit te bouwen. Het AI-bureau is opgericht bij besluit van de Commissie (45) en heeft tot taak deskundigheid en capaciteiten van de Unie op het gebied van AI te ontwikkelen en bij te dragen aan de uitvoering van het recht van de Unie inzake AI. De lidstaten moeten de taken van het AI-bureau faciliteren om de ontwikkeling van deskundigheid en capaciteiten van de Unie op het niveau van de Unie te ondersteunen en de werking van de digitale eengemaakte markt te versterken. Voorts moeten een raad, bestaande uit vertegenwoordigers van de lidstaten, een wetenschappelijk panel om de wetenschappelijke gemeenschap te integreren en een adviesforum worden opgericht om te zorgen voor inbreng van belanghebbenden bij de uitvoering van deze verordening op Unie- en nationaal niveau. Bij de ontwikkeling van de deskundigheid en capaciteiten van de Unie moet ook gebruik worden gemaakt van bestaande middelen en deskundigheid, met name door middel van synergieën met structuren die zijn opgebouwd in het kader van de handhaving van andere wetgeving op Unieniveau en synergieën met gerelateerde initiatieven op Unieniveau, zoals de Gemeenschappelijke Onderneming EuroHPC en de test- en experimenteerfaciliteiten voor AI in het kader van het programma Digitaal Europa.

    (149)

    Teneinde een soepele, doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken, moet een AI-board worden opgericht. De AI-board moet de verschillende belangen van het AI-ecosysteem belichamen en uit vertegenwoordigers van de lidstaten bestaan. De AI-board moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen en aanbevelingen of het bijdragen aan richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over handhaving, technische specificaties of bestaande normen met betrekking tot de eisen van deze verordening, en de adviesverlening aan de Commissie en de lidstaten en hun nationale bevoegde autoriteiten ten aanzien van specifieke vragen in verband met artificiële intelligentie. Om de lidstaten enige flexibiliteit te bieden bij de aanwijzing van hun vertegenwoordigers in de AI-board, mogen zij iedereen die tot een overheidsinstantie behoort en over relevante competenties en bevoegdheden beschikt om de coördinatie op nationaal niveau te vergemakkelijken en bij te dragen aan de vervulling van de taken van de AI-board aanwijzen als vertegenwoordiger. De AI-board moet twee permanente subgroepen oprichten om een platform te bieden voor samenwerking en uitwisseling tussen markttoezichtautoriteiten en aanmeldende autoriteiten over kwesties betreffende respectievelijk markttoezicht en aangemelde instanties. De permanente subgroep voor markttoezicht moet fungeren als de administratievesamenwerkingsgroep (ADCO) voor deze verordening in de zin van artikel 30 van Verordening (EU) 2019/1020. Overeenkomstig artikel 33 van die verordening moet de Commissie de activiteiten van de permanente subgroep voor markttoezicht ondersteunen door marktevaluaties of -studies uit te voeren, met name om in kaart te brengen voor welke aspecten van deze verordening specifiek en dringend coördinatie nodig is tussen markttoezichtautoriteiten. De AI-board kan in voorkomend geval andere permanente of tijdelijke subgroepen oprichten om specifieke kwesties te onderzoeken. De AI-board moet, in voorkomend geval, ook samenwerken met relevante Unie-organen, -deskundigengroepen en -netwerken die zich bezighouden met het relevante recht van de Unie, waaronder met name die welke actief zijn in het kader van het recht van de Unie inzake data, digitale producten en diensten.

    (150)

    Om ervoor te zorgen dat belanghebbenden bij de uitvoering en toepassing van deze verordening worden betrokken, moet een adviesforum worden opgericht om de raad en de Commissie advies en technische expertise te verstrekken. Met het oog op een gevarieerde en evenwichtige vertegenwoordiging van belanghebbenden tussen commerciële en niet-commerciële belangen en, binnen de categorie commerciële belangen, wat kmo’s en andere ondernemingen betreft, moet het adviesforum onder meer bestaan uit vertegenwoordigers van de industrie, start-ups, kmo’s, de academische wereld, het maatschappelijk middenveld, met inbegrip van de sociale partners, het Bureau voor de grondrechten, Enisa, het Europees Comité voor normalisatie (CEN), het Europees Comité voor elektrotechnische normalisatie (Cenelec) en het Europees Instituut voor telecommunicatienormen (ETSI).

    (151)

    Ter ondersteuning van de uitvoering en handhaving van deze verordening, met name de monitoringactiviteiten van het AI-bureau met betrekking tot AI-modellen voor algemene doeleinden, moet een wetenschappelijk panel van onafhankelijke deskundigen worden opgericht. De onafhankelijke deskundigen die het wetenschappelijk panel vormen, moeten worden geselecteerd op basis van actuele wetenschappelijke of technische deskundigheid op het gebied van AI en moeten hun taken onpartijdig en objectief uitvoeren en de vertrouwelijkheid van de bij de uitvoering van hun taken en activiteiten verkregen informatie en gegevens waarborgen. Om nationale capaciteit die nodig is voor de doeltreffende handhaving van deze verordening te kunnen versterken, moeten de lidstaten voor hun handhavingsactiviteiten steun kunnen vragen van de deskundigen die het wetenschappelijke panel vormen.

    (152)

    Om een adequate handhaving van AI-systemen te ondersteunen en de capaciteiten van de lidstaten te versterken, moeten ondersteunende Uniestructuren voor AI-testen worden opgezet en ter beschikking van de lidstaten worden gesteld.

    (153)

    De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat ten minste een aanmeldende autoriteit en ten minste een markttoezichtautoriteit als nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. De lidstaten kunnen besluiten om het even welke soort openbare entiteit aan te wijzen om de taken van de nationale bevoegde autoriteiten in de zin van deze verordening uit te voeren, in overeenstemming met hun specifieke nationale organisatorische kenmerken en behoeften. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een centraal contactpunt in te stellen voor het publiek en andere partijen op het niveau van de lidstaten en de Unie, moet elke lidstaat één markttoezichtautoriteit aanwijzen die als centraal contactpunt moet dienen.

    (154)

    De nationale bevoegde autoriteiten moeten hun bevoegdheden onafhankelijk, onpartijdig en onbevooroordeeld uitoefenen, teneinde de beginselen van objectiviteit van hun activiteiten en taken te waarborgen en de toepassing en uitvoering van deze verordening te verzekeren. De leden van deze autoriteiten moeten zich onthouden van handelingen die onverenigbaar zijn met hun taken en moeten onderworpen zijn aan vertrouwelijkheidsregels uit hoofde van deze verordening.

    (155)

    Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. In voorkomend geval moet de monitoring na het in de handel brengen een analyse van de interactie met andere AI-systemen, met inbegrip van andere apparaten en software, omvatten. Monitoring na het in de handel brengen mag niet gelden voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht over een systeem te beschikken om ernstige incidenten als gevolg van het gebruik van hun AI-systemen, d.w.z. incidenten of storingen die leiden tot de dood of ernstige schade aan de gezondheid, ernstige en onomkeerbare verstoring van het beheer en de exploitatie van kritieke infrastructuur, inbreuken op verplichtingen uit hoofde van het Unierecht ter bescherming van de grondrechten of ernstige schade aan eigendommen of het milieu, aan de relevante autoriteiten te melden.

    (156)

    Teneinde een passende en doeltreffende handhaving te waarborgen van de eisen en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Krachtens deze verordening aangewezen markttoezichtautoriteiten moeten over alle handhavingsbevoegdheden beschikken die in deze verordening en in Verordening (EU) 2019/1020 zijn vastgelegd, en moeten hun bevoegdheden en taken onafhankelijk, onpartijdig en onbevooroordeeld uitoefenen. Hoewel voor de meeste AI-systemen geen specifieke eisen en verplichtingen gelden krachtens deze verordening, mogen markttoezichtautoriteiten maatregelen nemen ten aanzien van alle AI-systemen indien deze een risico vormen overeenkomstig deze verordening. Gezien de specifieke aard van de instellingen, agentschappen en organen van de Unie die binnen het toepassingsgebied van deze verordening vallen, is het wenselijk de Europese Toezichthouder voor gegevensbescherming aan te wijzen als de voor hen bevoegde markttoezichtautoriteit. Dit moet de aanwijzing van nationale bevoegde autoriteiten door de lidstaten onverlet laten. Markttoezichtactiviteiten mogen geen afbreuk doen aan het vermogen van de onder toezicht staande entiteiten om hun taken onafhankelijk uit te voeren, indien het Unierecht deze onafhankelijkheid vereist.

    (157)

    Deze verordening doet geen afbreuk aan de bekwaamheid, taken, bevoegdheden en onafhankelijkheid van betrokken nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling en gegevensbeschermingsautoriteiten. Waar noodzakelijk met het oog op hun taken, moeten die nationale overheidsinstanties en -organen ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld. Er moet een specifieke vrijwaringsprocedure worden vastgesteld om te zorgen voor een adequate en tijdige handhaving ten aanzien van AI-systemen die een risico inhouden voor de gezondheid, veiligheid en de grondrechten. De procedure voor dergelijke AI-systemen die een risico inhouden moet worden toegepast op AI-systemen met een hoog risico die een risico inhouden, verboden systemen die in de handel zijn gebracht, in gebruik zijn gesteld of zijn gebruikt in strijd met de bepalingen van deze verordening inzake verboden praktijken en AI-systemen die beschikbaar zijn gemaakt in strijd met de transparantievereisten van deze verordening en een risico inhouden.

    (158)

    Het Unierecht inzake financiële diensten omvat regels en eisen met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook indien zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en vereisten van de rechtshandelingen van de Unie inzake financiële diensten, moeten de bevoegde autoriteiten voor het toezicht op en de handhaving van die rechtshandelingen, met name bevoegde autoriteiten zoals gedefinieerd in Verordening (EU) nr. 575/2013 van het Europees Parlement en de Raad (46) en de Richtlijnen 2008/48/EG (47), 2009/138/EG (48), 2013/36/EU (49), 2014/17/EU (50) en (EU) 2016/97 (51) van het Europees Parlement en de Raad, binnen hun respectieve bevoegdheden worden aangewezen als bevoegde autoriteiten voor het toezicht op de uitvoering van deze verordening, met inbegrip van markttoezichtactiviteiten, met betrekking tot AI-systemen die worden aangeboden of gebruikt door gereglementeerde en gecontroleerde financiële instellingen, tenzij de lidstaten besluiten een andere autoriteit aan te wijzen om deze markttoezichttaken uit te voeren. Die bevoegde autoriteiten moeten over alle bevoegdheden uit hoofde van deze verordening en Verordening (EU) 2019/1020 beschikken om de eisen en verplichtingen van deze verordening te handhaven, met inbegrip van bevoegdheden om ex-postmarkttoezichtactiviteiten uit te voeren die, in voorkomend geval, kunnen worden geïntegreerd in hun bestaande toezichtsmechanismen en -procedures uit hoofde van het desbetreffende Unierecht inzake financiële diensten. Het is wenselijk te bepalen dat de nationale autoriteiten die verantwoordelijk zijn voor het toezicht op onder Richtlijn 2013/36/EU vallende kredietinstellingen en deelnemen aan het bij Verordening (EU) nr. 1024/2013 van de Raad (52) ingestelde gemeenschappelijk toezichtsmechanisme, indien zij optreden als markttoezichtautoriteiten in het kader van deze verordening, alle bij hun markttoezichtactiviteiten verkregen informatie die potentieel van belang kan zijn voor de in die verordening omschreven taken van de Europese Centrale Bank met betrekking tot prudentieel toezicht onverwijld melden bij de Europese Centrale Bank. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU verder te verbeteren, is het ook passend om enkele van de procedurele verplichtingen van aanbieders in verband met risicobeheer, monitoring na het in de handel brengen en documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitorings-verplichting voor gebruiksverantwoordelijken van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU. Om te zorgen voor consistentie en gelijke behandeling in de financiële sector moet dezelfde regeling gelden voor verzekerings- en herverzekeringsondernemingen en verzekeringsholdings die vallen onder Richtlijn 2009/138/EG en verzekeringstussenpersonen die vallen onder Richtlijn (EU) 2016/97 en andere soorten financiële instellingen die gebonden zijn aan eisen inzake interne governance, regelingen of procedures die zijn vastgelegd op grond van het desbetreffende Unierecht inzake financiële diensten.

    (159)

    Elke markttoezichtautoriteit voor AI-systemen met een hoog risico op het gebied van biometrische gegevens, zoals vermeld in een bijlage bij deze verordening, voor zover die systemen worden gebruikt voor rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, of voor de rechtsbedeling en democratische processen, moet beschikken over doeltreffende onderzoeksbevoegdheden en corrigerende bevoegdheden, waaronder ten minste de bevoegdheid om toegang te verkrijgen tot alle persoonsgegevens die worden verwerkt en tot alle informatie die nodig is voor de uitvoering van haar taken. De markttoezicht-autoriteiten moeten hun bevoegdheden volledig onafhankelijk kunnen uitoefenen. Eventuele beperkingen van hun toegang tot gevoelige operationele gegevens uit hoofde van deze verordening mogen geen afbreuk doen aan de hun bij Richtlijn (EU) 2016/680 verleende bevoegdheden. Geen enkele uitsluiting betreffende de openbaarmaking van gegevens aan nationale gegevensbeschermingsautoriteiten uit hoofde van deze verordening mag afbreuk doen aan de huidige of toekomstige bevoegdheden van die autoriteiten die buiten het toepassingsgebied van deze verordening vallen.

    (160)

    De markttoezichtautoriteiten en de Commissie moeten gezamenlijke activiteiten, waaronder gezamenlijke onderzoeken, kunnen voorstellen die door markttoezichtautoriteiten alleen of samen met de Commissie moeten worden uitgevoerd, met als doel de naleving te bevorderen, de niet-naleving vast te stellen, het bewustzijn te vergroten en richtsnoeren inzake deze verordening te verstrekken betreffende specifieke categorieën AI-systemen met een hoog risico die in twee of meer lidstaten een ernstig risico blijken te vormen. Gezamenlijke activiteiten ter bevordering van conformiteit moeten worden uitgevoerd overeenkomstig artikel 9 van Verordening (EU) 2019/1020. Het AI-bureau moet zorgen voor coördinerende ondersteuning van gezamenlijke onderzoeken.

    (161)

    Het is noodzakelijk de verantwoordelijkheden en bevoegdheden op het niveau van de Unie en op nationaal niveau te verduidelijken wat betreft AI-systemen die gebaseerd zijn op AI-modellen voor algemene doeleinden. Om overlappende bevoegdheden te voorkomen, moet, indien een AI-systeem gebaseerd is op een AI-model voor algemene doeleinden en het model en systeem door dezelfde aanbieder worden aangeboden, het toezicht op het niveau van de Unie plaatsvinden via het AI-bureau, dat voor dit doel de bevoegdheden moet hebben van een markttoezichtautoriteit in de zin van Verordening (EU) 2019/1020. In alle andere gevallen blijven de nationale markttoezichtautoriteiten verantwoordelijk voor het toezicht op AI-systemen. Voor AI-systemen voor algemene doeleinden die rechtstreeks door gebruiksverantwoordelijken kunnen worden gebruikt voor ten minste één doel dat als hoog risico is geclassificeerd, moeten markttoezichtautoriteiten echter samenwerken met het AI-bureau om conformiteitsbeoordelingen uit te voeren en de AI-board en andere markttoezicht-autoriteiten daarvan in kennis te stellen. Voorts moeten markttoezichtautoriteiten het AI-bureau om bijstand kunnen verzoeken indien de markttoezichtautoriteit geen onderzoek naar een AI-systeem met een hoog risico kan afronden omdat zij geen toegang heeft tot bepaalde informatie met betrekking tot het AI-model voor algemene doeleinden waarop het AI-systeem met een hoog risico is gebaseerd. In dergelijke gevallen moet de procedure betreffende wederzijdse bijstand in grensoverschrijdende zaken van hoofdstuk VI van Verordening (EU) 2019/1020 op overeenkomstige wijze van toepassing zijn.

    (162)

    Om optimaal gebruik te maken van de gecentraliseerde Unie-expertise en van de synergieën op het niveau van de Unie, moeten de bevoegdheden voor het toezicht op en de handhaving van de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden een bevoegdheid van de Commissie zijn. Het AI-bureau moet alle nodige maatregelen kunnen nemen om toezicht te houden op de doeltreffende uitvoering van deze verordening met betrekking tot AI-modellen voor algemene doeleinden. Het moet mogelijke inbreuken op de regels inzake aanbieders van AI-modellen voor algemene doeleinden kunnen onderzoeken, zowel op eigen initiatief, op basis van de resultaten van zijn monitoring-activiteiten, hetzij op verzoek van markttoezichtautoriteiten in overeenstemming met de in deze verordening vastgestelde voorwaarden. Om een doeltreffende monitoring van het AI-bureau te ondersteunen, moet het voorzien in de mogelijkheid dat aanbieders verder in de AI-waardeketen klachten indienen over mogelijke inbreuken op de regels inzake aanbieders van AI-modellen en -systemen voor algemene doeleinden.

    (163)

    Als aanvulling op de governancesystemen voor AI-modellen voor algemene doeleinden moet het wetenschappelijk panel de monitoringactiviteiten van het AI-bureau ondersteunen en kan het in bepaalde gevallen gekwalificeerde waarschuwingen aan het AI-bureau verstrekken die eventueel aanleiding geven tot vervolgonderzoeken. Dit moet het geval zijn indien het wetenschappelijk panel redenen heeft om te vermoeden dat een AI-model voor algemene doeleinden een concreet en aanwijsbaar risico op het niveau van de Unie vormt. Voorts moet dit het geval zijn indien het wetenschappelijk panel redenen heeft om te vermoeden dat een AI-model voor algemene doeleinden voldoet aan de criteria om als AI-model voor algemene doeleinden met een systeemrisico te worden geclassificeerd. Om het wetenschappelijk panel uit te rusten met de informatie die nodig is voor de uitvoering van die taken, moet er een mechanisme zijn waarbij het wetenschappelijk panel de Commissie kan verzoeken documentatie of informatie van een Aanbieder te eisen.

    (164)

    Het AI-bureau moet de nodige maatregelen kunnen nemen om de doeltreffende uitvoering en naleving van de in deze verordening vastgestelde verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden te monitoren. Het AI-bureau moet mogelijke inbreuken kunnen onderzoeken overeenkomstig de bevoegdheden waarin deze verordening voorziet, onder meer door documentatie en informatie op te vragen, evaluaties uit te voeren en door aanbieders van AI-modellen voor algemene doeleinden om maatregelen te verzoeken. Om gebruik te maken van onafhankelijke expertise moet het AI-bureau bij de uitvoering van evaluaties onafhankelijke deskundigen kunnen betrekken om namens het bureau de evaluaties uit te voeren. Naleving van de verplichtingen moet afdwingbaar zijn, onder meer door verzoeken om passende maatregelen te nemen, met inbegrip van risicobeperkende maatregelen in het geval van vastgestelde systeemrisico’s, alsook door het op de markt aanbieden van het model te beperken, het uit de handel te nemen of het terug te roepen. Als waarborg moeten aanbieders van AI-modellen voor algemene doeleinden, indien nodig naast de procedurele rechten waarin deze verordening voorziet, over de procedurele rechten beschikken waarin is voorzien in artikel 18 van Verordening (EU) 2019/1020, dat van overeenkomstige toepassing is, onverminderd specifiekere procedurele rechten waarin deze verordening voorziet.

    (165)

    De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de eisen van deze verordening kan leiden tot een groter gebruik van ethische en betrouwbare AI in de Unie. Aanbieders van AI-systemen zonder hoog risico moeten worden aangemoedigd om gedragscodes op te stellen, met inbegrip van gerelateerde governancemechanismen, die bedoeld zijn ter bevordering van de vrijwillige toepassing van sommige of alle dwingende eisen die gelden voor AI-systemen met een hoog risico, aangepast in het licht van het beoogde doel van de systemen en het lagere risico ervan en rekening houdend met de beschikbare technische oplossingen en beste praktijken van de sector, zoals model- en gegevenskaarten. Aanbieders en, in voorkomend geval, gebruiksverantwoordelijken van alle AI-systemen, al dan niet met een hoog risico, en AI-modellen moeten ook worden aangemoedigd om op vrijwillige basis aanvullende eisen toe te passen, bijvoorbeeld met betrekking tot de elementen van de “ethische richtsnoeren van de Unie voor betrouwbare KI”, milieuduurzaamheid, maatregelen op het gebied van AI-geletterdheid, inclusief en divers ontwerp en ontwikkeling van AI-systemen, met inbegrip van aandacht voor kwetsbare personen en toegankelijkheid voor personen met een handicap, deelname van belanghebbenden, in voorkomend geval met betrokkenheid van relevante belanghebbenden zoals het bedrijfsleven en maatschappelijke organisaties, de academische wereld, onderzoeksorganisaties, vakbonden en consumentenorganisaties bij het ontwerp en de ontwikkeling van AI-systemen, en diversiteit van de ontwikkelingsteams, met inbegrip van genderevenwicht. Om ervoor te zorgen dat de vrijwillige gedragscodes doeltreffend zijn, moeten zij gebaseerd zijn op duidelijke doelstellingen en kernprestatie-indicatoren om de verwezenlijking van die doelstellingen te meten. Zij moeten in voorkomend geval ook op inclusieve wijze worden ontwikkeld, met betrokkenheid van relevante belanghebbenden zoals het bedrijfsleven en maatschappelijke organisaties, de academische wereld, onderzoeksorganisaties, vakbonden en consumentenorganisaties. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen voor grensoverschrijdende uitwisseling van data voor AI-ontwikkeling te helpen beperken, onder meer met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.

    (166)

    Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de eisen voor AI-systemen met een hoog risico, desalniettemin veilig zijn indien zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Verordening (EU) 2023/988 van het Europees Parlement en de Raad (53) als vangnet van toepassing zijn.

    (167)

    Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen, overeenkomstig het Unierecht of het nationale recht. Zij moeten hun taken en activiteiten zodanig uitvoeren dat met name intellectuele-eigendomsrechten, vertrouwelijke bedrijfsinformatie en bedrijfsgeheimen, de doeltreffende uitvoering van deze verordening, openbare en nationale veiligheidsbelangen, de integriteit van strafrechtelijke en administratieve procedures en de integriteit van gerubriceerde informatie worden beschermd.

    (168)

    Naleving van deze verordening moet afdwingbaar zijn door het opleggen van sancties en andere handhavingsmaatregelen. De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop, en opdat het beginsel non bis in idem in acht wordt genomen. Teneinde de administratieve sancties tegen inbreuken op deze verordening te versterken en te harmoniseren, moeten de maxima voor de vaststelling van de administratieve geldboeten voor bepaalde specifieke inbreuken worden vastgesteld. Bij de beoordeling van het bedrag van de boeten moeten de lidstaten per afzonderlijk geval rekening houden met alle relevante omstandigheden van de specifieke situatie, met inachtneming van met name de aard, de ernst en de duur van de inbreuk, de gevolgen ervan en de omvang van de aanbieder, met name indien de aanbieder een kmo is, met inbegrip van start-ups. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om boeten op te leggen aan instellingen, agentschappen en organen van de Unie die binnen het toepassingsgebied van deze verordening vallen.

    (169)

    De naleving van de uit hoofde van deze verordening opgelegde verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden moet onder meer afdwingbaar zijn door middel van boeten. Daartoe moeten ook passende boeten worden vastgesteld voor inbreuken op die verplichtingen, met inbegrip van de niet-naleving van de door de Commissie overeenkomstig deze verordening gevraagde maatregelen, met inachtneming van passende verjaringstermijnen overeenkomstig het evenredigheidsbeginsel. Alle besluiten die de Commissie krachtens deze verordening neemt, zijn overeenkomstig het VWEU onderworpen aan toetsing door het Hof van Justitie van de Europese Unie, met inbegrip van de onbeperkte rechtsmacht van het Hof van Justitie wat betreft sancties op grond van artikel 261 VWEU.

    (170)

    Het Unierecht en het nationale recht voorzien reeds in doeltreffende rechtsmiddelen voor natuurlijke personen en rechtspersonen van wie de rechten en vrijheden worden geschaad door het gebruik van AI-systemen. Onverminderd die rechtsmiddelen, kan elke natuurlijke of rechtspersoon die redenen heeft om aan te nemen dat er sprake is van een inbreuk op de bepalingen van deze verordening, een met redenen omklede klacht indienen bij de betrokken markttoezichtautoriteit.

    (171)

    Getroffen personen moeten het recht hebben om uitleg te krijgen indien het besluit van een gebruiksverantwoordelijke voornamelijk is gebaseerd op de output van bepaalde AI-systemen met een hoog risico die binnen het toepassingsgebied van deze verordening vallen en indien dat besluit rechtsgevolgen of gelijkaardige aanzienlijke gevolgen heeft voor de gezondheid, veiligheid of grondrechten van die personen. Die uitleg moet duidelijk en zinvol zijn en moet de grondslag zijn waarop de getroffen personen zich kunnen baseren om hun rechten uit te oefenen. Het recht om uitleg te krijgen mag niet van toepassing zijn op het gebruik van AI-systemen waarvoor uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht en moet alleen van toepassing zijn voor zover het Unierecht niet reeds in dit recht voorziet.

    (172)

    Personen die optreden als klokkenluiders bij inbreuken op deze verordening, moeten worden beschermd uit hoofde van het Unierecht. Richtlijn (EU) 2019/1937 van het Europees Parlement en de Raad (54) moet daarom van toepassing zijn op de melding van inbreuken op deze verordening en op de bescherming van personen die dergelijke inbreuken melden.

    (173)

    Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet aan de Commissie de bevoegdheid worden overgedragen om overeenkomstig artikel 290 VWEU handelingen vast te stellen tot wijziging van de voorwaarden waaronder een AI-systeem niet als een AI-systeem met een hoog risico wordt beschouwd, van de lijst van AI-systemen met een hoog risico, van de bepalingen inzake technische documentatie, van de inhoud van de EU-conformiteitsverklaring, van de bepalingen betreffende de conformiteitsbeoordelingsprocedures, van de bepalingen tot vaststelling van AI-systemen met een hoog risico waarop de conformiteitsbeoordelingsprocedure op basis van de beoordeling van het kwaliteitsbeheersysteem en de beoordeling van de technische documentatie moet gelden, van de drempel, benchmarks en indicatoren, onder meer door die benchmarks en indicatoren aan te vullen, van de regels voor de classificatie van AI-modellen voor algemene doeleinden met systeemrisico’s, van de criteria voor de aanwijzing van AI-modellen voor algemene doeleinden met een systeemrisico, van de technische documentatie voor aanbieders van AI-modellen voor algemene doeleinden en van de transparantie-informatie voor aanbieders van AI-modellen voor algemene doeleinden. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven (55). Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

    (174)

    Gezien de snelle technologische ontwikkelingen en de technische deskundigheid die vereist is om deze verordening doeltreffende toe te passen, moet de Commissie deze verordening uiterlijk op 2 augustus 2029 en vervolgens om de vier jaar evalueren en toetsen en verslag uitbrengen aan het Europees Parlement en de Raad. Daarnaast moet de Commissie, rekening houdend met de gevolgen voor het toepassingsgebied van deze verordening, eenmaal per jaar een beoordeling uitvoeren van de noodzaak om de lijst van AI-systemen met een hoog risico en de lijst van verboden praktijken te wijzigen. Bovendien moet de Commissie uiterlijk op 2 augustus 2028 en vervolgens om de vier jaar een evaluatie maken van de noodzaak om de lijst van rubrieken van gebieden met een hoog risico in de bijlage bij deze verordening te wijzigen, van de AI-systemen die onder de transparantieverplichtingen vallen en van de doeltreffendheid van het toezicht- en governancesysteem en de vooruitgang bij de ontwikkeling van normalisatieproducten met betrekking tot de energie-efficiënte ontwikkeling van AI-modellen voor algemene doeleinden, met inbegrip van de behoefte aan verdere maatregelen of acties, en hierover verslag uitbrengen aan het Europees Parlement en de Raad. Tot slot moet de Commissie uiterlijk op 2 augustus 2028 en vervolgens om de drie jaar de impact en de doeltreffendheid evalueren van vrijwillige gedragscodes om de toepassing van de eisen voor AI-systemen met een hoog risico op andere AI-systemen dan AI-systemen met een hoog risico te bevorderen, en eventuele andere aanvullende eisen voor dergelijke AI-systemen.

    (175)

    Om eenvormige voorwaarden te waarborgen voor de uitvoering van deze verordening, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad (56).

    (176)

    Aangezien de doelstelling van deze verordening, namelijk het verbeteren van de werking van de interne markt en het bevorderen van de invoering van mensgerichte en betrouwbare AI, waarbij tegelijkertijd een hoog niveau van bescherming van de gezondheid, de veiligheid en de in het Handvest verankerde grondrechten wordt gewaarborgd, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu tegen de schadelijke gevolgen van AI-systemen in de Unie en het ondersteunen van innovatie, niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.

    (177)

    Om rechtszekerheid te waarborgen, ervoor te zorgen dat er een passende aanpassingsperiode is voor operatoren en verstoring van de markt te voorkomen, onder meer door de continuïteit van het gebruik van AI-systemen te waarborgen, is het wenselijk dat AI-systemen met een hoog risico die vóór de algemene datum van toepassing van deze verordening in de handel zijn gebracht of in gebruik zijn gesteld, enkel onderworpen zijn aan deze verordening indien hun ontwerp of beoogde doel na die datum aanzienlijk is gewijzigd. Er moet worden verduidelijkt dat een aanzienlijke wijziging in dit verband inhoudelijk overeenkomt met het begrip substantiële wijziging, dat enkel wordt gebruikt met betrekking tot AI-systemen met een hoog risico op grond van deze verordening. Bij wijze van uitzondering en in het licht van de publieke verantwoordingsplicht moeten operatoren van AI-systemen die componenten zijn van de grootschalige IT-systemen die zijn opgezet volgens de in een bijlage bij deze verordening vermelde rechtshandelingen, en operatoren van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, respectievelijk uiterlijk eind 2030 en uiterlijk op 2 augustus 2030 de nodige stappen nemen om aan de eisen ervan te voldoen.

    (178)

    Aanbieders van AI-systemen met een hoog risico worden aangemoedigd de desbetreffende verplichtingen van deze verordening al tijdens de overgangsperiode op vrijwillige basis toe te passen.

    (179)

    Deze verordening moet van toepassing zijn met ingang van 2 augustus 2026. Rekening houdend met het onaanvaardbare risico in verband met de manier waarop AI soms kan worden gebruikt, moeten de verbodsbepalingen alsmede de algemene bepalingen van deze verordening echter reeds van toepassing zijn met ingang van 2 februari 2025. Hoewel het volledige resultaat van die verbodsbepalingen pas zichtbaar wordt met de governance en de handhaving van deze verordening, is het van belang op de toepassing van deze verbodsbepalingen te anticiperen om rekening te houden met onaanvaardbare risico’s en om een weerslag te hebben op andere procedures, zoals in het burgerlijk recht. Voorts moet de infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling vóór 2 augustus 2026 operationeel zijn en moeten de bepalingen inzake aangemelde instanties en de governancestructuur derhalve van toepassing zijn vanaf 2 augustus 2025. Gezien het snelle tempo van de technologische vooruitgang en de invoering van AI-modellen voor algemene doeleinden, moeten de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden van toepassing zijn met ingang van 2 augustus 2025. Praktijkcodes moeten uiterlijk op 2 mei 2025 gereed zijn om aanbieders in staat te stellen de naleving ervan tijdig aan te tonen. Het AI-bureau moet ervoor zorgen dat de classificatieregels en -procedures actueel zijn in het licht van technologische ontwikkelingen. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten met ingang van 2 augustus 2025 van toepassing zijn.

    (180)

    Overeenkomstig artikel 42, leden 1 en 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op 18 juni 2021 hebben zij hun gezamenlijk advies uitgebracht,

    HEBBEN DE VOLGENDE VERORDENING VASTGESTELD:

    HOOFDSTUK I

    ALGEMENE BEPALINGEN

    Artikel 1

    Onderwerp

    1.   Deze verordening heeft tot doel de werking van de interne markt te verbeteren en de toepassing van mensgerichte en betrouwbare artificiële intelligentie (AI) te bevorderen, en tegelijkertijd een hoog niveau van bescherming van de gezondheid, de veiligheid en de in het Handvest verankerde grondrechten te waarborgen, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, tegen de schadelijke gevolgen van AI-systemen in de Unie, en innovatie te ondersteunen.

    2.   Bij deze verordening worden vastgesteld:

    a)

    geharmoniseerde regels voor het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen in de Unie;

    b)

    een verbod op bepaalde AI-praktijken;

    c)

    specifieke eisen voor AI-systemen met een hoog risico en verplichtingen voor de operatoren van dergelijke systemen;

    d)

    geharmoniseerde transparantievoorschriften voor bepaalde AI-systemen;

    e)

    geharmoniseerde regels voor het in de handel brengen van AI-modellen voor algemene doeleinden;

    f)

    regels inzake marktmonitoring, markttoezicht, governance en handhaving van die regels;

    g)

    maatregelen ter ondersteuning van innovatie, met bijzondere nadruk op kmo’s, waaronder start-ups.

    Artikel 2

    Toepassingsgebied

    1.   Deze verordening is van toepassing op:

    a)

    aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, of AI-modellen voor algemene doeleinden in de handel brengen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd of er zich bevinden;

    b)

    gebruiksverantwoordelijken van AI-systemen die in de Unie zijn gevestigd of er zich bevinden;

    c)

    aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd of er zich bevinden, indien de output van het AI-systeem in de Unie wordt gebruikt;

    d)

    importeurs en distributeurs van AI-systemen;

    e)

    fabrikanten van producten die samen met hun product en onder hun eigen naam of merk een AI-systeem in de handel brengen of in gebruik stellen;

    f)

    gemachtigden van aanbieders die niet in de Unie gevestigd zijn;

    g)

    getroffen personen die zich in de Unie bevinden.

    2.   Op AI-systemen die overeenkomstig artikel 6, lid 1, als AI-systemen met een hoog risico worden aangemerkt die verband houden met producten die vallen onder de in bijlage I, afdeling B, opgenomen harmonisatiewetgeving van de Unie, zijn uitsluitend artikel 6, lid 1, de artikelen 102 tot en met 109 en artikel 112 van toepassing. Artikel 57 is alleen van toepassing voor zover de eisen voor AI-systemen met een hoog risico uit hoofde van deze verordening zijn opgenomen in die harmonisatiewetgeving van de Unie.

    3.   Deze verordening is niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet in geen geval afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid, ongeacht het soort entiteit dat door de lidstaten is belast met de uitvoering van taken in verband met die bevoegdheden.

    Deze verordening is niet van toepassing op AI-systemen wanneer en in zover die uitsluitend in de handel worden gebracht, in gebruik worden gesteld of, al dan niet gewijzigd, worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, ongeacht het soort entiteit dat deze activiteiten uitvoert.

    Deze verordening is niet van toepassing op AI-systemen die niet in de Unie in de handel worden gebracht of in gebruik worden gesteld en waarvan de output in de Unie uitsluitend wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, ongeacht het soort entiteit dat deze activiteiten uitvoert.

    4.   Deze verordening is niet van toepassing op overheidsinstanties in derde landen of internationale organisaties die op grond van lid 1 binnen het toepassingsgebied van deze verordening vallen, wanneer deze instanties of organisaties AI-systemen gebruiken in het kader van internationale samenwerking of overeenkomsten met de Unie of een of meer lidstaten op het gebied van rechtshandhaving en justitie, op voorwaarde dat een dergelijk derde land of internationale organisatie passende waarborgen biedt met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen.

    5.   Deze verordening laat de toepassing van de bepalingen inzake de aansprakelijkheid van aanbieders van tussenhandelsdiensten als vastgelegd in hoofdstuk II van Verordening (EU) 2022/2065 onverlet.

    6.   Deze verordening is niet van toepassing op AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel.

    7.   Het Unierecht inzake de bescherming van persoonsgegevens, de privacy en de vertrouwelijkheid van communicatie is van toepassing op persoonsgegevens die worden verwerkt in verband met de rechten en verplichtingen die in deze verordening zijn vastgelegd. Deze verordening laat de Verordeningen (EU) 2016/679 of (EU) 2018/1725, of de Richtlijnen 2002/58/EG of (EU) 2016/680 onverlet, onverminderd artikel 10, lid 5, en artikel 59 van deze verordening.

    8.   Deze verordening is niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten met betrekking tot AI-systemen of AI-modellen voor zij in de handel worden gebracht of in gebruik worden gesteld. Dergelijke activiteiten worden uitgevoerd in overeenstemming met het toepasselijke Unierecht. Testen onder reële omstandigheden vallen niet onder die uitsluiting.

    9.   Deze verordening doet geen afbreuk aan de regels die zijn vastgelegd in andere rechtshandelingen van de Unie betreffende consumentenbescherming en productveiligheid.

    10.   Deze verordening is niet van toepassing op verplichtingen van gebruiksverantwoordelijken die natuurlijke personen zijn die AI-systemen gebruiken in het kader van een louter persoonlijke niet-professionele activiteit.

    11.   Deze verordening belet de Unie of de lidstaten niet om wettelijke of bestuursrechtelijke bepalingen te handhaven of in te voeren die gunstiger zijn voor werknemers wat betreft de bescherming van hun rechten met betrekking tot het gebruik van AI-systemen door werkgevers, of om de toepassing van voor werknemers gunstigere collectieve overeenkomsten aan te moedigen of toe te staan.

    12.   Deze verordening is niet van toepassing op AI-systemen die worden vrijgegeven onder vrije en opensource licenties, tenzij zij in de handel worden gebracht of in gebruik worden gesteld als AI-systemen met een hoog risico of als een AI-systeem dat onder artikel 5 of artikel 50 valt.

    Artikel 3

    Definities

    Voor de toepassing van deze verordening wordt verstaan onder:

    1)

    “AI-systeem”: een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen;

    2)

    “risico”: de combinatie van de kans op schade en de ernst van die schade;

    3)

    “aanbieder”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merk, al dan niet tegen betaling;

    4)

    “gebruiksverantwoordelijke”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit;

    5)

    “gemachtigde”: een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een schriftelijke machtiging heeft gekregen en aanvaard van een aanbieder van een AI-systeem of een AI-model voor algemene doeleinden om namens die aanbieder de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren;

    6)

    “importeur”: een natuurlijke of rechtspersoon die zich bevindt of gevestigd is in de Unie die een AI-systeem in de handel brengt dat de naam of het merk van een in een derde land gevestigde natuurlijke of rechtspersoon draagt;

    7)

    “distributeur”: een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie op de markt aanbiedt;

    8)

    “operator”: een aanbieder, productfabrikant, gebruiksverantwoordelijke, gemachtigde, importeur of distributeur;

    9)

    “in de handel brengen”: het voor het eerst in de Unie op de markt aanbieden van een AI-systeem of een AI-model voor algemene doeleinden;

    10)

    “op de markt aanbieden”: het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem of een AI-model voor algemene doeleinden met het oog op distributie of gebruik op de markt van de Unie;

    11)

    “in gebruik stellen”: de directe levering van een AI-systeem aan de gebruiksverantwoordelijke voor het eerste gebruik of voor eigen gebruik in de Unie voor het beoogde doel;

    12)

    “beoogd doel”: het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt;

    13)

    “redelijkerwijs te voorzien misbruik”: het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of redelijkerwijs te voorziene interactie met andere systemen, waaronder andere AI-systemen;

    14)

    “veiligheidscomponent”: een component van een product of van een AI-systeem die een veiligheids-functie voor dat product of AI-systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen of eigendom in gevaar brengt;

    15)

    “gebruiksinstructies”: de door de aanbieder verstrekte informatie om de gebruiksverantwoordelijke te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem;

    16)

    “terugroepen van een AI-systeem”: een maatregel gericht op het retourneren aan de aanbieder, het buiten gebruik stellen of het onbruikbaar maken van een AI-systeem dat aan gebruiksverantwoordelijken ter beschikking is gesteld;

    17)

    “uit de handel nemen van een AI-systeem”: een maatregel waarmee wordt beoogd te voorkomen dat een AI-systeem dat zich in de toeleveringsketen bevindt, op de markt wordt aangeboden;

    18)

    “prestaties van een AI-systeem”: het vermogen van een AI-systeem om het beoogde doel te verwezenlijken;

    19)

    “aanmeldende autoriteit”: de nationale autoriteit die verantwoordelijk is voor het opzetten en uitvoeren van de noodzakelijke procedures voor de beoordeling, aanwijzing en kennisgeving van de conformiteitsbeoordelingsinstanties en de monitoring hiervan;

    20)

    “conformiteitsbeoordeling”: het proces waarbij de naleving wordt aangetoond van de voorschriften van hoofdstuk III, afdeling 2, in verband met een AI-systeem met een hoog risico;

    21)

    “conformiteitsbeoordelingsinstantie”: een instantie die als derde partij conformiteits-beoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren;

    22)

    “aangemelde instantie”: een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie, is aangemeld;

    23)

    “substantiële wijziging”: een verandering van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die door de aanbieder niet is voorzien of gepland in de initiële conformiteitsbeoordeling en als gevolg waarvan de overeenstemming van het AI-systeem met de voorschriften van hoofdstuk III, afdeling 2, wordt beïnvloed, of die leidt tot een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld;

    24)

    “CE-markering”: een markering waarmee een aanbieder aangeeft dat een AI-systeem in overeenstemming is met de voorschriften van hoofdstuk III, afdeling 2, en andere toepasselijke harmonisatiewetgeving van de Unie, die in het aanbrengen ervan voorzien;

    25)

    “systeem voor monitoring na het in de handel brengen”: alle door aanbieders van AI-systemen verrichte activiteiten voor het verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik gestelde AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn;

    26)

    “markttoezichtautoriteit”: de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020;

    27)

    “geharmoniseerde norm”: een geharmoniseerde norm zoals gedefinieerd in artikel 2, lid 1, punt c), van Verordening (EU) nr. 1025/2012;

    28)

    “gemeenschappelijke specificatie”: een reeks technische specificaties zoals gedefinieerd in artikel 2, punt 4, van Verordening (EU) nr. 1025/2012, om te voldoen aan bepaalde voorschriften zoals vastgelegd in deze verordening;

    29)

    “trainingsdata”: data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen;

    30)

    “validatiedata”: data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om underfitting of overfitting te voorkomen;

    31)

    “validatiedataset”: een afzonderlijke dataset of deel van de trainingsdataset, als vaste of variabele opdeling;

    32)

    “testdata”: data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld;

    33)

    “inputdata”: data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verworven en op basis waarvan het systeem een output genereert;

    34)

    “biometrische gegevens”: persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevens;

    35)

    “biometrische identificatie”: de geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde of psychologische menselijke kenmerken om de identiteit van een natuurlijk persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met in een databank opgeslagen biometrische gegevens van personen;

    36)

    “biometrische verificatie”: de geautomatiseerde één-op-éénverificatie, met inbegrip van de authenticatie, van de identiteit van natuurlijke personen door hun biometrische gegevens te vergelijken met eerder verstrekte biometrische gegevens;

    37)

    “bijzondere categorieën persoonsgegevens”: de categorieën persoonsgegevens als bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725;

    38)

    “gevoelige operationele gegevens”: operationele gegevens met betrekking tot activiteiten op het gebied van preventie, opsporing, onderzoek of vervolging van strafbare feiten waarvan de openbaarmaking de integriteit van strafprocedures in het gedrang zou kunnen brengen;

    39)

    “systeem voor het herkennen van emoties”: een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens;

    40)

    “systeem voor biometrische categorisering” een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorieën op basis van hun biometrische gegevens, tenzij dit een aanvulling vormt op een andere commerciële dienst en om objectieve technische redenen strikt noodzakelijk is;

    41)

    “systeem voor biometrische identificatie op afstand”: een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen, zonder dat zij daar actief bij betrokken zijn en doorgaans van een afstand, door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank;

    42)

    “systeem voor biometrische identificatie op afstand in real time”: een systeem voor biometrische identificatie op afstand, waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie zonder significante vertraging plaatsvinden, zowel wanneer de identificatie niet enkel onmiddellijk plaatsvindt, maar ook wanneer de identificatie met beperkte korte vertragingen plaatsvindt, om omzeiling te voorkomen;

    43)

    “systeem voor biometrische identificatie op afstand achteraf”: een ander biometrisch systeem voor de identificatie op afstand dan een systeem voor biometrische identificatie op afstand in real time;

    44)

    “openbare ruimte”: een fysieke plek die in publieke of private handen is en toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn, en ongeacht eventuele capaciteitsbeperkingen;

    45)

    “rechtshandhavingsinstantie”:

    a)

    iedere overheidsinstantie die bevoegd is voor de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid, of

    b)

    ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

    46)

    “rechtshandhaving”: activiteiten die worden verricht door of namens rechtshandhavings-instanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

    47)

    “AI-bureau”: de taak van de Commissie waarbij zij bijdraagt aan de uitvoering van, de monitoring van en het toezicht op AI-systemen en AI-modellen voor algemene doeleinden, en AI-governance, als bepaald in het besluit van de Commissie van 24 januari 2024; verwijzingen in deze verordening naar het AI-bureau worden begrepen als verwijzingen naar de Commissie;

    48)

    “nationale bevoegde autoriteit”: een aanmeldende autoriteit of een de markttoezichtautoriteit; wat betreft AI-systemen die door instellingen, organen en instanties van de EU in gebruik worden gesteld of worden gebruikt, worden verwijzingen naar nationale bevoegde autoriteiten of markttoezichtautoriteiten in deze verordening begrepen als verwijzingen naar de Europese Toezichthouder voor gegevensbescherming;

    49)

    “ernstig incident”: een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot:

    a)

    het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon;

    b)

    een ernstige en onomkeerbare verstoring van het beheer of de exploitatie van kritieke infrastructuur;

    c)

    een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten;

    d)

    ernstige schade aan eigendommen of het milieu;

    50)

    “persoonsgegevens”: persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679;

    51)

    “niet-persoonsgebonden gegevens”: andere gegevens dan persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679;

    52)

    “profilering”: profilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679;

    53)

    “plan voor testen onder reële omstandigheden”: een document waarin de doelstellingen, methode, geografische reikwijdte, betrokken personen, duur, monitoring, organisatie en wijze van uitvoering van een test onder reële omstandigheden worden omschreven;

    54)

    “testomgevingsplan”: tussen de deelnemende aanbieder en de bevoegde autoriteit overeengekomen document waarin de doelstellingen, de voorwaarden, het tijdschema, de methode en de vereisten voor de in de testomgeving uitgevoerde activiteiten worden beschreven;

    55)

    “AI-testomgeving voor regelgeving”: een door een bevoegde autoriteit opgezet gecontroleerd kader dat aanbieders of toekomstige aanbieders van AI-systemen de mogelijkheid biedt een innovatief AI-systeem te ontwikkelen, trainen, valideren en testen, zo nodig onder reële omstandigheden, volgens een testomgevingsplan, voor een beperkte periode en onder begeleiding van een toezichthouder;

    56)

    “AI-geletterdheid”: vaardigheden, kennis en begrip die aanbieders, gebruiksverantwoordelijken en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen geïnformeerd AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken;

    57)

    “testen onder reële omstandigheden”: het tijdelijk testen van een AI-systeem voor zijn beoogde doel onder reële omstandigheden buiten een laboratorium of anderszins gesimuleerde omgeving teneinde betrouwbare en robuuste gegevens te verkrijgen, en te beoordelen en te verifiëren of het AI-systeem overeenstemt met de voorschriften van deze verordening en het wordt niet aangemerkt als het in de handel brengen of in gebruik stellen van het AI-systeem in de zin van deze verordening, mits aan alle in artikel 57 of artikel 60 vastgestelde voorwaarden is voldaan;

    58)

    “proefpersoon” in het kader van tests onder reële omstandigheden: een natuurlijk persoon die deelneemt aan een test onder reële omstandigheden;

    59)

    “geïnformeerde toestemming”: de vrijelijk gegeven, specifieke, ondubbelzinnige en vrijwillige uiting door een proefpersoon van zijn of haar bereidheid deel te nemen aan een bepaalde test onder reële omstandigheden, na geïnformeerd te zijn over alle aspecten van de test die van belang zijn voor zijn of haar beslissing om deel te nemen;

    60)

    “deepfake”: door AI gegenereerd of gemanipuleerd beeld-, audio- of videomateriaal dat een gelijkenis vertoont met bestaande personen, voorwerpen, plaatsen, entiteiten of gebeurtenissen, en door een persoon ten onrechte voor authentiek of waarheidsgetrouw zou worden aangezien;

    61)

    “wijdverbreide inbreuk”: alle handelingen of omissies die in strijd zijn met het Unierecht ter bescherming van de belangen van natuurlijke personen, waarbij:

    a)

    schade is veroorzaakt of waarschijnlijk zal worden veroorzaakt aan de collectieve belangen van natuurlijke personen met verblijfplaats in ten minste twee andere lidstaten dan de lidstaat waar:

    i)

    de handeling of omissie haar oorsprong vond of plaatshad;

    ii)

    de betrokken aanbieder of, waar van toepassing, diens gemachtigde zich bevindt of is gevestigd, of

    iii)

    de gebruiksverantwoordelijke is gevestigd, indien de inbreuk door de gebruiksverantwoordelijke is gepleegd;

    b)

    schade is veroorzaakt, wordt veroorzaakt of waarschijnlijk zal worden veroorzaakt aan de collectieve belangen van natuurlijke personen, en die gemeenschappelijke kenmerken hebben, waaronder dezelfde onrechtmatige praktijk of een inbreuk op hetzelfde belang, en die zich gelijktijdig voordoen en door dezelfde operator worden begaan in ten minste drie lidstaten;

    62)

    “kritieke infrastructuur”: kritieke infrastructuur zoals gedefinieerd in artikel 2, punt 4, van Richtlijn (EU) 2022/2557;

    63)

    “AI-model voor algemene doeleinden”: een AI-model, ook wanneer het is getraind met een grote hoeveelheid data met behulp van self-supervision op grote schaal, dat een aanzienlijk algemeen karakter vertoont en in staat is op competente wijze een breed scala aan verschillende taken uit te voeren, ongeacht de wijze waarop het model in de handel wordt gebracht, en dat kan worden geïntegreerd in een verscheidenheid aan systemen verder in de AI-waardeketen of toepassingen verder in de AI-waardeketen, met uitzondering van AI-modellen die worden gebruikt voor onderzoek, ontwikkeling of prototypingactiviteiten alvorens zij in de handel worden gebracht;

    64)

    “capaciteiten met een grote impact”: capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden;

    65)

    “systeemrisico”: een risico dat specifiek is voor de capaciteiten met een grote impact van AI-modellen voor algemene doeleinden, die aanzienlijke gevolgen hebben voor de markt van de Unie vanwege hun bereik, of vanwege feitelijke of redelijkerwijs te voorziene negatieve gevolgen voor de gezondheid, de veiligheid, de openbare veiligheid, de grondrechten of de samenleving als geheel, en dat op grote schaal in de hele waardeketen kan worden verspreid;

    66)

    “AI-systeem voor algemene doeleinden”: een AI-systeem dat is gebaseerd op een AI-model voor algemene doeleinden en dat verschillende doeleinden kan dienen, zowel voor direct gebruik als voor integratie in andere AI-systemen;

    67)

    zwevendekommabewerking of “floating-point operation (FLOP)”: elke wiskundige bewerking of toewijzing met zwevendekommagetallen, die een subset vormen van de reële getallen die gewoonlijk op computers worden gerepresenteerd door een geheel getal met een vaste precisie, geschaald door een gehele exponent van een vaste basis;

    68)

    “aanbieder verder in de AI-waardeketen”: een aanbieder van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, waarin een AI-model is geïntegreerd, ongeacht of het AI-model door hemzelf wordt verstrekt en verticaal geïntegreerd is of door een andere entiteit wordt aangeboden op basis van contractuele betrekkingen.

    Artikel 4

    AI-geletterdheid

    Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om, zoveel als mogelijk, te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken, en houden daarbij rekening met hun technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt.

    HOOFDSTUK II

    VERBODEN AI-PRAKTIJKEN

    Artikel 5

    Verboden AI-praktijken

    1.   De volgende AI-praktijken zijn verboden:

    a)

    het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor zij een besluit nemen dat zij anders niet hadden genomen, op een wijze die ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen;

    b)

    het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een natuurlijke persoon of specifieke groep personen als gevolg van hun leeftijd, handicap of een specifieke sociale of economische omstandigheid, met als doel of met als gevolg het gedrag van die persoon of personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of waarvan redelijkerwijze te verwachten is dat deze ertoe zal leiden dat deze of andere personen aanzienlijke schade oplopen;

    c)

    het in de handel brengen, het in gebruik stellen of het gebruiken van AI-systemen voor de evaluatie of classificatie van natuurlijke personen of groepen personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:

    i)

    de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;

    ii)

    de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;

    d)

    het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van een AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken; dit verbod geldt niet voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd;

    e)

    het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen die databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden;

    f)

    het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs uit af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht;

    g)

    het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van systemen voor biometrische categorisering die natuurlijke personen individueel in categorieën indelen op basis van biometrische gegevens om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden; dit verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens of categorisering van biometrische gegevens op het gebied van rechtshandhaving;

    h)

    het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen:

    i)

    het gericht zoeken naar specifieke slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting van mensen, alsook het zoeken naar vermiste personen;

    ii)

    het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen of een reële en actuele of reële en voorspelbare dreiging van een terroristische aanslag;

    iii)

    de lokalisatie of identificatie van een persoon die ervan wordt verdacht een strafbaar feit te hebben gepleegd, ten behoeve van een strafrechtelijk onderzoek of vervolging of tenuitvoerlegging van een straf voor in bijlage II genoemde strafbare feiten waarop in de betrokken lidstaat een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel staat met een maximumduur van ten minste vier jaar.

    Punt h) van de eerste alinea doet geen afbreuk aan artikel 9 van Verordening (EU) 2016/679 voor de verwerking van biometrische gegevens voor andere doeleinden dan rechtshandhaving.

    2.   Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), bedoelde doelstellingen wordt ingezet voor de in dat punt bedoelde doeleinden, uitsluitend om de identiteit van de specifiek beoogde persoon te bevestigen en daarbij wordt rekening gehouden met het volgende:

    a)

    de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt;

    b)

    de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen.

    Daarnaast moet het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), genoemde doelstellingen in overeenstemming zijn met noodzakelijke en evenredige waarborgen en voorwaarden in verband met het gebruik in overeenstemming met het nationale recht dat het gebruik ervan toelaat, en met name ten aanzien van de beperking in de tijd en de geografische en persoonlijke beperkingen. Het gebruik van het systeem voor biometrische identificatie op afstand in real time in openbare ruimten wordt alleen toegestaan indien de rechtshandhavingsinstantie een in artikel 27 voorziene effectbeoordeling op het gebied van de grondrechten heeft uitgevoerd en het systeem volgens artikel 49 in de EU-databank heeft geregistreerd. In naar behoren gemotiveerde spoedeisende gevallen kan echter met het gebruik van dergelijke systemen worden begonnen zonder de systemen in de EU-databank te registreren, op voorwaarde dat die registratie zonder onnodige vertraging wordt voltooid.

    3.   Voor de toepassing van lid 1, eerste alinea, punt h), en lid 2, wordt elk gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving afhankelijk gesteld van een voorafgaande toestemming die wordt verleend door een gerechtelijke instantie of een onafhankelijke administratieve instantie, waarvan het besluit bindend is, van de lidstaat waarin het gebruik moet plaatsvinden en die wordt gegeven op verzoek en in overeenstemming met de gedetailleerde regels van het nationale recht als bedoeld in lid 5. In een naar behoren gemotiveerde spoedeisende situatie kan echter zonder toestemming met het gebruik van een dergelijk systeem worden begonnen, op voorwaarde dat een dergelijke toestemming zonder onnodige vertraging en ten minste binnen 24 uur wordt aangevraagd. Bij weigering van die toestemming wordt het gebruik onmiddellijk gestaakt en worden alle gegevens, resultaten en outputs van dat gebruik onmiddellijk verwijderd en gewist.

    De bevoegde gerechtelijke instantie of onafhankelijke administratieve instantie, waarvan het besluit bindend is verleent de toestemming slechts wanneer zij op basis van objectief bewijs of duidelijke indicaties die aan haar zijn voorgelegd ervan overtuigd is dat het gebruik van het betreffende systeem voor biometrische identificatie op afstand in real time noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, eerste alinea, punt h), gespecificeerde doelstellingen, zoals genoemd in het verzoek en met name beperkt blijft tot wat strikt noodzakelijk is met betrekking tot de periode en de geografische en personele werkingssfeer. Bij haar beslissing over het verzoek houdt die instantie rekening met de in lid 2 bedoelde elementen. Een besluit dat nadelige rechtsgevolgen heeft voor een persoon mag niet uitsluitend worden genomen op basis van de output van het systeem voor biometrische identificatie op afstand in real time.

    4.   Onverminderd lid 3 wordt elk gebruik van een systeem voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving gemeld bij de bevoegde markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit in overeenstemming met de in lid 5 bedoelde nationale regels. Die melding bevat ten minste de in lid 6 bepaalde informatie en bevat geen gevoelige operationele gegevens.

    5.   Een lidstaat kan besluiten om te voorzien in de mogelijkheid om volledig of gedeeltelijk toestemming te verlenen voor het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving binnen de grenzen en onder de voorwaarden van lid 1, eerste alinea, punt h), en de leden 2 en 3. De betrokken lidstaten leggen in hun nationale recht de noodzakelijke gedetailleerde regels vast voor het verzoek om en de afgifte en het gebruik van, evenals het toezicht en verslaglegging in verband met, de in lid 3 bedoelde vergunningen. In deze regels wordt ook gespecificeerd voor welke doelstellingen van lid 1, eerste alinea, punt h), en voor welke strafbare feiten als bedoeld in punt h), iii), daarvan de bevoegde autoriteiten deze systemen mogen gebruiken met het oog op de rechtshandhaving. De lidstaten stellen de Commissie uiterlijk dertig dagen na de vaststelling van die regels in kennis. De lidstaten kunnen in overeenstemming met het Unierecht restrictievere wetgeving inzake het gebruik van systemen voor biometrische identificatie op afstand invoeren.

    6.   Nationale markttoezichtautoriteiten en nationale gegevensbeschermingsautoriteiten van lidstaten die op grond van lid 4 in kennis zijn gesteld van het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, dienen bij de Commissie jaarverslagen over dat gebruik in. Daartoe verstrekt de Commissie de lidstaten en de nationale markttoezicht- en gegevensbeschermingsautoriteiten een sjabloon, met informatie over het aantal besluiten dat is genomen door bevoegde gerechtelijke instanties of een onafhankelijke administratieve instantie, waarvan het besluit bindend is overeenkomstig lid 3, alsook het resultaat van die besluiten.

    7.   De Commissie publiceert jaarverslagen over het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, op basis van geaggregeerde gegevens in de lidstaten op basis van de in lid 6 bedoelde jaarverslagen. Die jaarverslagen bevatten geen gevoelige operationele gegevens van de gerelateerde rechtshandhavingsactiviteiten.

    8.   Dit artikel doet geen afbreuk aan de verbodsbepalingen die van toepassing zijn wanneer een AI-praktijk een inbreuk vormt op het Unierecht.

    HOOFDSTUK III

    AI-SYSTEMEN MET EEN HOOG RISICO

    AFDELING 1

    Classificatie van AI-systemen als AI-systemen met een hoog risico

    Artikel 6

    Classificatieregels voor AI-systemen met een hoog risico

    1.   Ongeacht of een AI-systeem los van in de punten a) en b) bedoelde producten in de handel wordt gebracht of in gebruik wordt gesteld, wordt een AI-systeem als AI-systeem met een hoog risico beschouwd wanneer aan beide van de volgende voorwaarden is voldaan:

    a)

    het AI-systeem is bedoeld om te worden gebruikt als veiligheidscomponent van een product of het AI-systeem is zelf een product dat valt onder de in bijlage I opgenomen harmonisatiewetgeving van de Unie;

    b)

    voor het product waarvan het AI-systeem de veiligheidscomponent op grond van punt a) vormt of voor het AI-systeem als product zelf moet een conformiteits-beoordeling door een derde partij worden uitgevoerd met het oog op het in de handel brengen of in gebruik stellen van dat product op grond van de in bijlage I opgenomen harmonisatiewetgeving van de Unie.

    2.   Naast de in lid 1 bedoelde AI-systemen met een hoog risico worden ook AI-systemen zoals bedoeld in bijlage III als AI-systeem met een hoog risico beschouwd.

    3.   In afwijking van lid 2 wordt een in bijlage III bedoeld AI-systeem niet als AI-systeem met een hoog risico beschouwd wanneer het geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt.

    De eerste alinea is van toepassing wanneer aan een van de volgende voorwaarden is voldaan:

    a)

    het AI-systeem is bedoeld om een beperkte procedurele taak uit te voeren;

    b)

    het AI-systeem is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren;

    c)

    het AI-systeem is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen en is niet bedoeld om de eerder voltooide menselijke beoordeling zonder behoorlijke menselijke toetsing te vervangen of te beïnvloeden, of

    d)

    het AI-systeem is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor de in bijlage III vermelde gebruiksgevallen.

    Niettegenstaande de eerste alinea wordt een in bijlage III bedoeld AI-systeem altijd als een AI-systeem met een hoog risico beschouwd indien het AI-systeem profilering van natuurlijke personen uitvoert.

    4.   Een aanbieder die van mening is dat een in bijlage III bedoeld AI-systeem geen hoog risico inhoudt, documenteert zijn beoordeling voordat dat systeem in de handel wordt gebracht of in gebruik wordt gesteld. Die aanbieder is onderworpen aan de registratieverplichting van artikel 49, lid 2. Op verzoek van de nationale bevoegde autoriteiten verstrekt de aanbieder de documentatie van de beoordeling.

    5.   De Commissie verstrekt na raadpleging van de Europese raad voor artificiële intelligentie (de “AI-board”) en uiterlijk op 2 februari 2026 richtsnoeren voor de praktische uitvoering van dit artikel in overeenstemming met artikel 96, samen met een uitgebreide lijst van praktische voorbeelden van gebruiksgevallen van AI-systemen met een hoog risico en zonder hoog risico.

    6.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen om teneinde lid 3, tweede alinea, van dit artikel te wijzigen door nieuwe voorwaarden toe te voegen aan de daarin vastgelegde voorwaarden, of door hen te wijzigen, indien er concrete en betrouwbare bewijzen zijn voor het bestaan van AI-systemen die onder het toepassingsgebied van bijlage III vallen, maar die geen significant risico inhouden op schade voor de gezondheid, veiligheid of grondrechten van natuurlijke personen.

    7.   De Commissie stelt overeenkomstig artikel 97 gedelegeerde handelingen vast om lid 3, tweede alinea, van dit artikel te wijzigen door de daarin vastgelegde voorwaarden te schrappen, indien er concrete en betrouwbare aanwijzingen zijn dat dit noodzakelijk is om het in deze verordening bepaalde niveau van bescherming van de gezondheid, de veiligheid en de grondrechten te behouden.

    8.   Overeenkomstig de leden 6 en 7 van dit artikel vastgestelde wijzigingen van de in lid 3, tweede alinea, vastgelegde voorwaarden doen geen afbreuk aan het in deze verordening bepaalde algemene niveau van bescherming van de gezondheid, de veiligheid en de grondrechten, en zorgen voor samenhang met de op grond van artikel 7, lid 1, vastgestelde gedelegeerde handelingen en houdenrekening met markt- en technologische ontwikkelingen.

    Artikel 7

    Wijzigingen in bijlage III

    1.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen tot wijziging van bijlage III door hieraan gebruiksgevallen van AI-systemen met een hoog risico toe te voegen of te wijzigen wanneer aan beide van de volgende voorwaarden is voldaan:

    a)

    de AI-systemen zijn bedoeld om te worden gebruikt op een van de gebieden als bedoeld in bijlage III;

    b)

    de AI-systemen vormen een risico op schade voor de gezondheid en veiligheid, of nadelige effecten op de grondrechten, en dat risico is gelijk aan of groter dan het risico op schade of nadelige effecten dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III.

    2.   Bij de beoordeling van de voorwaarde van lid 1, punt b), houdt de Commissie rekening met de volgende criteria:

    a)

    het beoogde doel van het AI-systeem;

    b)

    de mate waarin een AI-systeem is gebruikt of waarschijnlijk zal worden gebruikt;

    c)

    de aard van en de hoeveelheid gegevens die het AI-systeem verwerkt en gebruikt, met name of bijzondere categorieën persoonsgegevens worden verwerkt;

    d)

    de mate waarin het AI-systeem autonoom handelt en de mogelijkheid voor een mens om beslissingen of aanbevelingen die tot schade kunnen leiden terzijde te schuiven;

    e)

    de mate waarin het gebruik van een AI-systeem reeds schade voor de gezondheid en veiligheid of nadelige effecten op de grondrechten heeft veroorzaakt of aanleiding heeft gegeven tot aanzienlijke zorgen in verband met de waarschijnlijkheid van dergelijke schade of nadelige effecten, zoals aangetoond bijvoorbeeld door verslagen of gedocumenteerde beweringen die zijn ingediend bij de nationale bevoegde autoriteiten of, in voorkomend geval, door andere verslagen;

    f)

    de potentiële omvang van dergelijke schade of dergelijke nadelige effecten, met name wat betreft de intensiteit ervan en de mogelijkheid dat meerdere personen worden getroffen of dat een bepaalde groep personen onevenredig wordt getroffen;

    g)

    de mate waarin potentieel geschade of nadelig getroffen personen afhankelijk zijn van de aan de hand van een AI-systeem geproduceerde uitkomst, met name omdat het om praktische of juridische redenen niet redelijkerwijs mogelijk is om van deze uitkomst af te zien;

    h)

    de mate waarin sprake is van een onevenwichtige machtsverhouding, of de potentieel geschade of nadelig getroffen personen zich in een kwetsbare positie bevinden ten opzichte van de gebruiksverantwoordelijke van een AI-systeem, met name als gevolg van status, autoriteit, kennis, economische of sociale omstandigheden of leeftijd;

    i)

    de mate waarin de geproduceerde uitkomst waarbij een AI-systeem betrokken is niet gemakkelijk kan worden rechtgezet of omgekeerd, rekening houdend met de beschikbare technische oplossingen om die uitkomst recht te zetten of om te keren, waarbij van uitkomsten die nadelige effecten hebben op de gezondheid, veiligheid of grondrechten, niet wordt beschouwd dat zij eenvoudig kunnen worden rechtgezet of omgekeerd;

    j)

    de omvang en waarschijnlijkheid van het voordeel dat het inzetten van het AI-systeem voor natuurlijke personen, groepen of de samenleving in het algemeen, met inbegrip van mogelijke verbeteringen op het gebied van productveiligheid, met zich meebrengt;

    k)

    de mate waarin in het bestaande Unierecht is voorzien in:

    i)

    doeltreffende maatregelen om beroep aan te tekenen in verband met de risico’s van een AI-systeem, met uitzondering van vorderingen tot schadevergoeding;

    ii)

    doeltreffende maatregelen om deze risico’s te voorkomen of aanzienlijk te beperken.

    3.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen tot wijziging van bijlage III door AI-systemen met een hoog risico te schrappen wanneer aan beide van de volgende voorwaarden is voldaan:

    a)

    het betrokken AI-systeem met een hoog risico vormt, rekening houdend met de in lid 2 vermelde criteria, geen significant risico voor de grondrechten, de gezondheid of de veiligheid;

    b)

    de schrapping leidt niet tot een lager algeheel beschermingsniveau wat betreft de gezondheid, de veiligheid en de grondrechten uit hoofde van het Unierecht.

    AFDELING 2

    Eisen voor AI-systemen met een hoog risico

    Artikel 8

    Naleving van de eisen

    1.   AI-systemen met een hoog risico moeten voldoen aan de eisen van deze afdeling, rekening houdend met hun beoogde doel en de algemeen erkende stand van de techniek op het gebied van AI en AI-gerelateerde technologieën. Bij het waarborgen van de naleving van deze eisen wordt rekening gehouden met het in artikel 9 bedoelde systeem voor risicobeheer.

    2.   Indien een product een AI-systeem omvat waarop zowel de vereisten van deze verordening als die van de in bijlage I, afdeling A, vermelde harmonisatiewetgeving van de Unie van toepassing zijn, zijn aanbieders ervoor verantwoordelijk te waarborgen dat hun product volledig voldoet aan alle toepasselijke vereisten uit hoofde van de toepasselijke harmonisatiewetgeving van de Unie. Om te waarborgen dat de in lid 1 bedoelde AI-systemen met een hoog risico voldoen aan de eisen van deze afdeling en om te zorgen voor consistentie, dubbel werk te voorkomen en de extra lasten tot een minimum te beperken, hebben aanbieders de keuze om in voorkomend geval de nodige test- en rapportageprocessen en door hen verstrekte informatie en documentatie over hun product op te nemen in de reeds bestaande documentatie en procedures die vereist zijn uit hoofde van de in bijlage I, afdeling A, bedoelde harmonisatiewetgeving van de Unie.

    Artikel 9

    Systeem voor risicobeheer

    1.   Met betrekking tot AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

    2.   Onder het systeem voor risicobeheer wordt verstaan een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces, dat periodieke systematische toetsing en actualisering vereist. Het omvat de volgende stappen:

    a)

    het vaststellen en analyseren van de bekende en de redelijkerwijs te voorziene risico’s die het AI-systeem met een hoog risico kan inhouden voor de gezondheid, veiligheid of grondrechten indien het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan wordt gebruikt;

    b)

    het inschatten en evalueren van de risico’s die zich kunnen voordoen wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik;

    c)

    het evalueren van andere risico’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen, als bedoeld in artikel 72;

    d)

    het vaststellen van gepaste en gerichte risicobeheersmaatregelen om de op grond van punt a) vastgestelde risico’s aan te pakken.

    3.   De in dit artikel bedoelde risico’s omvatten uitsluitend risico’s die redelijkerwijs kunnen worden beperkt of weggenomen via het ontwikkelen of ontwerpen van het AI-systeem met een hoog risico of de verstrekking van adequate technische informatie.

    4.   Ten aanzien van de in lid 2, punt d), bedoelde risicobeheersmaatregelen wordt naar behoren rekening gehouden met de effecten en mogelijke wisselwerking die voortvloeien uit de gecombineerde toepassing van de in deze afdeling uiteengezette eisen, teneinde de risico’s doeltreffender tot een minimum te beperken en tegelijkertijd een passend evenwicht te bereiken bij de uitvoering van de maatregelen ter vervulling van de voorschriften.

    5.   De in lid 2, punt d), bedoelde risicobeheersmaatregelen zijn zodanig dat het desbetreffende restrisico in verband met elk gevaar en het totale restrisico van de AI-systemen met een hoog risico aanvaardbaar wordt geacht.

    Bij het vaststellen van de passendste risicobeheersmaatregelen wordt het volgende gewaarborgd:

    a)

    uitsluiting of beperking van op grond van lid 2 vastgestelde en geëvalueerde risico’s voor zover technisch haalbaar door middel van een adequaat ontwerp en ontwikkeling van het AI-systeem met een hoog risico;

    b)

    waar passend worden adequate maatregelen voor beperking en controle genomen voor het aanpakken van risico’s die niet kunnen worden uitgesloten;

    c)

    verstrekking van op grond van artikel 13 vereiste informatie en waar passend opleiding voor gebruiksverantwoordelijken.

    Teneinde de risico’s in verband met het gebruik van het AI-systeem met een hoog risico weg te nemen of te beperken, wordt naar behoren aandacht besteed aan de te verwachten technische kennis, ervaring, scholing en opleiding van de gebruiksverantwoordelijke en de vermoedelijke context waarin het systeem dient te worden gebruikt.

    6.   AI-systemen met een hoog risico worden getest met het oog op het vaststellen van de passendste en gerichte risicobeheersmaatregelen. De tests zorgen ervoor dat AI-systemen met een hoog risico consistent presteren ten aanzien van het beoogde doel ervan en in overeenstemming zijn met de eisen van deze afdeling.

    7.   De testprocedures kunnen onder meer bestaan in testen onder reële omstandigheden overeenkomstig artikel 60.

    8.   Het testen van AI-systemen met een hoog risico vindt, zoals passend, in de loop van het ontwikkelingsproces plaats en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Er wordt getest aan de hand van vooraf vastgestelde beoordelingsmaatstaven en probabilistische drempels die passend zijn voor het beoogde doel van het AI-systeem met een hoog risico.

    9.   Bij de uitvoering van het in de leden 1 tot en met 7 bepaalde systeem voor risicobeheer houden aanbieders rekening met de vraag of het beoogde doel van het AI-systeem met een hoog risico waarschijnlijk negatieve gevolgen zal hebben voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere kwetsbare groepen.

    10.   Voor aanbieders van AI-systemen met een hoog risico die onderworpen zijn aan eisen met betrekking tot interne risicobeheerprocessen uit hoofde van andere relevante bepalingen van het Unierecht, kunnen de in de leden 1 tot en met 9 bepaalde aspecten deel uitmaken van of gecombineerd worden met de op grond van dat recht vastgestelde risicobeheerprocedures.

    Artikel 10

    Data en datagovernance

    1.   AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI-modellen met data omvatten, worden ontwikkeld op basis van datasets voor training, validatie en tests die voldoen aan de in de leden 2 tot en met 5 bedoelde kwaliteitscriteria telkens wanneer dergelijke datasets worden gebruikt.

    2.   Datasets voor training, validatie en tests worden onderworpen aan praktijken op het gebied van databeheer die stroken met het beoogde doel van het AI-systeem met een hoog risico. Deze praktijken hebben in het bijzonder betrekking op:

    a)

    de relevante ontwerpkeuzes;

    b)

    processen voor dataverzameling en de oorsprong van de data en, in het geval van persoonsgegevens, het oorspronkelijke doel van de dataverzameling;

    c)

    relevante verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, labelen, opschoning, actualisatie, verrijking en aggregatie;

    d)

    het opstellen van aannames, met name met betrekking tot de informatie die de data moeten meten en vertegenwoordigen;

    e)

    een beoordeling van de beschikbaarheid, kwantiteit en geschiktheid van de datasets die nodig zijn;

    f)

    een beoordeling met het oog op mogelijke vooringenomenheid die waarschijnlijk gevolgen heeft voor de gezondheid en de veiligheid van personen, nadelige effecten heeft op de grondrechten, of leidt tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties;

    g)

    en passende maatregelen om mogelijke overeenkomstig punt f) vastgestelde vertekeningen op te sporen, te voorkomen en te beperken;

    h)

    het identificeren van relevante leemten of tekortkomingen in de data die naleving van deze verordening in de weg staan, en de manier waarop deze leemten en tekortkomingen kunnen worden aangepakt.

    3.   Datasets voor training, validatie en tests zijn relevant, voldoende representatief, en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel. De datasets hebben bovendien de passende statistische kenmerken, onder meer, waar van toepassing, met betrekking tot de personen of groepen personen ten aanzien van wie de AI-systemen met een hoog risico moeten worden gebruikt. Deze kenmerken van de datasets kunnen op het niveau van de afzonderlijke datasets of combinatie daarvan worden verwezenlijkt.

    4.   Ten aanzien van datasets wordt, voor zover vereist gezien het beoogde doel hiervan, rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, functionele of gedragsomgeving waarin het AI-systeem met een hoog risico moet worden gebruikt.

    5.   Voor zover dit strikt noodzakelijk is om de opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico overeenkomstig lid 2, punten f) en g), van dit artikel, mogen de aanbieders van dergelijke systemen uitzonderlijk bijzondere categorieën persoonsgegevens verwerken, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen. Naast de bepalingen van Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 moeten voor een dergelijke verwerking alle volgende voorwaarden van toepassing zijn vervuld:

    a)

    de opsporing en correctie van vooringenomenheid kunnen niet doeltreffend worden vervuld door het verwerken van andere data, waaronder synthetische of geanonimiseerde data;

    b)

    de bijzondere categorieën persoonsgegevens zijn onderworpen aan technische beperkingen voor het hergebruik van persoonsgegevens, en geavanceerde beveiligings- en privacybeschermingsmaatregelen, waaronder pseudonimisering;

    c)

    de bijzondere categorieën persoonsgegevens zijn onderworpen aan maatregelen om ervoor te zorgen dat de verwerkte persoonsgegevens worden beveiligd, beschermd met passende waarborgen, waaronder strikte controles en documentatie van de toegang ertoe, om misbruik te voorkomen en ervoor te zorgen dat alleen personen die gemachtigd zijn toegang tot die persoonsgegevens hebben met passende vertrouwelijkheidsverplichtingen;

    d)

    de bijzondere categorieën persoonsgegevens worden niet verzonden, doorgegeven of anderszins geraadpleegd door andere partijen;

    e)

    de bijzondere categorieën persoonsgegevens worden verwijderd zodra de vertekening is gecorrigeerd of de periode van bewaring van de persoonsgegevens ten einde is gekomen, indien dit eerder is;

    f)

    het register op grond van Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 van verwerkingsactiviteiten bevat de redenen waarom de verwerking van bijzondere categorieën persoonsgegevens strikt noodzakelijk was om vertekeningen op te sporen en waarom die doelstelling niet kon worden bereikt door de verwerking van andere data.

    6.   Voor de ontwikkeling van AI-systemen met een hoog risico die geen technieken voor de training van modellen gebruiken, zijn de leden 2 tot en met 5 uitsluitend van toepassing op de datasets voor tests.

    Artikel 11

    Technische documentatie

    1.   De technische documentatie van een AI-systeem met een hoog risico wordt opgesteld voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld, en wordt geactualiseerd.

    De technische documentatie wordt op zodanige wijze opgesteld dat wordt aangetoond dat het AI-systeem met een hoog risico in overeenstemming is met de eisen van deze afdeling en dat nationale bevoegde autoriteiten en aangemelde instanties over de noodzakelijke, op heldere en begrijpelijke wijze gestelde informatie beschikken om de overeenstemming van het AI-systeem met deze voorschriften te kunnen beoordelen. De documentatie omvat ten minste de in bijlage IV uiteengezette elementen. Kmo’s, met inbegrip van start-ups, kunnen de elementen van de in bijlage IV gespecificeerde technische documentatie op vereenvoudigde wijze verstrekken. Daartoe stelt de Commissie een vereenvoudigd formulier voor technische documentatie op dat is afgestemd op de behoeften van kleine en micro-ondernemingen. Kmo’s, met inbegrip van start-ups, die ervoor kiezen de in bijlage IV vereiste informatie op vereenvoudigde wijze te verstrekken, gebruiken het in dit lid bedoelde formulier. Aangemelde instanties aanvaarden het formulier met het oog op de conformiteitsbeoordeling.

    2.   Wanneer een AI-systeem met een hoog risico dat verband houdt met een product dat valt onder de in bijlage I, afdeling A, opgenomen harmonisatiewetgeving van de Unie in de handel wordt gebracht of in gebruik wordt gesteld, wordt een enkel technisch document opgesteld dat alle informatie bevat zoals uiteengezet in lid 1, alsook de informatie die vereist is op grond van die rechtshandelingen.

    3.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen om, waar nodig, bijlage IV te wijzigen om, in het licht van de technische vooruitgang, te waarborgen dat in de technische documentatie alle noodzakelijke informatie wordt verstrekt om de overeenstemming van het systeem met de eisen van deze afdeling te kunnen beoordelen.

    Artikel 12

    Registratie

    1.   AI-systemen met een hoog risico zijn dusdanig technisch vormgegeven dat gebeurtenissen gedurende de levenscyclus van het systeem automatisch worden geregistreerd (“logs”).

    2.   Teneinde ervoor te zorgen dat de werking van het AI-systeem met een hoog risico een niveau van traceerbaarheid heeft dat passend is voor het beoogde doel van het systeem, maken loggingfuncties het mogelijk om gebeurtenissen te registreren die relevant zijn ter:

    a)

    identificatie van situaties die ertoe kunnen leiden dat het AI-systeem met een hoog risico een risico vormt in de zin van artikel 79, lid 1, of dat er een substantiële wijziging optreedt;

    b)

    facilitering van de in artikel 72 bedoelde monitoring na het in de handel brengen, en

    c)

    monitoring van de werking van in artikel 26, lid 5, bedoelde AI-systemen met een hoog risico.

    3.   Voor AI-systemen met een hoog risico als bedoeld in punt 1, a), van bijlage III voorzien de loggingcapaciteiten ten minste in:

    a)

    de registratie van de duur van elk gebruik van het systeem (begindatum en -tijd en einddatum en -tijd van elk gebruik);

    b)

    de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;

    c)

    de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;

    d)

    de identificatie van de natuurlijke personen die betrokken zijn bij de verificatie van de resultaten, zoals bedoeld in artikel 14, lid 5.

    Artikel 13

    Transparantie en informatieverstrekking aan gebruiksverantwoordelijken

    1.   AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruiksverantwoordelijken in staat te stellen de output van een systeem te interpreteren en op passende wijze te gebruiken. Een passende soort en mate van transparantie wordt gewaarborgd met het oog op de naleving van de relevante verplichtingen van de aanbieder en de gebruiksverantwoordelijke zoals uiteengezet in afdeling 3.

    2.   AI-systemen met een hoog risico gaan vergezeld van gebruiksinstructies in een passend digitaal of ander formaat dat beknopte, volledige, juiste en duidelijke informatie bevat die relevant, toegankelijk en begrijpelijk is voor gebruiksverantwoordelijken.

    3.   De gebruiksinstructies bevatten ten minste de volgende gegevens:

    a)

    de identiteit en de contactgegevens van de aanbieder en, in voorkomend geval, van zijn gemachtigde;

    b)

    de kenmerken, capaciteiten en beperkingen van de prestaties van het AI-systeem met een hoog risico, waaronder:

    i)

    het beoogde doel;

    ii)

    de mate van nauwkeurigheid, waaronder de beoordelingsmaatstaven, robuustheid en cyberbeveiliging als bedoeld in artikel 15 waarop het AI-systeem met een hoog risico is getest en gevalideerd en die kan worden verwacht, en eventuele bekende en te voorziene omstandigheden die een effect kunnen hebben op die verwachte mate van nauwkeurigheid, robuustheid en cyberbeveiliging;

    iii)

    eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten als bedoeld in artikel 9, lid 2;

    iv)

    in voorkomend geval, de technische capaciteiten en kenmerken van het AI-systeem met een hoog risico om informatie te verstrekken die relevant is om de output ervan toe te lichten;

    v)

    in voorkomend geval, zijn prestaties met betrekking tot specifieke personen of groepen personen voor wie het systeem moet worden gebruikt;

    vi)

    in voorkomend geval, specificaties voor de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datasets voor training, validatie en tests, rekening houdend met het beoogde doel van het AI-systeem met een hoog risico;

    vii)

    in voorkomend geval, informatie om de gebruiksverantwoordelijken in staat te stellen de output van het AI-systeem met een hoog risico te interpreteren en op passende wijze te gebruiken;

    c)

    de wijzigingen van het AI-systeem met een hoog risico en de prestaties ervan die vooraf door de aanbieder zijn bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing;

    d)

    de in artikel 14 bedoelde maatregelen voor menselijk toezicht, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van de AI-systemen met een hoog risico door gebruiksverantwoordelijken te vergemakkelijken;

    e)

    de benodigde rekenkracht en hardware, de verwachte levensduur van het AI-systeem met een hoog risico en eventuele noodzakelijke maatregelen — en de frequentie daarvan — voor onderhoud en verzorging ter waarborging van de goede werking van dat AI-systeem, ook in verband met software-updates;

    f)

    in voorkomend geval, een beschrijving van de mechanismen in het AI-systeem met een hoog risico die gebruiksverantwoordelijken in staat stellen de logs naar behoren te verzamelen, op te slaan en te interpreteren overeenkomstig artikel 12.

    Artikel 14

    Menselijk toezicht

    1.   AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.

    2.   Het menselijk toezicht is gericht op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico’s blijven bestaan ondanks de toepassing van andere eisen van deze afdeling.

    3.   De toezichtmaatregelen staan in verhouding met de risico’s, de mate van autonomie en de gebruikscontext van het AI-systeem met een hoog risico en worden gewaarborgd door middel van een of alle van de volgende soorten maatregelen:

    a)

    door de aanbieder bepaalde maatregelen die waar technisch haalbaar in het AI-systeem met een hoog risico worden ingebouwd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

    b)

    door de aanbieder bepaalde maatregelen voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiksverantwoordelijke te worden uitgevoerd.

    4.   Met het oog op de uitvoering van de leden 1, 2 en 3 wordt het AI-systeem met een hoog risico zodanig aan de gebruiksverantwoordelijke verstrekt dat natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, in staat worden gesteld om waar passend en evenredig:

    a)

    de relevante capaciteiten en beperkingen van het AI-systeem met een hoog risico goed te begrijpen en de werking ervan naar behoren te kunnen monitoren, onder meer met het oog op het opsporen en aanpakken van onregelmatigheden, storingen en onverwachte prestaties;

    b)

    zich bewust te blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;

    c)

    de output van het AI-systeem met een hoog risico juist te interpreteren, bijvoorbeeld de beschikbare instrumenten en methoden voor interpretatie;

    d)

    in alle specifieke situaties te kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, door een andere beslissing te vervangen of terug te draaien;

    e)

    in te grijpen in de werking van het AI-systeem met een hoog risico of het systeem te onderbreken door middel van een stopknop of een vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet.

    5.   Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 1, a), zijn de maatregelen als bedoeld in lid 3 van dit artikel zodanig dat zij waarborgen dat daarnaast door de gebruiksverantwoordelijke geen maatregelen worden getroffen of beslissingen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen met de nodige bekwaamheid, opleiding en bevoegdheid apart zijn geverifieerd en bevestigd.

    Het vereiste van een afzonderlijke verificatie door ten minste twee natuurlijke personen is niet van toepassing op AI-systemen met een hoog risico die gebruikt worden voor rechtshandhaving, migratie, grenstoezicht of asiel, in gevallen waarin het Unierecht of het nationale recht de toepassing van dit vereiste onevenredig acht.

    Artikel 15

    Nauwkeurigheid, robuustheid en cyberbeveiliging

    1.   AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten.

    2.   Ter verduidelijking van de technische aspecten van de meting van het passende niveau van nauwkeurigheid en robuustheid als bedoeld in lid 1 en andere relevante prestatiestatistieken, moedigt de Commissie, in samenwerking met relevante belanghebbenden en organisaties, zoals metrologie- en benchmarkingautoriteiten, waar passend, de ontwikkeling van benchmarks en meetmethoden aan.

    3.   De niveaus van nauwkeurigheid en de relevante maatstaven voor de nauwkeurigheid van AI-systemen met een hoog risico worden vermeld in de bijbehorende gebruiksaanwijzingen.

    4.   AI-systemen met een hoog risico zijn zo goed mogelijk bestand tegen fouten en onregelmatigheden die zich binnen het systeem of de omgeving waarin het systeem wordt gebruikt, kunnen voordoen, met name als gevolg van de interactie ervan met natuurlijke personen of andere systemen. In dat opzicht worden technische en organisatorische maatregelen genomen.

    De robuustheid van AI-systemen met een hoog risico kan worden gerealiseerd door middel van technische oplossingen voor redundantie, die plannen voor de back-up of de veiligheid bij defecten kunnen omvatten.

    AI-systemen met een hoog risico die blijven leren nadat ze in de handel zijn gebracht of in gebruik zijn gesteld, worden op zodanige wijze ontwikkeld dat het risico op beïnvloeding van toekomstige operaties door gebruik van vertekende outputs als input (“feedback loops”) wordt weggenomen of zo veel mogelijk worden beperkt en dat elke dergelijke feedback loop naar behoren wordt aangepakt met behulp van passende beperkende maatregelen.

    5.   AI-systemen met een hoog risico zijn bestand tegen pogingen van ongeautoriseerde derden om het gebruik, de outputs of de prestaties ervan te wijzigen door gebruik te maken van de kwetsbaarheden van het systeem.

    De technische oplossingen die gericht zijn op het waarborgen van de cyberbeveiliging van AI-systemen met een hoog risico sluiten aan op de relevante omstandigheden en risico’s.

    De technische oplossingen voor het aanpakken van AI-specifieke kwetsbaarheden omvatten, waar passend, maatregelen voor het voorkomen, traceren, reageren op, oplossen en beheersen van aanvallen waarmee een poging wordt gedaan tot het manipuleren van de dataset voor de training (de zogenaamde “datavervuiling”), van vooraf getrainde componenten die in de training zijn gebruikt (de zogenaamde “modelvervuiling”), van input die is gecreëerd om fouten van het model te veroorzaken (zogenaamde “vijandige voorbeelden” of “modelontwijking”), van aanvallen om vertrouwelijke gegevens te bemachtigen of van tekortkomingen van het model.

    AFDELING 3

    Verplichtingen van aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico en andere partijen

    Artikel 16

    Verplichtingen van aanbieders van AI-systemen met een hoog risico

    Aanbieders van AI-systemen met een hoog risico:

    a)

    zorgen ervoor dat hun AI-systemen met een hoog risico in overeenstemming zijn met de eisen van afdeling 2;

    b)

    vermelden op het AI-systeem met een hoog risico of, wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, naargelang het geval, hun naam, geregistreerde handelsnaam of geregistreerd merk en hun contactadres;

    c)

    beschikken over een systeem voor kwaliteitsbeheer dat in overeenstemming is met artikel 17;

    d)

    bewaren de in artikel 18 bedoelde documentatie;

    e)

    bewaren de in artikel 19 bedoelde logs die automatisch door hun AI-systemen met een hoog risico zijn gegenereerd, wanneer zij hierover de controle hebben;

    f)

    zorgen ervoor dat voor het AI-systeem met een hoog risico de desbetreffende in artikel 43 bedoelde conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

    g)

    stellen een EU-conformiteitsverklaring op, in overeenstemming met artikel 47;

    h)

    brengen de CE-markering aan op het AI-systeem met een hoog risico of, wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, om aan te geven dat aan deze verordening is voldaan, overeenkomstig artikel 48;

    i)

    leven de registratieverplichtingen als bedoeld in artikel 49, lid 1, na;

    j)

    nemen de noodzakelijke corrigerende maatregelen en verstrekken de uit hoofde van artikel 20 vereiste informatie;

    k)

    tonen op een met redenen omkleed verzoek van een nationale bevoegde autoriteit de overeenstemming aan van het AI-systeem met een hoog risico met de eisen van afdeling 2;

    l)

    zorgen ervoor dat het AI-systeem met een hoog risico voldoet aan de toegankelijkheidseisen overeenkomstig de Richtlijnen (EU) 2016/2102 en (EU) 2019/882.

    Artikel 17

    Systeem voor kwaliteitsbeheer

    1.   Aanbieders van AI-systemen met een hoog risico voorzien in een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijke beleidslijnen, procedures en instructies en omvat ten minste de volgende aspecten:

    a)

    een strategie voor de naleving van de regelgeving, inclusief de naleving van de conformiteitsbeoordelingsprocedures en de procedures voor het beheer van de wijzigingen van het AI-systeem met een hoog risico;

    b)

    technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;

    c)

    technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;

    d)

    procedures voor het inspecteren, testen en valideren die vóór, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;

    e)

    technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast of geen betrekking hebben op alle relevante eisen van afdeling 2, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met deze eisen;

    f)

    systemen en procedures voor databeheer, met inbegrip van dataverwerving, -verzameling, -analyse, -labeling, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;

    g)

    het systeem voor risicobeheer zoals bedoeld in artikel 9;

    h)

    het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 72;

    i)

    procedures in verband met het melden van een ernstig incident in overeenstemming met artikel 73;

    j)

    de communicatie met nationale bevoegde autoriteiten, andere relevante autoriteiten, met inbegrip van autoriteiten die de toegang tot data verlenen of ondersteunen, aangemelde instanties, andere operatoren, klanten of andere belanghebbenden;

    k)

    systemen en procedures voor de registratie van alle relevante documentatie en informatie;

    l)

    het beheer van hulpmiddelen, met inbegrip van maatregelen in verband met de voorzieningszekerheid;

    m)

    een kader voor de verantwoording, waarin de verantwoordelijkheden van het management en ander personeel uiteen worden gezet met betrekking tot alle aspecten van dit lid.

    2.   De uitvoering van de in lid 1 bedoelde aspecten is evenredig aan de omvang van de organisatie van de aanbieder. Aanbieders voldoen hoe dan ook aan de striktheid en het beschermingsniveau die nodig zijn om te garanderen dat hun AI-systemen met een hoog risico aan deze verordening voldoen.

    3.   Aanbieders van AI-systemen met een hoog risico die onderworpen zijn aan verplichtingen met betrekking tot kwaliteitsbeheersystemen of een gelijkwaardige functie uit hoofde van het desbetreffende sectorale Unierecht, kunnen de in lid 1 genoemde aspecten opnemen als onderdeel van de op grond van dat recht vastgestelde kwaliteitsbeheersystemen.

    4.   Voor aanbieders die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het desbetreffende Unierecht inzake financiële diensten, wordt met uitzondering van lid 1, punten g), h) en i), van dit artikel de verplichting een systeem voor kwaliteitsbeheer in te voeren geacht te zijn vervuld door te voldoen aan de regels inzake interne governance, regelingen of processen uit hoofde van het desbetreffende Unierecht inzake financiële diensten. Daartoe wordt rekening gehouden met eventuele geharmoniseerde normen als bedoeld in artikel 40.

    Artikel 18

    Bewaring van documentatie

    1.   De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld de volgende elementen ter beschikking van de nationale bevoegde autoriteiten:

    a)

    de technische documentatie als bedoeld in artikel 11;

    b)

    de documentatie betreffende het in artikel 17 bedoelde systeem voor kwaliteitsbeheer;

    c)

    in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;

    d)

    in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;

    e)

    de EU-conformiteitsverklaring als bedoeld in artikel 47.

    2.   Elke lidstaat stelt de voorwaarden vast waaronder de in lid 1 bedoelde documentatie gedurende de in dat lid genoemde periode ter beschikking van de nationale bevoegde autoriteiten blijft voor de gevallen waarin een aanbieder of zijn op zijn grondgebied gevestigde gemachtigde failliet gaat of zijn activiteiten vóór het verstrijken van die termijn staakt.

    3.   Aanbieders die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht voor financiële diensten, bewaren de technische documentatie als onderdeel van de documentatie die bewaard wordt krachtens het desbetreffende Unierecht inzake financiële diensten.

    Artikel 19

    Automatisch gegenereerde logs

    1.   Aanbieders van AI-systemen met een hoog risico bewaren de in artikel 12, lid 1, bedoelde logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen. Onverminderd het toepasselijke Unie- of nationale recht worden deze logs bewaard gedurende een periode, die passend is voor het beoogde doel van het AI-systeem met een hoog risico, van ten minste zes maanden, tenzij anders is bepaald in het toepasselijke Unie- of nationaal recht, met name het Unierecht inzake de bescherming van persoonsgegevens.

    2.   Aanbieders die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financiële diensten, bewaren de automatisch door hun AI-systemen met een hoog risico gegenereerde logs, als onderdeel van de documentatie die bewaard wordt krachtens het desbetreffende recht inzake financiële diensten.

    Artikel 20

    Corrigerende maatregelen en mededelingsverplichting

    1.   Aanbieders van AI-systemen met een hoog risico die van mening zijn of redenen hebben om aan te nemen dat een door hen in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, nemen onmiddellijk de nodige corrigerende maatregelen om dat systeem naargelang het geval in overeenstemming te brengen, uit de handel te nemen, te deactiveren of terug te roepen. Zij stellen de distributeurs van het betrokken AI-systeem met een hoog risico en, indien van toepassing, de gebruiksverantwoordelijken, de gemachtigden en importeurs dienovereenkomstig in kennis.

    2.   Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 79, lid 1, en de aanbieder kennis neemt van dat risico, onderzoekt hij onmiddellijk de oorzaken in samenwerking met, in voorkomend geval, de gebruiksverantwoordelijke die het risico heeft gemeld, informeert hij de markttoezichtautoriteiten die bevoegd zijn voor het betrokken AI-systeem met een hoog risico en, in voorkomend geval, de aangemelde instantie die een certificaat voor het AI-systeem met een hoog risico heeft afgegeven overeenkomstig artikel 44, met name over de aard van de non-conformiteit en over eventuele relevante getroffen corrigerende maatregelen.

    Artikel 21

    Samenwerking met bevoegde autoriteiten

    1.   Op een met redenen omkleed verzoek van een bevoegde autoriteit, verstrekken aanbieders van AI-systemen met een hoog risico die autoriteit alle informatie en documentatie die noodzakelijk is om de overeenstemming van het AI-systeem met een hoog risico met de eisen van afdeling 2 aan te tonen, in een eenvoudig door de instantie te begrijpen en door de betrokken lidstaat gekozen officiële taal van de instellingen van de Unie.

    2.   Op een met redenen omkleed verzoek van een bevoegde autoriteit verlenen aanbieders die verzoekende bevoegde autoriteit, indien van toepassing, toegang tot de in artikel 12, lid 1, bedoelde logs die automatisch zijn gegenereerd door hun AI-systeem met een hoog risico voor zover dergelijke logs onder hun controle vallen.

    3.   De door de bevoegde autoriteit krachtens dit artikel verkregen informatie en documentatie worden verwerkt overeenkomstig de in artikel 78 vastgestelde vertrouwelijkheidsverplichtingen.

    Artikel 22

    Gemachtigden van aanbieders van AI-systemen met een hoog risico

    1.   Aanbieders die in derde landen zijn gevestigd, wijzen voordat zij hun AI-systemen met een hoog risico in de Unie in de handel brengen, middels een schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

    2.   De aanbieder stelt zijn gemachtigde in staat de taken uit te voeren die staan gespecificeerd in het mandaat dat hij van de aanbieder heeft ontvangen.

    3.   De gemachtigde voert de taken uit die gespecificeerd zijn in het mandaat dat hij van de aanbieder heeft ontvangen. Hij legt op verzoek een kopie van het mandaat over aan de markttoezichtautoriteiten, in een door de bevoegde autoriteit aangegeven officiële taal van de instellingen van de Unie. Voor de toepassing van deze verordening geeft het mandaat de gemachtigde de bevoegdheid om de volgende taken te verrichten:

    a)

    nagaan of de in artikel 47 bedoelde EU-conformiteitsverklaring en de in artikel 11 bedoelde technische documentatie zijn opgesteld en of de aanbieder een passende conformiteits-beoordelingsprocedure heeft uitgevoerd;

    b)

    gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld, de contactgegevens van de aanbieder die de gemachtigde heeft aangewezen alsmede een kopie van de in artikel 47 bedoelde EU-conformiteitsverklaring, de technische documentatie en, in voorkomend geval, het door de aangemelde instantie afgegeven certificaat, ter beschikking houden van de bevoegde autoriteiten en de in artikel 74, lid 10, bedoelde nationale autoriteiten of organen;

    c)

    een bevoegde autoriteit op met redenen omkleed verzoek alle informatie en documentatie verstrekken, met inbegrip van de in punt b) van deze alinea bedoelde documentatie, die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de eisen van afdeling 2 aan te tonen, met inbegrip van de in artikel 12, lid 1, bedoelde logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs onder de controle van de aanbieder vallen;

    d)

    op met redenen omkleed verzoek samenwerken met bevoegde autoriteiten met betrekking tot alle maatregelen die door deze autoriteiten worden getroffen in verband met het AI-systeem met een hoog risico, met name om de risico’s van dat systeem te verminderen en te beperken;

    e)

    waar toepasselijk, voldoen aan de in artikel 49, lid 1, bedoelde registratieverplichtingen of, indien de registratie door de aanbieder zelf wordt uitgevoerd, waarborgen dat de in bijlage VIII, afdeling A, punt 3, bedoelde informatie juist is.

    Door het mandaat wordt de gemachtigde aangesteld als aanspreekpunt, naast of in plaats van de aanbieder, voor de bevoegde autoriteiten, met betrekking tot alle vraagstukken die verband houden met het waarborgen van de naleving van deze verordening.

    4.   De gemachtigde beëindigt het mandaat indien hij van mening is of redenen heeft om aan te nemen dat de aanbieder in strijd met zijn verplichtingen op grond van deze verordening handelt. Hij stelt daar dan, met opgave van redenen, de relevante markttoezichtautoriteit onmiddellijk van in kennis, alsmede, in voorkomend geval, de relevante aangemelde instantie.

    Artikel 23

    Verplichtingen van importeurs

    1.   Alvorens een AI-systeem met een hoog risico in de handel wordt gebracht, zorgen de importeurs ervoor dat het systeem in overeenstemming is met deze verordening door na te gaan of:

    a)

    de relevante conformiteitsbeoordelingsprocedure als bedoeld in artikel 43 is uitgevoerd door de aanbieder van het AI-systeem met een hoog risico;

    b)

    de aanbieder de technische documentatie heeft opgesteld in overeenstemming met artikel 11 en bijlage IV;

    c)

    de vereiste CE-markering op het systeem is aangebracht en het systeem vergezeld gaat van de in artikel 47 bedoelde EU-conformiteitsverklaring en gebruiksaanwijzingen;

    d)

    de aanbieder een gemachtigde heeft aangewezen, in overeenstemming met artikel 22, lid 1.

    2.   Ingeval een importeur afdoende redenen heeft om aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, vervalst is of vergezeld gaat van vervalste documenten, brengt hij het systeem niet in de handel voordat het in overeenstemming is gebracht. Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 79, lid 1, stelt de importeur de aanbieder van het systeem, de gemachtigden, en de markttoezichtautoriteiten hiervan in kennis.

    3.   Importeurs vermelden hun naam, geregistreerde handelsnaam of geregistreerd merk en hun contactadres voor het AI-systeem met een hoog risico op de verpakking of in de bij het product gevoegde documentatie, indien van toepassing.

    4.   Importeurs zorgen gedurende de periode dat zij voor een AI-systeem met een hoog risico verantwoordelijk zijn voor opslag- en vervoersomstandigheden, indien van toepassing, die de overeenstemming van het systeem met de eisen van afdeling 2 niet in het gedrang brengen.

    5.   Importeurs bewaren gedurende een periode van tien jaar nadat het AI-systeem met een hoog risico in de handel is gebracht of in gebruik is gesteld, een kopie van het door de aangemelde instantie afgegeven certificaat, en in voorkomend geval tevens een kopie van de gebruiksaanwijzing en van de in artikel 47 bedoelde EU-conformiteitsverklaring.

    6.   Importeurs verstrekken ter staving van de conformiteit van een AI-systeem met een hoog risico met de eisen van afdeling 2, de relevante bevoegde autoriteiten op met redenen omkleed verzoek alle nodige informatie en documentatie, met inbegrip van de in lid 5 bedoelde informatie en documentatie, in een gemakkelijk voor die autoriteit te begrijpen taal. Hiertoe zorgen zij er tevens voor dat aan deze autoriteiten de technische documentatie ter beschikking kan worden gesteld.

    7.   Importeurs werken met de relevante bevoegde autoriteiten samen met betrekking tot alle maatregelen die door deze autoriteiten worden getroffen in verband met het AI-systeem met een hoog risico dat door de importeurs in de handel is gebracht, met name om de risico’s van dat systeem te verminderen en te beperken.

    Artikel 24

    Verplichtingen van distributeurs

    1.   Voordat zij een AI-systeem met een hoog risico op de markt aanbieden, controleren distributeurs of daarop de vereiste CE-markering is aangebracht, of het systeem vergezeld gaat van de in artikel 47 bedoelde EU-conformiteitsverklaring en gebruiksinstructies en of de aanbieder en importeur van dat systeem, naargelang het geval, hun respectievelijke verplichtingen als vastgelegd in artikel 16, punten b) en c), en artikel 23, lid 3, hebben nageleefd.

    2.   Wanneer een distributeur van mening is of redenen heeft om, op grond van de informatie waarover hij beschikt, aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met de eisen van afdeling 2, brengt hij het AI-systeem met een hoog risico niet in de handel voordat het in overeenstemming is gebracht met deze eisen. Daarnaast stelt de distributeur, wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 79, lid 1, de aanbieder of de importeur van het AI-systeem, naargelang als van toepassing, hiervan in kennis.

    3.   Distributeurs zorgen gedurende de periode waarin zij voor een AI-systeem met een hoog risico verantwoordelijk zijn voor opslag- en vervoersomstandigheden, indien van toepassing, die de overeenstemming van het systeem met de eisen van afdeling 2 niet in het gedrang brengen.

    4.   Een distributeur die van mening is of redenen heeft om, op grond van de informatie waarover hij beschikt, aan te nemen dat een AI-systeem met een hoog risico dat hij op de markt heeft aangeboden, niet in overeenstemming is met de eisen van afdeling 2, neemt de noodzakelijke corrigerende maatregelen om dat systeem in overeenstemming te brengen met deze eisen, uit de handel te nemen of terug te roepen of zorgt ervoor dat de aanbieder, de importeur of een eventuele betrokken operator, waar passend, dergelijke corrigerende maatregelen treft. Indien het AI-systeem met een hoog risico een risico vormt in de zin van artikel 79, lid 1, stelt de distributeur de aanbieder of importeur van het systeem en de autoriteiten die bevoegd zijn voor het betreffende AI-systeem met een hoog risico hiervan onmiddellijk in kennis, waarbij hij in het bijzonder de non-conformiteit en de eventueel getroffen corrigerende maatregelen uitvoerig beschrijft.

    5.   Op een met redenen omkleed verzoek van een relevante bevoegde autoriteit verstrekken distributeurs van een AI-systeem met een hoog risico die autoriteit alle informatie en documentatie met betrekking tot de op grond van de leden 1 tot en met 4 door hen genomen maatregelen die nodig zijn om aan te tonen dat het systeem voldoet aan de eisen van afdeling 2.

    6.   Distributeurs werken met de relevante bevoegde autoriteiten samen met betrekking tot alle maatregelen die door deze autoriteiten worden getroffen in verband met het AI-systeem met een hoog risico dat door de distributeurs op de markt is aangeboden, met name om de risico’s van dat systeem te verminderen of te beperken.

    Artikel 25

    Verantwoordelijkheden in de AI-waardeketen

    1.   In de volgende omstandigheden wordt een distributeur, importeur, gebruiksverantwoordelijke of derde voor de toepassing van deze verordening beschouwd als een aanbieder van een AI-systeem met een hoog risico en is hij onderworpen aan de verplichtingen van de aanbieder uit hoofde van artikel 16:

    a)

    hij zet zijn naam of merk op een AI-systeem met een hoog risico dat reeds in de handel is gebracht of in gebruik is gesteld, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen;

    b)

    hij brengt een substantiële wijziging aan in een AI-systeem met een hoog risico dat reeds in de handel is gebracht of reeds in gebruik is gesteld op zodanige wijze dat het systeem een AI-systeem met een hoog risico blijft op grond van artikel 6;

    c)

    hij wijzigt het beoogde doel van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze dat het betrokken AI-systeem een AI-systeem met een hoog risico overeenkomstig artikel 6 wordt.

    2.   Wanneer sprake is van de in lid 1 bedoelde omstandigheden, wordt de aanbieder die het AI-systeem voor het eerst in de handel heeft gebracht of in gebruik heeft gesteld, niet langer beschouwd als aanbieder van dat specifieke AI-systeem voor de toepassing van deze verordening. Die oorspronkelijke aanbieder werkt nauw samen met nieuwe aanbieders, stelt de nodige informatie beschikbaar en verstrekt de redelijkerwijs verwachte technische toegang en andere bijstand die nodig zijn om te voldoen aan de verplichtingen van deze verordening, met name wat betreft de naleving van de conformiteitsbeoordeling van AI-systemen met een hoog risico. Dit lid is niet van toepassing in gevallen waarin de oorspronkelijke aanbieder duidelijk heeft aangegeven dat zijn AI-systeem niet mag worden gewijzigd in een AI-systeem met een hoog risico en derhalve niet onder de verplichting valt om de documentatie te verstrekken.

    3.   Bij AI-systemen met een hoog risico die veiligheidscomponenten van producten zijn die vallen onder de in bijlage I, afdeling A, genoemde harmonisatiewetgeving van de Unie, wordt de productfabrikant beschouwd als de aanbieder van het AI-systeem met een hoog risico en is hij onderworpen aan de verplichtingen krachtens artikel 16 in een van de volgende situaties:

    a)

    het AI-systeem met een hoog risico wordt samen met het product onder de naam of het merk van de productfabrikant in de handel gebracht;

    b)

    het AI-systeem met een hoog risico wordt onder de naam of het merk van de productfabrikant in gebruik gesteld nadat het product in de handel is gebracht.

    4.   De aanbieder van een AI-systeem met een hoog risico en de derde partij die instrumenten, diensten, onderdelen of processen voor AI-systemen levert die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, preciseren in een schriftelijke overeenkomst de nodige informatie, capaciteiten, technische toegang en andere bijstand, op basis van de algemeen erkende stand van de techniek, om de aanbieder van het AI-systeem met een hoog risico in staat te stellen volledig te voldoen aan de verplichtingen van deze verordening. Dit lid is niet van toepassing op derden die andere instrumenten, diensten, processen of onderdelen dan AI-modellen voor algemene doeleinden onder een vrije en opensource licentie toegankelijk maken voor het publiek.

    Het AI-bureau kan vrijwillige modelvoorwaarden ontwikkelen en aanbevelen voor contracten tussen aanbieders van AI-systemen met een hoog risico en derden die instrumenten, diensten, componenten of processen leveren die worden gebruikt of geïntegreerd in AI-systemen met een hoog risico. Bij de ontwikkeling van die vrijwillige modelvoorwaarden moet het AI-bureau rekening houden met de contractuele eisen die kunnen gelden in specifieke sectoren of businesscases. De vrijwillige modelvoorwaarden worden gepubliceerd en kosteloos beschikbaar gesteld in een gemakkelijk bruikbaar elektronisch formaat.

    5.   De leden 2 en 3 doen geen afbreuk aan de noodzaak om intellectuele-eigendomsrechten, vertrouwelijke bedrijfsinformatie en bedrijfsgeheimen te eerbiedigen en te beschermen overeenkomstig het Unierecht en het nationale recht.

    Artikel 26

    Verplichtingen van gebruiksverantwoordelijken van AI-systemen met een hoog risico

    1.   Gebruiksverantwoordelijken van AI-systemen met een hoog risico nemen passende technische en organisatorische maatregelen om te waarborgen dat zij dergelijke systemen gebruiken in overeenstemming met de gebruiksaanwijzingen die bij de systemen zijn gevoegd, op grond van de leden 3 en 6.

    2.   Gebruiksverantwoordelijken dragen het menselijk toezicht op aan natuurlijke personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken en de nodige ondersteuning krijgen.

    3.   De verplichtingen van de leden 1 en 2 doen geen afbreuk aan andere verplichtingen van gebruiksverantwoordelijken op grond van het Unie- of nationaal recht en aan de vrijheid van gebruiksverantwoordelijken om hun eigen middelen en activiteiten te organiseren voor de uitvoering van de maatregelen inzake menselijk toezicht zoals aangegeven door de aanbieder.

    4.   Onverminderd de leden 1 en 2 zorgt de gebruiksverantwoordelijke, voor zover hij controle heeft over de inputdata, ervoor dat de inputdata relevant en voldoende representatief zijn voor het beoogde doel van het AI-systeem met een hoog risico.

    5.   Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72. Wanneer gebruiksverantwoordelijken redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat dat AI-systeem een risico vormt in de zin van artikel 79, lid 1, stellen zij de aanbieder of distributeur en de betreffende markttoezichtautoriteit hiervan zonder onnodige vertraging in kennis en onderbreken zij het gebruik van dat systeem. Wanneer gebruiksverantwoordelijke een ernstig incident vaststellen, stellen zij ook onmiddellijk eerst de aanbieder hiervan in kennis, en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten van dat incident. Wanneer de gebruiksverantwoordelijke de aanbieder niet kan bereiken, is artikel 73 mutatis mutandis van toepassing. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijke van AI-systemen die de hoedanigheid van rechtshandhavingsinstanties hebben.

    Voor gebruiksverantwoordelijke die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financiële diensten, wordt de monitoringsverplichting overeenkomstig de eerste alinea geacht te zijn vervuld door te voldoen aan de regels inzake interne governance, regelingen of processen en -mechanismen uit hoofde van het desbetreffende recht inzake financiële diensten.

    6.   Gebruiksverantwoordelijken van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door dat AI-systeem met een hoog risico voor zover dergelijke logs onder hun controle vallen gedurende een periode die passend is voor het beoogde doel van het AI-systeem met een hoog risico, of ten minste zes maanden, tenzij anders is bepaald in het toepasselijke Unie- of nationaal recht, meer in het bijzonder het Unierecht over de bescherming van persoonsgegevens.

    Gebruiksverantwoordelijken die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financiële diensten, bewaren de logs als onderdeel van de documentatie die bewaard wordt krachtens het desbetreffende Unierecht inzake financiële diensten.

    7.   Voordat een AI-systeem met een hoog risico op de werkplek in gebruik wordt gesteld of wordt gebruikt, delen gebruiksverantwoordelijken die werkgever zijn werknemersvertegenwoordigers en de betrokken werknemers mee dat zij zullen worden onderworpen aan het gebruik van het AI-systeem met een hoog risico. Deze informatie wordt, indien van toepassing, verstrekt in overeenstemming met de in het Unie- en nationaal recht vastgelegde regels en procedures en de praktijk inzake informatie van werknemers en hun vertegenwoordigers.

    8.   Gebruiksverantwoordelijken van AI-systemen met een hoog risico die de hoedanigheid van overheidsinstanties of instellingen, organen of instanties van de Unie hebben, leven de in artikel 49 bedoelde registratieverplichtingen na. Wanneer deze gebruiksverantwoordelijke vaststellen dat het AI-systeem met een hoog risico dat zij voornemens zijn te gebruiken niet in de in artikel 71 bedoelde EU-databank is geregistreerd, gebruiken zij dat systeem niet en stellen zij de aanbieder of de distributeur daarvan in kennis.

    9.   Indien van toepassing, gebruiken gebruiksverantwoordelijken van AI-systemen met een hoog risico de informatie die op grond van artikel 13 van deze verordening wordt verstrekt om hun verplichting na te komen om een gegevensbeschermingseffectbeoordeling uit te voeren op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680.

    10.   Onverminderd Richtlijn (EU) 2016/680 verzoekt de gebruiksverantwoordelijke van een AI-systeem met een hoog risico voor biometrische identificatie op afstand achteraf in het kader van een onderzoek waarbij gericht wordt gezocht naar een persoon die wordt verdacht van of veroordeeld is voor het plegen van een strafbaar feit, vooraf of zonder onnodige vertraging en uiterlijk 48 uur na het feit, om toestemming van een gerechtelijke instantie of administratieve instantie, van wie de beslissing bindend is en onderworpen is aan rechterlijke toetsing, voor het gebruik van dat systeem, behalve wanneer het wordt gebruikt voor de initiële identificatie van een potentiële verdachte op basis van objectieve en verifieerbare feiten die rechtstreeks verband houden met het strafbare feit. Elk gebruik wordt beperkt tot hetgeen strikt noodzakelijk is voor het onderzoek naar een specifiek strafbaar feit.

    Indien de op grond van de eerste alinea verzochte toestemming wordt geweigerd, wordt het gebruik van het systeem voor biometrische identificatie op afstand achteraf dat verband houdt met de verzochte toestemming met onmiddellijke ingang stopgezet en worden de persoonsgegevens die verband houden met het gebruik van het AI-systeem met een hoog risico waarvoor de toestemming is gevraagd, gewist.

    Een dergelijk AI-systeem met een hoog risico voor biometrische identificatie op afstand achteraf mag in geen geval op niet-gerichte wijze worden gebruikt voor rechtshandhavingsdoeleinden, zonder enig verband met een strafbaar feit, een strafrechtelijke procedure, een werkelijke en actuele of werkelijke en te verwachten dreiging van een strafbaar feit, of zoektocht naar een specifieke vermiste persoon. Er moet voor worden gezorgd dat rechtshandhavingsinstanties geen enkel besluit met nadelige rechtsgevolgen voor een persoon mogen nemen op basis van uitsluitend de output van dergelijke systemen voor biometrische identificatie op afstand achteraf.

    Deze alinea doet geen afbreuk aan artikel 9 van Verordening (EU) 2016/679 en artikel 10 van Richtlijn (EU) 2016/680 voor de verwerking van biometrische gegevens.

    Ongeacht het doel of de gebruiksverantwoordelijke wordt elk gebruik van dergelijke AI-systemen met een hoog risico gedocumenteerd in het desbetreffende politiedossier en op verzoek ter beschikking gesteld van de relevante markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit, met uitzondering van gevoelige operationele gegevens in verband met rechtshandhaving. Deze alinea doet geen afbreuk aan de bij Richtlijn (EU) 2016/680 aan de toezichthoudende autoriteiten verleende bevoegdheden.

    Gebruiksverantwoordelijken dienen bij de relevante markttoezichtautoriteiten en de nationale gegevensbeschermingsautoriteiten jaarverslagen in over hun gebruik van systemen voor biometrische identificatie op afstand achteraf, met uitzondering van gevoelige operationele gegevens in verband met rechtshandhaving. De verslagen kunnen worden samengevoegd, zodat ze informatie bevatten over meerdere soorten van inzetten.

    De lidstaten kunnen, in overeenstemming met het Unierecht, beperkendere wetgeving invoeren inzake het gebruik van systemen voor biometrische identificatie op afstand achteraf.

    11.   Onverminderd artikel 50 van deze verordening informeren gebruiksverantwoordelijken van in bijlage III bedoelde AI-systemen met een hoog risico die beslissingen met betrekking tot natuurlijke personen nemen of helpen nemen, de natuurlijke personen dat het AI-systeem met een hoog risico op hen wordt toegepast. Op AI-systemen met een hoog risico die voor rechtshandhavingsdoeleinden worden gebruikt, is artikel 13 van Richtlijn (EU) 2016/680 van toepassing.

    12.   Gebruiksverantwoordelijken werken samen met de relevante bevoegde autoriteiten bij alle door deze autoriteiten genomen maatregelen met betrekking tot een AI-systeem met een hoog risico met het oog op de uitvoering van deze verordening.

    Artikel 27

    Beoordeling van de gevolgen voor de grondrechten van AI-systemen met een hoog risico

    1.   Voordat een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2, in gebruik wordt gesteld, met uitzondering van AI-systemen met een hoog risico die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied, voeren gebruiksverantwoordelijken die publiekrechtelijke organen zijn of particuliere entiteiten zijn die openbare diensten verlenen, en gebruiksverantwoordelijken van AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, b) en c), een beoordeling uit van de gevolgen voor de grondrechten die het gebruik van een dergelijk systeem kan opleveren. Daartoe voeren gebruiksverantwoordelijken een beoordeling uit die bestaat uit:

    a)

    een beschrijving van de processen van de gebruiksverantwoordelijke waarbij het AI-systeem met een hoog risico zal worden gebruikt in overeenstemming met het beoogde doel ervan;

    b)

    een beschrijving van de periode waarbinnen en de frequentie waarmee elk AI-systeem met een hoog risico zal worden gebruikt;

    c)

    categorieën van natuurlijke personen en groepen die naar verwachting gevolgen zullen ondervinden van het gebruik van het systeem in een specifieke context;

    d)

    de specifieke risico’s op schade die waarschijnlijk gevolgen zullen hebben voor de op grond van punt c) van dit lid geïdentificeerde categorieën natuurlijke personen of groepen personen, rekening houdend met de door de aanbieder op grond van artikel 13 verstrekte informatie;

    e)

    een beschrijving van de uitvoering van maatregelen voor menselijk toezicht, overeenkomstig de gebruiksaanwijzing;

    f)

    de maatregelen die moeten worden genomen wanneer die risico’s zich voordoen, met inbegrip van de regelingen voor interne governance en klachtenregelingen.

    2.   De verplichting als neergelegd in lid 1 is van toepassing op het eerste gebruik van een AI-systeem met een hoog risico. De gebruiksverantwoordelijke kan in soortgelijke gevallen gebruik maken van eerder uitgevoerde effectbeoordelingen op het gebied van de grondrechten of bestaande effectbeoordelingen die door de aanbieder zijn uitgevoerd. Indien de gebruiksverantwoordelijke tijdens het gebruik van het AI-systeem met een hoog risico ziet dat een van de in lid 1 vermelde elementen is gewijzigd of niet langer actueel is, neemt de gebruiksverantwoordelijke de nodige maatregelen om de informatie te actualiseren.

    3.   Zodra de in lid 1 van dit artikel bedoelde beoordeling is uitgevoerd, stelt de gebruiksverantwoordelijke de markttoezichtautoriteit in kennis van de resultaten ervan, en dient hij als onderdeel van de kennisgeving het in lid 5 van dit artikel bedoelde ingevulde sjabloon in. In het in artikel 46, lid 1, bedoelde geval kunnen gebruiksverantwoordelijken van de verplichting tot kennisgeving worden vrijgesteld.

    4.   Indien een van de in dit artikel vastgelegde verplichtingen reeds is nagekomen door de gegevensbeschermingseffectbeoordeling die is uitgevoerd op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, vormt de in lid 1 van dit artikel bedoelde effectbeoordeling op het gebied van de grondrechten een aanvulling op die gegevensbeschermingseffectbeoordeling.

    5.   Het AI-bureau ontwikkelt een sjabloon voor een vragenlijst, onder meer via een geautomatiseerd instrument, om gebruiksverantwoordelijken te helpen hun verplichtingen uit hoofde van dit artikel op vereenvoudigde wijze na te komen.

    AFDELING 4

    Aanmeldende autoriteiten en aangemelde instanties

    Artikel 28

    Aanmeldende autoriteiten

    1.   Elke lidstaat wijst ten minste één aanmeldende autoriteit aan of richt een aanmeldende autoriteit op die verantwoordelijk is voor het opzetten en uitvoeren van de nodige procedures voor de beoordeling, aanwijzing en aanmelding van conformiteitsbeoordelingsinstanties en voor het toezicht erop. Deze procedures worden ontwikkeld in samenwerking tussen de aanmeldende autoriteiten van alle lidstaten.

    2.   De lidstaten kunnen besluiten de beoordeling en het toezicht als bedoeld in lid 1 overeenkomstig Verordening (EG) nr. 765/2008 te laten uitvoeren door een nationale accreditatie-instantie in de zin van die verordening.

    3.   Aanmeldende autoriteiten worden zodanig opgericht en georganiseerd en functioneren zodanig dat zich geen belangenconflicten met conformiteitsbeoordelingsinstanties voordoen en dat de objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn.

    4.   Aanmeldende autoriteiten worden zodanig georganiseerd dat besluiten in verband met de aanmelding van conformiteitsbeoordelingsinstanties worden genomen door bekwame personen die niet de beoordeling van die instanties hebben verricht.

    5.   Aanmeldende autoriteiten bieden of verrichten geen activiteiten die worden uitgevoerd door conformiteitsbeoordelingsinstanties en verlenen geen adviezen op commerciële of concurrentiële basis.

    6.   Aanmeldende autoriteiten waarborgen dat de door hen verkregen informatie overeenkomstig artikel 78 vertrouwelijk wordt behandeld.

    7.   Aanmeldende autoriteiten beschikken over een toereikend aantal bekwame personeelsleden om hun taken naar behoren uit te voeren. Bekwame personeelsleden beschikken, indien van toepassing, over de nodige deskundigheid voor hun functies op gebieden als informatietechnologie, AI en recht, met inbegrip van het toezicht op de grondrechten.

    Artikel 29

    Verzoek om aanmelding van een conformiteitsbeoordelingsinstantie

    1.   Conformiteitsbeoordelingsinstanties dienen een verzoek om aanmelding in bij de aanmeldende autoriteit van de lidstaat waar zij zijn gevestigd.

    2.   Het verzoek om aanmelding gaat vergezeld van een beschrijving van de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s) en de soorten AI-systemen waarvoor de conformiteitsbeoordelingsinstantie verklaart bekwaam te zijn en, indien dit bestaat, van een accreditatiecertificaat dat is afgegeven door een nationale accreditatie-instantie, waarin wordt verklaard dat de conformiteitsbeoordelingsinstantie voldoet aan de eisen van artikel 31.

    Geldige documenten met betrekking tot bestaande aanwijzingen van de verzoekende aangemelde instantie uit hoofde van andere harmonisatiewetgeving van de Unie worden bijgevoegd.

    3.   Wanneer de betrokken conformiteitsbeoordelingsinstantie geen accreditatiecertificaat kan overleggen, verschaft zij de aanmeldende autoriteit alle bewijsstukken die nodig zijn om haar overeenstemming met de eisen van artikel 31 te verifiëren en te erkennen en om daar geregeld toezicht op te houden.

    4.   Voor aangemelde instanties die uit hoofde van andere harmonisatiewetgeving van de Unie zijn aangewezen, kunnen waar passend alle documenten en certificaten met betrekking tot die aanwijzingen worden gebruikt om hun aanwijzingsprocedure krachtens deze verordening te ondersteunen. Om de voor aangemelde instanties verantwoordelijke autoriteit in staat te stellen de continue naleving van alle eisen van artikel 31 te monitoren en te verifiëren, werkt de aangemelde instantie de in de leden 2 en 3 bij dit artikel bedoelde documentatie telkens bij wanneer relevante veranderingen plaatsvinden.

    Artikel 30

    Aanmeldingsprocedure

    1.   Aanmeldende autoriteiten mogen uitsluitend conformiteitsbeoordelingsinstanties aanmelden die aan de eisen van artikel 31 voldoen.

    2.   Aanmeldende autoriteiten melden elke in lid 1 bedoeld conformiteitsbeoordelingsinstantie aan bij de Commissie en de andere lidstaten door middel van het door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.

    3.   Bij de in lid 2 van dit artikel bedoelde aanmelding worden de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s), de soorten AI-systemen in kwestie en de desbetreffende bekwaamheidsattestatie uitvoerig beschreven. Indien een aanmelding niet gebaseerd is op een accreditatiecertificaat als bedoeld in artikel 29, lid 2, verschaft de aanmeldende autoriteit de Commissie en de andere lidstaten de bewijsstukken waaruit de bekwaamheid van de conformiteitsbeoordelingsinstantie blijkt, evenals de regeling die waarborgt dat de instantie regelmatig wordt gecontroleerd en zal blijven voldoen aan de eisen van artikel 31.

    4.   De betrokken conformiteitsbeoordelingsinstantie mag de activiteiten van een aangemelde instantie alleen verrichten als de Commissie en de andere lidstaten binnen twee weken na aanmelding door een aanmeldende autoriteit indien een accreditatiecertificaat bedoeld in artikel 29, lid 2, wordt gebruikt en binnen twee maanden na aanmelding door de aanmeldende autoriteit indien de in artikel 29, lid 3, bedoelde bewijsstukken worden gebruikt, geen bezwaren hebben ingediend.

    5.   Indien er bezwaar wordt ingediend, treedt de Commissie onverwijld in overleg met de betrokken lidstaten en de conformiteitsbeoordelingsinstantie. Met het oog daarop besluit de Commissie of de toelating gerechtvaardigd is. De Commissie richt haar besluit aan de betrokken lidstaat en aan de relevante conformiteitsbeoordelingsinstantie.

    Artikel 31

    Voorschriften in verband met aangemelde instanties

    1.   Een aangemelde instantie wordt naar het recht van een lidstaat opgericht en bezit rechtspersoonlijkheid.

    2.   Aangemelde instanties voldoen aan de eisen inzake organisatie, kwaliteitsbeheer, personeel en processen die nodig zijn voor het vervullen van hun taken, alsook aan de passende cyberbeveiligingseisen.

    3.   De organisatiestructuur, de toewijzing van verantwoordelijkheden, de rapportagelijnen en het functioneren van aangemelde instanties moeten ervoor zorgen dat er vertrouwen is in hun uitvoering en de resultaten van de conformiteitsbeoordelingsactiviteiten die de aangemelde instanties verrichten.

    4.   Aangemelde instanties zijn onafhankelijk van de aanbieder van een AI-systeem met een hoog risico met betrekking waartoe de aanbieder conformiteitsbeoordelingsactiviteiten verricht. Aangemelde instanties zijn ook onafhankelijk van andere operatoren die een economisch belang hebben in beoordeelde AI-systemen met een hoog risico, alsook van concurrenten van de aanbieder. Dit belet echter niet dat beoordeelde AI-systemen met een hoog risico die nodig zijn voor activiteiten van de conformiteitsbeoordelingsinstantie worden gebruikt of dat dergelijke AI-systemen met een hoog risico voor persoonlijke doeleinden worden gebruikt.

    5.   Een conformiteitsbeoordelingsinstantie, haar hoogste leidinggevenden en het personeel dat de conformiteitsbeoordelingstaken verricht, zijn niet rechtstreeks of als vertegenwoordiger van de betrokken partijen betrokken bij het ontwerpen, ontwikkelen, verhandelen of gebruiken van de AI-systemen met een hoog risico. Zij oefent geen activiteiten uit die de onafhankelijkheid van haar oordeel of haar integriteit met betrekking tot de conformiteitsbeoordelingsactiviteiten waarvoor zij is aangemeld in het gedrang kunnen brengen. Dit geldt met name voor adviesdiensten.

    6.   Aangemelde instanties worden zodanig georganiseerd en functioneren zodanig dat de onafhankelijkheid, objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn. Aangemelde instanties documenteren en implementeren een structuur en procedures voor het waarborgen van de onpartijdigheid en voor het bevorderen en toepassen van de onpartijdigheidsbeginselen in hun gehele organisatie, onder het personeel en in de beoordelingsactiviteiten.

    7.   Aangemelde instanties beschikken over gedocumenteerde procedures die waarborgen dat hun personeel, comités, dochterondernemingen, onderaannemers, geassocieerde instanties of personeel van externe instanties overeenkomstig artikel 78 de informatie die zij tijdens conformiteitsbeoordelingsactiviteiten in hun bezit krijgen vertrouwelijk houden, behalve wanneer de openbaarmaking ervan wettelijk vereist is. Het personeel van aangemelde instanties is gebonden aan het beroepsgeheim ten aanzien van alle informatie waarvan het kennisneemt bij de uitoefening van de taken uit hoofde van deze verordening, behalve ten opzichte van de aanmeldende autoriteiten van de lidstaat waar de activiteiten plaatsvinden.

    8.   Aangemelde instanties beschikken over de nodige procedures voor de uitoefening van hun activiteiten, waarin voldoende rekening wordt gehouden met de omvang van een aanbieder, de sector waarin deze actief is, de structuur en de relatieve complexiteit van het betreffende AI-systeem.

    9.   Aangemelde instanties sluiten voor hun conformiteitsbeoordelingsactiviteiten een passende aansprakelijkheidsverzekering af, tenzij de wettelijke aansprakelijkheid krachtens het nationale recht door de lidstaat van vestiging wordt gedekt of die lidstaat zelf rechtstreeks verantwoordelijk is voor de conformiteitsbeoordeling.

    10.   Aangemelde instanties zijn in staat al hun taken uit hoofde van deze verordening te verrichten met de grootste mate van beroepsintegriteit en met de vereiste bekwaamheid op het specifieke gebied, ongeacht of deze taken door de aangemelde instanties zelf dan wel namens hen en onder hun verantwoordelijkheid worden verricht.

    11.   Aangemelde instanties beschikken over voldoende interne deskundigheid om de namens hen door externe partijen verrichte taken doeltreffend te kunnen evalueren. De aangemelde instantie moet permanent beschikken over voldoende administratief, technisch, juridisch en wetenschappelijk personeel dat ervaring heeft met en kennis over de relevante soorten AI-systemen, gegevens en gegevensverwerking en de voorschriften van afdeling 2.

    12.   Aangemelde instanties nemen deel aan coördinatieactiviteiten als bedoeld in artikel 38. Zij nemen ook rechtstreeks deel aan of worden vertegenwoordigd in Europese normalisatie-instellingen of zorgen ervoor op de hoogte te zijn van actuele relevante normen.

    Artikel 32

    Vermoeden van conformiteit met voorschriften met betrekking tot aangemelde instanties

    Wanneer een conformiteitsbeoordelingsinstantie aantoont dat zij voldoet aan de criteria in de ter zake doende geharmoniseerde normen of delen ervan, waarvan de referentienummers in het Publicatieblad van de Europese Unie zijn bekendgemaakt, wordt zij geacht aan de eisen van artikel 31 te voldoen, op voorwaarde dat de van toepassing zijnde geharmoniseerde normen deze eisen dekken.

    Artikel 33

    Dochterondernemingen van aangemelde instanties en onderaanneming

    1.   Wanneer de aangemelde instantie specifieke taken in verband met de conformiteits-beoordeling door een onderaannemer of door een dochteronderneming laat uitvoeren, waarborgt zij dat de onderaannemer of dochteronderneming aan de eisen van artikel 31 voldoet, en brengt zij de aanmeldende autoriteit hiervan op de hoogte.

    2.   Aangemelde instanties nemen de volledige verantwoordelijkheid op zich voor de door onderaannemers of dochterondernemingen verrichte taken.

    3.   Activiteiten mogen uitsluitend met instemming van de aanbieder door een onderaannemer of dochteronderneming worden uitgevoerd. Aangemelde instanties maken een lijst van hun dochterondernemingen openbaar.

    4.   De relevante documenten betreffende de beoordeling van de kwalificaties van de onderaannemer of dochteronderneming en de door hen uit hoofde van deze verordening uitgevoerde werkzaamheden worden gedurende een periode van vijf jaar vanaf de einddatum van de onderaanneming ter beschikking van de aanmeldende autoriteit gehouden.

    Artikel 34

    Operationele verplichtingen van aangemelde instanties

    1.   Aangemelde instanties controleren de conformiteit van AI-systemen met een hoog risico overeenkomstig de conformiteitsbeoordelingsprocedures van artikel 43.

    2.   Aangemelde instanties vermijden onnodige lasten voor aanbieders bij de uitvoering van hun activiteiten en houden terdege rekening met de omvang van de aanbieder, de sector waarin hij actief is, zijn structuur en de mate van complexiteit van het betrokken AI-systeem met een hoog risico, met name om de administratieve lasten en nalevingskosten voor micro- en kleine ondernemingen in de zin van Aanbeveling 2003/361/EG tot een minimum te beperken. De aangemelde instantie eerbiedigt echter de striktheid en het beschermingsniveau die nodig zijn opdat het AI-systeem met een hoog risico voldoet aan de eisen van deze verordening.

    3.   Aangemelde instanties stellen alle relevante documentatie, waaronder de documentatie van de aanbieder, ter beschikking van de in artikel 28 bedoelde aanmeldende autoriteit, en verstrekken die aan haar op verzoek, teneinde haar in staat te stellen haar beoordelings-, aanwijzings-, kennisgevings- en monitoringsactiviteiten te verrichten, en de in deze afdeling beschreven beoordeling te vergemakkelijken.

    Artikel 35

    Identificatienummers en lijsten van aangemelde instanties

    1.   De Commissie kent elke aangemelde instantie één enkel identificatienummer toe, zelfs wanneer een instantie op grond van meer dan één handeling van de Unie is aangemeld.

    2.   De Commissie maakt de lijst van krachtens deze verordening aangemelde instanties openbaar, onder vermelding van hun identificatienummers en de activiteiten waarvoor zij zijn aangemeld. De Commissie zorgt ervoor dat de lijst actueel blijft.

    Artikel 36

    Wijzigingen in de aanmelding

    1.   De aanmeldende autoriteit stelt de Commissie en de andere lidstaten via het in artikel 30, lid 2, bedoelde elektronische aanmeldingssysteem in kennis van alle relevante wijzigingen in de aanmelding van een aangemelde instantie.

    2.   De in artikel 29 en artikel 30 vastgelegde procedures zijn van toepassing op uitbreidingen van de reikwijdte van de aanmelding.

    Voor andere wijzigingen met betrekking tot de aanmelding dan uitbreidingen van de reikwijdte, zijn de procedures van de leden 3 tot en met 9 van toepassing.

    3.   Indien een aangemelde instantie besluit haar conformiteitsbeoordelingsactiviteiten stop te zetten, brengt zij de aanmeldende autoriteit en de betrokken aanbieders zo snel mogelijk, en in het geval van een geplande stopzetting minstens één jaar voor de stopzetting van haar activiteiten, daarvan op de hoogte. De certificaten van de aangemelde instantie kunnen gedurende een periode van negen maanden na de stopzetting van de activiteiten van de aangemelde instantie geldig blijven, op voorwaarde dat een andere aangemelde instantie schriftelijk heeft bevestigd dat zij de verantwoordelijkheid voor de AI-systemen met een hoog risico waarop die certificaten betrekking hebben, op zich zal nemen. Die laatste aangemelde instantie verricht vóór het einde van die periode van negen maanden een volledige beoordeling van de betrokken AI-systemen met een hoog risico, alvorens er nieuwe certificaten voor af te leveren. Ingeval de aangemelde instantie haar activiteiten heeft gestaakt, trekt de aanmeldende autoriteit de aanwijzing in.

    4.   Wanneer een aanmeldende autoriteit voldoende reden heeft om van mening te zijn dat een aangemelde instantie niet meer aan de eisen van artikel 31 voldoet of haar verplichtingen niet nakomt, moet de aanmeldende autoriteit de kwestie onverwijld zo zorgvuldig mogelijk onderzoeken. In die context stelt zij de betrokken aangemelde instantie in kennis van de geopperde bezwaren en biedt zij haar de mogelijkheid haar standpunten kenbaar te maken. Als de aanmeldende autoriteit tot de conclusie komt dat de aangemelde instantie niet meer aan de eisen van artikel 31 voldoet of haar verplichtingen niet nakomt, wordt de aanwijzing door haar beperkt, geschorst of ingetrokken, als passend, afhankelijk van de ernst van het niet naleven van die eisen of verplichtingen. Zij brengt de Commissie en de andere lidstaten daar onmiddellijk van op de hoogte.

    5.   Indien de aanwijzing van een aangemelde instantie wordt geschorst, beperkt of geheel of gedeeltelijk wordt ingetrokken, stelt die aangemelde instantie de betrokken aanbieders binnen tien dagen hiervan in kennis.

    6.   Indien een aanwijzing wordt beperkt, geschorst of ingetrokken, onderneemt de aanmeldende autoriteit de nodige stappen om ervoor te zorgen dat de dossiers van de betrokken aangemelde instantie worden bewaard en op verzoek ter beschikking worden gesteld van aanmeldende autoriteiten in andere lidstaten en van markttoezichtautoriteiten.

    7.   In geval van beperking, schorsing of intrekking van een aanwijzing:

    a)

    beoordeelt de aanmeldende autoriteit het gevolg voor de door de aangemelde instantie afgegeven certificaten;

    b)

    dient de aanmeldende autoriteit binnen drie maanden na mededeling van de wijzigingen in de aanwijzing een verslag over haar bevindingen in bij de Commissie en de overige lidstaten;

    c)

    schrijft de aanmeldende autoriteit voor dat de aangemelde instantie binnen een redelijke, door de autoriteit bepaalde termijn, onterecht afgegeven certificaten schorst of intrekt, zulks om de voortdurende conformiteit van de in de handel gebrachte AI-systemen met een hoog risico te waarborgen;

    d)

    stelt de aanmeldende autoriteit de Commissie en de lidstaten in kennis van certificaten die moeten worden geschorst of ingetrokken;

    e)

    verstrekt de aanmeldende autoriteit de nationale bevoegde autoriteiten van de lidstaat waar de aanbieder zijn geregistreerde vestigingsplaats heeft, alle relevante informatie over de certificaten waarvan zij de schorsing of intrekking heeft gelast; die autoriteit neemt de gepaste maatregelen die nodig zijn om een mogelijk risico voor de gezondheid, veiligheid of grondrechten af te wenden.

    8.   Met uitzondering van onterecht afgegeven certificaten en indien een aanwijzing is geschorst of beperkt, blijven de certificaten geldig in een van de volgende omstandigheden:

    a)

    de aanmeldende autoriteit heeft binnen één maand na de schorsing of beperking bevestigd dat er met betrekking tot de certificaten waarop de schorsing of beperking van toepassing is, geen risico’s voor de gezondheid, veiligheid of grondrechten bestaan, en de aanmeldende autoriteit heeft voorzien in een termijn voor maatregelen om de schorsing of beperking te ondervangen, of

    b)

    de aanmeldende autoriteit heeft bevestigd dat er geen certificaten in verband met de schorsing zullen worden afgegeven, gewijzigd, of opnieuw afgegeven gedurende de schorsing of beperking en geeft aan of de aangemelde instantie het vermogen heeft om de bestaande, voor de periode van schorsing of beperking afgegeven certificaten te blijven monitoren en daarvoor verantwoordelijk te blijven; indien de aanmeldende autoriteit vaststelt dat de aangemelde instantie niet in staat is bestaande afgegeven certificaten te ondersteunen, bevestigt de aanbieder van het systeem waarop het certificaat betrekking heeft binnen drie maanden na de schorsing of beperking aan de nationale bevoegde autoriteiten van de lidstaat waar hij zijn geregistreerde vestigingsplaats heeft via schriftelijke weg dat in plaats van de aangemelde instantie een andere gekwalificeerde aangemelde instantie tijdelijk de certificaten tijdens de periode van schorsing of beperking zal monitoren en er de verantwoordelijkheid voor zal dragen.

    9.   Met uitzondering van onterecht afgegeven certificaten en indien een aanwijzing is ingetrokken, blijven de certificaten in de volgende omstandigheden negen maanden geldig:

    a)

    de nationale bevoegde autoriteit van de lidstaat waar de aanbieder van het onder het certificaat vallende AI-systeem met een hoog risico zijn geregistreerde vestigingsplaats heeft, bevestigd heeft dat de betreffende AI-systemen met een hoog risico geen risico voor de gezondheid, veiligheid of grondrechten inhouden, en

    b)

    een andere aangemelde instantie schriftelijk heeft bevestigd dat zij de onmiddellijke verantwoordelijkheid voor deze AI-systemen op zich neemt en haar beoordeling binnen twaalf maanden na intrekking van de aanwijzing afrondt.

    Onder de in de eerste alinea bedoelde omstandigheden kan de nationale bevoegde autoriteit van de lidstaat waarin de aanbieder van het systeem waarop het certificaat betrekking heeft, zijn vestigingsplaats heeft, de voorlopige geldigheidsduur van de certificaten verlengen met perioden van drie maanden, die samen niet meer dan twaalf maanden mogen bedragen.

    De nationale bevoegde autoriteit of de aangemelde instantie die de functies van de door de wijziging van de aanwijzing getroffen aangemelde instantie vervult, stelt de Commissie, de andere lidstaten en de andere aangemelde instanties hiervan onmiddellijk in kennis.

    Artikel 37

    Betwisting van de bekwaamheid van aangemelde instanties

    1.   De Commissie onderzoekt indien nodig alle gevallen waarin er redenen zijn om te twijfelen aan de bekwaamheid van een aangemelde instantie of te twijfelen of een aangemelde instantie nog aan de eisen van artikel 31 voldoet en haar toepasselijke verantwoordelijkheden nakomt.

    2.   De aanmeldende autoriteit verstrekt de Commissie op verzoek alle relevante informatie over de aanmelding of het op peil houden van de bekwaamheid van de betrokken aangemelde instantie.

    3.   De Commissie ziet erop toe dat alle gevoelige informatie die zij in de loop van haar onderzoeken op grond van dit artikel ontvangt, overeenkomstig artikel 78 vertrouwelijk wordt behandeld.

    4.   Wanneer de Commissie vaststelt dat een aangemelde instantie niet of niet meer aan de aanmeldingseisen voldoet, brengt zij de aanmeldende lidstaat daarvan op de hoogte en verzoekt zij deze lidstaat de nodige corrigerende maatregelen te nemen, en zo nodig de aanmelding te schorsen of in te trekken. Indien de lidstaat niet de nodige corrigerende actie onderneemt, kan de Commissie door middel van een uitvoeringshandeling de aanwijzing schorsen, beperken of intrekken. De uitvoeringshandeling wordt vastgesteld volgens de in artikel 98, lid 2, bedoelde onderzoeksprocedure.

    Artikel 38

    Coördinatie van aangemelde instanties

    1.   Ten aanzien van AI-systemen met een hoog risico zorgt de Commissie voor het instellen en naar behoren uitvoeren van passende coördinatie en samenwerking tussen aangemelde instanties die zich bezighouden met de conformiteitsbeoordelingsprocedures krachtens deze verordening in de vorm van een sectorale groep van aangemelde instanties.

    2.   Elke aanmeldende autoriteit zorgt ervoor dat de door haar aangemelde instanties rechtstreeks of via aangestelde vertegenwoordigers aan de werkzaamheden van een in lid 1 vermelde groep deelnemen.

    3.   De Commissie voorziet in de uitwisseling van kennis en beste praktijken tussen aanmeldende autoriteiten.

    Artikel 39

    Conformiteitsbeoordelingsinstanties van derde landen

    Conformiteitsbeoordelingsinstanties die zijn opgericht naar het recht van een derde land waarmee de Unie een overeenkomst heeft gesloten, kunnen worden gemachtigd de activiteiten van aangemelde instanties krachtens deze verordening te verrichten, mits zij aan de in artikel 31 vastgelegde voorschriften voldoen of een gelijkwaardig nalevingsniveau waarborgen.

    AFDELING 5

    Normen, conformiteitsbeoordeling, certificaten, registratie

    Artikel 40

    Geharmoniseerde normen en normalisatieproducten

    1.   AI-systemen met een hoog risico of AI-modellen voor algemene doeleinden die in overeenstemming zijn met geharmoniseerde normen of delen daarvan, waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, overeenkomstig Verordening (EU) nr. 1025/2012, worden geacht in overeenstemming te zijn met de in afdeling 2 van dit hoofdstuk beschreven eisen, of, naargelang het geval, de in hoofdstuk V, afdelingen 2 en 3, van deze verordening beschreven verplichtingen, voor zover die eisen of verplichtingen door die normen worden gedekt.

    2.   Overeenkomstig artikel 10 van Verordening (EU) nr. 1025/2012 dient de Commissie zonder onnodige vertraging normalisatieverzoeken in die betrekking hebben op alle eisen van afdeling 2 van dit hoofdstuk en, in voorkomend geval, normalisatieverzoeken die betrekking hebben op verplichtingen van hoofdstuk V, afdelingen 2 en 3, van deze verordening. In het normalisatieverzoek wordt ook gevraagd om producten met betrekking tot rapporterings- en documentatieprocessen om de prestaties van hulpbronnen van AI-systemen te verbeteren, zoals het verminderen van het energieverbruik en het verbruik van andere hulpbronnen van AI-systemen met een hoog risico tijdens de levenscyclus ervan, en met betrekking tot de energie-efficiënte ontwikkeling van AI-modellen voor algemene doeleinden. Bij het opstellen van een normalisatieverzoek raadpleegt de Commissie de AI-board en de relevante belanghebbenden, met inbegrip van het adviesforum.

    Bij het richten van een normalisatieverzoek aan Europese normalisatie-instellingen specificeert de Commissie dat normen duidelijk en consistent moeten zijn, met inbegrip van de normen die in de verschillende sectoren ontwikkeld zijn voor producten die onder de in bijlage I vermelde bestaande harmonisatiewetgeving van de Unie vallen, en tot doel hebben ervoor te zorgen dat AI-systemen met een hoog risico of AI-modellen voor algemene doeleinden die in de Unie in de handel worden gebracht of in gebruik worden gesteld, voldoen aan de relevante eisen of verplichtingen van deze verordening.

    De Commissie verzoekt de Europese normalisatieorganisaties aan te tonen dat zij alles in het werk stellen om de in de eerste en tweede alinea van dit lid bedoelde doelstellingen te verwezenlijken overeenkomstig artikel 24 van Verordening (EU) nr. 1025/2012.

    3.   De deelnemers aan het normalisatieproces streven naar het bevorderen van investeringen en innovatie in AI, onder andere door voor meer rechtszekerheid te zorgen, en het concurrentievermogen en de groei van de markt van de Unie, naar het bijdragen aan de versterking van de wereldwijde samenwerking op het gebied van normalisatie, rekening houdend met bestaande internationale normen op het gebied van AI die in overeenstemming zijn met de waarden, grondrechten en belangen van de Unie, en naar het verbeteren van de multistakeholdergovernance door te zorgen voor een evenwichtige vertegenwoordiging van de belangen en de effectieve deelname van alle relevante belanghebbenden overeenkomstig de artikelen 5, 6 en 7 van Verordening (EU) nr. 1025/2012.

    Artikel 41

    Gemeenschappelijke specificaties

    1.   De Commissie kan uitvoeringshandelingen vaststellen tot vaststelling van gemeenschappelijke specificaties voor de eisen van afdeling 2 van dit hoofdstuk of, in voorkomend geval, voor de verplichtingen van hoofdstuk V, afdelingen 2 en 3, indien aan de volgende voorwaarden is voldaan:

    a)

    de Commissie heeft op grond van artikel 10, lid 1, van Verordening (EU) nr. 1025/2012 een of meer Europese normalisatieorganisaties verzocht een geharmoniseerde norm op te stellen voor de in afdeling 2 van dit hoofdstuk beschreven eisen, of, in voorkomend geval, voor de verplichtingen van hoofdstuk V, afdelingen 2 en 3, en:

    i)

    het verzoek is door geen enkele van de Europese normalisatieorganisaties aanvaard, of

    ii)

    de geharmoniseerde normen waarop dat verzoek betrekking heeft, worden niet binnen de overeenkomstig artikel 10, lid 1, van Verordening (EU) nr. 1025/2012 vastgestelde termijn geleverd, of

    iii)

    in de relevante geharmoniseerde normen wordt onvoldoende rekening gehouden met problemen op het gebied van de grondrechten, of

    iv)

    de geharmoniseerde normen voldoen niet aan het verzoek, en

    b)

    er is geen referentie van geharmoniseerde normen overeenkomstig Verordening (EU) nr. 1025/2012 bekendgemaakt in het Publicatieblad van de Europese Unie voor de eisen van afdeling 2 van dit hoofdstuk of, in voorkomend geval, voor de verplichtingen van hoofdstuk V, afdelingen 2 en 3, en een dergelijke referentie zal naar verwachting niet binnen een redelijke termijn worden bekendgemaakt.

    Bij het opstellen van de gemeenschappelijke specificaties raadpleegt de Commissie het in artikel 67 bedoelde adviesforum.

    De in de eerste alinea van dit lid bedoelde uitvoeringshandelingen worden vastgesteld volgens de in artikel 98, lid 2, bedoelde onderzoeksprocedure.

    2.   Alvorens een ontwerpuitvoeringshandeling op te stellen, stelt de Commissie het in artikel 22 van Verordening (EU) nr. 1025/2012 bedoelde comité ervan in kennis dat zij van oordeel is dat aan de voorwaarden van lid 1 van dit artikel is voldaan.

    3.   AI-systemen met een hoog risico of AI-modellen voor algemene doeleinden die in overeenstemming zijn met de in lid 1 bedoelde gemeenschappelijke specificaties of delen daarvan worden geacht in overeenstemming te zijn met de in afdeling 2 van dit hoofdstuk beschreven voorschriften, of, in voorkomend geval, met de verplichtingen van hoofdstuk V, afdelingen 2 en 3, voor zover die voorschriften of die verplichtingen door die gemeenschappelijke specificaties worden bestreken.

    4.   Wanneer een Europese normalisatieorganisatie een geharmoniseerde norm vaststelt en deze aan de Commissie voorstelt met het oog op de bekendmaking van de referentie ervan in het Publicatieblad van de Europese Unie, beoordeelt de Commissie de geharmoniseerde norm overeenkomstig Verordening (EU) nr. 1025/2012. Wanneer de referentie van een geharmoniseerde norm in het Publicatieblad van de Europese Unie wordt bekendgemaakt, trekt de Commissie de in lid 1 bedoelde uitvoeringshandelingen of delen daarvan die dezelfde in afdeling 2 van dit hoofdstuk vermelde eisen of, in voorkomend geval, dezelfde verplichtingen van hoofdstuk V, afdelingen 2 en 3, dekken, in.

    5.   Wanneer aanbieders van AI-systemen met een hoog risico of AI-modellen voor algemene doeleinden niet voldoen aan de in lid 1 bedoelde gemeenschappelijke specificaties, moeten zij naar behoren rechtvaardigen dat zij technische oplossingen hebben gekozen die voldoen aan de in afdeling 2 van dit hoofdstuk beschreven voorschriften of, in voorkomend geval, aan de verplichtingen van hoofdstuk V, afdelingen 2 en 3, in een mate die minstens gelijkwaardig daarmee is.

    6.   Wanneer een lidstaat van oordeel is dat een gemeenschappelijke specificatie niet volledig aan de eisen van afdeling 2 van dit hoofdstuk of, in voorkomend geval, de verplichtingen van hoofdstuk V, afdelingen 2 en 3, voldoet, stelt deze lidstaat de Commissie daarvan in kennis met een gedetailleerde toelichting. De Commissie beoordeelt die informatie en wijzigt de uitvoeringshandeling tot vaststelling van de betrokken gemeenschappelijke specificatie zo nodig.

    Artikel 42

    Vermoeden van conformiteit met bepaalde eisen

    1.   AI-systemen met een hoog risico die zijn getraind en getest op data die overeenkomen met de specifieke geografische, gedragsgerelateerde, contextuele of functionele omgeving waarin zij zullen worden gebruikt, geacht te voldoen de in artikel 10, lid 4, beschreven relevante eisen.

    2.   AI-systemen met een hoog risico die zijn gecertificeerd of waarvoor een conformiteitsverklaring is verstrekt volgens een cyberbeveiligingsregeling krachtens Verordening (EU) 2019/881 en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht te voldoen aan de in artikel 15 van deze verordening beschreven cyberbeveiligingseisen, voor zover die eisen door het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan worden bestreken.

    Artikel 43

    Conformiteitsbeoordeling

    1.   Voor in punt 1 van bijlage III opgesomde AI-systemen met een hoog risico kiest de aanbieder, wanneer de aanbieder bij het aantonen van de overeenstemming met de in afdeling 2 beschreven voorschriften van een AI-systeem met een hoog risico geharmoniseerde normen als bedoeld in artikel 40 of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, een van de volgende conformiteitsbeoordelingsprocedures op basis van:

    a)

    de in bijlage VI bedoelde interne controle, of

    b)

    de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie, met betrokkenheid van een aangemelde instantie, als bedoeld in bijlage VII.

    Bij het aantonen van de overeenstemming met de in afdeling 2 beschreven voorschriften van een AI-systeem met een hoog risico volgt de aanbieder de conformiteitsbeoordelingsprocedure van bijlage VII indien:

    a)

    er geen geharmoniseerde normen als bedoeld in artikel 40 bestaan en er geen gemeenschappelijke specificaties als bedoeld in artikel 41 voorhanden zijn;

    b)

    de aanbieder de geharmoniseerde norm niet of slechts gedeeltelijk heeft toegepast;

    c)

    de in punt a) bedoelde gemeenschappelijke specificaties bestaan, maar de aanbieder deze niet heeft toegepast;

    d)

    een of meer van de in punt a) bedoelde geharmoniseerde normen met beperkingen zijn bekendgemaakt, en alleen met betrekking tot het deel van de norm waarvoor de beperkingen gelden.

    Ten behoeve van de in bijlage VII bedoelde conformiteitsbeoordelingsprocedure kan de aanbieder om het even welke aangemelde instantie kiezen. Wanneer het AI-systeem met een hoog risico echter is bedoeld om door rechtshandhavingsinstanties, immigratie- of asielautoriteiten of door instellingen, organen of instanties van de Unie in gebruik te worden gesteld, treedt de markttoezichtautoriteit als bedoeld in artikel 74, lid 8 of lid 9, naargelang van toepassing, als aangemelde instantie op.

    2.   Voor AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III volgen aanbieders de in bijlage VI bedoelde conformiteitsbeoordelingsprocedure op basis van interne controle, waarvoor de betrokkenheid van een aangemelde instantie niet nodig is.

    3.   Voor AI-systemen met een hoog risico die onder de in afdeling A van bijlage I vermelde harmonisatiewetgeving van de Unie vallen, volgt de aanbieder de relevante conformiteitsbeoordelingsprocedure zoals vereist volgens die rechtshandelingen. De in afdeling 2 van dit hoofdstuk beschreven voorschriften zijn van toepassing op die AI-systemen met een hoog risico en maken deel uit van die beoordeling. De punten 4.3, 4.4, 4.5 en de vijfde alinea van punt 4.6 van bijlage VII zijn eveneens van toepassing.

    Voor die beoordeling hebben aangemelde instanties die volgens die rechtshandelingen zijn aangemeld het recht de conformiteit van de AI-systemen met een hoog risico met de in afdeling 2 beschreven voorschriften te controleren, mits de overeenstemming van die aangemelde instanties met voorschriften van artikel 31, leden 4, 10 en 11, in de context van de aanmeldingsprocedure volgens die rechtshandelingen is beoordeeld.

    Wanneer een in afdeling A van bijlage I vermelde rechtshandeling de productfabrikant in staat stelt zich te onttrekken aan een conformiteitsbeoordeling door een derde partij, mits die fabrikant alle geharmoniseerde normen voor alle relevante voorschriften heeft toegepast, kan de fabrikant alleen van die mogelijkheid gebruikmaken als hij ook geharmoniseerde normen of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, voor alle in afdeling 2 van dit hoofdstuk beschreven voorschriften.

    4.   AI-systemen met een hoog risico die reeds aan een conformiteitsbeoordelingsprocedure zijn onderworpen, ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij substantieel zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiksverantwoordelijke gebruikt blijft worden.

    Voor AI-systemen met een hoog risico die doorgaan met leren na in de handel te zijn gebracht of in gebruik te zijn gesteld, vormen veranderingen van het AI-systeem met een hoog risico en de prestaties ervan die op het moment van de eerste conformiteitsbeoordeling vooraf door de aanbieder zijn bepaald en deel uitmaken van de informatie in de in punt 2, f), van bijlage IV bedoelde technische documentatie, geen substantiële wijziging.

    5.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen om bijlagen VI en VII te wijzigen teneinde hen te actualiseren in het licht van technologische vooruitgang.

    6.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen om de leden 1 en 2 te wijzigen, teneinde AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III te onderwerpen aan de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII of delen daarvan. De Commissie stelt zulke gedelegeerde handelingen vast rekening houdend met de doeltreffendheid van de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI bij het voorkomen of minimaliseren van de risico’s voor de gezondheid en veiligheid en de bescherming van grondrechten die zulke systemen inhouden alsook met de beschikbaarheid van voldoende capaciteit en personeel onder aangemelde instanties.

    Artikel 44

    Certificaten

    1.   Door aangemelde instanties overeenkomstig bijlage VII afgegeven certificaten worden opgesteld in een taal die de desbetreffende autoriteiten in de lidstaat waar de aangemelde instantie is gevestigd, gemakkelijk kunnen begrijpen.

    2.   Certificaten zijn geldig gedurende de daarin aangegeven periode, die niet meer dan vijf jaar mag bedragen voor AI-systemen die onder bijlage I vallen, en niet meer dan vier jaar voor AI-systemen die onder bijlage III vallen. Op verzoek van de aanbieder kan de geldigheidsduur van een certificaat op grond van een herbeoordeling volgens de toepasselijke conformiteitsbeoordelingsprocedures worden verlengd met bijkomende perioden, die elk niet meer dan vijf jaar mogen bedragen voor AI-systemen die onder bijlage I vallen en niet meer dan vier jaar voor AI-systemen die onder bijlage III vallen. Aanvullingen op een certificaat blijven geldig zolang het certificaat dat zij aanvullen geldig blijft.

    3.   Indien een aangemelde instantie vaststelt dat een AI-systeem niet meer aan de in afdeling 2 beschreven voorschriften voldoet, gaat zij, rekening houdend met het evenredigheidsbeginsel, over tot schorsing of intrekking van het afgegeven certificaat of legt zij beperkingen op, tenzij de aanbieder van het systeem, met het oog op de naleving van deze voorschriften, binnen een door de aangemelde instantie vastgestelde passende termijn adequate corrigerende actie onderneemt. De aangemelde instantie geeft de redenen voor haar besluit op.

    Er wordt voorzien in een beroepsprocedure tegen besluiten van de aangemelde instanties, ook inzake afgegeven conformiteitscertificaten.

    Artikel 45

    Informatieverplichtingen voor aangemelde instanties

    1.   Aangemelde instanties brengen de aanmeldende autoriteit op de hoogte van:

    a)

    beoordelingscertificaten van technische documentatie van de Unie, aanvullingen op die certificaten en goedkeuringen voor systemen voor kwaliteitsbeheer afgegeven overeenkomstig de eisen van bijlage VII;

    b)

    weigering, beperking, schorsing of intrekking van een beoordelingscertificaat technische documentatie van de Unie of een goedkeuring voor systemen voor kwaliteitsbeheer afgegeven overeenkomstig de eisen van bijlage VII;

    c)

    omstandigheden die van invloed zijn op het toepassingsgebied van of de voorwaarden voor de aanmelding;

    d)

    verzoeken om informatie over conformiteitsbeoordelingsactiviteiten die zij van markttoezichtautoriteiten ontvangen;

    e)

    op verzoek, de binnen het toepassingsgebied van hun aanmelding verrichte conformiteitsbeoordelingsactiviteiten en andere activiteiten, waaronder grensoverschrijdende activiteiten en onderaanneming.

    2.   Elke aangemelde instantie brengt de andere aangemelde instanties op de hoogte van:

    a)

    door haar geweigerde, opgeschorte of ingetrokken goedkeuringen voor kwaliteitsbeheersystemen alsmede, op verzoek, van de door haar verleende goedkeuringen voor systemen voor kwaliteitsbeheer;

    b)

    beoordelingscertificaten van technische documentatie van de Unie of aanvullingen daarop die zij heeft geweigerd, ingetrokken, opgeschort of anderszins beperkt alsmede, op verzoek, de certificaten en/of aanvullingen daarop die zij heeft uitgegeven.

    3.   Elke aangemelde instantie verstrekt de andere aangemelde instanties die soortgelijke conformiteitsbeoordelingsactiviteiten voor dezelfde soorten AI-systemen verrichten, relevante informatie over negatieve conformiteitsbeoordelingsresultaten, en op verzoek ook over positieve conformiteitsbeoordelingsresultaten.

    4.   Aanmeldende autoriteiten waarborgen dat de door hen verkregen informatie overeenkomstig artikel 78 vertrouwelijk wordt behandeld.

    Artikel 46

    Afwijking van de conformiteitsbeoordelingsprocedure

    1.   In afwijking van artikel 43 en op naar behoren gemotiveerd verzoek kan een markttoezichtautoriteit het in de handel brengen of het in gebruik stellen van specifieke AI-systemen met een hoog risico binnen het grondgebied van de betrokken lidstaat toelaten, om uitzonderlijke redenen van openbare veiligheid of de bescherming van het leven en de gezondheid van personen, milieubescherming of de bescherming van essentiële industriële en infrastructurele activa. De toelating geldt gedurende een beperkte periode, terwijl de nodige conformiteitsbeoordelingsprocedures worden uitgevoerd, rekening houdend met de uitzonderlijke redenen ter rechtvaardiging van de afwijking. Die procedures worden zo snel mogelijk afgerond.

    2.   In een naar behoren gerechtvaardigde situatie van urgentie om uitzonderlijke redenen van openbare veiligheid of in geval van een specifieke, substantiële en imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen, kunnen rechtshandhavingsinstanties of civielebeschermingsautoriteiten een specifiek AI-systeem met een hoog risico in gebruik stellen zonder de in lid 1 bedoelde toelating, op voorwaarde dat die toelating tijdens of na het gebruik zonder onnodige vertraging wordt aangevraagd. Indien de in lid 1 bedoelde toelating wordt geweigerd, wordt het gebruik van het AI-systeem met een hoog risico met onmiddellijke ingang stopgezet en worden alle resultaten en outputs van dat gebruik onmiddellijk verwijderd.

    3.   De in lid 1 bedoelde toelating wordt alleen verstrekt als de markttoezichtautoriteit concludeert dat het AI-systeem met een hoog risico aan de voorschriften van afdeling 2 voldoet. De markttoezichtautoriteit stelt de Commissie en de andere lidstaten in kennis van op grond van de leden 1 en 2 verstrekte toelatingen. Deze verplichting geldt niet voor gevoelige operationele gegevens met betrekking tot de activiteiten van rechtshandhavingsinstanties.

    4.   Indien binnen 15 kalenderdagen na de ontvangst van de in lid 3 bedoelde informatie geen bezwaar is geopperd door een lidstaat of de Commissie tegen een door een markttoezichtautoriteit van een lidstaat overeenkomstig lid 1 verstrekte toelating, wordt die toelating geacht gerechtvaardigd te zijn.

    5.   Indien binnen 15 kalenderdagen na de ontvangst van in lid 3 bedoelde kennisgeving door een lidstaat bezwaren worden geopperd tegen een door een markttoezichtautoriteit van een andere lidstaat verstrekte toelating, of wanneer de Commissie de toelating in strijd met het Unierecht acht of de conclusie van de lidstaten ten aanzien van de conformiteit van het systeem als bedoeld in lid 3 ongegrond acht, treedt de Commissie onverwijld in overleg met de relevante lidstaat. De betrokken operatoren worden geraadpleegd en hebben de mogelijkheid hun standpunten uiteen te zetten. Met het oog daarop besluit de Commissie of de toelating gerechtvaardigd is. De Commissie richt haar besluit aan de betrokken lidstaat en de relevante operatoren.

    6.   Indien de Commissie de toelating ongerechtvaardigd acht, wordt deze ingetrokken door de markttoezichtautoriteit van de betrokken lidstaat.

    7.   Voor AI-systemen met een hoog risico die verband houden met producten die onder de in afdeling A van bijlage I vermelde harmonisatiewetgeving van de Unie vallen, zijn alleen de in die harmonisatiewetgeving van de Unie vastgestelde afwijkingen van de conformiteitsbeoordeling van toepassing.

    Artikel 47

    EU-conformiteitsverklaring

    1.   De aanbieder stelt voor elk AI-systeem met een hoog risico een schriftelijke machineleesbare, fysieke of elektronisch ondertekende EU-conformiteitsverklaring op en houdt deze verklaring tot tien jaar na het in de handel brengen of het in gebruik stellen van het AI-systeem met een hoog risico ter beschikking van de nationale bevoegde autoriteiten. In de EU-conformiteitsverklaring wordt vermeld voor welk AI-systeem met een hoog risico ze is opgesteld. Op verzoek wordt een kopie van de EU-conformiteitsverklaring aan de relevante nationale bevoegde autoriteiten voorgelegd.

    2.   In de EU-conformiteitsverklaring wordt vermeld dat het betreffende AI-systeem met een hoog risico aan de in afdeling 2 beschreven voorschriften voldoet. De EU-conformiteitsverklaring bevat de informatie die is vervat in bijlage V en wordt vertaald in een taal die de nationale bevoegde autoriteiten van de lidstaten waarin het AI-systeem met een hoog risico in de handel wordt gebracht of wordt aangeboden, gemakkelijk kunnen begrijpen.

    3.   Wanneer AI-systemen met een hoog risico onder andere harmonisatiewetgeving van de Unie vallen, waarvoor ook een EU-conformiteitsverklaring is vereist, wordt één EU-conformiteitsverklaring ten aanzien van alle op het AI-systeem met een hoog risico toepasselijke Uniewetgeving opgesteld. De verklaring bevat alle informatie die vereist is voor de identificatie van de harmonisatiewetgeving van de Unie waarop de verklaring betrekking heeft.

    4.   Met het opstellen van de EU-conformiteitsverklaring neemt de aanbieder de verantwoordelijkheid op zich om de in afdeling 2 beschreven voorschriften na te leven. De aanbieder houdt de EU-conformiteitsverklaring voor zover dienstig up-to-date.

    5.   De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen om bijlage V te wijzigen door het actualiseren van de in die bijlage beschreven inhoud van de EU-conformiteitsverklaring, teneinde elementen in te voeren die noodzakelijk worden in het licht van de technische vooruitgang.

    Artikel 48

    CE-markering

    1.   De CE-markering is onderworpen aan de algemene beginselen die zijn neergelegd in artikel 30 van Verordening (EG) nr. 765/2008.

    2.   Voor digitaal aangeboden AI-systemen met een hoog risico wordt alleen een digitale CE-markering gebruikt als deze gemakkelijk toegankelijk is via de interface waarmee toegang wordt verkregen tot dat systeem of via een gemakkelijk toegankelijke machineleesbare code of andere elektronische middelen.

    3.   De CE-markering wordt zichtbaar, leesbaar en onuitwisbaar op AI-systemen met een hoog risico aangebracht. Wanneer dit gezien de aard van het AI-systeem met een hoog risico niet mogelijk of niet gerechtvaardigd is, wordt de markering naargelang het geval op de verpakking of in de begeleidende documenten aangebracht.

    4.   Indien van toepassing, wordt de CE-markering gevolgd door het identificatienummer van de aangemelde instantie die verantwoordelijk is voor de in artikel 43 beschreven conformiteitsbeoordelingsprocedures. Het identificatienummer van de aangemelde instantie wordt aangebracht door die instantie zelf dan wel overeenkomstig haar instructies door de aanbieder of door diens gemachtigde. Het identificatienummer wordt ook vermeld in reclamemateriaal waarin staat dat een AI-systeem met een hoog risico aan de eisen voor de CE-markering voldoet.

    5.   Indien AI-systemen met een hoog risico onder andere Uniewetgeving vallen die ook betrekking heeft op het aanbrengen van de CE-markering, vermeldt de CE-markering dat de AI-systemen met een hoog risico tevens aan de voorschriften van die andere wetgeving voldoen.

    Artikel 49

    Registratie

    1.   Alvorens een in bijlage III vermeld AI-systeem met een hoog risico, met uitzondering van de in punt 2 van bijlage III vermelde AI-systemen met een hoog risico, in de handel te brengen of in gebruik te stellen, registreert de aanbieder of in voorkomend geval de gemachtigde zichzelf en zijn systeem in de in artikel 71 bedoelde EU-databank.

    2.   Alvorens een AI-systeem in de handel te brengen of in gebruik te stellen dat naar oordeel van de aanbieder geen hoog risico inhoudt volgens artikel 6, lid 3, registreert die aanbieder of in voorkomend geval de gemachtigde zichzelf en dat systeem in de in artikel 71 bedoelde EU-databank.

    3.   Alvorens een in bijlage III vermeld AI-systeem met een hoog risico in gebruik te stellen of te gebruiken, met uitzondering van de in punt 2 van bijlage III vermelde AI-systemen met een hoog risico, registreren gebruiksverantwoordelijken die overheidsinstanties, instellingen, organen of instanties van de Unie, of personen die namens hen optreden, zichzelf en selecteren zij het systeem en registreren zij het gebruik ervan in de in artikel 71 bedoelde EU-databank.

    4.   Voor AI-systemen met een hoog risico als bedoeld in de punten 1, 6 en 7 van bijlage III, op het gebied van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, vindt de in de leden 1, 2 en 3 van dit artikel bedoelde registratie plaats in een beveiligd niet-openbaar gedeelte van de in artikel 71 bedoelde EU-databank en bevat deze alleen de volgende informatie, voor zover van toepassing, als bedoeld in:

    a)

    afdeling A, punten 1 tot en met 10, van bijlage VIII, met uitzondering van punten 6, 8 en 9;

    b)

    afdeling B, punten 1 tot en met 5, en punten 8 en 9 van bijlage VIII;

    c)

    afdeling C, punten 1, 2 en 3, van bijlage VIII;

    d)

    de punten 1, 2, 3 en 5 van bijlage IX.

    Alleen de Commissie en de in artikel 74, lid 8, bedoelde nationale autoriteiten hebben toegang tot de respectieve in de eerste alinea van dit lid vermelde beperkt toegankelijke gedeelten van de EU-databank.

    5.   AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III worden op nationaal niveau geregistreerd.

    HOOFDSTUK IV

    TRANSPARANTIEVERPLICHTINGEN VOOR AANBIEDERS EN GEBRUIKSVERANTWOORDELIJKEN VAN BEPAALDE AI-SYSTEMEN

    Artikel 50

    Transparantieverplichtingen voor aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen

    1.   Aanbieders zorgen ervoor dat AI-systemen die voor directe interactie met natuurlijke personen zijn bedoeld, zodanig worden ontworpen en ontwikkeld dat de betrokken natuurlijke personen worden geïnformeerd dat zij interageren met een AI-systeem, tenzij dit duidelijk is vanuit het oogpunt van een normaal geïnformeerde en redelijk omzichtige en oplettende natuurlijke persoon, rekening houdend met de omstandigheden en de gebruikscontext. Deze verplichting is niet van toepassing op bij wet toegestane AI-systemen voor het opsporen, voorkomen, onderzoeken of vervolgen van strafbare feiten, met inachtneming van passende waarborgen voor de rechten en vrijheden van derden, tenzij die systemen voor het publiek beschikbaar zijn om een strafbaar feit te melden.

    2.   Aanbieders van AI-systemen, met inbegrip van AI-systemen voor algemene doeleinden, die synthetische audio-, beeld-, video- of tekstinhoud genereren, zorgen ervoor dat de outputs van het AI-systeem worden gemarkeerd in een machineleesbaar formaat en detecteerbaar zijn als kunstmatig gegenereerd of gemanipuleerd. Aanbieders zorgen ervoor dat hun technische oplossingen doeltreffend, interoperabel, robuust en betrouwbaar zijn voor zover dat technisch haalbaar is, rekening houdend met de specifieke kenmerken en beperkingen van de verschillende soorten content, de uitvoeringskosten en de algemeen erkende stand van de techniek, zoals tot uiting kan komen in relevante technische normen. Deze verplichting is niet van toepassing voor zover de AI-systemen een ondersteunende functie voor standaardbewerking vervullen of de door de gebruiksverantwoordelijke of de semantiek daarvan verstrekte inputdata niet substantieel wijzigen, of wanneer het bij wet is toegestaan strafbare feiten op te sporen, te voorkomen, te onderzoeken of te vervolgen.

    3.   Gebruiksverantwoordelijken van een systeem voor het herkennen van emoties of een systeem voor biometrische categorisering informeren de daaraan blootgestelde natuurlijke personen over de werking van het systeem en verwerken de persoonsgegevens in overeenstemming met Verordening (EU) 2016/679, Verordening (EU) 2018/1725 en Richtlijn (EU) 2016/680, indien van toepassing. Deze verplichting is niet van toepassing op voor biometrische categorisering en emotieherkenning gebruikte AI-systemen, die bij wet zijn toegestaan om strafbare feiten op te sporen, te voorkomen of te onderzoeken, met inachtneming van passende waarborgen voor de rechten en vrijheden van derden en overeenkomstig het Unierecht.

    4.   Gebruiksverantwoordelijken van een AI-systeem dat beeld-, audio- of videocontent genereert of bewerkt die een deepfake vormt, maken bekend dat de content kunstmatig is gegenereerd of gemanipuleerd. Deze verplichting geldt niet wanneer het gebruik bij wet is toegestaan om strafbare feiten op te sporen, te voorkomen, te onderzoeken of te vervolgen. Wanneer de content deel uitmaakt van een kennelijk artistiek, creatief, satirisch, fictief of analoog werk of programma, zijn de transparantieverplichtingen van dit lid beperkt tot de openbaarmaking van het bestaan van dergelijke gegenereerde of bewerkte content op een passende wijze die de weergave of het genot van het werk niet belemmert.

    Gebruiksverantwoordelijken van een AI-systeem dat tekst genereert of bewerkt die wordt gepubliceerd om het publiek te informeren over aangelegenheden van algemeen belang, maken bekend dat de tekst kunstmatig is gegenereerd of bewerkt. Deze verplichting is echter niet van toepassing wanneer het gebruik bij wet is toegestaan om strafbare feiten op te sporen, te voorkomen, te onderzoeken of te vervolgen of wanneer de door AI gegenereerde content een proces van menselijke toetsing of redactionele controle heeft ondergaan en wanneer een natuurlijke of rechtspersoon redactionele verantwoordelijkheid draagt voor de bekendmaking van de content.

    5.   De in de leden 1 tot en met 4 bedoelde informatie wordt uiterlijk op het moment van de eerste interactie of blootstelling op duidelijke en te onderscheiden wijze aan de betrokken natuurlijke personen verstrekt. De informatie moet aan de toepasselijke toegankelijkheidseisen voldoen.

    6.   De leden 1 tot en met 4 laten de voorschriften en verplichtingen van hoofdstuk III onverlet en doen geen afbreuk aan andere transparantieverplichtingen die zijn vastgelegd in het Unierecht of het nationale recht voor gebruiksverantwoordelijken van AI-systemen.

    7.   Het AI-bureau stimuleert en faciliteert de opstelling van praktijkcodes op het niveau van de Unie om de doeltreffende uitvoering van de verplichtingen met betrekking tot de opsporing en het labelen van kunstmatig gegenereerde of bewerkte content te vergemakkelijken. De Commissie kan uitvoeringshandelingen vaststellen om die praktijkcodes overeenkomstig de procedure van artikel 56, lid 6, goed te keuren. Indien zij de code ontoereikend acht, kan de Commissie volgens de onderzoeksprocedure van artikel 98, lid 2, een uitvoeringshandeling vaststellen waarin gemeenschappelijke regels voor de uitvoering van die verplichtingen worden gespecificeerd.

    HOOFDSTUK V

    AI-MODELLEN VOOR ALGEMENE DOELEINDEN

    AFDELING 1

    Classificatieregels

    Artikel 51

    Classificatie van AI-modellen voor algemene doeleinden als AI-modellen voor algemene doeleinden met een systeemrisico

    1.   Een AI-model voor algemene doeleinden wordt geclassificeerd als een AI-model voor algemene doeleinden met een systeemrisico als het aan één van de volgende voorwaarden voldoet:

    a)

    het beschikt over capaciteiten met een grote impact die worden geëvalueerd op basis van passende technische instrumenten en methoden, met inbegrip van indicatoren en benchmarks;

    b)

    op grond van een besluit van de Commissie, ambtshalve of naar aanleiding van een gekwalificeerde waarschuwing van het wetenschappelijk panel, heeft het AI-model vergelijkbare capaciteiten of een vergelijkbare impact als beschreven in punt a), met inachtneming van de criteria in bijlage XIII.

    2.   Een AI-model voor algemene doeleinden wordt geacht capaciteiten met een grote impact overeenkomstig lid 1, punt a), te hebben wanneer de cumulatieve hoeveelheid berekeningen die wordt gebruikt om het model te trainen, gemeten in zwevendekommabewerkingen, groter is dan 1025.

    3.   De Commissie stelt overeenkomstig artikel 97 gedelegeerde handelingen vast om de in de leden 1 en 2 van dit artikel genoemde drempelwaarden te wijzigen en benchmarks en indicatoren zo nodig aan te vullen in het licht van veranderende technologische ontwikkelingen, zoals algoritmische verbeteringen of verhoogde efficiëntie van de hardware, zodat deze drempels de stand van de techniek weerspiegelen.

    Artikel 52

    Procedure

    1.   Indien een AI-model voor algemene doeleinden voldoet aan de in artikel 51, lid 1, punt a), bedoelde voorwaarde, stelt de betrokken aanbieder de Commissie daarvan onverwijld in kennis, doch in ieder geval binnen twee weken nadat aan die eis is voldaan of nadat bekend is geworden dat aan die eis zal worden voldaan. Die kennisgeving bevat de informatie die nodig is om aan te tonen dat aan de desbetreffende eis is voldaan. Als de Commissie kennis krijgt van een AI-model voor algemene doeleinden dat systeemrisico’s vertoont waarvan zij niet in kennis is gesteld, kan zij besluiten dit model aan te wijzen als een model met een systeemrisico.

    2.   De aanbieder van een AI-model voor algemene doeleinden dat voldoet aan de in artikel 51, lid 1, punt a), bedoelde voorwaarden, kan bij zijn kennisgeving voldoende onderbouwde argumenten aanvoeren om aan te tonen dat het AI-model voor algemene doeleinden, hoewel het voldoet aan die eis, bij wijze van uitzondering, vanwege zijn specifieke kenmerken geen systeemrisico’s vertoont en derhalve niet zou mogen worden geclassificeerd als een AI-model voor algemene doeleinden met een systeemrisico.

    3.   Indien de Commissie concludeert dat de uit hoofde van lid 2 aangevoerde argumenten niet voldoende onderbouwd zijn en de desbetreffende aanbieder niet kan aantonen dat het AI-model voor algemene doeleinden vanwege zijn specifieke kenmerken geen systeemrisico’s vertoont, verwerpt zij deze argumenten en wordt het AI-model voor algemene doeleinden beschouwd als een AI-model voor algemene doeleinden met een systeemrisico.

    4.   De Commissie kan ambtshalve of na een gekwalificeerde waarschuwing van het wetenschappelijk panel op grond van artikel 90, lid 1, punt a), op basis van de in bijlage XIII vastgestelde criteria een AI-model voor algemene doeleinden aanwijzen als een AI-model dat systeemrisico’s vertoont.

    De Commissie is bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen om bijlage XIII te wijzigen door de in die bijlage beschreven criteria te specificeren en te actualiseren.

    5.   Als een aanbieder wiens model op grond van lid 4 is aangewezen als AI-model voor algemene doeleinden met een systeemrisico een met redenen omkleed verzoek indient, neemt de Commissie dit in overweging en kan zij besluiten om opnieuw te beoordelen of het AI-model voor algemene doeleinden op basis van de criteria van bijlage XIII nog steeds wordt beschouwd als een AI-model dat systeemrisico’s vertoont. Een dergelijk verzoek moet objectieve, gedetailleerde en nieuwe redenen bevatten die na het aanwijzingsbesluit aan het licht zijn gekomen. Aanbieders kunnen ten vroegste zes maanden na het aanwijzingsbesluit om een herbeoordeling verzoeken. Indien de Commissie na haar herbeoordeling besluit de aanwijzing als AI-model voor algemene doeleinden met een systeemrisico te handhaven, kunnen aanbieders pas na zes maanden na dat besluit opnieuw om een herbeoordeling verzoeken.

    6.   De Commissie zorgt ervoor dat er een lijst met AI-modellen voor algemene doeleinden met een systeemrisico wordt gepubliceerd en houdt die lijst actueel, onverminderd de noodzaak om intellectuele-eigendomsrechten en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen te eerbiedigen en te beschermen overeenkomstig het Unierecht en het nationale recht.

    AFDELING 2

    Verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden

    Artikel 53

    Verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden

    1.   Aanbieders van AI-modellen voor algemene doeleinden moeten:

    a)

    de technische documentatie van het model opstellen en up-to-date houden, inclusief het trainings- en testproces en de resultaten van de evaluatie ervan, die ten minste de in bijlage XI vermelde informatie moet bevatten, zodat deze op verzoek aan het AI-bureau en de nationale bevoegde autoriteiten kunnen worden verstrekt;

    b)

    informatie en documentatie opstellen, up-to-date houden en beschikbaar stellen voor aanbieders van AI-systemen die het AI-model voor algemene doeleinden in hun AI-systemen willen integreren. Onverminderd de noodzaak om intellectuele-eigendomsrechten en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen overeenkomstig het Unierecht en het nationale recht te eerbiedigen en te beschermen, moet de informatie en documentatie:

    i)

    aanbieders van AI-systemen inzicht geven in de capaciteiten en beperkingen van het AI-model voor algemene doeleinden en ze in staat te stellen aan hun verplichtingen uit hoofde van deze verordening te voldoen, en

    ii)

    ten minste de in bijlage XII uiteengezette elementen bevatten;

    c)

    beleid opstellen ter naleving van het Unierecht inzake auteursrechten en naburige rechten en dan met name ter vaststelling en naleving, onder meer door middel van geavanceerde technologieën, van een op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 tot uitdrukking gebracht voorbehoud van rechten.

    d)

    een voldoende gedetailleerde samenvatting opstellen en openbaar maken over de voor het trainen van het AI-model voor algemene doeleinden gebruikte content, volgens een door het AI-bureau verstrekt sjabloon.

    2.   De in lid 1, punten a) en b) genoemde verplichtingen gelden niet voor aanbieders van AI-modellen die worden vrijgegeven in het kader van een vrije en opensource licentie die de raadpleging, het gebruik, de wijziging en distributie van het model mogelijk maakt en waarvan de parameters, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt. Deze uitzondering is niet van toepassing op AI-modellen voor algemene doeleinden met systeemrisico's.

    3.   Aanbieders van AI-modellen voor algemene doeleinden werken zo nodig samen met de Commissie en de nationale bevoegde autoriteiten bij de uitoefening van hun bevoegdheden uit hoofde van deze verordening.

    4.   Aanbieders van AI-modellen voor algemene doeleinden kunnen zich baseren op praktijkcodes in de zin van artikel 56 om de naleving van de in lid 1 van dit artikel vastgestelde verplichtingen aan te tonen, totdat er een geharmoniseerde norm is gepubliceerd. Door Europese geharmoniseerde normen na te leven genieten aanbieders een vermoeden van overeenstemming, voor zover die normen die verplichtingen dekken. Aanbieders van AI-modellen voor algemene doeleinden die zich niet aan een goedgekeurde praktijkcode houden of niet voldoen aan een Europese geharmoniseerde norm, tonen alternatieve passende wijzen van naleving aan die door de Commissie moeten worden beoordeeld.

    5.   Om de naleving van bijlage XI, en met name punt 2, d) en e), te vergemakkelijken, is de Commissie bevoegd overeenkomstig artikel 97 gedelegeerde handelingen vast te stellen waarin de meet- en berekeningsmethoden worden gespecificeerd zodat de documentatie vergelijkbaar en verifieerbaar wordt.

    6.   De Commissie is bevoegd overeenkomstig artikel 97, lid 2, gedelegeerde handelingen vast te stellen om bijlagen XI en XII te wijzigen in het licht van evoluerende technologische ontwikkelingen.

    7.   Uit hoofde van dit artikel verkregen informatie of documentatie, met inbegrip van bedrijfsgeheimen, worden verwerkt overeenkomstig de in artikel 78 vastgelegde vertrouwelijkheidsverplichtingen.

    Artikel 54

    Gemachtigden van aanbieders van AI-modellen voor algemene doeleinden

    1.   Aanbieders die in derde landen zijn gevestigd, wijzen voordat zij een AI-model voor algemene doeleinden in de Unie in de handel brengen, middels een schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

    2.   De aanbieder stelt zijn gemachtigde in staat de taken uit te voeren die staan gespecificeerd in het mandaat dat hij van de aanbieder heeft ontvangen.

    3.   De gemachtigde voert de taken uit die staan gespecificeerd in het mandaat dat hij van de aanbieder heeft ontvangen. Hij legt op verzoek een kopie van het mandaat over aan het AI-bureau, in een van de officiële talen van de instellingen van de Unie. Voor de toepassing van deze verordening geeft het mandaat de gemachtigde de bevoegdheid om de volgende taken te verrichten:

    a)

    controleren of de aanbieder de in bijlage XI gespecificeerde technische documentatie heeft opgesteld en aan alle in artikel 53 en, indien van toepassing, artikel 55 bedoelde verplichtingen heeft voldaan;

    b)

    een kopie van de in bijlage XI gespecificeerde technische documentatie beschikbaar houden voor het AI-bureau en de nationale autoriteiten gedurende een periode van tien jaar nadat het AI-model voor algemene doeleinden in de handel is gebracht, en de contactgegevens van de aanbieder door wie de gemachtigde is aangewezen;

    c)

    het verstrekken aan het AI-bureau, na een met redenen omkleed verzoek, van alle informatie en documentatie, waaronder die in punt b), die nodig is om aan te tonen dat de verplichtingen van dit hoofdstuk worden nageleefd;

    d)

    samenwerken met het AI-bureau en de bevoegde autoriteiten, na een met redenen omkleed verzoek, bij alle maatregelen die de autoriteiten nemen in verband met het AI-model voor algemene doeleinden, ook indien het model wordt geïntegreerd in AI-systemen die in de Unie in de handel worden gebracht of in gebruik worden gesteld.

    4.   Door het mandaat wordt de gemachtigde aangesteld als aanspreekpunt, naast of in plaats van de aanbieder, voor het AI-bureau of de bevoegde autoriteiten, met betrekking tot alle vraagstukken die verband houden met het waarborgen van de naleving van deze verordening.

    5.   De gemachtigde beëindigt het mandaat indien hij van mening is of redenen heeft om aan te nemen dat de aanbieder in strijd met zijn verplichtingen op grond van deze verordening handelt. In dat geval stelt hij tevens het AI-bureau onmiddellijk in kennis van de beëindiging van het mandaat en de redenen daarvoor.

    6.   De in dit artikel genoemde verplichting geldt niet voor aanbieders van AI-modellen die worden vrijgegeven in het kader van een vrije en opensource licentie die de raadpleging, het gebruik, de wijziging en distributie van het model mogelijk maakt en waarvan de parameters, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt, tenzij de AI-modellen voor algemene doeleinden systeemrisico’s vertonen.

    AFDELING 3

    Verplichtingen van aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico

    Artikel 55

    Verplichtingen van aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico

    1.   Naast de in de artikelen 53 en 54 genoemde verplichtingen moeten aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico:

    a)

    een modelevaluatie uitvoeren overeenkomstig gestandaardiseerde protocollen en instrumenten die de stand van de techniek weerspiegelen, met inbegrip van het uitvoeren en documenteren van tests gericht op het ontdekken van kwetsbaarheden van het model met als doel om systeemrisico’s in kaart te brengen en te beperken;

    b)

    mogelijke systeemrisico’s op Unieniveau beoordelen en beperken, met inbegrip van de bronnen daarvan, die kunnen voortvloeien uit de ontwikkeling, het in de handel brengen of het gebruik van AI-modellen voor algemene doeleinden met een systeemrisico;

    c)

    relevante informatie over ernstige incidenten en mogelijke corrigerende maatregelen bijhouden, documenteren en onverwijld rapporteren aan het AI-bureau en, in voorkomend geval, aan de nationale bevoegde autoriteiten;

    d)

    zorgen voor een passend niveau van cyberbeveiligingsbescherming voor het AI-model voor algemene doeleinden met een systeemrisico en de fysieke infrastructuur van het model.

    2.   Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico kunnen zich baseren op praktijkcodes in de zin van artikel 56 om de naleving van de in lid 1 van dit artikel vastgestelde verplichtingen aan te tonen, totdat er een geharmoniseerde norm is gepubliceerd. Door Europese geharmoniseerde normen na te leven genieten aanbieders een vermoeden van overeenstemming, voor zover die normen ook die verplichtingen dekken. Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico die zich niet aan een goedgekeurde praktijkcode houden of niet voldoen aan een Europese geharmoniseerde norm, tonen alternatieve passende wijzen van naleving aan die door de Commissie moeten worden beoordeeld.

    3.   Uit hoofde van dit artikel verkregen informatie of documentatie, met inbegrip van bedrijfsgeheimen, worden verwerkt overeenkomstig de in artikel 78 vastgelegde vertrouwelijkheidsverplichtingen.

    AFDELING 4

    Praktijkcodes

    Artikel 56

    Praktijkcodes

    1.   Het AI-bureau stimuleert en faciliteert de opstelling van praktijkcodes op Unieniveau als bijdrage aan de correcte toepassing van deze verordening, rekening houdend met internationale benaderingen.

    2.   Het AI-bureau en de AI-board streven ernaar ervoor te zorgen dat de praktijkcodes ten minste de verplichtingen omvatten die zijn bepaald in de artikelen 53 en 55, waaronder de volgende zaken:

    a)

    de middelen om ervoor te zorgen dat de in artikel 53, lid 1, punten a) en b), bedoelde informatie up-to-date wordt gehouden in het licht van markt- en technologische ontwikkelingen;

    b)

    de mate van gedetailleerdheid van de samenvatting over de voor het trainen van het AI-model gebruikte content;

    c)

    het in kaart brengen van het type en de aard van de systeemrisico’s op Unieniveau, met inbegrip van de bronnen ervan, indien van toepassing;

    d)

    de maatregelen, procedures en modaliteiten voor de beoordeling en het beheer van de systeemrisico’s op Unieniveau, met inbegrip van de documentatie daarvan, die in verhouding moeten staan tot de risico’s, rekening houden met de ernst en waarschijnlijkheid ervan en met de specifieke uitdagingen om die risico’s aan te pakken in het licht van de mogelijke manieren waarop dergelijke risico’s in de AI-waardeketen kunnen ontstaan en zich voordoen.

    3.   Het AI-bureau kan alle aanbieders van AI-modellen voor algemene doeleinden en relevante nationale bevoegde autoriteiten uitnodigen om deel te nemen aan het opstellen van praktijkcodes. Maatschappelijke organisaties, het bedrijfsleven, de academische wereld en andere relevante belanghebbenden, zoals aanbieders verder in de AI-waardeketen en onafhankelijke deskundigen, kunnen het proces ondersteunen.

    4.   Het AI-bureau en de AI-board streven ernaar ervoor te zorgen dat hun specifieke doelstellingen in de praktijkcodes duidelijk uiteen worden gezet en toezeggingen of maatregelen bevatten, met inbegrip van, waar passend, kernprestatie-indicatoren, om ervoor te zorgen dat die doelstellingen worden verwezenlijkt, en dat de praktijkcodes naar behoren rekening houden met de behoeften en belangen van alle belanghebbenden, met inbegrip van betrokken personen, op Unieniveau.

    5.   Het AI-bureau streeft ernaar ervoor te zorgen dat de deelnemers aan de praktijkcodes regelmatig verslag uitbrengen aan het AI-bureau over de uitvoering van de verbintenissen en de genomen maatregelen en de resultaten daarvan, onder meer waar nodig gemeten aan de hand van de kernprestatie-indicatoren. De kernprestatie-indicatoren en rapportageverplichtingen weerspiegelen de verschillen in omvang en capaciteit tussen de verschillende deelnemers.

    6.   Het AI-bureau en de AI-board monitoren en evalueren regelmatig of de deelnemers de doelstellingen van de praktijkcodes verwezenlijken en bijdragen aan de correcte toepassing van deze verordening. Het AI-bureau en de AI-board beoordelen of de praktijkcodes betrekking hebben op de verplichtingen van de artikelen 53 en 55, en monitoren en evalueren regelmatig of de doelstellingen daarvan worden verwezenlijkt. Zij maken hun beoordeling of de praktijkcodes toereikend zijn bekend.

    De Commissie kan door middel van een uitvoeringshandeling een praktijkcode goedkeuren en deze binnen de Unie een algemene geldigheid verlenen. Die uitvoeringshandeling wordt vastgesteld volgens de in artikel 98, lid 2, bedoelde onderzoeksprocedure.

    7.   Het AI-bureau kan alle aanbieders van AI-modellen voor algemene doeleinden uitnodigen zich aan de praktijkcodes te houden. Voor aanbieders van AI-modellen voor algemene doeleinden die geen systeemrisico’s inhouden, kan deze naleving worden beperkt tot de verplichtingen van artikel 53, tenzij zij uitdrukkelijk verklaren dat zij belangstelling hebben om zich bij de volledige code aan te sluiten.

    8.   Het AI-bureau stimuleert en faciliteert in voorkomend geval ook de evaluatie en aanpassing van de praktijkcodes, met name wanneer er nieuwe normen worden ingesteld. Het AI-bureau helpt bij de beoordeling van de beschikbare normen.

    9.   De praktijkcodes moeten uiterlijk op 2 mei 2025 gereed zijn. Het AI-bureau neemt de nodige stappen, met inbegrip van het uitnodigen van aanbieders op grond van lid 7.

    Als er uiterlijk op 2 augustus 2025 nog geen praktijkcode tot stand is gebracht, of indien het AI-bureau deze na zijn beoordeling uit hoofde van lid 6 van dit artikel ontoereikend acht, kan de Commissie door middel van uitvoeringshandelingen gemeenschappelijke regels vaststellen voor de uitvoering van de verplichtingen waarin de artikelen 53 en 55 voorzien, met inbegrip van de in lid 2 van dit artikel genoemde zaken. Die uitvoeringshandelingen worden vastgesteld volgens de in artikel 98, lid 2, bedoelde onderzoeksprocedure.

    HOOFDSTUK VI

    MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE

    Artikel 57

    AI-testomgevingen voor regelgeving

    1.   De lidstaten zorgen ervoor dat hun bevoegde autoriteiten ten minste één AI-testomgeving voor regelgeving op nationaal niveau opzetten, die uiterlijk op 2 augustus 2026 operationeel is. Die testomgeving kan ook samen met de bevoegde autoriteiten van andere lidstaten worden opgezet. De Commissie kan technische ondersteuning, advies en instrumenten verstrekken voor de oprichting en werking van AI-testomgevingen voor regelgeving.

    Aan de verplichting uit hoofde van de eerste alinea kan ook worden voldaan door deel te nemen aan een bestaande testomgeving, voor zover die deelname de deelnemende lidstaten een gelijkwaardig niveau van nationale dekking biedt.

    2.   Er kunnen ook aanvullende AI-testomgevingen voor regelgeving worden ontwikkeld op regionaal of lokaal niveau of samen met de bevoegde autoriteiten van andere lidstaten.

    3.   De Europese Toezichthouder voor gegevensbescherming kan ook een AI-testomgeving voor regelgeving opzetten voor de instellingen, organen en instanties van de Unie, en kan de rollen en taken van de nationale bevoegde autoriteiten overeenkomstig dit hoofdstuk uitoefenen.

    4.   De lidstaten zorgen ervoor dat de in de leden 1 en 2 bedoelde bevoegde autoriteiten voldoende middelen toewijzen om doeltreffend en tijdig aan dit artikel te voldoen. In voorkomend geval werken de nationale bevoegde autoriteiten samen met andere relevante autoriteiten en kunnen zij de betrokkenheid van andere actoren binnen het AI-ecosysteem toestaan. Dit artikel heeft geen gevolgen voor andere testomgevingen voor regelgeving die zijn ingesteld op grond van het nationale of Unierecht. De lidstaten zorgen ervoor dat de autoriteiten die toezicht houden op die andere testomgevingen en de nationale bevoegde autoriteiten voldoende met elkaar samenwerken.

    5.   Uit hoofde van lid 1 opgerichte AI-testomgevingen voor regelgeving voorzien in een gecontroleerde omgeving ter bevordering van innovatie en ter vergemakkelijking van het ontwikkelen, trainen, testen en valideren van innovatieve AI-systemen, volgens een specifiek, tussen de aanbieders of potentiële aanbieders en de bevoegde autoriteit overeengekomen testomgevingsplan, voor een beperkte duur voordat zij in de handel worden gebracht of in gebruik worden gesteld. Dergelijke testomgevingen kunnen inhouden dat er onder reële omstandigheden wordt getest onder toezicht binnen de testomgeving.

    6.   De bevoegde autoriteiten verstrekken in voorkomend geval begeleiding, toezicht en ondersteuning binnen de AI-testomgeving voor regelgeving met als doel om risico’s in