(1)

Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie. Deze verordening streeft een aantal dwingende redenen van algemeen belang na , zoals een hoog niveau van bescherming van de gezondheid, de veiligheid en de grondrechten , en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.

(1)

Deze verordening heeft ten doel de introductie van mensgerichte en betrouwbare artificiële intelligentie te bevorderen en te zorgen voor een hoge mate van bescherming tegen de schadelijke effecten van artificiële-intelligentiesystemen (AI-systemen) op het vlak van gezondheid, veiligheid, grondrechten, democratie en de rechtsstaat en het milieu in de Unie, en voorts innovatie te ondersteunen en de werking van de interne markt te verbeteren. In deze verordening wordt een uniform rechtskader vastgesteld , met name voor de ontwikkeling, het in de handel brengen , het in gebruik stellen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie, en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan. Bepaalde AI-systemen kunnen ook gevolgen hebben voor de democratie, de rechtsstaat en het milieu. Deze punten van zorg worden specifiek behandeld in de kritieke sectoren en gebruiksgevallen die zijn opgenomen in de bijlagen bij deze verordening.

(1 bis)

Deze verordening moet de waarden van de Unie in stand houden door de verdeling van de voordelen van artificiële intelligentie over de samenleving mogelijk te maken, personen, bedrijven, de democratie en de rechtstaat en het milieu te beschermen tegen risico’s, innovatie en werkgelegenheid te stimuleren en de Unie tot pionier op dit terrein te maken.

(2)

Artificiële-intelligentiesystemen (AI-systemen) kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd, terwijl verschillen die het vrije verkeer van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, met beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend om deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.

(2)

AI-systemen kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie betrouwbaar en veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd zodat AI betrouwbaar is , terwijl verschillen die het vrije verkeer , de innovatie, de inzet en de ingebruikneming van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU).

(2 bis)

Aangezien artificiële intelligentie vaak afhankelijk is van de verwerking van grote hoeveelheden gegevens, waarbij veel AI-systemen en -applicaties afhankelijk zijn van de verwerking van persoonsgegevens, is het aangewezen deze verordening te baseren op artikel 16 van het VWEU, waarin het recht van natuurlijke personen op de bescherming van persoonsgegevens is vastgelegd en waarin wordt voorzien in de vaststelling van regels inzake de bescherming van het individu met betrekking tot de verwerking van persoonsgegevens.

(2 ter)

Het grondrecht van de bescherming van persoonsgegevens wordt in het bijzonder gewaarborgd door de Verordeningen (EU) 2016/679 en (EU) 2018/1725, en door Richtlijn 2016/680. Richtlijn 2002/58/EG beschermt daarnaast de persoonlijke levenssfeer en het vertrouwelijke karakter van communicatie, en bevat voorschriften voor de opslag van persoons- en niet-persoonsgebonden gegevens in eindapparatuur, respectievelijk de toegang daartoe. Deze rechtshandelingen vormen de grondslag voor duurzame en verantwoorde gegevensverwerking, waaronder in gevallen waarin datareeksen zowel persoons- als niet-persoonsgebonden gegevens bevatten. Deze verordening laat de toepassing van de bestaande Uniewetgeving betreffende de verwerking van persoonsgegevens, met inbegrip van de taken en bevoegdheden van de onafhankelijke toezichthoudende autoriteiten die met het toezicht op de naleving van die instrumenten belast zijn, onverlet. Deze verordening laat de grondrechten inzake de persoonlijke levenssfeer en de bescherming van persoonsgegevens als bedoeld in de Uniewetgeving betreffende gegevensbescherming en privacy, en zoals vastgelegd in het Handvest van de grondrechten van de Europese Unie (het “Handvest”), onverlet.

(2 quater)

AI-systemen in de Unie zijn onderworpen aan relevante wetgeving inzake productveiligheid die een kader biedt ter bescherming van consumenten tegen gevaarlijke producten in het algemeen, en die wetgeving moet van toepassing blijven. Deze verordening doet evenmin afbreuk aan de regels inzake consumentenbescherming en productveiligheid die in andere rechtshandelingen van de Unie zijn vastgelegd, waaronder Verordening (EU) 2017/2394, Verordening (EU) 2019/1020, Richtlijn 2001/95/EG inzake algemene productveiligheid en Richtlijn 2013/11/EU.

(2 quinquies)

Overeenkomstig artikel 114, lid 2, VWEU mag deze verordening de rechten en belangen van werknemers niet ondermijnen, maar vormt zij hierop een aanvulling. Deze verordening mag derhalve geen afbreuk doen aan het Unierecht inzake sociaal beleid en het nationale arbeidsrecht en de nationale arbeidspraktijken, dat wil zeggen alle wettelijke en contractuele bepalingen betreffende arbeidsvoorwaarden, arbeidsomstandigheden, met inbegrip van de gezondheid en veiligheid op het werk, en de betrekkingen tussen werkgevers en werknemers, met inbegrip van voorlichting, raadpleging en inspraak. Deze verordening mag geen afbreuk doen aan de uitoefening van de in de lidstaten en op het niveau van de Unie erkende grondrechten, met inbegrip van het stakingsrecht of de stakingsvrijheid dan wel het recht of de vrijheid om in het kader van de specifieke stelsels van arbeidsverhoudingen in de lidstaten andere acties te voeren overeenkomstig het nationaal recht en/of de nationale praktijk. Zij mag evenmin afbreuk doen aan overlegpraktijken, het recht om over collectieve overeenkomsten te onderhandelen, deze te sluiten en naleving ervan af te dwingen, en om collectieve actie te voeren overeenkomstig het nationale recht en/of de nationale praktijk. Deze verordening mag de Commissie in geen geval beletten specifieke wetgeving voor te stellen inzake de rechten en vrijheden van werknemers die gevolgen ondervinden van AI-systemen.

(2 sexies)

Deze verordening mag geen afbreuk doen aan de in Richtlijn … [2021/0414(COD)] vastgestelde bepalingen ter verbetering van de arbeidsvoorwaarden voor platformwerk.

(2 septies)

Deze verordening moet bijdragen tot de ondersteuning van onderzoek en innovatie, mag onderzoeks- en ontwikkelingsactiviteiten niet ondermijnen en moet de vrijheid van wetenschappelijk onderzoek eerbiedigen. AI-systemen die specifiek zijn ontwikkeld met onderzoek en ontwikkeling voor de wetenschap als enig doel, moeten daarom van het toepassingsgebied worden uitgesloten en er moet voor worden gezorgd dat de verordening geen andere gevolgen heeft voor wetenschappelijke onderzoeks- en ontwikkelingsactiviteiten op het vlak van AI-systemen. Bij alle onderzoeks- en ontwikkelingsactiviteiten moeten onder alle omstandigheden het Handvest, het recht van de Unie en het nationale recht in acht worden genomen.

(3)

Artificiële intelligentie is een snel evoluerende verzameling van technologieën die kan bijdragen aan een brede waaier van economische en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, onderwijs en opleiding, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, en klimaatmitigatie en -adaptatie.

(3)

Artificiële intelligentie is een snel evoluerende verzameling van technologieën die reeds bijdraagt aan een brede waaier van economische , ecologische en maatschappelijke voordelen in alle industrieën en sociale activiteiten , indien deze worden ontwikkeld met inachtneming van relevante algemene beginselen in overeenstemming met het Handvest en de waarden waarop de Unie is gegrondvest . Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, voedselveiligheid, onderwijs en opleiding, media, sport, cultuur, infrastructuurbeheer, energie, vervoer en logistiek , crisisbeheer , openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, milieumonitoring, behoud en herstel van biodiversiteit en ecosystemen en klimaatmitigatie en -adaptatie.

(3 bis)

In het kader van de streefdoelen inzake koolstofneutraliteit moeten Europese ondernemingen inspanningen leveren om alle beschikbare technologische ontwikkelingen te benutten die kunnen helpen om die doelen te halen. Artificiële intelligentie is een technologie met het potentieel om te worden gebruikt bij de verwerking van de alsmaar groeiende hoeveelheid gegevens die voortkomen uit industriële, milieu-, gezondheids- en andere processen. Om investeringen in AI-gebaseerde instrumenten voor analyse en optimalisering te bevorderen, moet deze verordening voorzien in voorspelbare en evenredige omstandigheden voor industriële oplossingen met een laag risico.

(4)

Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, risico’s opleveren en schade toebrengen aan de openbare belangen en rechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn.

(4)

Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, alsook van de mate van technologische ontwikkeling, risico’s opleveren en schade toebrengen aan openbare of particuliere belangen en grondrechten van natuurlijke personen die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn , met inbegrip van lichamelijke, psychische, maatschappelijke of economische schade .

(4 bis)

Gezien het feit dat artificiële intelligentie van grote invloed op de samenleving kan zijn en aangezien het dus nodig is dat men vertrouwen heeft in artificiële intelligentie, is het essentieel dat artificiële intelligentie en het regelgevingskader voor artificiële intelligentie worden ontwikkeld met inachtneming van de waarden van de Unie zoals vastgelegd in artikel 2 VEU, de grondrechten en vrijheden zoals vastgelegd in de Verdragen, het Handvest, en het internationaal recht inzake mensenrechten. Voorop staat dat artificiële intelligentie een mensgerichte technologie moet zijn. Artificiële intelligentie mag de menselijke autonomie niet verdringen en niet leiden tot een afname van individuele vrijheid, en moet in eerste instantie de behoeften van de maatschappij en het algemeen belang dienen. Er moeten garanties worden geboden betreffende de ontwikkeling en het gebruik van ethisch verankerde artificiële intelligentie die de waarden van de Unie en het Handvest respecteert.

(5)

Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen en de inbedrijfstelling van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Door die regels vast te stellen, steunt deze verordening de doelstelling van de Unie om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad (33), en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement (34).

(5)

Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid, bescherming van de grondrechten, de democratie en de rechtstaat en het milieu, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen, de inbedrijfstelling en het gebruik van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Deze regels moeten duidelijk en robuust zijn voor wat betreft de bescherming van de grondrechten, en daarnaast pro-innovatie zijn en een Europees ecosysteem mogelijk maken van publieke en particuliere actoren die AI-systemen creëren die in overeenstemming zijn met de waarden van de Unie. Door die regels alsook maatregelen ter ondersteuning van innovatie met bijzondere nadruk op kmo’s en start-ups vast te stellen, steunt deze verordening de doelstelling van de Unie om in Europa ontwikkelde AI te bevorderen, om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad (33), en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement (34).

(5 bis)

Voorts moet de Unie, om de ontwikkeling van AI-systemen te bevorderen die de waarden van de Unie in acht nemen, de voornaamste onvervulde behoeften en obstakels die het potentieel van de digitale transformatie in de weg staan aanpakken, waaronder het tekort aan werknemers met digitale vaardigheden, punten van zorg wat betreft cyberbeveiliging, onvoldoende (toegang tot) investeringen en de bestaande en potentiële kloof tussen grote ondernemingen, kmo’s en startende ondernemingen. Er moet met name op worden toegezien dat alle regio’s van de Unie de vruchten plukken van AI en innovatie in nieuwe technologieën en dat voldoende investeringen en middelen worden verstrekt, met name aan de regio’s die een achterstand hebben op het vlak van bepaalde digitale indicatoren.

(6)

Het begrip “AI-systeem” moet duidelijk worden gedefinieerd om rechtszekerheid te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op toekomstige technologische ontwikkelingen te kunnen inspelen. De definitie moet gebaseerd zijn op de belangrijkste functionele kenmerken van de software , met name het vermogen om, voor een bepaalde reeks door de mens gedefinieerde doelstellingen, een output te genereren zoals inhoud , voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee het systeem in wisselwerking staat, zowel in een fysieke als een digitale dimensie. AI-systemen kunnen zodanig worden ontworpen dat zij in verschillende mate autonoom kunnen functioneren en als zelfstandig onderdeel of als component van een product kunnen worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed). De definitie van AI-systeem moet worden aangevuld met een lijst van specifieke technieken en benaderingen voor de ontwikkeling ervan , die in het licht van de technologische en marktontwikkelingen moet worden bijgewerkt door middel van gedelegeerde handelingen van de Commissie tot wijziging van die lijst .

(6)

Het begrip “AI-systeem” in deze verordening moet duidelijk worden gedefinieerd en nauw aansluiten op het werk van internationale organisaties die zich bezighouden met artificiële intelligentie, om rechtszekerheid , harmonisatie en brede acceptatie te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op de snelle technologische ontwikkelingen in dit veld te kunnen inspelen. Bovendien moet de definitie gebaseerd zijn op centrale kenmerken van artificiële intelligentie , zoals het vermogen om te leren , redeneren en modelleren, zodat het onderscheid tussen artificiële intelligentie en eenvoudiger softwaresystemen of programmeermethodes helder is. AI-systemen worden zodanig ontworpen dat zij in verschillende mate autonoom kunnen functioneren , wat betekent dat zij ten minste een zekere mate van onafhankelijkheid van menselijke controle bezitten en zonder menselijke tussenkomst kunnen functioneren. De term “machinaal” verwijst naar het feit dat AI-systemen op machines draaien. De verwijzing naar expliciete of impliciete doelstellingen onderstreept dat AI-systemen kunnen functioneren volgens expliciete, door de mens gedefinieerde doelstellingen, of volgens impliciete doelstellingen. De mogelijkheid bestaat dat de doelstellingen van het AI-systeem verschillen van het beoogde doel van het AI-systeem in een specifieke context. Met de verwijzing naar voorspellingen wordt onder meer inhoud bedoeld, die in deze verordening wordt beschouwd als een vorm van voorspelling in de zin van een van de mogelijke outputs van een AI-systeem. Voor de toepassing van deze verordening moeten omgevingen worden opgevat als de contexten waarin de AI-systemen functioneren , terwijl door het AI-systeem gegenereerde outputs, in de zin van voorspellingen, aanbevelingen of besluiten, beantwoorden aan de doelstellingen van het systeem, op basis van input uit die omgeving. Die output is weer van invloed op bovengenoemde omgeving, alleen al doordat nieuwe informatie aan die omgeving wordt toegevoegd.

(6 bis)

AI-systemen beschikken vaak over de mogelijkheid tot machinaal leren, hetgeen deze systemen in staat stelt zich autonoom aan nieuwe taken aan te passen en deze uit te voeren. Machinaal leren verwijst naar het rekenkundige proces waarbij de parameters van een model op basis van gegevens worden geoptimaliseerd; een wiskundige constructie die een output genereert op basis van inputgegevens. Voorbeelden van benaderingen voor machinaal leren zijn gecontroleerd, ongecontroleerd en versterkend leren, waarbij gebruik wordt gemaakt van diverse methoden, waaronder deep learning met behulp van neurale netwerken. Deze verordening is gericht op het aanpakken van nieuwe potentiële risico’s die kunnen ontstaan doordat controle wordt overgedragen aan AI-systemen, met name aan AI-systemen die na hun ingebruikname kunnen evolueren. De functie en output van veel van deze AI-systemen zijn gebaseerd op abstracte wiskundige relaties die voor mensen moeilijk zijn te begrijpen, monitoren en terug te herleiden naar specifieke input. Deze complexiteit en ondoorzichtigheid zijn kenmerken (“black box”-elementen) die gevolgen hebben voor de verantwoording en de verklaarbaarheid. Ook het gebruik van vergelijkbare, maar eenvoudiger technieken zoals op kennis gebaseerde benaderingen, Bayesiaanse schatting of beslisbomen kan op juridische vraagstukken stuiten die in deze verordening behandeld moeten worden, met name bij gebruik in combinatie met machinaal leren in de context van hybride systemen.

(6 ter)

AI-systemen kunnen als een zelfstandig softwaresysteem worden gebruikt, in een fysiek product worden geïntegreerd (ingebed), worden gebruikt om ten dienste te staan van de functionaliteit van een fysiek product zonder daarin te zijn geïntegreerd (niet-ingebed) of worden gebruikt als AI-component van een groter systeem. Als dit grotere systeem niet zou functioneren zonder de AI-component in kwestie, moet in het kader van deze verordening het grotere systeem in zijn geheel als één enkel AI-systeem worden beschouwd.

(7)

Het in deze verordening gebruikte begrip “biometrische gegevens” sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad (35) , artikel 3, lid 18 , van Verordening (EU) 2018/1725 van het Europees Parlement en de Raad  (36) en artikel 3, lid 13, van Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad  (37) .

(7)

Het in deze verordening gebruikte begrip “biometrische gegevens” sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad (35) . Op biometrie gebaseerde gegevens zijn gegevens die het resultaat zijn van specifieke technische verwerking in verband met fysieke, fysiologische of gedragssignalen van een natuurlijke persoon, zoals gezichtsuitdrukkingen, bewegingen, polsfrequentie, stem, toetsaanslagen of gang, die al dan niet de unieke identificatie van een natuurlijke persoon mogelijk maken of bevestigen .

(7 bis)

Het in deze verordening gebruikte begrip “biometrische identificatie” moet worden gedefinieerd als de automatische herkenning van fysieke, fysiologische, gedragsmatige en psychologische menselijke kenmerken zoals het gezicht, oogbewegingen, gezichtsuitdrukkingen, lichaamsvorm, stem, spraak, gang, houding, hartslag, bloeddruk, geur, toetsaanslagen, psychologische reacties (woede, angst, verdriet, enz.) met als doel de identiteit van een persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met opgeslagen biometrische gegevens van personen in een database (één -op-vele-identificatie), ongeacht of die persoon hier al dan niet mee heeft ingestemd.

(7 ter)

Het in deze verordening gebruikte begrip “biometrische categorisering” moet worden gedefinieerd als het indelen van natuurlijke personen in specifieke categorieën, of het afleiden van hun kenmerken en eigenschappen zoals gender, geslacht, leeftijd, haarkleur, oogkleur, tatoeages, etnische of sociale afkomst, gezondheid, mentaal of fysiek vermogen, gedrags- of persoonlijkheidskenmerken, taal, godsdienst of lidmaatschap van een nationale minderheid, seksuele gerichtheid of politieke overtuiging, op basis van hun biometrische of op biometrie gebaseerde gegevens, of wat van dergelijke gegevens kan worden afgeleid.

(8)

Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens. Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.

(8)

Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens , uitgezonderd verificatiesystemen die slechts de biometrische gegevens van een persoon vergelijken met reeds verstrekte biometrische gegevens van die persoon (één-op-één). Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen. Aangezien het begrip “biometrische identificatie” onafhankelijk is van de instemming van de persoon, is deze definitie zelfs van toepassing wanneer waarschuwingsberichten zijn geplaatst op de locatie die onder toezicht staat van het biometrische systeem voor identificatie op afstand, en wordt zij niet de facto door inschrijving vooraf opgeheven.

(8 bis)

De identificatie van natuurlijke personen op afstand wordt geacht een onderscheid te maken tussen biometrische systemen voor identificatie op afstand en individuele verificatiesystemen in de onmiddellijke nabijheid met behulp van biometrische identificatiemiddelen, met als enig doel te bevestigen of een specifieke natuurlijke persoon die zich voor identificatie meldt, al dan niet is toegestaan, bijvoorbeeld om toegang te krijgen tot een dienst, een apparaat of een bedrijfsruimte.

(9)

Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is. Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie.

(9)

Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is en ongeacht de potentieel aanwezige beperkingen op de capaciteit . Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, sportterreinen, scholen, universiteiten, relevante delen van ziekenhuizen en banken, pretparken, festivals, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie.

(9 bis)

Het is belangrijk op te merken dat AI-systemen er zoveel mogelijk naar moeten streven te voldoen aan de algemene beginselen die een kader op hoog niveau vormen ter bevordering van een coherente, mensgerichte benadering van ethische en betrouwbare AI, in overeenstemming met het Handvest van de grondrechten van de Europese Unie en de waarden waarop de Unie is gegrondvest, waaronder de bescherming van de grondrechten, invloed en toezicht door mensen, technische robuustheid en veiligheid, privacy en databeheer, transparantie, non-discriminatie en billijkheid en maatschappelijk en ecologisch welzijn.

(9 ter)

“AI-geletterdheid” heeft betrekking op vaardigheden, kennis en begrip die aanbieders, gebruikers en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen met kennis van zaken AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken, hetgeen de democratische controle op AI ten goede zal komen. AI-geletterdheid mag niet beperkt blijven tot leren over hulpmiddelen en technologieën, maar moet er ook op gericht zijn aanbieders en gebruikers toe te rusten met het begrippenkader en de vaardigheden die vereist zijn met het oog op de naleving en handhaving van deze verordening. De Commissie, de lidstaten en de aanbieders en gebruikers van AI-systemen moeten daarom in samenwerking met alle relevante belanghebbenden de ontwikkeling van een toereikend niveau van AI-geletterdheid in alle sectoren van de samenleving bevorderen — voor mensen van alle leeftijden, dus ook voor vrouwen en meisjes — en de vooruitgang op dat gebied nauwlettend in het oog houden.

(10)

Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruikers van AI-systemen.

(10)

Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie en op internationaal niveau te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde exploitanten van AI-systemen. Om ervoor te zorgen dat de Unie trouw is aan haar fundamentele waarden, moeten AI-systemen die bedoeld zijn om te worden gebruikt voor praktijken die bij deze verordening onaanvaardbaar worden geacht, ook buiten de Unie onaanvaardbaar worden geacht vanwege hun bijzonder schadelijke effect op de in het Handvest verankerde grondrechten. Daarom is het passend de uitvoer van dergelijke AI-systemen naar derde landen door aanbieders die in de Unie zijn gevestigd, te verbieden.

(11)

Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruikers van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output in de Unie wordt gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds.

(11)

Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en exploitanten van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output bestemd is om in de Unie te worden gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds. Deze uitzondering moet echter beperkt blijven tot betrouwbare landen en internationale organisaties met waarden die gelijk zijn aan die van de Unie.

(12)

Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of gebruiker van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten].

(12)

Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of exploitant van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten].

(12 bis)

Software en gegevens die openlijk worden gedeeld en die gebruikers vrij mogen raadplegen, gebruiken, wijzigen en herdistribueren en waarvan zij gewijzigde versies mogen herdistribueren, kunnen bijdragen aan onderzoek en innovatie op de markt. Uit onderzoek van de Commissie blijkt tevens dat vrije en opensourcesoftware 65 à 95 miljard EUR kan bijdragen aan het bbp van de Europese Unie en aanzienlijke groeikansen kan bieden voor de Europese economie. Gebruikers mogen software en gegevens, met inbegrip van modellen, uitvoeren, kopiëren, distribueren, bestuderen, wijzigen en verbeteren in het kader van vrije en opensourcelicenties. Met het oog op het bevorderen van de ontwikkeling en uitrol van AI, met name door kmo’s, start-ups, academisch onderzoekers maar ook door personen, moet deze verordening niet van toepassing zijn op dergelijke vrije en opensource-AI-componenten, behalve voor zover zij in de handel worden gebracht of in gebruik worden gesteld door een aanbieder als onderdeel van een AI-systeem met een hoog risico of van een AI-systeem dat onder titel II of titel IV van deze verordening valt.

(12 ter)

Noch de gezamenlijke ontwikkeling van vrije en opensource-AI-componenten, noch het beschikbaar stellen van dergelijke componenten in open databases moet worden beschouwd als het in de handel brengen of in gebruik stellen van een product. Een handelsactiviteit in de zin van het in de handel brengen kan echter, behalve wanneer de transactie plaatsvindt tussen twee micro-ondernemingen, worden gekenmerkt door het in rekening brengen van een prijs voor een vrije en opensource-AI-component, maar ook door het in rekening brengen van een prijs voor technische ondersteuningsdiensten, het aanbieden van een softwareplatform waarmee de aanbieder andere diensten te gelde maakt, of het gebruik van persoonsgegevens voor andere redenen dan uitsluitend de verbetering van de beveiliging, compatibiliteit of interoperabiliteit van de software.

(12 quater)

De ontwikkelaars van vrije en opensource-AI-componenten mogen uit hoofde van deze verordening niet worden verplicht te voldoen aan vereisten die gericht zijn op de AI-waardeketen en vooral niet op de aanbieder die die vrije en opensource-AI-component heeft gebruikt. Ontwikkelaars van vrije en opensource-AI-componenten moeten echter worden aangemoedigd om algemeen aanvaarde documentatiepraktijken, zoals model- en gegevenskaarten, toe te passen als een manier om de uitwisseling van informatie in de hele AI-waardeketen te versnellen, in het kader van de bevordering van betrouwbare AI-systemen in de Unie.

(13)

Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest van de grondrechten van de Europese Unie (het Handvest) , niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie.

(13)

Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten alsook democratie en de rechtstaat en het milieu te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest , de Europese Green Deal, de gemeenschappelijke verklaring over digitale rechten van de Unie en de ethische richtsnoeren voor betrouwbare AI van de deskundigengroep op hoog niveau inzake AI , niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie.

(14)

Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

(14)

Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde onaanvaardbare praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

(15)

Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

(15)

Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

(16)

Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek.

(16)

Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen met de bedoeling of het effect om het menselijk gedrag wezenlijk te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Deze beperking moet worden opgevat als zijnde van toepassing op onder meer neurotechnologieën die worden ondersteund door AI-systemen die worden gebruikt om neurale gegevens die via hersen-computerinterfaces zijn verzameld, te monitoren, te gebruiken of te beïnvloeden, voor zover zij het gedrag van een natuurlijke persoon wezenlijk verstoren op een wijze die die persoon of een andere persoon ernstige schade berokkent of waarschijnlijk zal berokkenen. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van individuen en specifieke groepen personen die een gevolg zijn van hun bekende of voorspelde persoonlijkheidskenmerken, leeftijd of hun fysieke of mentale onbekwaamheid, sociale of economische situatie, uit. Zij doen dit met de bedoeling of het effect dat het gedrag van een persoon wezenlijk wordt verstoord en op een manier die deze persoon of een andere persoon , of groepen personen, aanzienlijke schade berokkent of dreigt te berokkenen , met inbegrip van schade die zich na verloop van tijd opbouwt . De intentie om het gedrag te verstoren, mag niet worden verondersteld indien de verstoring het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft , zoals factoren die redelijkerwijs niet kunnen worden voorzien en beperkt door de aanbieder of de exploitant van het AI-systeem. In ieder geval is het niet vereist dat de aanbieder of de exploitant de intentie heeft de lichamelijke of psychische schade te veroorzaken, zolang deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. Het verbod op dergelijke AI-praktijken vormt een aanvulling op de bepalingen van Richtlijn 2005/29/EG, op grond waarvan oneerlijke handelspraktijken verboden zijn, ongeacht of zij worden uitgevoerd met behulp van AI-systemen of anderszins. In een dergelijke context mogen legale handelspraktijken, bijvoorbeeld op het gebied van reclame, die in overeenstemming zijn met het Unierecht, op zichzelf beschouwd niet als een inbreuk op het verbod worden beschouwd. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek en op basis van specifieke geïnformeerde toestemming van de personen die aan dergelijke AI-systemen worden blootgesteld of in voorkomend geval van hun wettelijke voogd .

(16 bis)

AI-systemen die natuurlijke personen categoriseren door hen in specifieke categorieën in te delen op basis van bekende of afgeleide gevoelige of beschermde kenmerken, zijn bijzonder ingrijpend, schenden de menselijke waardigheid en houden een groot risico op discriminatie in. Onder die kenmerken moet worden verstaan gender en genderidentiteit, ras, etnische achtergrond, migratie- of burgerschapsstatus, politieke voorkeur, seksuele gerichtheid, geloofsovertuiging, handicap of andere gronden waarop discriminatie verboden is krachtens artikel 21 van het Handvest van de grondrechten van de Europese Unie en krachtens artikel 9 van Verordening (EU) 2016/769. Dergelijke systemen moeten bijgevolg worden verboden.

(17)

AI-systemen die door of in naam van overheidsinstanties worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren de betrouwbaarheid van natuurlijke personen op basis van hun sociale gedrag in meerdere contexten of op basis van bekende of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden.

(17)

AI-systemen die worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen houden een schending in van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren natuurlijke personen of groepen op basis van meerdere aansluitbare informatiebronnen en tijdstippen, met betrekking tot hun sociale gedrag in meerdere contexten of op basis van bekende , afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden.

(18)

Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten.

(18)

Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten is bijzonder ingrijpend ten aanzien van de rechten en vrijheden van de betrokkenen, en kan uiteindelijk de persoonlijke levenssfeer van een groot deel van de bevolking aantasten, een gevoel van voortdurende bewaking oproepen , partijen die biometrische identificatie toepassen in openbare ruimten een positie van oncontroleerbare macht geven en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten die de kern van de rechtstaat vormen, ontmoedigen. Technische onnauwkeurigheden van AI-systemen voor biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en een discriminerend effect hebben. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten. Het gebruik van dergelijke systemen in openbare ruimten moet derhalve worden verboden. Evenzo moeten AI-systemen die worden gebruikt voor de analyse van opgenomen beelden van openbare ruimten via biometrische systemen voor de identificatie op afstand “achteraf” ook worden verboden, tenzij er voorafgaande rechterlijke toestemming is voor gebruik in het kader van rechtshandhaving, wanneer dat strikt noodzakelijk is voor de gerichte zoekopdracht in verband met een specifiek ernstig strafbaar feit dat reeds heeft plaatsgevonden, en alleen na voorafgaande rechterlijke toestemming.

(19)

Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in drie limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik alleen noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar mogelijke slachtoffers van misdrijven, waaronder vermiste kinderen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag; en de opsporing, lokalisatie, identificatie of vervolging van daders of verdachten van de in Kaderbesluit 2002/584/JBZ van de Raad  (38) bedoelde strafbare feiten indien deze in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumstraf van minstens drie jaar, en indien zij in het recht van die lidstaat zijn omschreven. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt er op toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van biometrische systemen voor identificatie op afstand in real time te rechtvaardigen. Bovendien zullen sommige van de 32 in Kaderbesluit 2002/584/JBZ van de Raad genoemde strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zal zijn voor de praktische uitvoering van de opsporing, lokalisatie, identificatie of vervolging van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen.

(20)

Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die drie limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Voorts moet het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving aan passende beperkingen in tijd en ruimte worden onderworpen, met name gelet op het bewijs of de aanwijzingen met betrekking tot de bedreigingen, de slachtoffers of de dader. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de drie bovenvermelde situaties.

(21)

Voor elk gebruik van een biometrisch systeem voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving moet een uitdrukkelijke en specifieke toestemming van een rechterlijke instantie of van een onafhankelijke administratieve autoriteit van een lidstaat vereist zijn. Die toestemming moet in beginsel vóór het gebruik worden verkregen, behalve in naar behoren gemotiveerde spoedeisende gevallen, dat wil zeggen situaties waarin het wegens de noodzaak om de systemen in kwestie te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik een toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en vastgesteld in de context van elk individueel dringend gebruik door de rechtshandhavingsautoriteit zelf. Bovendien moet de rechtshandhavingsautoriteit in dergelijke situaties zo spoedig mogelijk een toestemming trachten te verkrijgen, met vermelding van de redenen waarom zij die niet eerder heeft kunnen vragen.

(22)

Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk is indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen.

(23)

Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, behoudens bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mag een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het door deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke data in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn 2016/680. Het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader voor dergelijk gebruik ten behoeve van de rechtshandhaving dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van een toelating uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die daaraan uitvoering kunnen geven.

(24)

Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving zoals geregeld in deze verordening , ook wanneer die systemen in openbare ruimten door bevoegde autoriteiten worden gebruikt voor andere doeleinden dan de rechtshandhaving , moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing.

(24)

Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten zoals geregeld in deze verordening, moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing.

(25)

Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

(25)

Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

(26)

Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken.

(26)

Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken.

(26 bis)

AI-systemen die door of namens rechtshandhavingsinstanties worden gebruikt ten behoeve van voorspellingen, profielen of risicobeoordelingen op basis van profilering van natuurlijke personen of gegevensanalyse op basis van persoonlijkheidskenmerken en kenmerken, waaronder de locatie van de persoon, of eerder crimineel gedrag van natuurlijke personen of groepen personen met het oog op het voorspellen van het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit of ander strafbaar sociaal gedrag of administratieve overtreding, met inbegrip van systemen voor het voorspellen van fraude, houden een bijzonder risico op discriminatie van bepaalde personen of groepen personen in, aangezien zij de menselijke waardigheid en het voornaamste rechtsbeginsel van het vermoeden van onschuld schenden. Dergelijke AI-systemen moeten derhalve worden verboden.

(26 ter)

De willekeurige en niet-gerichte extractie van biometrische gegevens van sociale media of beelden van gesloten televisiesystemen om databanken voor gezichtsherkenning op te zetten of uit te breiden, versterkt het gevoel van massasurveillance en kan leiden tot grove schendingen van de grondrechten, waaronder het recht op privacy. Het gebruik van AI-systemen met dit beoogde doel moet derhalve worden verboden.

(26 quater)

Er zijn ernstige zorgen over de wetenschappelijke basis van AI-systemen die gericht zijn op het detecteren van emoties, fysieke of fysiologische kenmerken zoals gezichtsuitdrukkingen, bewegingen, polsfrequentie of stem. Emoties of uitingen van emoties en percepties daarvan variëren aanzienlijk tussen culturen en situaties, en zelfs bij een en dezelfde persoon. De belangrijkste tekortkomingen van dergelijke technologieën zijn de beperkte betrouwbaarheid (categorieën emoties zijn noch betrouwbaar uit te drukken aan de hand van en worden noch ondubbelzinnig geassocieerd met een gemeenschappelijke reeks fysieke of fysiologische bewegingen), het gebrek aan specificiteit (fysieke of fysiologische uitdrukkingen stemmen niet perfect overeen met categorieën emoties) en de beperkte algemeenheid (de effecten van context en cultuur worden onvoldoende in aanmerking genomen). Problemen met betrouwbaarheid en bijgevolg grote risico’s op misbruik kunnen zich met name voordoen bij de invoering van het systeem in situaties in de praktijk op het gebied van rechtshandhaving en grensbeheer, op de werkplek en bij onderwijsinstellingen. Daarom moet het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen die bedoeld zijn om in deze context te worden gebruikt om de emotionele toestand van personen op te sporen, worden verboden.

(26 quinquies)

Deze verordening moet praktijken die verboden zijn uit hoofde van de Uniewetgeving, met inbegrip van de gegevensbeschermingswetgeving, de non-discriminatiewetgeving, de wetgeving inzake consumentenbescherming, en de mededingingswetgeving, onverlet laten.

(27)

AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht of in bedrijf worden gesteld als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren.

(27)

AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, met inbegrip van de grondrechten, de democratie, de rechtsstaat of het milieu, zoals die door het recht van de Unie worden erkend en beschermd. Om afstemming met sectorale wetgeving te waarborgen en overlappingen te voorkomen, zal in de eisen voor AI-systemen met een hoog risico rekening moeten worden gehouden met sectorale wetgeving tot vaststelling van eisen voor in het toepassingsgebied van deze verordening opgenomen AI-systemen met een hoog risico, zoals Verordening (EU) 2017/745 betreffende medische hulpmiddelen en Verordening (EU) 2017/746 betreffende medische hulpmiddelen voor in-vitrodiagnostiek of Richtlijn 2006/42/EG betreffende machines. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren. Gezien het snelle tempo van de technologische ontwikkeling en de mogelijke veranderingen in het gebruik van AI-systemen, moet de lijst van gebieden met een hoog risico en typen gebruiken in bijlage III niettemin permanent worden geëvalueerd door middel van een regelmatige beoordeling.

(28)

AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als onderdelen van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn. De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is een bijzonder relevante factor voor de indeling van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen.

(28)

AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als veiligheidscomponenten van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn.

(28 bis)

De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is bijzonder relevant voor de classificatie van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, het recht op onderwijs, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, gendergelijkheid, intellectuele-eigendomsrechten, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen of met betrekking tot het milieu.

(29)

Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad (39), Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad (40), Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad (41), Richtlijn 2014/90/EU van het Europees Parlement en de Raad (42), Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad (43), Verordening (EU) 2018/858 van het Europees Parlement en de Raad (44), Verordening (EU) 2018/1139 van het Europees Parlement en de Raad (45), en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad (46), moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt.

(29)

Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad (39), Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad (40), Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad (41), Richtlijn 2014/90/EU van het Europees Parlement en de Raad (42), Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad (43), Verordening (EU) 2018/858 van het Europees Parlement en de Raad (44), Verordening (EU) 2018/1139 van het Europees Parlement en de Raad (45), en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad (46), moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- , markttoezichts- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt.

(30)

Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(30)

Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, zoals opgenomen in bijlage II, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat om naleving van essentiële veiligheidseisen te waarborgen bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(31)

De indeling van een AI-systeem als een AI-systeem met een hoog risico overeenkomstig deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgesteld in de relevante harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor Verordening (EU) 2017/745 van het Europees Parlement en de Raad (47) en Verordening (EU) 2017/746 van het Europees Parlement en de Raad (48), waarin in een conformiteitsbeoordeling door een derde partij is voorzien voor producten met een gemiddeld risico en producten met een hoog risico.

(32)

Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet , en indien zij worden gebruikt op een aantal in de verordening beschreven , specifieke en vooraf bepaalde gebieden . Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd.

(32)

Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, en die opgenomen zijn in een van de gebieden en typen gebruik in bijlage III, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een significant risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen en , wanneer het AI-systeem wordt gebruikt als veiligheidscomponent van een kritieke infrastructuur, aan het milieu. Een dergelijk significant risico op schade moet worden vastgesteld door beoordeling van enerzijds het effect van een dergelijk risico met betrekking tot het geheel van de ernst, intensiteit, waarschijnlijkheid en duur hiervan, en anderzijds de mogelijke gevolgen van het risico voor een individu , meerdere personen of een bepaalde groep personen. Een dergelijke combinatie kan bijvoorbeeld leiden tot een grote ernst, maar een geringe waarschijnlijkheid dat een natuurlijke persoon wordt getroffen , of een grote waarschijnlijkheid dat een groep personen over een lange periode met een geringe intensiteit wordt getroffen, afhankelijk van de context . Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd.

(32 bis)

Aanbieders van AI-systemen die onder een van de in bijlage III vermelde gebieden en typen gebruik vallen en die van mening zijn dat hun systeem geen significant risico vormt op schade voor de gezondheid, de veiligheid, de grondrechten of het milieu, moeten de nationale toezichthoudende autoriteiten daarvan in kennis stellen door een met redenen omklede kennisgeving in te dienen. Deze kennisgeving kan de vorm aannemen van een samenvatting van één bladzijde van de relevante informatie over het desbetreffende AI-systeem, met inbegrip van het beoogde doel ervan en de reden waarom het geen significant risico op schade voor de gezondheid, de veiligheid, de grondrechten of het milieu zou opleveren. De Commissie moet criteria specificeren aan de hand waarvan ondernemingen kunnen beoordelen of hun systeem dergelijke risico’s met zich meebrengt, en een gebruiksvriendelijk en gestandaardiseerd model voor de kennisgeving ontwikkelen. Aanbieders moeten de kennisgeving zo vroeg mogelijk indienen en in elk geval voorafgaand aan het in de handel brengen of in gebruik stellen van het AI-systeem, idealiter in de ontwikkelingsfase, en zij moeten de vrijheid hebben om het systeem op elk moment na de kennisgeving in de handel te brengen. Indien de autoriteit echter van oordeel is dat het desbetreffende AI-systeem verkeerd is geclassificeerd, moet zij binnen een termijn van drie maanden bezwaar maken tegen de kennisgeving. Het bezwaar moet worden onderbouwd en er moet naar behoren in worden toegelicht waarom het AI-systeem verkeerd is geclassificeerd. De aanbieder moet het recht behouden om in beroep te gaan door verdere argumenten aan te voeren. Indien na de termijn van drie maanden geen bezwaar tegen de kennisgeving is gemaakt, kunnen de nationale toezichthoudende autoriteiten nog steeds ingrijpen als het AI-systeem op nationaal niveau een risico vormt, zoals voor elk ander AI-systeem op de markt. De nationale toezichthoudende autoriteiten moeten bij het AI-bureau jaarverslagen indienen waarin de ontvangen kennisgevingen en de genomen besluiten worden beschreven.

(33)

Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en discriminerende effecten met zich meebrengen. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Daarom moeten biometrische systemen voor identificatie op afstand “in realtime” en “achteraf” als systemen met een hoog risico worden aangemerkt. Gezien de risico’s die zij inhouden, moeten voor beide soorten systemen voor biometrische identificatie op afstand specifieke eisen inzake menselijk toezicht en het bijhouden van logbestanden gelden.

(33 bis)

Aangezien biometrische gegevens een bijzondere categorie gevoelige persoonsgegevens vormen overeenkomstig Verordening (EU) 2016/679, is het passend verschillende kritieke typen gebruik van biometrische en op biometrie gebaseerde systemen als zeer risicovol te classificeren. AI-systemen die zijn bedoeld om te worden gebruikt voor biometrische identificatie van natuurlijke personen en AI-systemen die zijn bedoeld om conclusies te trekken over de persoonlijke kenmerken van natuurlijke personen op basis van biometrische of op biometrie gebaseerde gegevens, met inbegrip van systemen voor het herkennen van emoties, met uitzondering van die welke krachtens deze verordening verboden zijn, moeten daarom als AI-systemen met een hoog risico worden geclassificeerd. Hiervan moeten AI-systemen worden uitgesloten die zijn bedoeld om te worden gebruikt voor biometrische verificatie met inbegrip van authenticatie die uitsluitend tot doel hebben te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en die worden gebruikt om de identiteit van een natuurlijke persoon te bevestigen met als enig doel toegang te hebben tot een dienst, een apparaat of een locatie (één-op-éénverificatie). Biometrische en op biometrie gebaseerde systemen waarin het Unierecht voorziet om maatregelen op het gebied van cyberbeveiliging en de bescherming van persoonsgegevens mogelijk te maken, mogen niet worden beschouwd als systemen die een significant risico inhouden op schade aan de gezondheid, de veiligheid en de grondrechten.

(34)

Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van het wegverkeer en de water-, gas-, verwarmings- en elektriciteitsvoorziening als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren.

(34)

Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van de water-, gas-, verwarmings- en elektriciteitsvoorziening en kritieke digitale infrastructuur als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan gevolgen kan hebben voor de beveiliging en integriteit van dergelijke kritieke infrastructuur of een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren. Veiligheidscomponenten van kritieke infrastructuur, met inbegrip van kritieke digitale infrastructuur, zijn systemen die worden gebruikt om de fysieke integriteit van kritieke infrastructuur of de gezondheid en veiligheid van personen en eigendommen rechtstreeks te beschermen. Het falen of slecht functioneren van dergelijke componenten kan direct leiden tot risico’s voor de fysieke integriteit van kritieke infrastructuur en dus tot risico’s voor de gezondheid en veiligheid van personen en eigendommen. Componenten die uitsluitend voor cyberbeveiligingsdoeleinden zijn bestemd, mogen niet als veiligheidscomponenten worden aangemerkt. Voorbeelden van dergelijke veiligheidscomponenten zijn systemen voor de monitoring van de waterdruk of brandalarminstallaties in datacentra voor cloud computing.

(35)

AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs, moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden.

(35)

De invoering van AI-systemen in het onderwijs is belangrijk om bij te dragen tot de modernisering van volledige onderwijsstelsels, om de kwaliteit van het onderwijs zowel offline als online te verbeteren en om de ontwikkeling van digitaal onderwijs te versnellen en het daarmee ook voor een breder publiek beschikbaar te maken. AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het uitoefenen van wezenlijke invloed op besluiten over het toelaten of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs of voor de beoordeling van het passende onderwijsniveau voor een persoon en het uitoefenen van wezenlijke invloed op het onderwijsniveau waar die persoon de beschikking over zal hebben of toegang tot kan krijgen of voor het monitoren en opsporen van ongeoorloofd gedrag van studenten tijdens tests , moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij bijzonder ingrijpend zijn en in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden , bijvoorbeeld ten nadele van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid .

(36)

AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen. Relevante werkgerelateerde contractuele betrekkingen moeten werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Deze personen worden in beginsel niet beschouwd als gebruikers in de zin van deze verordening. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook gevolgen hebben voor hun rechten op gegevensbescherming en privacy.

(36)

AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten of het uitoefenen van wezenlijke invloed op de aanstelling, de promotie en het ontslag en voor de gepersonaliseerde toewijzing van taken op basis van individueel gedrag, persoonlijke of biometrische gegevens , de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen en de rechten van werknemers . Relevante werkgerelateerde contractuele betrekkingen moeten op zinvolle wijze werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook de essentie ondermijnen van hun grondrechten op gegevensbescherming en privacy. Deze verordening is van toepassing onverminderd de bevoegdheden van de Unie en de lidstaten om te voorzien in meer specifieke regels voor het gebruik van AI-systemen in het kader van de arbeidsverhouding.

(37)

Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. Gezien de zeer beperkte omvang van de gevolgen en de op de markt beschikbare alternatieven, is het passend om AI-systemen voor de beoordeling van de kredietwaardigheid en kredietscore uit te sluiten wanneer zij door kleine aanbieders voor eigen gebruik in gebruik worden gesteld . Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(37)

Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten , waaronder de gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet om fraude bij het aanbieden van financiële diensten op te sporen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, waaronder gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Evenzo kunnen AI-systemen die bedoeld zijn om te worden gebruikt om beslissingen te nemen of besluiten wezenlijk te beïnvloeden over de vraag of natuurlijke personen in aanmerking komen voor een ziektekosten- en levensverzekering, aanzienlijke gevolgen hebben voor het levensonderhoud van personen en hun grondrechten schenden, bijvoorbeeld door de toegang tot gezondheidszorg te beperken of door discriminatie op grond van persoonlijke kenmerken te bestendigen. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(37 bis)

Gezien de rol en de verantwoordelijkheid van de politiële en justitiële autoriteiten en het effect van de beslissingen die zij nemen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten en de tenuitvoerlegging van straffen, moet sommige specifieke typen gebruik van AI-toepassingen bij rechtshandhaving als risicovol worden aangemerkt, met name in gevallen waarin het leven of de grondrechten van personen aanzienlijk kunnen worden beïnvloed.

(38)

Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door rechtshandhavingsinstanties te worden gebruikt voor individuele risicobeoordelingen , leugendetectortests en vergelijkbare instrumenten of om de gemoedstoestand van natuurlijke personen te bepalen, om “deep fakes” op te sporen, om de betrouwbaarheid van bewijs in strafprocedures te evalueren , om het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit te voorspellen op basis van de profilering van natuurlijke personen , om persoonlijkheidskenmerken of eerder crimineel gedrag van natuurlijke personen of groepen te beoordelen , voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten.

(38)

Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen , organen of instanties van de Unie ter ondersteuning van rechtshandhavingsautoriteiten te worden gebruikt voor leugendetectortests en vergelijkbare instrumenten , voor zover het gebruik daarvan op grond van de toepasselijke Unie- of nationale wetgeving is toegestaan , om de betrouwbaarheid van bewijs in strafprocedures te evalueren , voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavings- en justitiële autoriteiten mag geen factor van ongelijkheid, sociale breuken of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet genegeerd worden, met name het probleem om betekenisvolle informatie over de werking daarvan te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door personen tegen wie een onderzoek loopt.

(39)

AI-systemen die worden gebruikt op het gebied van migratie, asiel en grensbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door de bevoegde overheidsinstanties die taken op het gebied van migratie, asiel en grensbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, of om de gemoedstoestand van natuurlijke personen te bepalen , om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om de echtheid te controleren van de relevante documenten van natuurlijke personen. om bevoegde overheidsinstanties bij te staan die aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten behandelen met betrekking tot de doelstelling om vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen. AI-systemen op het gebied van migratie, asiel en grensbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele voorschriften die zijn vastgesteld in Richtlijn 2013/32/EU van het Europees Parlement en de Raad (49), Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad (50) en andere relevante wetgeving.

(39)

AI-systemen die worden gebruikt op het gebied van migratie, asiel en grensbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of instellingen, organen of instanties van de Unie die taken op het gebied van migratie, asiel en grensbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, voor zover het gebruik daarvan in het kader van Unie- en nationale wetgeving is toegestaan , om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen; om de echtheid te controleren van de relevante documenten van natuurlijke personen; om bevoegde overheidsinstanties bij te staan bij het onderzoek naar en de beoordeling van de waarheidsgetrouwheid van bewijsmateriaal en verklaringen met betrekking tot aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten met betrekking tot de doelstelling om vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen ; voor het monitoren, bewaken of verwerken van persoonsgegevens in het kader van grensbeheeractiviteiten, met het oog op het opsporen, herkennen of identificeren van natuurlijke personen; ten behoeve van prognoses of voorspellingen van trends op het gebied van migratiebewegingen en grensoverschrijdingen. AI-systemen op het gebied van migratie, asiel en grensbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele voorschriften die zijn vastgesteld in Richtlijn 2013/32/EU van het Europees Parlement en de Raad (49), Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad (50) en andere relevante wetgeving. Het gebruik van AI-systemen bij het beheer van migratie, asiel en grenscontroles mag in geen geval door de lidstaten of de instellingen, organen of instanties van de Unie worden gebruikt als middel om hun internationale verplichtingen uit hoofde van het Verdrag betreffende de status van vluchtelingen van 28 juli 1951, zoals gewijzigd bij het Protocol van 31 januari 1967, te omzeilen, noch om op enigerlei wijze inbreuk te maken op het beginsel van non-refoulement of om veilige en doeltreffende legale wegen naar het grondgebied van de Unie te ontzeggen, met inbegrip van het recht op internationale bescherming.

(40)

Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.

(40)

Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn om te worden gebruikt door of namens een rechterlijke instantie of een administratief orgaan voor de ondersteuning van gerechtelijke autoriteiten of administratieve organen bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, of op vergelijkbare wijze kunnen worden gebruikt in het kader van alternatieve geschillenbeslechting, als systemen met een hoog risico aan te merken. Het gebruik van instrumenten op het gebied van artificiële intelligentie kan ondersteuning bieden, maar mag de beslissingsbevoegdheid van rechters of de onafhankelijkheid van de rechterlijke macht niet doorkruisen, aangezien de uiteindelijke besluitvorming een door de mens aangestuurde activiteit en beslissing moet blijven. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.

(40 bis)

Om de risico’s van ongepaste externe inmenging van buitenaf in het in artikel 39 van het Handvest verankerde stemrecht en van onevenredige gevolgen voor democratische processen, democratie en de rechtsstaat aan te pakken, moeten AI-systemen die bedoeld zijn om de uitslag van een verkiezing of referendum of het stemgedrag van natuurlijke personen wanneer zij hun stem uitbrengen bij verkiezingen of referenda te beïnvloeden, worden aangemerkt als AI-systemen met een hoog risico, met uitzondering van AI-systemen waarvan de output niet rechtstreeks is gericht op natuurlijke personen, zoals instrumenten voor het organiseren, optimaliseren en structureren van politieke campagnes vanuit administratief en logistiek oogpunt.

(40 ter)

Gezien de mate waarin natuurlijke personen gebruikmaken van de diensten die worden aangeboden door socialemediaplatforms die zijn aangemerkt als zeer grote onlineplatforms, kunnen dergelijke onlineplatforms zodanig worden gebruikt dat de onlineveiligheid, de vorming van de publieke opinie en het publieke debat, verkiezingen, democratische processen en maatschappelijke kwesties sterk worden beïnvloed. Het is daarom passend dat AI-systemen die in de aanbevelingssystemen van deze onlineplatforms worden gebruikt, onder deze verordening vallen, om ervoor te zorgen dat de AI-systemen voldoen aan de in deze verordening neergelegde voorschriften, waaronder de technische voorschriften inzake databeheer, technische documentatie, traceerbaarheid, transparantie, menselijk toezicht, nauwkeurigheid en robuustheid. De naleving van deze verordening moet bovengenoemde zeer grote onlineplatforms in staat stellen te voldoen aan hun bredere verplichtingen inzake risicobeoordeling en -beperking uit hoofde van de artikelen 34 en 35 van Verordening (EU) 2022/2065. De in deze verordening neergelegde verplichtingen doen geen afbreuk aan Verordening (EU) 2022/2065 en moeten de verplichtingen uit hoofde van Verordening (EU) 2022/2065 aanvullen wanneer socialemediaplatforms als zeer grote onlineplatforms zijn aangemerkt. Gezien de Uniebrede impact van socialemediaplatforms die als zeer grote onlineplatforms zijn aangemerkt, moeten de op grond van Verordening (EU) 2022/2065 aangewezen autoriteiten met het oog op de handhaving van deze bepaling optreden als handhavingsautoriteiten.

(41)

Het feit dat een AI-systeem uit hoofde van deze verordening als systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem noodzakelijkerwijs rechtmatig is op grond van andere handelingen van het Unierecht of op grond van intern recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens , het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen . Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke voorschriften die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en intern recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing.

(41)

Het feit dat een AI-systeem uit hoofde van deze verordening als AI-systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem noodzakelijkerwijs rechtmatig of onrechtmatig is op grond van andere handelingen van het Unierecht of op grond van intern recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke voorschriften die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en intern recht.

(41 bis)

Er bestaat reeds een aantal juridisch bindende regels op Unie-, nationaal en internationaal niveau dat van toepassing is of betrekking heeft op AI-systemen, waaronder, maar niet beperkt tot, het primair Unierecht (de Verdragen van de Europese Unie en het Handvest van de grondrechten van de Europese Unie), het secundair Unierecht (waaronder de algemene verordening gegevensbescherming, de richtlijn productaansprakelijkheid, de verordening inzake het vrije verkeer van niet-persoonsgebonden gegevens, antidiscriminatierichtlijnen, het consumentenrecht en richtlijnen inzake veiligheid en gezondheid op het werk), de mensenrechtenverdragen van de VN en de verdragen van de Raad van Europa (waaronder het Europees Verdrag tot bescherming van de rechten van de mens), alsook het nationaal recht. Naast horizontaal toepasselijke regels bestaan er ook verschillende domeinspecifieke regels die van toepassing zijn op bepaalde AI-toepassingen (zoals de verordening inzake medische hulpmiddelen in de gezondheidszorg).

(42)

Om de risico’s van AI-systemen met een hoog risico die in de Unie in de handel zijn gebracht of op andere wijze in gebruik zijn gesteld voor gebruikers en betrokken personen te beperken, moeten bepaalde verplichte voorschriften van toepassing zijn, rekening houdend met het beoogde doel van het gebruik van het systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld.

(42)

Om de risico’s van AI-systemen met een hoog risico die in de Unie in de handel zijn gebracht of op andere wijze in gebruik zijn gesteld voor exploitanten en betrokken personen te beperken, moeten bepaalde verplichte voorschriften van toepassing zijn, rekening houdend met het beoogde doel en het redelijkerwijs te voorzien misbruik van het systeem, en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld. Deze voorschriften moeten op doelstellingen gebaseerd zijn, geschikt zijn voor het beoogde doel en redelijk en doeltreffend zijn, zonder onnodige extra regeldruk of kosten voor operators.

(43)

Op AI-systemen met een hoog risico moeten voorschriften van toepassing zijn met betrekking tot de kwaliteit van de gebruikte datareeksen, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruikers , menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze voorschriften zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten waarvan in het licht van het beoogde doel van het systeem sprake is, te verminderen wanneer geen andere maatregelen redelijkerwijs beschikbaar zijn die de handel in mindere mate beperken, zodat ongerechtvaardigde beperkingen van de handel worden voorkomen.

(43)

Op AI-systemen met een hoog risico moeten voorschriften van toepassing zijn met betrekking tot de kwaliteit en relevantie van de gebruikte datareeksen, technische documentatie en registratie, transparantie en het verstrekken van informatie aan exploitanten , menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze voorschriften zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten , alsmede voor het milieu, de democratie en de rechtsstaat, waarvan in het licht van het beoogde doel of redelijkerwijs te voorzien misbruik van het systeem sprake is, te verminderen wanneer geen andere maatregelen redelijkerwijs beschikbaar zijn die de handel in mindere mate beperken, zodat ongerechtvaardigde beperkingen van de handel worden voorkomen.

(44)

Kwalitatief hoogwaardige data zijn essentieel voor de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datareeksen voor training, validatie en tests vereisen de uitvoering van passende praktijken voor databeheer. datareeksen voor training, validatie en tests moeten voldoende relevant, representatief , foutloos en volledig zijn met het oog op het beoogde doel van het systeem. De datareeksen moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen waarvoor de AI-systemen met een hoog risico moeten worden gebruikt. Ten aanzien van datareeksen voor training, validatie en tests moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, gedrags- of functionele omgeving of context waarin het AI-systeem moet worden gebruikt. Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vertekening (bias) in AI-systemen, moeten aanbieders ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang, teneinde de monitoring, opsporing en correctie van vertekening in verband met AI-systemen met een hoog risico te waarborgen.

(44)

Toegang tot kwalitatief hoogwaardige data is van wezenlijk belang voor het bieden van structuur en het waarborgen van de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datareeksen voor training, validatie en tests vereisen de uitvoering van passende praktijken voor databeheer. Datareeksen voor training en, in voorkomend geval , voor validatie en tests , met inbegrip van de etikettering ervan, moeten voldoende relevant, representatief en zo volledig mogelijk zijn en moeten naar behoren worden doorgelicht op fouten met het oog op het beoogde doel van het systeem. De datareeksen moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen in verband met wie de AI-systemen met een hoog risico moeten worden gebruikt , met bijzondere aandacht voor het tegengaan van mogelijke vertekeningen in de datareeksen, die zouden kunnen leiden tot risico’s voor de grondrechten of tot discriminerende uitkomsten voor de personen die de gevolgen ondervinden van het AI-systeem met een hoog risico . Vertekeningen kunnen bijvoorbeeld inherent zijn aan de onderliggende datareeksen, met name wanneer historische gegevens worden gebruikt, die worden ingevoerd door de ontwikkelaars van de algoritmen of gegenereerd wanneer de systemen in reële omgevingen worden toegepast. De resultaten die door AI-systemen worden aangeboden, worden beïnvloed door dergelijke inherente vertekeningen, die vaak geleidelijk groter worden en daarmee bestaande discriminatie bestendigen en verergeren, met name voor personen die tot bepaalde kwetsbare of etnische groepen of tot geracialiseerde gemeenschappen behoren. Ten aanzien van datareeksen voor training, validatie en tests moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele gedrags- of functionele omgeving of context waarin het AI-systeem moet worden gebruikt. Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vertekening (bias) in AI-systemen, moeten aanbieders , bij wijze van uitzondering en na toepassing van alle toepasselijke voorwaarden die in deze verordening, alsmede in Verordening (EU) 2016/679, Richtlijn (EU) 2016/680 en Verordening (EU) 2018/1725 zijn neergelegd, ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang, teneinde de opsporing en correctie van vertekening in verband met AI-systemen met een hoog risico te waarborgen. Negatieve vertekening moet worden opgevat als vertekening die directe of indirecte discriminerende effecten met zich meebrengt voor een natuurlijke persoon. Aan de voorschriften inzake databeheer kan worden voldaan door een beroep te doen op derden die gecertificeerde nalevingsdiensten aanbieden, waaronder verificatie van databeheer, integriteit van datareeksen, en gegevenstraining, -validatie en -tests.

(45)

Voor de ontwikkeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals digitale-innovatiehubs, faciliteiten voor tests en experimenten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datareeksen op de gebieden waarop zij activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van algoritmen voor artificiële intelligentie aan de hand van deze datareeksen vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

(45)

Voor de ontwikkeling en beoordeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals digitale-innovatiehubs, faciliteiten voor tests en experimenten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datareeksen op de gebieden waarop zij activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van algoritmen voor artificiële intelligentie aan de hand van deze datareeksen vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

(45 bis)

Het recht op privacy en bescherming van persoonsgegevens moet gedurende de hele levenscyclus van het AI-systeem worden gewaarborgd. In dit verband zijn de beginselen van gegevensminimalisatie en gegevensbescherming door ontwerp en door standaardinstellingen, zoals vastgelegd in de wetgeving van de Unie inzake gegevensbescherming, essentieel in gevallen waarin de verwerking van gegevens een significant risico voor de grondrechten van personen met zich meebrengt. Aanbieders en gebruikers van AI-systemen moeten technische en organisatorische maatregelen nemen die in overeenstemming zijn met de stand van de techniek om deze rechten te beschermen. Deze maatregelen moeten niet alleen anonimisering en versleuteling omvatten, maar ook het gebruik van de steeds breder beschikbaar komende technologie die de toepassing van algoritmen op gegevens mogelijk maakt, alsook de vergaring van waardevolle inzichten zonder de uitwisseling van de ruwe of gestructureerde gegevens zelf tussen partijen of het onnodig kopiëren daarvan.

(46)

Informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de overeenstemming met de voorschriften van deze verordening te controleren. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende voorschriften te beoordelen. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer. De technische informatie moet actueel worden gehouden.

(46)

Begrijpelijke informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de overeenstemming met de voorschriften van deze verordening te controleren. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende voorschriften te beoordelen. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer. De technische documentatie moet gedurende de levenscyclus van het AI-systeem op gepaste wijze actueel worden gehouden. AI-systemen kunnen tijdens hun levenscyclus een groot milieueffect sorteren en een hoog energieverbruik hebben. De door aanbieders opgestelde technische documentatie moet informatie bevatten over het energieverbruik van het AI-systeem, met inbegrip van het verbruik tijdens de ontwikkeling ervan en het verwachte verbruik tijdens het gebruik ervan, zodat de gevolgen van AI-systemen voor het milieu beter kunnen worden bevat. In deze informatie moet rekening worden gehouden met de wetgeving van de Unie en de lidstaten ter zake. De gerapporteerde informatie moet begrijpelijk, vergelijkbaar en verifieerbaar zijn. De Commissie moet daartoe richtsnoeren opstellen inzake een geharmoniseerde methode voor de berekening en rapportage van de desbetreffende informatie. Om ervoor te zorgen dat slechts één document kan bestaan, moeten begrippen en definities met betrekking tot de vereiste documentatie en alle vereiste documentatie in de wetgeving van de Unie ter zake zoveel mogelijk op elkaar worden afgestemd.

(46 bis)

In AI-systemen moet rekening worden gehouden met methoden die in overeenstemming zijn met de stand van de techniek, alsmede met de toepasselijke normen op dit vlak, zodat het energieverbruik, het hulpbronnengebruik en de productie van afval kunnen worden verminderd en de energie-efficiëntie alsook de algehele efficiëntie van het systeem kunnen worden verhoogd. De milieuaspecten van AI-systemen die van belang zijn voor de toepassing van deze verordening zijn het energieverbruik van het AI-systeem in de ontwikkelings-, training- en uitrolfase, en de registratie, rapportage en opslag van deze gegevens. Het ontwerp van AI-systemen moet het mogelijk maken het verbruik van energie en hulpbronnen in elke fase van de ontwikkeling, rapportage en uitrol te meten en te registreren. De monitoring en rapportage van de uitstoot van AI-systemen moeten robuust, transparant, consequent en nauwkeurig zijn. De Commissie moet, met het oog op de uniforme toepassing van deze verordening en de totstandbrenging van een stabiel juridisch ecosysteem voor aanbieders en exploitanten in de eengemaakte markt, gemeenschappelijke specificaties ontwikkelen voor de methodologie, om te voldoen aan de rapportage- en documentatievoorschriften inzake het verbruik van energie en hulpbronnen tijdens de ontwikkeling, het trainen en de uitrol van het AI-systeem. Deze gemeenschappelijke specificaties voor de meetmethoden kunnen een referentiescenario bieden, op basis waarvan de Commissie beter kan beslissen of in de toekomst regelgevingsmaatregelen nodig zullen zijn, na de uitvoering van een effectbeoordeling waarin de bestaande wetgeving in acht wordt genomen.

(46 ter)

Om de doelstellingen van deze verordening te verwezenlijken en bij te dragen tot de milieudoelstellingen van de Unie, zonder de goede werking van de interne markt uit het oog te verliezen, kan het nodig zijn om aanbevelingen en richtsnoeren, en uiteindelijk ook duurzaamheidsstreefcijfers, vast te stellen. Daartoe mag de Commissie een methode ontwikkelen om bij te dragen aan de kernprestatie-indicatoren (KPI’s) en een referentie voor de duurzameontwikkelingsdoelstellingen (Sustainable Development Goals — SDG’s). Het doel moet er in de eerste plaats in bestaan eerlijke vergelijking tussen keuzes bij de uitvoering van AI mogelijk te maken die stimulansen bieden ter bevordering van het gebruik van efficiëntere AI-technologieën om problemen op het gebied van energie en hulpbronnen aan te pakken. Deze verordening moet voorzien in de middelen die nodig zijn om een basisverzameling aan te leggen van gerapporteerde gegevens over de uitstoot van de systemen tijdens de ontwikkelings-, training- en uitrolfase.

(47 bis)

Deze voorschriften inzake transparantie en verklaarbaarheid van AI-beslissingen moeten ook de afschrikkende gevolgen helpen vermijden van digitale asymmetrie en zogenoemde “dark patterns”, die gericht zijn op personen en hun geïnformeerde toestemming.

(49)

AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in overeenstemming met de algemeen erkende stand van de techniek. De mate van nauwkeurigheid en de maatstaven voor de nauwkeurigheid moeten aan de gebruikers worden meegedeeld.

(49)

AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in overeenstemming met de algemeen erkende stand van de techniek. De prestatiestatistieken en het verwachte niveau ervan moeten worden gedefinieerd, met als voornaamste doel de risico’s en de negatieve gevolgen van het AI-systeem te beperken. Het verwachte niveau van de prestatiestatistieken moet op een duidelijke, transparante, gemakkelijk begrijpelijke en inzichtelijke manier aan de exploitanten worden meegedeeld. Het opgeven van prestatiestatistieken mag niet worden beschouwd als bewijs van toekomstige niveaus. Er moeten relevante methoden worden gebruikt om ervoor te zorgen dat de niveaus tijdens het gebruik consistent blijven. Er bestaan weliswaar normalisatieorganisaties om normen vast te stellen, maar er is niettemin behoefte aan coördinatie inzake benchmarking om te bepalen hoe deze genormaliseerde voorschriften en kenmerken van AI-systemen moeten worden gemeten. Het Europees Bureau voor artificiële intelligentie (hierna “het AI-bureau”) moet nationale en internationale metrologie- en benchmarkingautoriteiten samenbrengen en niet-bindende richtsnoeren verstrekken inzake de technische aspecten van het meten van het juiste prestatieniveau en de juiste mate van robuustheid.

(50)

De technische robuustheid is een essentieel voorschrift voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen risico’s in verband met de beperkingen van het systeem (bv. fouten, onregelmatigheden, onverwachte situaties) en tegen kwaadwillige acties die de beveiliging van het AI-systeem in gevaar kunnen brengen en kunnen leiden tot schadelijk of anderszins ongewenst gedrag. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.

(50)

De technische robuustheid is een essentieel voorschrift voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen risico’s in verband met de beperkingen van het systeem (bv. fouten, onregelmatigheden, onverwachte situaties) en tegen kwaadwillige acties die de beveiliging van het AI-systeem in gevaar kunnen brengen en kunnen leiden tot schadelijk of anderszins ongewenst gedrag. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd. Gebruikers van het AI-systeem moeten stappen ondernemen om ervoor te zorgen dat de mogelijke afweging tussen robuustheid en nauwkeurigheid niet leidt tot discriminerende of negatieve resultaten voor subgroepen van minderheden.

(51)

Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals datareeksen voor training (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.

(51)

Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals datareeksen voor training (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of aanvallen om vertrouwelijke gegevens te bemachtigen ), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico , alsmede de aangemelde instanties, bevoegde nationale autoriteiten en autoriteiten voor markttoezicht, derhalve passende maatregelen nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur. AI-systemen met een hoog risico moeten gedurende de hele levenscyclus van het product, of, indien er geen sprake is van afhankelijkheid van een bepaald product, gedurende een door de producent te vermelden periode, worden ondersteund met beveiligingsoplossingen en -patches.

(53 bis)

Als ondertekenaars van het Verdrag van de Verenigde Naties inzake de rechten van personen met een handicap (UNCRPD) zijn de Unie en de lidstaten wettelijk verplicht personen met een handicap te beschermen tegen discriminatie en hun gelijkheid te bevorderen, ervoor te zorgen dat personen met een handicap op voet van gelijkheid met anderen toegang hebben tot informatie- en communicatietechnologieën en -systemen, en de eerbiediging van de privacy van personen met een handicap te waarborgen. Gezien het toenemende belang en gebruik van AI-systemen moet de toepassing van universele ontwerpbeginselen op alle nieuwe technologieën en diensten zorgen voor volledige, gelijke en onbeperkte toegang voor iedereen die mogelijk gevolgen ondervindt van of gebruikmaakt van AI-technologieën, met inbegrip van personen met een handicap, op een manier waarbij ten volle rekening wordt gehouden met hun inherente waardigheid en diversiteit. Het is daarom van essentieel belang dat aanbieders ervoor zorgen dat zij voldoen aan de toegankelijkheidsvoorschriften, alsook aan Richtlijn (EU) 2016/2102 en Richtlijn (EU) 2019/882. Aanbieders moeten ervoor zorgen dat door ontwerp aan deze voorschriften wordt voldaan. De nodige maatregelen moeten daarom zo goed mogelijk in het ontwerp van AI-systemen met een hoog risico worden geïntegreerd.

(54)

De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

(54)

De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Van aanbieders die reeds beschikken over systemen voor kwaliteitsbeheer die gebaseerd zijn op normen zoals ISO 9001 of andere relevante normen wordt niet verwacht dat zij een volledig tweede systeem voor kwaliteitsbeheer instellen. In plaats daarvan moeten zij hun bestaande systemen afstemmen op bepaalde aspecten die verband houden met de naleving van bepaalde specifieke voorschriften van deze verordening. Dit moet ook terugkomen in nieuwe normalisatieactiviteiten of -richtsnoeren die de Commissie in dit verband vaststelt. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

(56)

Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor exploitanten en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gemaakt, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar maken in de Unie, wijzen aanbieders die buiten de Unie zijn gevestigd in gevallen waarin geen importeur kan worden vastgesteld derhalve per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

(56)

Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor operators en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gemaakt, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar maken in de Unie, wijzen aanbieders die buiten de Unie zijn gevestigd derhalve per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

(58)

Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten die mogelijk gepaard gaan met het gebruik hiervan, onder meer met betrekking tot de noodzaak om een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk te waarborgen, is het passend om specifieke verantwoordelijkheden voor gebruikers vast te stellen. In het bijzonder moeten gebruikers AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksaanwijzingen en moeten, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie.

(58)

Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten die mogelijk gepaard gaan met het gebruik hiervan, onder meer met betrekking tot de noodzaak om een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk te waarborgen, is het passend om specifieke verantwoordelijkheden voor exploitanten vast te stellen. In het bijzonder moeten exploitanten AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksinstructies en moeten, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie.

(58 bis)

Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop dergelijke systemen worden ontworpen, kunnen de risico’s ook voortvloeien uit de manier waarop dergelijke AI-systemen worden gebruikt. Exploitanten van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van de aanbieder bij de ontwikkeling van het AI-systeem. Exploitanten zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële significante risico’s identificeren die niet in de ontwikkelingsfase waren voorzien, dankzij een preciezere kennis van de gebruikscontext, de mensen of groepen mensen die waarschijnlijk zullen worden geraakt, met inbegrip van gemarginaliseerde en kwetsbare groepen. Exploitanten moeten passende beheersstructuren voor dit specifieke gebruik in kaart brengen, zoals regelingen voor menselijk toezicht, klachtenprocedures en beroepsprocedures, omdat keuzes met betrekking tot de beheersstructuren een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in gevallen van concreet gebruik. Om op efficiënte wijze te waarborgen dat de grondrechten worden beschermd, moet de exploitant van AI-systemen met een hoog risico daarom een effectbeoordeling op het gebied van de grondrechten uitvoeren voordat de systemen in gebruik worden gesteld. De effectbeoordeling moet vergezeld gaan van een gedetailleerd plan dat een beschrijving omvat van de maatregelen of instrumenten die de risico’s voor de grondrechten moeten helpen beperken die uiterlijk op het moment van ingebruikstelling zijn vastgesteld. Als dit plan niet kan worden vastgesteld, mag de exploitant het systeem niet in gebruik stellen. De exploitant stelt de nationale toezichthoudende autoriteit en, zo veel als mogelijk, de betrokken belanghebbenden en vertegenwoordigers van de personen of groepen die waarschijnlijk de gevolgen zullen ondervinden van het AI-systeem, op de hoogte om informatie ter zake te verzamelen die noodzakelijk wordt geacht voor de uitvoering van de effectbeoordeling. Exploitanten worden ertoe aangespoord een samenvatting van hun effectbeoordeling op het gebied van de grondrechten openbaar te maken op hun website. Deze verplichtingen mogen niet gelden voor kmo’s, waarvoor het vanwege een gebrek aan middelen moeilijker kan zijn om een dergelijke raadpleging uit te voeren. Zij moeten er evenwel naar streven bovengenoemde vertegenwoordigers bij het proces te betrekken wanneer zij hun effectbeoordeling op het gebied van de grondrechten uitvoeren. Voorts moeten exploitanten van AI-systemen met een hoog risico die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, alsmede exploitanten die ondernemingen zijn die op grond van Verordening (EU) 2022/1925 zijn aangewezen als poortwachter, met het oog op de potentiële gevolgen en de noodzaak van democratisch toezicht en democratische controle, het gebruik van AI-systemen met een hoog risico in een openbare databank registreren. Andere exploitanten kunnen zich vrijwillig registreren.

(59)

Het is passend om te bepalen dat de gebruiker van het AI-systeem de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan moet zijn die/dat verantwoordelijk is voor het gebruik van het AI-systeem, tenzij het gebruik plaatsvindt in de loop van een persoonlijke, niet-beroepsactiviteit.

(59)

Het is passend om te bepalen dat de exploitant van het AI-systeem de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan moet zijn die/dat verantwoordelijk is voor het gebruik van het AI-systeem, tenzij het gebruik plaatsvindt in de loop van een persoonlijke, niet-beroepsactiviteit.

(60)

Gezien de complexiteit van de waardeketen voor artificiële intelligentie moeten relevante derde partijen, en met name de partijen die zijn betrokken bij de verkoop en de levering van de software, softwarehulpmiddelen en -onderdelen, vooraf getrainde modellen en data , of aanbieders van netwerkdiensten waar passend samenwerken met aanbieders en gebruikers om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken en met de bevoegde autoriteiten zoals vastgesteld in het kader van deze verordening.

(60)

Binnen de AI-waardeketen worden vaak door meerdere entiteiten instrumenten en diensten geleverd, alsook onderdelen of processen, die vervolgens door de aanbieder in het AI-systeem worden geïntegreerd, onder meer met betrekking tot de verzameling en de voorverwerking van gegevens, het (opnieuw) trainen, testen en evalueren van modellen, de integratie in software, of andere aspecten van modelontwikkeling. De betrokken entiteiten kunnen hun aanbod direct of indirect commercieel beschikbaar stellen via interfaces, zoals applicatieprogramma-interfaces (API’s), en distribueren in het kader van vrije en open bronlicenties, maar ook steeds vaker door middel van AI-werknemersplatforms, de doorverkoop van getrainde parameters, doe-het-zelf-pakketten voor het bouwen van modellen of het aanbieden van betaalde toegang tot architectuur voor model serving om modellen te ontwikkelen en te trainen. Gezien deze complexiteit van de AI-waardeketen moeten alle relevante derde partijen, en met name de partijen die zijn betrokken bij de ontwikkeling, de verkoop en de commerciële levering van softwarehulpmiddelen, -onderdelen, vooraf getrainde modellen of in het AI-systeem geïntegreerde gegevens , of aanbieders van netwerkdiensten , zonder afbreuk te doen aan hun eigen intellectuele-eigendomsrechten of bedrijfsgeheimen, de vereiste informatie, training of expertise verstrekken en, waar passend, samenwerken met aanbieders om hun controle over alle naleving van de desbetreffende aspecten van het AI-systeem die onder deze verordening vallen, mogelijk te maken . Om kosteneffectief beheer van de AI-waardeketen mogelijk te maken, wordt de mate van controle uitdrukkelijk bekendgemaakt door elke derde partij die instrumenten, diensten, onderdelen of processen levert aan de aanbieder die vervolgens door de aanbieder worden geïntegreerd in het AI-systeem.

(60 bis)

Wanneer een van de partijen een sterkere onderhandelingspositie heeft, bestaat het risico dat die partij haar positie ten nadele van de andere contractpartij gebruikt bij onderhandelingen over de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of over de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen. Dergelijke contractuele onevenwichtigheden zijn met name schadelijk voor micro-, kleine en middelgrote ondernemingen, alsook voor startende ondernemingen, tenzij deze eigendom zijn van of worden uitbesteed door een onderneming die in staat is de onderaannemer op passende wijze te compenseren, aangezien laatstgenoemde geen reële mogelijkheid heeft om over de voorwaarden van de contractuele overeenkomst te onderhandelen en wellicht geen andere keuze heeft dan de “graag of niet”-contractvoorwaarden te aanvaarden. Oneerlijke contractvoorwaarden die de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen regelen, mogen daarom niet bindend zijn voor dergelijke micro-, kleine en middelgrote ondernemingen en startende ondernemingen wanneer de voorwaarden eenzijdig aan deze ondernemingen zijn opgelegd.

(60 ter)

In de regels inzake contractvoorwaarden moet rekening worden gehouden met het beginsel van contractvrijheid als essentieel concept in de relaties tussen ondernemingen. Daarom moeten niet alle contractvoorwaarden aan een oneerlijkheidstoets worden onderworpen, maar alleen voorwaarden die eenzijdig aan micro-, kleine en middelgrote ondernemingen en startende ondernemingen worden opgelegd. Het gaat daarbij om situaties waarin een partij een bepaalde contractvoorwaarde voorstelt en de micro-, kleine of middelgrote onderneming of de startende onderneming geen invloed kan uitoefenen op de inhoud van die voorwaarde, ondanks een poging om erover te onderhandelen. Een contractvoorwaarde die door één partij wordt voorgesteld en door de micro-, kleine of middelgrote onderneming of de startende onderneming is aanvaard, of een voorwaarde waarover is onderhandeld en die vervolgens in gewijzigde vorm tussen de contractpartijen is overeengekomen, mag niet als eenzijdig opgelegd worden beschouwd.

(60 quater)

Voorts moeten de regels inzake oneerlijke contractvoorwaarden alleen van toepassing zijn op de elementen van contracten die betrekking hebben op de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of op de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen. Andere delen van hetzelfde contract die geen verband houden met deze elementen, mogen niet aan de in deze verordening vastgestelde oneerlijkheidstoets worden onderworpen.

(60 quinquies)

Criteria voor de vaststelling van oneerlijke contractvoorwaarden mogen alleen worden toegepast op buitensporige contractvoorwaarden, waarmee misbruik wordt gemaakt van een sterkere onderhandelingspositie. De overgrote meerderheid van de contractvoorwaarden die vanuit commercieel oogpunt gunstiger zijn voor de ene partij dan voor de andere, waaronder voorwaarden die gebruikelijk zijn in overeenkomsten tussen ondernemingen, zijn een normale uitdrukking van het beginsel van contractvrijheid en blijven van toepassing. Als een contractvoorwaarde niet is opgenomen in de lijst van voorwaarden die altijd als oneerlijk worden beschouwd, is de algemene oneerlijkheidsbepaling van toepassing. In dit verband moeten de als oneerlijk aangemerkte voorwaarden als maatstaf dienen voor de interpretatie van de algemene oneerlijkheidsbepaling.

(60 sexies)

Basismodellen zijn een recente ontwikkeling, waarbij AI-modellen worden ontwikkeld op basis van algoritmen die zijn ontworpen om de algemeenheid en veelzijdigheid van de output te optimaliseren. Deze modellen worden vaak getraind met een breed scala aan gegevensbronnen en grote hoeveelheden gegevens om een breed scala aan downstreamtaken te verwezenlijken, waaronder taken waarvoor de modellen niet specifiek zijn ontwikkeld en getraind. Het basismodel kan uni- of multimodaal zijn en wordt getraind door middel van verschillende methoden, waaronder gecontroleerd leren en versterkend leren. AI-systemen met een specifiek beoogd doel of AI-systemen voor algemene doeleinden kunnen een uitvoering van een basismodel zijn, wat inhoudt dat elk basismodel in talloze downstream-AI-systemen of AI-systemen voor algemene doeleinden kan worden hergebruikt. Deze modellen zijn van toenemend belang voor veel downstreamtoepassingen en -systemen.

(60 septies)

In het geval van basismodellen die als dienst worden verleend, bijvoorbeeld door toegang te verlenen tot een API, moet de samenwerking met downstreamaanbieders doorlopen tot de dienst niet langer wordt verleend en ondersteund, om ervoor te zorgen dat de risico’s op passende wijze kunnen worden beperkt, tenzij de aanbieder van het basismodel zowel het trainingmodel als uitgebreide, passende informatie verstrekt over de datareeksen en het ontwikkelingsproces van het systeem of de dienst, zoals de verlening van toegang tot een API, zodanig beperkt dat de downstreamaanbieder volledig aan deze verordening kan voldoen zonder verdere ondersteuning van de oorspronkelijke aanbieder van het basismodel.

(60 octies)

In het licht van de aard en complexiteit van de waardeketen voor AI-systemen is het van essentieel belang de rol te verduidelijken van de actoren die bijdragen tot de ontwikkeling van AI-systemen. Er bestaat aanzienlijke onzekerheid over de manier waarop basismodellen zich zullen ontwikkelen, zowel wat de typologie van modellen als zelfbestuur betreft. Het is daarom van essentieel belang de juridische situatie van aanbieders van basismodellen te verduidelijken. Naast hun complexiteit en onverwachte impact, het gebrek van downstreamaanbieders van AI aan controle over de ontwikkeling van het basismodel en de daaruit voortvloeiende machtsongelijkheid, en met het oog op de waarborging van een eerlijke verdeling van de verantwoordelijkheden in de AI-waardeketen, moeten deze modellen worden onderworpen aan evenredige en specifiekere voorschriften en verplichtingen uit hoofde van deze verordening. Basismodellen moeten door passend ontwerp en door passende tests en analyses potentiële risico’s en gevaren kunnen beoordelen en beperken, maatregelen inzake databeheer kunnen treffen, onder meer voor de beoordeling van vertekeningen, en voldoen aan de technische ontwerpvoorschriften ter waarborging van het juiste prestatieniveau en de juiste mate van voorspelbaarheid, interpreteerbaarheid, corrigeerbaarheid, veiligheid en cyberbeveiliging, alsook aan de milieunormen. Deze verplichtingen moeten vergezeld gaan van normen. Basismodellen moeten bovendien een informatieverplichting hebben en alle vereiste technische documentatie opstellen om potentiële downstreamaanbieders in staat te stellen aan hun verplichtingen uit hoofde van deze verordening te voldoen. Generatieve basismodellen moeten zorgen voor transparantie met betrekking tot het feit dat de inhoud niet wordt gegenereerd door mensen maar door een AI-systeem. Deze specifieke voorschriften en verplichtingen volstaan niet om basismodellen te beschouwen als AI-systemen met een hoog risico. Zij moeten ervoor zorgen dat de doelstellingen van deze verordening om een hoog niveau van bescherming van de grondrechten, gezondheid en veiligheid, het milieu, de democratie en de rechtsstaat te waarborgen, worden verwezenlijkt. Vooraf getrainde modellen die zijn ontwikkeld voor een kleiner, minder algemeen en beperkter aantal toepassingen en niet voor een breder scala aan taken kunnen worden aangepast, zoals eenvoudige AI-systemen voor meerdere doeleinden, mogen voor de toepassing van deze verordening niet als basismodellen worden beschouwd, omdat ze beter te interpreteren zijn en hun gedrag daarmee minder onvoorspelbaar is.

(60 nonies)

Gezien de aard van basismodellen ontbreekt het aan deskundigheid op het gebied van conformiteitsbeoordeling en worden de auditmethoden voor derden nog altijd ontwikkeld. Daarom worden er in de sector zelf nieuwe manieren ontwikkeld om fundamentele modellen te beoordelen die gedeeltelijk aan de auditdoelstelling voldoen (zoals modelbeoordeling, red teaming en verificatie- en validatietechnieken voor machinaal leren). Deze interne beoordelingen voor basismodellen moeten breed toepasbaar zijn (bv. onafhankelijk van distributiekanalen, modaliteit en ontwikkelingsmethoden) om de specifieke risico’s van dergelijke modellen aan te pakken, rekening houdend met de praktijken in de sector die in overeenstemming zijn met de stand van de techniek, en moeten gericht zijn op de totstandbrenging van voldoende technisch inzicht in en controle over het model, het beheer van redelijkerwijs te voorziene risico’s, en uitgebreide analyse en toetsing van het model door middel van passende maatregelen, bijvoorbeeld met de hulp van onafhankelijke beoordelaars. Aangezien basismodellen een nieuwe en snel evoluerende ontwikkeling zijn op het gebied van artificiële intelligentie, is het passend dat de Commissie en het AI-bureau het wetgevings- en beheerskader van deze modellen periodiek monitoren en beoordelen, met name waar het generatieve AI-systemen betreft die op dergelijke modellen gebaseerd zijn, wat belangrijke vragen doet rijzen over de generatie van inhoud die in strijd is met het Unierecht, de regels inzake auteursrecht en mogelijk misbruik. Niettemin moet worden verduidelijkt dat deze verordening geen afbreuk mag doen aan wetgeving van de Unie inzake auteursrecht en aanverwante rechten, waaronder Richtlijn 2001/29/EG, Richtlijn 2004/48/EG en Richtlijn (EU) 2019/790.

(61)

Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen. De naleving van geharmoniseerde normen, zoals gedefinieerd in Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad (54), moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. De Commissie zou echter gemeenschappelijke technische specificaties kunnen vaststellen op gebieden waarop geen geharmoniseerde normen bestaan of waarop deze ontoereikend zijn .

(61)

Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen. De naleving van geharmoniseerde normen, zoals gedefinieerd in Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad (54), moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. Om de doeltreffendheid van normen als beleidsinstrument voor de Unie te garanderen, en gezien het belang van normen voor het waarborgen van conformiteit met de voorschriften van deze verordening en voor het concurrentievermogen van ondernemingen, moet voor een evenwichtige belangenvertegenwoordiging worden gezorgd door alle belanghebbende partijen bij de vaststelling van normen te betrekken . Het normalisatieproces moet transparant zijn wat betreft de rechtspersonen en natuurlijke personen die aan de normalisatieactiviteiten deelnemen.

(61 bis)

Om de naleving te vergemakkelijken, moeten de eerste normalisatieverzoeken uiterlijk twee maanden na de inwerkingtreding van deze verordening door de Commissie worden ingediend. Dit moet de rechtszekerheid verbeteren en daarmee investeringen en innovatie op het gebied van AI stimuleren, alsook het concurrentievermogen en de groei van de markt van de Unie, en het beheer door meerdere belanghebbenden bevorderen die de betrokken Europese belanghebbenden vertegenwoordigen, zoals het AI-bureau, Europese normalisatie-instellingen en -organen of krachtens de sectorale wetgeving van de Unie ingestelde deskundigengroepen, alsook de sector, kmo’s, startende ondernemingen, maatschappelijke organisaties, onderzoekers en sociale partners, en moet uiteindelijk de wereldwijde samenwerking bij de normalisatie op het gebied van AI vergemakkelijken, met inachtneming van de waarden van de Unie. Bij het opstellen van normalisatieverzoeken moet de Commissie het AI-bureau en het adviesforum voor AI raadplegen om de nodige expertise in te winnen.

(61 ter)

Wanneer AI-systemen bedoeld zijn voor gebruik op de werkplek, moeten geharmoniseerde normen beperkt zijn tot technische specificaties en procedures.

(61 quater)

De Commissie moet onder bepaalde voorwaarden gemeenschappelijke specificaties kunnen vaststellen wanneer er geen relevante geharmoniseerde norm bestaat of om specifieke problemen op het gebied van de grondrechten aan te pakken. De Commissie moet gedurende het hele ontwerpproces regelmatig overleg plegen met het AI-bureau en zijn adviesforum, met Europese normalisatie-instellingen en -organen of krachtens de sectorale wetgeving van de Unie ingestelde deskundigengroepen, en met de betrokken belanghebbenden, waaronder de sector, kmo’s, startende ondernemingen, maatschappelijke organisaties, onderzoekers en sociale partners.

(61 quinquies)

De Commissie moet bij de vaststelling van gemeenschappelijke specificaties streven naar afstemming van de regelgeving op het gebied van AI met gelijkgestemde partners, wat van cruciaal belang is voor het stimuleren van innovatie en grensoverschrijdende partnerschappen op het gebied van AI, aangezien coördinatie met gelijkgestemde partners in internationale normalisatie-instellingen van groot belang is.

(62)

Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.

(62)

Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld. Om het vertrouwen in de waardeketen te vergroten en bedrijven zekerheid te bieden over de prestaties van hun systemen, kunnen derden die AI-onderdelen leveren vrijwillig een conformiteitsbeoordeling door derden aanvragen.

(64)

Gezien de uitgebreidere ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van risico’s die hiermee gepaard gaan, is het passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen van derden voor AI-systemen met een hoog risico die geen verband houden met producten te beperken. De conformiteitsbeoordeling van dergelijke systemen moet derhalve als algemene regel door de aanbieder onder eigen verantwoordelijkheid worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van personen op afstand, ten aanzien waarvan een aangemelde instantie moet worden betrokken bij de conformiteitsbeoordeling, voor zover deze systemen niet verboden zijn.

(64)

Gezien de complexiteit van AI-systemen met een hoog risico en de risico’s die daarmee gepaard gaan, is het van essentieel belang een adequatere capaciteit te ontwikkelen voor de toepassing van conformiteitsbeoordeling door derden voor AI-systemen met een hoog risico. Gezien de huidige ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van risico’s die hiermee gepaard gaan, is het niettemin passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen door derden voor AI-systemen met een hoog risico die geen verband houden met producten te beperken. De conformiteitsbeoordeling van dergelijke systemen moet derhalve als algemene regel door de aanbieder onder eigen verantwoordelijkheid worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van personen op afstand of AI-systemen die bedoeld zijn om conclusies te trekken over de persoonlijke kenmerken van natuurlijke personen op basis van biometrische of op biometrie gebaseerde gegevens, waaronder systemen voor het herkennen van emoties , ten aanzien waarvan een aangemelde instantie moet worden betrokken bij de conformiteitsbeoordeling, voor zover deze systemen niet verboden zijn.

(65)

Met het oog op de uitvoering van een conformiteitsbeoordeling door derden voor AI-systemen die moeten worden gebruikt voor de biometrische identificatie van personen op afstand , moeten de nationale bevoegde autoriteiten aangemelde instanties aanwijzen op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties en afwezigheid van belangenconflicten.

(65)

Met het oog op de uitvoering van conformiteitsbeoordelingen door derden , wanneer deze vereist zijn , moeten de nationale bevoegde autoriteiten aangemelde instanties aanwijzen op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties, afwezigheid van belangenconflicten en minimumvoorschriften inzake cyberbeveiliging . De lidstaten moeten aansporen tot de aanwijzing van voldoende conformiteitsbeoordelingsinstanties, opdat de certificering tijdig kan geschieden. De procedures voor de beoordeling, aanwijzing, aanmelding en monitoring van conformiteitsbeoordelingsinstanties moeten in de lidstaten zo uniform mogelijk worden toegepast om administratieve belemmeringen aan de grens weg te nemen en ervoor te zorgen dat het potentieel van de interne markt wordt verwezenlijkt.

(65 bis)

In overeenstemming met de verbintenissen van de Unie in het kader van de Overeenkomst inzake technische handelsbelemmeringen van de Wereldhandelsorganisatie is het goed om de aanvaarding van testresultaten die geproduceerd zijn door bevoegde conformiteitsbeoordelingsinstanties te maximaliseren, ongeacht het grondgebied waar zij gevestigd zijn, zo nodig om aan te tonen dat zij aan de toepasselijke voorschriften van de verordening voldoen. De Commissie moet actief op zoek gaan naar bruikbare internationale instrumenten die kunnen helpen dit te verwezenlijken, en moet met name streven naar de mogelijke totstandbrenging van overeenkomsten inzake wederzijdse erkenning met landen met een vergelijkbaar niveau van technische ontwikkeling die een vergelijkbare aanpak hanteren met betrekking tot AI en conformiteitsbeoordeling.

(66)

In lijn met het algemeen erkende begrip van ingrijpende wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat voor een AI-systeem een nieuwe conformiteitsbeoordeling wordt uitgevoerd wanneer zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van het systeem met deze verordening of wanneer het beoogde doel van het systeem verandert. Daarnaast is het ten aanzien van AI-systemen die blijven “leren” nadat zij in de handel worden gebracht of in gebruik worden gesteld (d.w.z. die automatisch aanpassen hoe taken worden uitgevoerd) noodzakelijk om te voorzien in regels die bepalen dat veranderingen met betrekking tot het algoritme en de prestaties ervan die vooraf door de aanbieder zijn bepaald en die op het moment van de conformiteitsbeoordeling zijn beoordeeld, geen ingrijpende wijziging vormen.

(66)

In lijn met het algemeen erkende begrip van ingrijpende wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat voor een AI-systeem met een hoog risico een nieuwe conformiteitsbeoordeling wordt uitgevoerd wanneer zich een niet-geplande verandering voordoet die verder gaat dan gecontroleerde of geplande veranderingen door de aanbieder, met inbegrip van permanent leren, en die een nieuw, onaanvaardbaar risico kan doen ontstaan en aanzienlijke gevolgen kan hebben voor de overeenstemming van het AI-systeem met een hoog risico met deze verordening of wanneer het beoogde doel van het systeem verandert. Daarnaast is het ten aanzien van AI-systemen die blijven “leren” nadat zij in de handel worden gebracht of in gebruik worden gesteld (d.w.z. die automatisch aanpassen hoe taken worden uitgevoerd) noodzakelijk om te voorzien in regels die bepalen dat veranderingen met betrekking tot het algoritme en de prestaties ervan die vooraf door de aanbieder zijn bepaald en die op het moment van de conformiteitsbeoordeling zijn beoordeeld, geen ingrijpende wijziging vormen. Hetzelfde moet gelden voor updates van het AI-systeem om veiligheidsredenen in het algemeen en ter bescherming tegen veranderende dreigingen van manipulatie van het systeem, onder voorwaarde dat ze geen ingrijpende wijziging vormen.

(67)

Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat zij vrij kunnen bewegen op de interne markt. De lidstaten mogen het in de handel brengen en in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde voorschriften voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

(67)

Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat zij vrij kunnen bewegen op de interne markt. Op fysieke AI-systemen met een hoog risico moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor uitsluitend digitale AI-systemen met een hoog risico moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde voorschriften voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

(68)

In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen en de samenleving in haar geheel. Het is derhalve passend dat de lidstaten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen en de bescherming van industrieel en commercieel eigendom toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen.

(68)

In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen , het milieu en de klimaatverandering, en de samenleving in haar geheel. Het is derhalve passend dat de lidstaten om uitzonderlijke redenen in verband met de bescherming van het leven en de gezondheid van natuurlijke personen , de bescherming van het milieu en de bescherming van kritieke infrastructuur toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen.

(69)

Om de werkzaamheden van de Commissie en de lidstaten op het gebied van artificiële intelligentie te vergemakkelijken en om de transparantie ten opzichte van het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, worden verplicht hun AI-systemen met een hoog risico te registreren in een EU-databank, die door de Commissie moet worden vastgesteld en beheerd. De Commissie moet de verwerkingsverantwoordelijke van die databank zijn, in overeenstemming met Verordening (EU) 2018/1725 van het Europees Parlement en de Raad (55). Teneinde de volledige functionaliteit van de databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten.

(69)

Om de werkzaamheden van de Commissie en de lidstaten op het gebied van artificiële intelligentie te vergemakkelijken en om de transparantie ten opzichte van het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, worden verplicht hun AI-systemen en basismodellen met een hoog risico te registreren in een EU-databank, die door de Commissie moet worden vastgesteld en beheerd. Deze databank moet vrij en openbaar toegankelijk zijn en moet gemakkelijk begrijpelijk en machineleesbaar zijn. De databank moet bovendien gebruiksvriendelijk en gemakkelijk te navigeren zijn, en moet zoekfuncties hebben die het grote publiek ten minste in staat stellen de databank te doorzoeken op specifieke systemen met een hoog risico, locaties, risicocategorieën uit bijlage IV en trefwoorden. Ook exploitanten die overheidsinstanties of instellingen, organen of instanties van de Unie zijn of exploitanten die namens hen optreden en exploitanten die ondernemingen zijn die op grond van Verordening (EU) 2022/1925 zijn aangewezen als poortwachter, moeten zich in de EU-databank registreren voordat zij een AI-systeem met een hoog risico voor het eerst in gebruik stellen of gebruiken, en na elke ingrijpende wijziging. Andere exploitanten moeten het recht hebben dit vrijwillig te doen. Ook alle ingrijpende wijzigingen van AI-systemen met een hoog risico moeten in de EU-databank worden geregistreerd. De Commissie moet de verwerkingsverantwoordelijke van die databank zijn, in overeenstemming met Verordening (EU) 2018/1725 van het Europees Parlement en de Raad (55). Teneinde de volledige functionaliteit van de databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten. De Commissie moet bij de uitvoering van haar taken als verwerkingsverantwoordelijke voor de EU-databank rekening houden met cyberbeveiliging en risico’s in verband met gevaren. Om de beschikbaarheid en het gebruik van de databank door het publiek te maximaliseren, moet de databank, met inbegrip van de via de databank beschikbaar gestelde informatie, voldoen aan de voorschriften van Richtlijn (EU) 2019/882.

(71)

Artificiële intelligentie is een snel ontwikkelende familie van technologieën die nieuwe vormen van regelgevingstoezicht en een veilige plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en maatregelen voor risicobeperking worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatievriendelijk , toekomstbestendig en bestand tegen verstoringen is, moeten de nationale bevoegde autoriteiten van een of meer lidstaten worden aangemoedigd om testomgevingen voor regelgeving op het gebied van artificiële intelligentie vast te stellen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld.

(71)

Artificiële intelligentie is een snel ontwikkelende familie van technologieën die regelgevingstoezicht en een veilige en gecontroleerde plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en maatregelen voor risicobeperking worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatie stimuleert , toekomstbestendig is en bestand is tegen verstoringen, moeten de lidstaten ten minste één testomgeving voor regelgeving op het gebied van artificiële intelligentie tot stand brengen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld. Als volgende stap is het wenselijk om de totstandbrenging van testomgevingen voor regelgeving, die momenteel aan de lidstaten wordt overgelaten, verplicht te stellen met vastgestelde criteria. Een testomgeving voor regelgeving kan ook samen met een of meer andere lidstaten tot stand worden gebracht, mits de testomgeving voldoet aan het respectieve nationale niveau van de betrokken lidstaten. Er kunnen tevens aanvullende testomgevingen tot stand worden gebracht op verschillende niveaus, bijvoorbeeld over de grenzen van de lidstaten heen, om grensoverschrijdende samenwerking en synergieën te vergemakkelijken. Met uitzondering van de verplichte testomgeving op nationaal niveau moeten de lidstaten ook virtuele of hybride testomgevingen tot stand kunnen brengen. Alle testomgevingen voor regelgeving moeten zowel fysieke als virtuele producten aankunnen. De instanties die de testomgevingen voor regelgeving tot stand brengen moeten er bovendien voor zorgen dat de testomgevingen over voldoende financiële en personele middelen beschikken om naar behoren te kunnen functioneren.

(72)

De doelstellingen van testomgevingen voor regelgeving moeten bestaan in de bevordering van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten ; het verbeteren van de rechtszekerheid voor innovatoren en het toezicht van de bevoegde autoriteiten en het begrijpen van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kleine en middelgrote ondernemingen (kmo’s) en startende ondernemingen weg te nemen. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Deze verordening moet de rechtsgrondslag bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, in lijn met artikel 6, lid 4, van Verordening (EU) 2016/679 en artikel 6 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, van Richtlijn (EU) 2016/680. Deelnemers van de testomgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en in goed vertrouwen te handelen om eventuele grote risico’s voor de veiligheid en de grondrechten te beperken die zich tijdens de ontwikkeling en het experimenteren in de testomgeving kunnen voordoen. Er moet rekening worden gehouden met het gedrag van de deelnemers van de testomgeving wanneer bevoegde autoriteiten besluiten om al dan niet een administratieve geldboete op te leggen op grond van artikel 83, lid 2, van Verordening (EU) 2016/679 en artikel 57 van Richtlijn (EU) 2016/680.

(72)

De doelstellingen van testomgevingen voor regelgeving moeten erin bestaan : voor de autoriteiten die de testomgeving hebben ontwikkeld, hun inzicht in technische ontwikkelingen te vergroten, toezichtmethoden te verbeteren en richtsnoeren te verstrekken aan ontwikkelaars en aanbieders van AI-systemen om te komen tot overeenstemming van de regelgeving met deze verordening of, in voorkomend geval, andere relevante wetgeving van de Unie en de lidstaten , alsook met het Handvest van de grondrechten; voor de toekomstige aanbieders het testen en ontwikkelen van innovatieve oplossingen in verband met AI-systemen in de fase voorafgaand aan het in de handel brengen mogelijk te maken en te vergemakkelijken om de rechtszekerheid te vergroten, de autoriteiten die de testomgeving hebben ontwikkeld in een gecontroleerde omgeving meer te laten leren op regelgevingsgebied om betere richtsnoeren te ontwikkelen en mogelijke toekomstige verbeteringen van het rechtskader via de gewone wetgevingsprocedure in kaart te brengen. Significante risico’s die tijdens het ontwikkelen en testen van dergelijke AI-systemen worden vastgesteld, moeten onmiddellijk worden beperkt en bij gebreke daarvan leiden tot de opschorting van het ontwikkelings- en testproces totdat beperkende maatregelen worden getroffen. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. De lidstaten moeten ervoor zorgen dat testomgevingen voor regelgeving in de hele Unie op grote schaal beschikbaar zijn, terwijl de deelname vrijwillig moet blijven. Het is bijzonder belangrijk ervoor te zorgen dat kmo’s en start-ups gemakkelijk toegang hebben tot deze testomgevingen en actief betrokken zijn bij en deelnemen aan de ontwikkeling en het testen van innovatieve AI-systemen, zodat zij met hun knowhow en ervaring bijdragen kunnen leveren.

(72 bis)

Deze verordening moet de rechtsgrondslag bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, alleen onder bepaalde voorwaarden in lijn met artikel 6, lid 4, van Verordening (EU) 2016/679 en artikel 6 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, van Richtlijn (EU) 2016/680. Bij de testomgeving betrokken toekomstige aanbieders moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en in goed vertrouwen te handelen om eventuele grote risico’s voor de veiligheid, de gezondheid, het milieu en de grondrechten te beperken die zich tijdens de ontwikkeling en het experimenteren in de testomgeving kunnen voordoen. Er moet rekening worden gehouden met het gedrag van de bij de testomgeving betrokken toekomstige aanbieders wanneer bevoegde autoriteiten besluiten om hun deelname aan de testomgeving tijdelijk of permanent te schorsen of al dan niet een administratieve geldboete op te leggen op grond van artikel 83, lid 2, van Verordening (EU) 2016/679 en artikel 57 van Richtlijn (EU) 2016/680.

(72 ter)

Om ervoor te zorgen dat artificiële intelligentie tot gunstige sociale en ecologische resultaten leidt, moeten de lidstaten onderzoek naar en ontwikkeling van AI ter ondersteuning van gunstige sociale en ecologische resultaten ondersteunen en bevorderen door voldoende middelen toe te wijzen, waaronder overheidsfinanciering en financiering door de Unie, en door het maatschappelijk middenveld geleide projecten prioritair toegang te geven tot testomgevingen voor regelgeving. Dergelijke projecten moeten gebaseerd zijn op het beginsel van interdisciplinaire samenwerking tussen AI-ontwikkelaars, deskundigen op het gebied van ongelijkheid en non-discriminatie, toegankelijkheid, consumentenrecht, milieurecht en digitale rechten, alsook academici.

(73)

Om de innovatie te bevorderen en beschermen, is het belangrijk dat de belangen van kleine aanbieders en gebruikers van AI-systemen in het bijzonder in aanmerking worden genomen. Hiertoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze operators en die onder meer betrekking hebben op bewustmaking en informatie en communicatie. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van kleine aanbieders wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere operators. De lidstaten zouden ervoor kunnen zorgen dat een van de talen die door hen worden vastgesteld en aanvaard voor de documentatie van betrokken aanbieders en voor de communicatie met operators breed wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruikers.

(73)

Om de innovatie te bevorderen en beschermen, is het belangrijk dat de belangen van kleine aanbieders en gebruikers van AI-systemen in het bijzonder in aanmerking worden genomen. Hiertoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze operators en die onder meer betrekking hebben op AI-geletterdheid, bewustmaking en informatie en communicatie. De lidstaten moeten hiervoor de bestaande kanalen gebruiken en waar nodig nieuwe specifieke kanalen voor de communicatie met kmo’s, start-ups, gebruikers en andere innovatoren opzetten om begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden. Die bestaande kanalen omvatten, maar zijn niet beperkt tot, de Enisa-teams voor respons op computerbeveiligingsincidenten, de nationale gegevensbeschermingsagentschappen, het platform voor AI on demand, de Europese digitale-innovatiehubs en andere relevante instrumenten die door EU-programma’s worden gefinancierd, evenals de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of Unieniveau zijn vastgesteld. Waar nodig moeten deze kanalen met elkaar samenwerken om synergieën te creëren en te zorgen voor een homogene aanpak bij hun adviezen aan start-ups, kmo’s en gebruikers. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van kleine aanbieders wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. De Commissie moet de certificerings- en nalevingskosten voor kmo’s en start-ups regelmatig beoordelen, onder meer via transparant overleg met kmo’s, start-ups en gebruikers, en moet met de lidstaten samenwerken om die kosten te verlagen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen bijvoorbeeld een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere operators. De lidstaten zouden ervoor kunnen zorgen dat een van de talen die door hen worden vastgesteld en aanvaard voor de documentatie van betrokken aanbieders en voor de communicatie met operators breed wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruikers. Middelgrote ondernemingen die recentelijk veranderd zijn van de categorie “kleine onderneming” naar “middelgrote onderneming” in de zin van de bijlage bij Aanbeveling 2003/361/EG (artikel 16), moeten zolang de lidstaten dat gepast achten toegang blijven houden tot deze initiatieven en adviezen, aangezien deze nieuwe middelgrote ondernemingen soms de juridische middelen en opleiding ontberen om een goede kennis en naleving van de bepalingen te waarborgen.

(74)

Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders en aangemelde organen van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden het platform voor AI on demand, de Europese digitale-innovatiehubs en de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of EU-niveau zijn vastgesteld, kunnen bijdragen tot de uitvoering van deze verordening. Binnen hun respectievelijke mandaat en bevoegdheid kunnen zij met name technische en wetenschappelijke steun verlenen aan aanbieders en aangemelde instanties.

(74)

Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders en aangemelde organen van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, moeten het platform voor AI on demand, de Europese digitale-innovatiehubs en de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of EU-niveau zijn vastgesteld, bijdragen tot de uitvoering van deze verordening. Binnen hun respectievelijke mandaat en bevoegdheid kunnen zij met name technische en wetenschappelijke steun verlenen aan aanbieders en aangemelde instanties.

(76)

Teneinde een soepele , doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken , moet een Europees Comité voor artificiële intelligentie worden opgericht. Het Comité moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen, aanbevelingen of richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over technische specificaties of bestaande normen met betrekking tot de voorschriften van deze verordening en de adviesverlening aan en ondersteuning van de Commissie ten aanzien van specifieke vragen in verband met artificiële intelligentie .

(76)

Teneinde versnippering te voorkomen, de optimale werking van de eengemaakte markt te garanderen , een doeltreffende en geharmoniseerde uitvoering van deze verordening te waarborgen, in de hele Unie een hoog niveau van betrouwbaarheid en bescherming van de gezondheid en veiligheid, de grondrechten, het milieu, de democratie en de rechtsstaat met betrekking tot AI-systemen te verwezenlijken, de nationale toezichthoudende autoriteiten en de instellingen, organen en instanties van de Unie actief te ondersteunen bij aangelegenheden in het kader van deze verordening, en het gebruik van artificiële intelligentie in de hele Unie te bevorderen , moet een Bureau voor artificiële intelligentie van de Europese Unie worden opgericht. Het AI-bureau moet rechtspersoonlijkheid hebben, moet volledig onafhankelijk handelen, moet verantwoordelijk zijn voor een aantal adviserende en coördinerende taken, waaronder het opstellen van adviezen, aanbevelingen of richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, en moet over voldoende financiering en personeel beschikken. De lidstaten moeten zorgen voor de strategische leiding en controle van het AI-bureau via de raad van bestuur van het AI-bureau, samen met de Commissie, de EDPS, het FRA en het Enisa. Een uitvoerend directeur moet verantwoordelijk zijn voor het beheer van de activiteiten van het secretariaat van het AI-bureau en voor het vertegenwoordigen van het AI-bureau. Belanghebbenden moeten formeel deelnemen aan de werkzaamheden van het AI-bureau via een adviesforum dat voor een gevarieerde en evenwichtige vertegenwoordiging van de belanghebbenden moet zorgen en het AI-bureau moet adviseren over aangelegenheden die verband houden met deze verordening. Indien de oprichting van het AI-bureau niet voldoende blijkt te zijn om een volledig consistente toepassing van deze verordening op het niveau van de Unie en efficiënte grensoverschrijdende handhavingsmaatregelen te waarborgen, moet de oprichting van een AI-agentschap worden overwogen .

(77)

De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat een of meer nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een officieel contactpunt in te stellen voor het publiek en andere wederpartijen op het niveau van de lidstaten en de Unie , moet in elke lidstaat één nationale autoriteit worden aangewezen als nationale toezichthoudende autoriteit.

(77)

Elke lidstaat moet een nationale toezichthoudende autoriteit aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. Deze moet ook haar lidstaat in de raad van bestuur van het AI-bureau vertegenwoordigen . Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een officieel contactpunt in te stellen voor het publiek en andere wederpartijen op het niveau van de lidstaten en de Unie . Elke nationale toezichthoudende autoriteit moet volledig onafhankelijk optreden bij de uitvoering van de taken en de uitoefening van de bevoegdheden die haar overeenkomstig deze verordening zijn toegewezen .

(77 bis)

De nationale toezichthoudende autoriteiten moeten toezien op de toepassing van de bepalingen van deze verordening en bijdragen aan de consequente toepassing daarvan in de gehele Unie. Daartoe moeten de nationale toezichthoudende autoriteiten met elkaar en met de relevante nationale bevoegde autoriteiten, de Commissie en het AI-bureau samenwerken.

(77 ter)

Ten aanzien van de vertrouwelijke informatie die hun bij de uitvoering van hun taken of de uitoefening van hun bevoegdheden ter kennis is gekomen, moet voor het lid of de personeelsleden van elke nationale toezichthoudende autoriteit zowel tijdens hun ambtstermijn als daarna het beroepsgeheim gelden, zulks overeenkomstig het Unierecht of intern recht. Tijdens hun ambtstermijn moet het beroepsgeheim met name gelden voor bedrijfsgeheimen en voor meldingen van inbreuken op deze verordening door natuurlijke personen.

(78)

Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht te zorgen voor een systeem om eventuele ernstige incidenten of eventuele inbreuken op het intern of Unierecht voor de bescherming van de grondrechten die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten.

(78)

Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” of zich blijven ontwikkelen nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht te zorgen voor een systeem om eventuele ernstige incidenten of eventuele inbreuken op het intern of Unierecht , waaronder bepalingen ter bescherming van de grondrechten en consumentenrechten, die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten en passende corrigerende maatregelen te nemen . Exploitanten moeten ook worden verplicht om eventuele ernstige incidenten of inbreuken op het intern of Unierecht die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten wanneer zij dergelijke ernstige incidenten of inbreuken vaststellen.

(79)

Teneinde een passende en doeltreffende handhaving te waarborgen van de voorschriften en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Waar noodzakelijk met het oog op hun taken, moeten nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling, ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld.

(79)

Teneinde een passende en doeltreffende handhaving te waarborgen van de voorschriften en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Voor de toepassing van deze verordening moeten de nationale toezichthoudende autoriteiten optreden als markttoezichtautoriteiten voor onder deze verordening vallende AI-systemen, met uitzondering van AI-systemen die onder bijlage II bij deze verordening vallen. Voor AI-systemen die onder de in bijlage II vermelde rechtshandelingen vallen, moeten de bevoegde autoriteiten uit hoofde van die rechtshandelingen de leidende autoriteit blijven. De nationale toezichthoudende autoriteiten en de bevoegde autoriteiten in de in bijlage II vermelde rechtshandelingen moeten waar nodig samenwerken. In voorkomend geval moeten de bevoegde autoriteiten in de in bijlage II vermelde rechtshandelingen bevoegd personeel naar de nationale toezichthoudende autoriteit sturen om haar bij de uitvoering van haar taken bij te staan. Voor de toepassing van deze verordening moeten de nationale toezichthoudende autoriteiten dezelfde bevoegdheden en verplichtingen hebben als markttoezichtautoriteiten uit hoofde van Verordening (EU) 2019/1020. Waar noodzakelijk met het oog op hun taken, moeten nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling, ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld. Nadat alle andere redelijke manieren om de conformiteit te beoordelen of te verifiëren zijn uitgeput, moet de nationale toezichthoudende autoriteit op een met redenen omkleed verzoek toegang worden verleend tot de datareeksen voor training, validatie en tests, het getrainde model en het trainingsmodel van het AI-systeem met een hoog risico, met inbegrip van de relevante modelparameters en de uitvoerings-/werkomgeving ervan. In het geval van onder deze verordening vallende eenvoudigere softwaresystemen die niet gebaseerd zijn op getrainde modellen, en wanneer alle andere manieren om de conformiteit te verifiëren zijn uitgeput, kan de nationale toezichthoudende autoriteit bij wijze van uitzondering op een met redenen omkleed verzoek toegang krijgen tot de broncode. Wanneer de nationale toezichthoudende autoriteit overeenkomstig deze verordening toegang is verleend tot de datareeksen voor training, validatie en tests, moet die toegang worden verkregen met passende technische middelen en instrumenten, waaronder toegang ter plaatse en, in uitzonderlijke omstandigheden, toegang op afstand. De nationale toezichthoudende autoriteit moet alle verkregen informatie, met inbegrip van broncode, software en gegevens, voor zover van toepassing, als vertrouwelijke informatie behandelen en het toepasselijke Unierecht inzake de bescherming van intellectuele eigendom en bedrijfsgeheimen in acht nemen. De nationale toezichthoudende autoriteit moet alle verkregen informatie na afloop van het onderzoek wissen.

(80)

De wetgeving van de Unie inzake financiële diensten omvat regels en voorschriften met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, moeten de autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van, waar van toepassing, de Europese Centrale Bank, worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van deze verordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU van het Europees Parlement en de Raad (56) verder te verbeteren, is het ook passend om de procedure voor de conformiteitsbeoordeling en enkele van de procedurele verplichtingen van aanbieders in verband met het risicobeheer, de monitoring na het in de handel brengen en de documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitoringsverplichting voor gebruikers van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU.

(80)

De wetgeving van de Unie inzake financiële diensten omvat regels en voorschriften met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, moeten de bevoegde autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van, waar van toepassing, de Europese Centrale Bank, worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van deze verordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU van het Europees Parlement en de Raad (56) verder te verbeteren, is het ook passend om de procedure voor de conformiteitsbeoordeling en enkele van de procedurele verplichtingen van aanbieders in verband met het risicobeheer, de monitoring na het in de handel brengen en de documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitoringsverplichting voor exploitanten van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU.

(80 bis)

Gezien de doelstellingen van deze verordening, te weten het waarborgen van een gelijkwaardig niveau van bescherming van de gezondheid, de veiligheid en de grondrechten van natuurlijke personen en het garanderen van de bescherming van de rechtsstaat en de democratie, en rekening houdend met het feit dat het beperken van de risico’s van AI-systemen voor dergelijke rechten op nationaal niveau mogelijkerwijs onvoldoende kan worden gegarandeerd of verschillend kan worden geïnterpreteerd, hetgeen tot een ongelijk niveau van bescherming van natuurlijke personen en versnippering van de markt zou kunnen leiden, moet aan de nationale toezichthoudende autoriteiten de bevoegdheid worden verleend om met het oog op een doeltreffende handhaving gezamenlijke onderzoeken uit te voeren of gebruik te maken van de vrijwaringsprocedure van de Unie waarin deze verordening voorziet. Gezamenlijke onderzoeken moeten worden ingesteld in gevallen waarin de nationale toezichthoudende autoriteit voldoende reden heeft om te denken dat een inbreuk op deze verordening een wijdverbreide inbreuk of een wijdverbreide inbreuk met een Uniedimensie is, of het AI-systeem of het basismodel een risico vertegenwoordigt dat gevolgen heeft of waarschijnlijk gevolgen zal hebben voor ten minste 45 miljoen personen in meer dan één lidstaat.

(82)

Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de voorschriften van deze verordening , desalniettemin veilig zijn wanneer zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Richtlijn 2001/95/EG van het Europees Parlement en de Raad (57) als vangnet van toepassing zijn.

(82)

Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de voorschriften voor AI-systemen met een hoog risico , desalniettemin veilig zijn wanneer zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Richtlijn 2001/95/EG van het Europees Parlement en de Raad (57) als vangnet van toepassing zijn.

(83)

Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen.

(83)

Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening streven naar transparantie en openheid, met inachtneming van de vertrouwelijkheid van informatie en data die zij bij de uitvoering van hun taken verkrijgen , door technische en organisatorische maatregelen te treffen ter bescherming van de veiligheid en vertrouwelijkheid van de informatie die zij bij de uitvoering van hun activiteiten hebben verkregen, onder meer voor intellectuele-eigendomsrechten en openbare en nationale veiligheidsbelangen. Wanneer de activiteiten van de Commissie, nationale bevoegde autoriteiten en aangemelde instanties op grond van deze verordening leiden tot een inbreuk op intellectuele-eigendomsrechten, moeten de lidstaten voorzien in passende maatregelen en rechtsmiddelen om de handhaving van de intellectuele-eigendomsrechten te waarborgen overeenkomstig Richtlijn 2004/48/EG.

(84)

De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop. Voor bepaalde specifieke inbreuken moeten de lidstaten de marges en criteria van deze verordening in aanmerking nemen . De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om geldboeten op te leggen aan instellingen, agentschappen en organen van de Unie die vallen onder het toepassingsgebied van deze verordening.

(84)

Naleving van deze verordening moet kunnen worden afgedwongen middels het opleggen van geldboeten door de nationale toezichthoudende autoriteit, in het kader van door haar ingeleide procedures in overeenstemming met het bepaalde in deze verordening. De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop. Teneinde de administratieve straffen tegen inbreuken op deze verordening te versterken en te harmoniseren, moeten de maxima voor de vaststelling van de administratieve geldboeten voor bepaalde specifieke inbreuken worden vastgesteld. Bij de beoordeling van het bedrag van de geldboeten moeten de nationale bevoegde autoriteiten per afzonderlijk geval rekening houden met alle relevante omstandigheden van de specifieke situatie, met inachtneming van met name de aard, de ernst en de duur van de inbreuk, de gevolgen ervan en de omvang van de aanbieder, met name wanneer de aanbieder een kmo of een start-up is . De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om geldboeten op te leggen aan instellingen, organen en instanties van de Unie die vallen onder het toepassingsgebied van deze verordening. De sancties en proceskosten uit hoofde van deze verordening mogen niet aan contractuele bepalingen of enig andere regeling worden onderworpen.

(84 bis)

Aangezien de rechten en vrijheden van natuurlijke personen, rechtspersonen en groepen natuurlijke personen ernstig kunnen worden ondermijnd door AI-systemen, is het van essentieel belang dat natuurlijke personen en rechtspersonen of groepen natuurlijke personen betekenisvolle toegang hebben tot rapportage- en verhaalmechanismen en recht hebben op toegang tot evenredige en doeltreffende rechtsmiddelen. Zij moeten inbreuken op deze verordening aan hun nationale toezichthoudende autoriteit kunnen melden en het recht hebben een klacht in te dienen tegen de aanbieders of exploitanten van AI-systemen. In voorkomend geval moeten de exploitanten voorzien in interne klachtenmechanismen die door natuurlijke personen en rechtspersonen of groepen natuurlijke personen kunnen worden gebruikt. Onverminderd elke andere administratieve of buitengerechtelijke voorziening moeten natuurlijke personen, rechtspersonen en groepen natuurlijke personen daarnaast het recht hebben op een doeltreffende gerechtelijke voorziening in verband met een wettelijk bindend besluit van een nationale toezichthoudende autoriteit dat hen betreft, of indien de nationale toezichthoudende autoriteit een klacht niet in behandeling neemt, de indiener van een klacht niet informeert over de behandeling of de voorlopige uitkomst van de behandeling van de klacht, of zich niet houdt aan zijn verplichting om een definitief besluit te nemen.

(84 ter)

Wanneer exploitanten een AI-systeem met een hoog risico gebruiken om beslissingen te nemen of te helpen nemen met betrekking tot natuurlijke personen, moeten de betrokken personen altijd ervan in kennis worden gesteld dat er een AI-systeem met een hoog risico op hen wordt toegepast. Deze informatie kan de betrokken personen een basis bieden om hun recht op uitleg uit hoofde van deze verordening uit te oefenen. Wanneer exploitanten de betrokken personen uit hoofde van deze verordening uitleg geven, moeten zij rekening houden met het niveau van deskundigheid en kennis van de gemiddelde consument of persoon.

(84 quater)

De Uniewetgeving betreffende de bescherming van klokkenluiders (Richtlijn (EU) 2019/1937) is volledig van toepassing op academici, ontwerpers, ontwikkelaars, projectcontribuanten, auditors, productmanagers, ingenieurs en marktdeelnemers die informatie verkrijgen over inbreuken op het Unierecht door een aanbieder van AI-systemen of zijn AI-systeem.

(85)

Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet de Commissie de bevoegdheid krijgen om overeenkomstig artikel 290 VWEU handelingen vast te stellen teneinde wijzigingen aan te brengen in de technieken en benaderingen van bijlage I voor het definiëren van AI-systemen, de in de lijst van bijlage II opgenomen harmonisatiewetgeving van de Unie, de in de lijst van bijlage III opgenomen AI-systemen met een hoog risico, de bepalingen inzake technische documentatie van bijlage IV, de inhoud van de EU-conformiteitsverklaring van bijlage V, de bepalingen inzake de procedures voor de conformiteitsbeoordeling van de bijlagen VI en VII en de bepalingen inzake de vaststelling van de AI-systemen met een hoog risico waarop de procedure voor de conformiteitsbeoordeling op basis van de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie van toepassing moet zijn. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven (58). Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

(85)

Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet de Commissie de bevoegdheid krijgen om overeenkomstig artikel 290 VWEU handelingen vast te stellen teneinde wijzigingen aan te brengen in de in de lijst van bijlage II opgenomen harmonisatiewetgeving van de Unie, de in de lijst van bijlage III opgenomen AI-systemen met een hoog risico, de bepalingen inzake technische documentatie van bijlage IV, de inhoud van de EU-conformiteitsverklaring van bijlage V, de bepalingen inzake de procedures voor de conformiteitsbeoordeling van de bijlagen VI en VII en de bepalingen inzake de vaststelling van de AI-systemen met een hoog risico waarop de procedure voor de conformiteitsbeoordeling op basis van de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie van toepassing moet zijn. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven (58) . Bij deze raadplegingen moet een evenwichtige selectie van belanghebbenden worden betrokken, waaronder consumentenorganisaties, het maatschappelijk middenveld, verenigingen die de betrokken personen vertegenwoordigen, vertegenwoordigers uit verschillende sectoren van het bedrijfsleven en van bedrijven van verschillende omvang, alsmede onderzoekers en wetenschappers . Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

(85 bis)

Gezien de snelle technologische ontwikkelingen en de vereiste technische deskundigheid bij de beoordeling van AI-systemen met een hoog risico, moet de Commissie de uitvoering van deze verordening, met name de verboden AI-systemen, de transparantieverplichtingen en de lijst van gebieden met een hoog risico en praktijkvoorbeelden, regelmatig en ten minste jaarlijks evalueren en daarbij het AI-bureau en de relevante belanghebbenden raadplegen.

(87 bis)

Aangezien betrouwbare informatie over het hulpbronnen- en energieverbruik, de afvalproductie en andere milieueffecten van AI-systemen en aanverwante ICT-technologie, met inbegrip van software, hardware en met name datacentra, beperkt is, moet de Commissie een passende methode invoeren om het milieueffect en de doeltreffendheid van deze verordening te meten in het licht van de milieu- en klimaatdoelstellingen van de Unie.

(89)

Overeenkomstig artikel 42, lid 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op […] hebben zij een advies uitgebracht.

(89)

Overeenkomstig artikel 42, lid 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op 18 juni 2021 hebben zij een advies uitgebracht.

1.

d)

geharmoniseerde transparantievoorschriften voor AI-systemen die met natuurlijke personen moeten interageren, systemen voor het herkennen van emoties en systemen voor biometrische categorisering, evenals voor AI-systemen die worden gebruikt om beeld-, audio- of video-inhoud te genereren of te manipuleren ;

d)

geharmoniseerde transparantievoorschriften voor bepaalde AI-systemen;

e)

regels inzake markttoezicht en -monitoring.

e)

regels inzake markttoezicht , marktmonitoring, governance en handhaving;

e bis)

maatregelen ter ondersteuning van innovatie, met bijzondere aandacht voor kmo’s en start-ups, met inbegrip van de oprichting van testomgevingen voor regelgeving en gerichte maatregelen om de regeldruk voor kmo’s en start-ups te verminderen;

e ter)

regels voor de oprichting en werking van het Bureau voor artificiële intelligentie (AI-bureau) van de Unie.

b)

gebruikers van AI-systemen die zich in de Unie bevinden ;

b)

exploitanten van AI-systemen die gevestigd zijn of zich bevinden in de Unie;

c)

aanbieders en gebruikers van AI-systemen die zich in een derde land bevinden wanneer de output van het systeem in de Unie wordt gebruikt.

c)

aanbieders en exploitanten van AI-systemen die gevestigd zijn of zich bevinden in een derde land wanneer het lidstatelijke recht van toepassing is krachtens internationaal publiekrecht of de output van het systeem bedoeld is om in de Unie te worden gebruikt;

c bis)

aanbieders die in artikel 5 bedoelde AI-systemen buiten de Unie in de handel brengen of in gebruik stellen, terwijl de aanbieder of distributeur van dergelijke systemen zich in de Unie bevindt;

c ter)

importeurs en distributeurs van AI-systemen, alsook gemachtigden van aanbieders van AI-systemen, indien die importeurs, distributeurs of gemachtigden gevestigd zijn of zich bevinden in de Unie;

c quater)

betrokken personen als gedefinieerd in artikel 3, punt 8 bis, die zich in de Unie bevinden en wier gezondheid, veiligheid of grondrechten negatief worden beïnvloed door het gebruik van een AI-systeem dat in de Unie in de handel wordt gebracht of in gebruik wordt gesteld.

a)

Verordening (EG) nr. 300/2008;

b)

Verordening (EU) nr. 167/2013;

c)

Verordening (EU) nr. 168/2013;

d)

Richtlijn 2014/90/EU;

e)

Richtlijn (EU) 2016/797;

f)

Verordening (EU) 2018/858;

g)

Verordening (EU) 2018/1139;

h)

Verordening (EU) 2019/2144.