ADVIES VAN DE EUROPESE CENTRALE BANK

van 29 december 2021

inzake een voorstel voor een verordening tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie

(CON/2021/40)

(2022/C 115/05)

Inleiding en rechtsgrondslag

Op 3 november 2021 ontving de Europese Centrale Bank (ECB) van de Raad van de Europese Unie een verzoek om een advies inzake een voorstel (1) voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (Wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (hierna “de ontwerpverordening” genoemd).

De adviesbevoegdheid van de ECB is gebaseerd op artikel 127, lid 4, en artikel 282, lid 5, van het Verdrag betreffende de werking van de Europese Unie, aangezien de ontwerpverordening bepalingen bevat die onder de bevoegdheid van de ECB vallen, met name met betrekking tot de taken van de ECB met betrekking tot het prudentieel toezicht op kredietinstellingen overeenkomstig artikel 127, lid 6, van het Verdrag. Overeenkomstig de eerste zin van artikel 17.5 van het reglement van orde van de Europese Centrale Bank heeft de Raad van bestuur dit advies goedgekeurd.

1.   Algemene opmerkingen

1.1.

De ECB is ingenomen met de doelstelling van de ontwerpverordening om de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen voor de ontwikkeling, het op de markt brengen en het gebruik van betrouwbare artificiële intelligentie (AI) in overeenstemming met de waarden van de Unie. De ECB erkent het belang van het vaststellen van specifieke geharmoniseerde vereisten voor AI-systemen om een consistent en hoog niveau van bescherming van dwingende redenen van algemeen belang, zoals gezondheid, veiligheid en grondrechten, te waarborgen.

1.2.

De ECB erkent voorts het toenemende belang van op AI gebaseerde innovatie in de banksector. Rekening houdend met de inherente grensoverschrijdende aard en de mogelijkheden voor AI-innovatie in bankactiviteiten, is de ECB, zijnde de prudentiële toezichthouder op het niveau van de Unie, een groot voorstander van de noodzaak om de geharmoniseerde uitvoering van de ontwerpverordening door kredietinstellingen te waarborgen voor wat betreft prudentiële risico’s en vereisten. In dezelfde geest, en gezien het toenemende belang van AI, wordt de Uniewetgever verzocht in de toekomst na te denken over de mogelijkheid om op het niveau van de Unie een onafhankelijke AI-autoriteit op te richten die verantwoordelijk is voor de geharmoniseerde toepassing van de ontwerpverordening in de gehele interne markt met betrekking tot aangelegenheden die specifiek zijn voor gezondheid, veiligheid en grondrechten.

1.3.

Wat betreft AI-systemen met een hoog risico die door kredietinstellingen worden aangeboden of gebruikt, begrijpt de ECB dat de ontwerpverordening bepaalde verplichtingen integreert in de procedures van Richtlijn 2013/36/EU van het Europees Parlement en de Raad (2) (hierna de “RKV” genoemd). De ontwerpverordening beoogt met name de samenhang met de RKV te verbeteren door een aantal van de risicobeheers- en governanceverplichtingen van aanbieders en gebruikers te integreren in het interne governancesysteem van kredietinstellingen (3). Gezien de nieuwheid en complexiteit van AI en de hoge normen van de ontwerpverordening is verdere begeleiding nodig om de verwachtingen van het toezicht inzake de verplichtingen met betrekking tot interne governance te verduidelijken.

1.4.

De ECB is ingenomen met het voornemen van de ontwerpverordening om overlappingen met het bestaande wetgevingskader te voorkomen door sommige bepalingen ervan op te nemen in de relevante bepalingen van de RKV (4). In dit verband is de ECB ingenomen met het feit dat de verplichting voor kredietinstellingen die aanbieders zijn van AI-systemen met een hoog risico om een kwaliteitsbeheersysteem op te zetten en de verplichting voor kredietinstellingen die gebruikers zijn van AI-systemen met een hoog risico om toezicht te houden op de werking van het systeem, geacht wordt te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven die zijn vastgesteld in de desbetreffende bepalingen van de RKV (5).

1.5.

De ECB benadrukt dat de ontwerpverordening geen afbreuk mag doen aan de specifiekere of strengere prudentiële verplichtingen van kredietinstellingen die zijn vastgelegd in sectorale regelgeving en zijn aangevuld met begeleidend toezicht. Zo strekken de interne governanceverplichtingen van de kredietinstellingen die gebruikers zijn van AI-systemen in het kader van de RKV (6) zich uit tot de effectieve controle op uitbestedingsregelingen, met inbegrip van de identificatie, beoordeling en beperking van alle daaraan verbonden risico’s, zoals verder uitgewerkt in de EBA-richtsnoeren inzake uitbesteding (7). Hoewel de ontwerpverordening verschillende verplichtingen toekent aan aanbieders en gebruikers van AI-systemen met een hoog risico, wordt in de EBA-richtsnoeren inzake uitbesteding een dergelijk onderscheid niet gemaakt in de context van uitbesteding tussen derden-aanbieders van technologische oplossingen en kredietinstellingen. In dit verband doet uitbesteding niet af aan de verplichting van kredietinstellingen om aan de regelgevingsvereisten te voldoen, en blijft de prudentiële toezichthouder bevoegd om toezicht te houden op de prudentiële risico’s die verbonden zijn aan uitbestede taken. Tegen deze achtergrond zou de ECB verdere verduidelijkingen toejuichen met betrekking tot de toepasselijke vereisten en de bevoegde autoriteiten met betrekking tot de uitbesteding van AI-systemen met een hoog risico door kredietinstellingen die gebruikers zijn.

1.6.

De rol van de ECB in het kader van de ontwerpverordening moet worden verduidelijkt, met name wat betreft: 1) de prudentiële toezichtbevoegdheden van de ECB in het algemeen en met betrekking tot markttoezicht en conformiteitsbeoordeling; en 2) de toepassing van de ontwerpverordening op de uitvoering van de taken van de ECB uit hoofde van het Verdrag.

1.7.

De ECB blijft zich inzetten voor een technologieneutrale aanpak bij het prudentieel toezicht op kredietinstellingen. Het is de taak van de ECB om de veiligheid en soliditeit van kredietinstellingen te waarborgen en een hoog niveau van prudentieel toezicht te handhaven, ongeacht de toepassing van een specifieke technologische oplossing. De ECB streeft ernaar een gelijk speelveld te handhaven voor het prudentieel toezicht op kredietinstellingen, volgens het leidende beginsel “dezelfde activiteit, dezelfde risico’s, hetzelfde toezicht” (8).

2.   De rol van de ECB uit hoofde van de ontwerpverordening

2.1.   Verduidelijking van de prudentiële toezichtbevoegdheden van de ECB met betrekking tot markttoezicht

2.1.1.

De ontwerpverordening bepaalt dat Verordening (EU) 2019/1020 van het Europees Parlement en de Raad (9) van toepassing is op AI-systemen die onder de ontwerpverordening (10) vallen, en dat elke verwijzing naar een product uit hoofde van Verordening (EU) 2019/1020 moet worden opgevat als een verwijzing naar alle AI-systemen die binnen het toepassingsgebied van de ontwerpverordening vallen (11). In dit verband merkt de ECB op dat Verordening (EU) 2019/2020 tot doel heeft de werking van de interne markt te verbeteren door het markttoezicht op producten die onder de harmonisatiewetgeving van de Unie vallen, te versterken teneinde ervoor te zorgen dat alleen conforme producten die voldoen aan vereisten die een hoog niveau van bescherming van algemene belangen bieden, zoals gezondheid en veiligheid in het algemeen, gezondheid en veiligheid op het werk, consumentenbescherming, milieubescherming en openbare veiligheid en andere door de harmonisatiewetgeving van de Unie beschermde openbare belangen, in de Unie in de handel worden gebracht (12).

2.1.2.

In de ontwerpverordening wordt de markttoezichtautoriteit gedefinieerd als de nationale autoriteit die de activiteiten uitvoert en de maatregelen neemt als bedoeld in Verordening (EU) 2019/1020 (13). In Verordening (EU) 2019/1020 wordt de markttoezichtautoriteit gedefinieerd als een autoriteit die krachtens Verordening (EU) 2019/1020 door een lidstaat is aangewezen als verantwoordelijk voor het uitvoeren van markttoezicht op het grondgebied van die lidstaat (14). Bovendien wordt in overweging 9 van Verordening (EU) 2019/1020 verduidelijkt dat de verantwoordelijkheid voor de handhaving van de harmonisatiewetgeving van de Unie bij de lidstaten moet berusten en dat hun markttoezichtautoriteiten erop toe moeten zien dat de wetgeving volledig wordt nageleefd (15). Op basis hiervan begrijpt de ECB dat de ECB op grond van de ontwerpverordening op geen enkele wijze een markttoezichtautoriteit is.

2.1.3.

De ontwerpverordening bepaalt evenwel ook dat voor AI-systemen die in de handel worden gebracht, in gebruik worden genomen of worden gebruikt door financiële instellingen die onder Uniewetgeving inzake financiële diensten vallen, de markttoezichtautoriteit voor de toepassing van de ontwerpverordening de relevante autoriteit is die verantwoordelijk is voor het financiële toezicht op die instellingen krachtens die wetgeving (16). Bovendien wordt in overweging 80 van de ontwerpverordening verduidelijkt dat de wetgeving van de Unie inzake financiële diensten regels en voorschriften omvat met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Voorts wordt verduidelijkt dat met het oog op een coherente toepassing en handhaving van de verplichtingen uit hoofde van de ontwerpverordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, de autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van de ECB, moeten worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van de ontwerpverordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. In dit verband wordt ook gewezen op de noodzaak om de samenhang tussen de ontwerpverordening en de regels die van toepassing zijn op kredietinstellingen die onder de RKV vallen, verder te verbeteren.

2.1.4.

Krachtens artikel 127, lid 6, van het Verdrag kan de Raad met eenparigheid van stemmen aan de ECB specifieke taken toevertrouwen betreffende het beleid op het gebied van het prudentieel toezicht op kredietinstellingen en andere financiële instellingen, met uitzondering van verzekeringsondernemingen. Op grond daarvan worden bij Verordening (EU) nr. 1024/2013 van de Raad (17) (hierna de “GTM-verordening” genoemd) aan de ECB specifieke taken betreffende het beleid op het gebied van het prudentieel toezicht op kredietinstellingen opgedragen, teneinde bij te dragen aan de veiligheid en de soliditeit van kredietinstellingen en de stabiliteit van het financiële stelsel in de Unie en elke lidstaat, daarbij ten volle rekening houdend met en zorg dragend voor de eenheid en integriteit van de interne markt, die op gelijke behandeling van kredietinstellingen berust teneinde regelgevingsarbitrage te voorkomen (18). In dit verband is de ECB met het oog op prudentieel toezicht exclusief bevoegd om te zorgen voor de naleving van alle relevante handelingen van de Unie op grond waarvan kredietinstellingen moeten beschikken over onder meer solide risicobeheerprocessen en mechanismen voor interne controle (19). De rol van de ECB op het gebied van prudentieel toezicht is in dit verband beperkt tot het waarborgen dat kredietinstellingen beleid en processen ten uitvoer leggen om hun blootstelling aan prudentieel risico te evalueren en te beheren, met inbegrip van risico’s die verband houden met verschillende aspecten van de bedrijfsmodellen, governance en operationele risico’s van banken, en die voortvloeien uit het gebruik van technologische oplossingen om de veiligheid en soliditeit van kredietinstellingen en de stabiliteit van het financiële stelsel te waarborgen (20).

2.1.5.

Markttoezicht heeft niet tot doel de veiligheid en soliditeit van kredietinstellingen te waarborgen, maar is in plaats daarvan gericht op de bescherming van de belangen van personen die mogelijk gevolgen ondervinden van onrechtmatige AI-systemen door ervoor te zorgen dat dergelijke systemen voldoen aan de vereisten die nodig zijn om een hoog niveau van bescherming van openbare belangen, zoals de gezondheid en veiligheid van personen, te waarborgen. De ECB begrijpt dan ook dat het niet de bedoeling is van de Uniewetgever dat de ECB op grond van de ontwerpverordening optreedt als markttoezichtautoriteit met betrekking tot kredietinstellingen die onder haar toezicht vallen. Deze conclusie is in overeenstemming met de overwegingen van de GTM-verordening, waarin wordt verduidelijkt dat de nationale autoriteiten bevoegd zijn om een hoog niveau van consumentenbescherming te verzekeren (21).

2.1.6.

Op basis daarvan stelt de ECB voor dat, met het oog op consistentie met de prudentiële toezichtbevoegdheden van de ECB uit hoofde van artikel 127, lid 6, van het Verdrag en de GTM-verordening, de tekst van de ontwerpverordening ondubbelzinnig moet verduidelijken dat de ECB niet wordt aangewezen als markttoezichtautoriteit of belast is met enige markttoezichttaak.

2.1.7.

Hoewel de taken op het gebied van markttoezicht niet aan de ECB zijn opgedragen, kunnen bepaalde lidstaten overwegen om nationale bevoegde autoriteiten die betrokken zijn bij het toezicht op kredietinstellingen aan te wijzen als verantwoordelijk voor het markttoezicht in het kader van de ontwerpverordening, voor zover hun mandaat dit toelaat en in ieder geval voor zover markttoezichttaken van toepassing zijn op situaties waarin een AI-systeem voor eigen gebruik in gebruik wordt genomen. De aanwijzing van nationale bevoegde autoriteiten die momenteel betrokken zijn bij het toezicht op kredietinstellingen als verantwoordelijke voor dergelijk markttoezicht, kan worden gezien als een waarborg voor de samenhang en kosteneffectiviteit van de toezichtresultaten, waarbij gebruik wordt gemaakt van de deskundigheid die deze autoriteiten hebben benut bij het aanwenden van hun onderzoeks- en toezichtbevoegdheden met betrekking tot kredietinstellingen.

2.1.8.

Tot slot merkt de ECB op dat de bepalingen inzake markttoezicht van de ontwerpverordening onvoldoende betrekking hebben op situaties waarin een AI-systeem voor eigen gebruik in bedrijf wordt gesteld. Zo kan bijvoorbeeld de bevoegdheid van markttoezichtautoriteiten uit hoofde van de ontwerpverordening om een AI-systeem terug te roepen of uit de handel te nemen, mogelijkerwijs niet de stopzetting van dat systeem teweegbrengen in situaties van eigen gebruik (22). De Uniewetgever wordt derhalve verzocht te verduidelijken welke beperkende maatregelen en aanverwante bevoegdheden van de bevoegde autoriteiten van toepassing moeten zijn op situaties van eigen gebruik.

2.2.   Verduidelijking van de prudentiële toezichtbevoegdheden van de ECB op het gebied van conformiteitsbeoordeling

2.2.1.

De ontwerpverordening bepaalt (23) dat voor AI-systemen met een hoog risico die bestemd zijn om te worden gebruikt om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen (24), en die door kredietinstellingen in de handel worden gebracht of in gebruik worden gesteld, in het kader van het proces van toetsing en evaluatie door de toezichthouder (SREP) een conformiteitsbeoordeling moet worden uitgevoerd (25). In de ontwerpverordening wordt de conformiteitsbeoordeling gedefinieerd (26) als het proces om na te gaan of aan de in de ontwerpverordening vastgestelde verplichte eisen voor AI-systemen met een hoog risico (27) is voldaan.

2.2.2.

Zoals eerder opgemerkt, heeft de Raad krachtens artikel 127, lid 6, van het Verdrag aan de ECB specifieke taken opgedragen betreffende het beleid op het gebied van het prudentieel toezicht op kredietinstellingen, om onder meer bij te dragen aan de veiligheid en soliditeit van kredietinstellingen en de stabiliteit van het financiële stelsel in de Unie en in elke lidstaat (28). Om te voorkomen dat de haar bij het Verdrag opgedragen taken worden overschreden, benadrukt de ECB dat zij mogelijk in staat is toezicht te houden op de uitvoering van de relevante vereisten in het kader van het SREP en zich daarbij te concentreren op de prudentiële risico’s waaraan kredietinstellingen kunnen worden blootgesteld. In dit verband wordt de Uniewetgever verzocht na te gaan in hoeverre verschillende elementen van de conformiteitsbeoordeling mogelijk niet prudentieel van aard zijn, voor zover zij grotendeels betrekking hebben op de technische beoordeling van AI-systemen om de gezondheid en veiligheid van personen te waarborgen en ervoor te zorgen dat de grondrechten worden geëerbiedigd door het risico op onjuiste of vooringenomen processen met AI-ondersteuning tot een minimum te beperken. Met name vereisen de relevante bepalingen van de ontwerpverordening dat AI-systemen met een hoog risico worden ontworpen of ontworpen en ontwikkeld 1) op basis van datareeksen voor training, validatie en tests die voldoen aan bepaalde kwaliteitscriteria, indien zij technieken gebruiken die het trainen van modellen met data omvatten; 2) met capaciteiten die de automatische registratie van gebeurtenissen (hierna “logs” genoemd) mogelijk maken, zodat een mate van traceerbaarheid wordt gewaarborgd van de werking van het systeem tijdens de levensduur ervan die passend is voor het beoogde doel van het systeem; 3) zodanig dat hierop op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen, inclusief mens/machine-interface-instrumenten, teneinde de risico’s voor de gezondheid, de veiligheid of de grondrechten die zich bij het gebruik van een AI-systeem met een hoog risico kunnen voordoen, te voorkomen of tot een minimum te beperken; en 4) met het oog op het bereiken van een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging (29). Zoals verduidelijkt in de overwegingen van de ontwerpverordening, zijn deze vereisten met betrekking tot de kwaliteit van de gebruikte datareeksen, technische documentatie en het bijhouden van registers, transparantie en de verstrekking van informatie aan gebruikers, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging noodzakelijk om de risico’s voor de gezondheid, de veiligheid en de grondrechten doeltreffend te beperken (30).

2.2.3.

Tegen deze achtergrond wordt de Uniewetgever verzocht verder na te denken over de noodzaak om de relevante bevoegde autoriteiten aan te wijzen als verantwoordelijk voor het toezicht op de door kredietinstellingen uitgevoerde conformiteitsbeoordeling op het gebied van gezondheid, veiligheid en grondrechten, en na te denken over de noodzaak om de geharmoniseerde toepassing van de ontwerpverordening in de gehele interne markt te waarborgen door in de toekomst een AI-autoriteit op het niveau van de Unie op te richten.

2.2.4.

Bovendien zijn bepaalde vereisten voor AI-systemen met een hoog risico niet geheel duidelijk of specifiek genoeg om voldoende inzicht te geven ter onderbouwing van de verwachtingen van het toezicht. Zo zou bijvoorbeeld het vereiste dat datareeksen voor training, validatie en tests relevant, representatief, foutenvrij en volledig (31) moeten zijn, wellicht verder verduidelijkt moeten worden. Gezien de ruime reikwijdte van het mandaat dat aan de Europese normalisatie-instellingen (32) is verleend en bijgevolg het potentiële risico dat de in de ontwerpverordening vastgestelde normen worden verzwakt, moeten de in de ontwerpverordening vastgestelde vereisten met betrekking tot AI-systemen met een hoog risico voldoende specifiek zijn.

2.2.5.

Tot slot begrijpt de ECB dat de conformiteitsbeoordeling voor AI-systemen die door kredietinstellingen worden verstrekt om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen, deel uitmaakt van een voorafgaande door de kredietinstelling uitgevoerde interne controle (33). In dit verband moet de ontwerpverordening (34) worden gewijzigd om rekening te houden met het ex-postkarakter van de specifieke beoordeling die door de prudentiële toezichthouder in het kader van het SREP moet worden uitgevoerd.

2.3.   Algemene verduidelijking van de prudentiële toezichtbevoegdheden van de ECB

De ECB kan slechts als een bevoegde autoriteit worden beschouwd voor zover dit voor haar noodzakelijk is voor de uitvoering van de haar bij de GTM-verordening opgedragen taken. Om rechtsonzekerheid over de vraag of de ontwerpverordening nieuwe taken toekent aan de ECB te voorkomen, stelt de ECB voor dat de ontwerpverordening niet rechtstreeks verwijst naar de ECB als bevoegde autoriteit, maar in plaats daarvan zou moeten verwijzen naar bevoegde autoriteiten zoals gedefinieerd in de desbetreffende handelingen van het Unierecht, zoals de RKV. Uit de GTM-verordening zou dan volgen dat de ECB alleen voor de uitoefening van haar taken op het gebied van prudentieel toezicht als bevoegde autoriteit moet worden beschouwd (35).

2.4.   Verduidelijking van de onafhankelijkheid van de ECB bij de uitvoering van haar taken uit hoofde van het Verdrag

De ECB begrijpt dat wanneer zij optreedt als aanbieder die AI-systemen in de Unie in de handel brengt of in gebruik neemt, of als gebruiker van AI-systemen in de Unie, zij mogelijk zelf onder de ontwerpverordening valt (36). Hetzelfde geldt voor de nationale centrale banken (NCB’s). De ontwerpverordening bepaalt dat wanneer instellingen van de Unie binnen het toepassingsgebied daarvan vallen, de Europese Toezichthouder voor gegevensbescherming (EDPS) optreedt als de bevoegde autoriteit voor het toezicht daarop en als hun markttoezichtautoriteit (37). De NCB’s kunnen onder toezicht staan van nationale bevoegde autoriteiten (38). In dit verband is het van belang te benadrukken dat de ECB en de NCB’s in staat moeten zijn om de hun bij het Verdrag (39) opgedragen taken onafhankelijk uit te voeren, bijvoorbeeld wanneer zij een AI-toepassing gebruiken om monetair beleid te bepalen en uit te voeren en de goede werking van betalingssystemen te bevorderen (40). Niettemin moet worden erkend dat de onafhankelijkheid van het ESCB bij de uitoefening van zijn taken het ESCB niet vrijstelt van elke regel van het recht van de Unie (41). De ECB begrijpt dat elk eventueel toezicht op de ECB door de EDPS en op de NCB’s door de nationale bevoegde autoriteiten beperkt zou blijven tot behoorlijke controle op en governance van een AI-systeem, en geenszins bedoeld zou zijn om afbreuk te doen aan het vermogen van de ECB en de NCB’s om de hun bij het Verdrag opgedragen taken onafhankelijk uit te voeren.

3.   Indeling van AI-systemen

3.1.

De ontwerpverordening is bedoeld om te zorgen voor een evenredig regelgevingskader ten opzichte van de doelstellingen ervan door een risicogebaseerde aanpak te hanteren die alleen regelgevingslasten met zich meebrengt wanneer een AI-systeem waarschijnlijk grote risico’s voor de grondrechten en de veiligheid met zich meebrengt. Niettemin geeft de ontwerpverordening, die vooruitloopt op toekomstige ontwikkelingen op het gebied van AI-technologie, een ruime definitie van software die als AI-systeem kan worden aangemerkt. Als gevolg daarvan wordt software die wordt ontwikkeld om resultaten te genereren zoals inhoud, voorspellingen, aanbevelingen of beslissingen, waarbij gebruik wordt gemaakt van statistische benaderingen en benaderingen voor machinaal leren, alsook zoek- en optimaliseringsmethoden, aangemerkt als een AI-systeem (42). Deze ruime definitie zou een verscheidenheid aan activiteiten van kredietinstellingen omvatten, met name met betrekking tot systemen die bedoeld zijn om de kredietscore van natuurlijke personen vast te stellen.

3.2.

Op grond van de ontwerpverordening (43) zou het overgrote deel van de kredietscoringactiviteiten waarbij gebruik wordt gemaakt van AI-systemen automatisch worden onderworpen aan de horizontale minimumeisen die worden opgelegd aan AI-systemen met een hoog risico. Als gevolg daarvan zouden verschillende activiteiten, met inbegrip van acquisitiedoelstellingen voor marketing, het modelleren van collecties en standaardmodellen voor kredietscores (bv. een scorecard met logistieke regressie), aan dezelfde vereisten moeten voldoen. Om de verwachtingen omtrent toezicht duidelijker te maken en in overeenstemming met de technologieneutrale benadering van de ECB, wordt voorgesteld dat AI-systemen die bedoeld zijn om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen en die een hefboomeffect hebben op het op zichzelf staande gebruik van lineaire of logistieke regressie of beslissingsbomen onder menselijk toezicht, niet als AI-systemen met een hoog risico mogen worden geclassificeerd, mits het effect van dergelijke benaderingen op de beoordeling van de kredietwaardigheid of de kredietscore van natuurlijke personen gering is.

3.3.

Aangezien kredietinstellingen in de dagelijkse praktijk regelmatig kredietscoringactiviteiten uitvoeren, stelt de ECB voor dat de inwerkingtreding van vereisten die betrekking hebben op de kwalificatie van AI-systemen die bedoeld zijn om te worden gebruikt om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore als “AI-systemen met een hoog risico” vast te stellen, moet worden uitgesteld tot de Commissie ten aanzien hiervan gemeenschappelijke specificaties (44) heeft vastgesteld. Met name moeten deze gemeenschappelijke specificaties zowel de voorwaarden omschrijven waaronder AI-systemen met een hoog risico op dit gebied geacht worden in overeenstemming te zijn met de toepasselijke eisen, als bepalen wanneer AI-systemen moeten worden beschouwd als “door kleine aanbieders voor eigen gebruik in gebruik genomen”, en derhalve binnen het toepassingsgebied vallen van de uitzondering op de kwalificatie als AI-systeem met een hoog risico (45). Tegen deze achtergrond moet de ECB worden opgenomen in de lijst van organen die worden geraadpleegd vóór de vaststelling van dergelijke gemeenschappelijke specificaties, wanneer deze betrekking hebben op AI-systemen die bedoeld zijn om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen (46).

3.4.

Tot slot is de ECB ingenomen met de mogelijkheid om de lijst van AI-systemen met een hoog risico in bijlage III bij de ontwerpverordening te actualiseren (47), en staat zij klaar om samen te werken met en te worden geraadpleegd door de Commissie bij het identificeren van verdere potentiële risico’s van AI-systemen die een risico op schade aan de gezondheid en veiligheid of een risico op negatieve gevolgen voor de grondrechten kunnen vormen. Afgezien van AI-systemen die worden gebruikt om de kredietscore of kredietwaardigheid van natuurlijke personen te beoordelen, worden in de ontwerpverordening andere systemen die specifiek door kredietinstellingen in gebruik kunnen worden genomen, niet als risicovol aangemerkt. Niettemin ontwikkelen of overwegen kredietinstellingen de ontwikkeling en het gebruik van AI-gegevensmodellen die verkoop-, transactie- en prestatiegegevens met elkaar verbinden om een duidelijk overzicht te krijgen van het gedragsrisico op een bepaald gebied. Op dezelfde wijze kunnen AI-systemen worden gebruikt bij het realtime monitoren van betalingen of het opstellen van profielen van cliënten of transacties voor de bestrijding van witwassen en terrorismefinanciering. Daar waar de ECB een wijziging van de ontwerpverordening aanbeveelt, wordt daartoe in een apart technisch werkdocument een specifiek onderbouwd formuleringsvoorstel opgenomen, aangevuld met een toelichting. Het technische werkdocument is in de Engelse taal beschikbaar op Eur-Lex.

---

(1)  COM (2021) 206 final.

(2)  Richtlijn 2013/36/EU van het Europees Parlement en de Raad van 26 juni 2013 betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht op kredietinstellingen en beleggingsondernemingen, tot wijziging van Richtlijn 2002/87/EG en tot intrekking van de Richtlijnen 2006/48/EG en 2006/49/EG (PB L 176 van 27.6.2013, blz. 338).

(3)  Zie artikel 9, lid 9, artikel 18, lid 2, artikel 20, lid 2, en artikel 29, lid 5, van de ontwerpverordening en artikel 74 van de RKV.

(4)  Zie artikel 74 van de RKV.

(5)  Zie artikel 17, lid 3, en artikel 29, lid 4, van de ontwerpverordening.

(6)  Zie artikel 74 van de RKV.

(7)  Zie de EBA-Richtsnoeren inzake uitbesteding (https://www.eba.europa.eu/regulation-and-policy/internal-governance/guidelines-on-outsourcing-arrangements).

(8)  Zie Andrea Enria, voorzitter van de raad van toezicht van de ECB, “A binary future? How digitalisation might change banking”, De Nederlandsche Bank, Amsterdam, 11 maart 2019, beschikbaar in het Engels op de ECB-website voor bankentoezicht onder: www.bankingsupervision.europa.eu.

(9)  Verordening (EU) 2019/1020 van het Europees Parlement en de Raad van 20 juni 2019 betreffende markttoezicht en conformiteit van producten en tot wijziging van Richtlijn 2004/42/EG en de Verordeningen (EG) nr. 765/2008 en (EU) nr. 305/2011 (PB l 169 van 25.6.2019, blz. 1).

(10)  Zie artikel 63, lid 1, van de ontwerpverordening.

(11)  Zie artikel 63, lid 1, punt b), van de ontwerpverordening.

(12)  Zie artikel 1, lid 1, van Verordening (EU) 2019/1020.

(13)  Zie artikel 3, lid 26, van de ontwerpverordening.

(14)  Zie artikel 3, lid 4, van Verordening (EU) 2019/1020.

(15)  Zie overweging 9 van Verordening (EU) 2019/1020.

(16)  Zie artikel 63, lid 4, van de ontwerpverordening.

(17)  Verordening (EU) nr. 1024/2013 van 15 oktober 2013 van de Raad waarbij aan de Europese Centrale Bank specifieke taken worden opgedragen betreffende het beleid inzake het prudentieel toezicht op kredietinstellingen (PB L 287 van 29.10.2013, blz. 63).

(18)  Zie artikel 1, lid 1 van de GTM-verordening.

(19)  Zie artikel 4, lid 1, punt e), van de GTM-verordening.

(20)  Zie overweging 30 van de GTM-verordening, alsook bladzijden 53 en 54 van de “Reactie van ESCB/Europees bankentoezicht op de openbare raadpleging van de Europese Commissie over een nieuwe strategie voor het digitale geldwezen voor Europa/FinTech-actieplan” (augustus 2020), beschikbaar op de website van het bankentoezicht van de ECB.

(21)  Zie de overwegingen 28 en 29 van de GTM-verordening.

(22)  Zie artikel 3, punten (16) en (17), artikel 65, lid 2, tweede alinea, en de artikelen 65, lid 5 en 67, lid 1 van de ontwerpverordening.

(23)  Zie artikel 19, lid 2, en artikel 43, lid 2, van de ontwerpverordening.

(24)  Zie punt 5 b) van bijlage III bij de ontwerpverordening.

(25)  Het SREP wordt behandeld in de artikelen 97 tot en met 101 van de RKV.

(26)  Zie artikel 3, lid 20, van de ontwerpverordening.

(27)  Zie de artikelen 8 tot en met 15 van hoofdstuk 2 van titel III van de ontwerpverordening.

(28)  Zie artikel 1, lid 1 van de GTM-verordening.

(29)  Zie de artikelen 10, 12, 14 en 15 van de ontwerpverordening.

(30)  Zie overweging 43 van de ontwerpverordening.

(31)  Zie artikel 10, lid 3, van de ontwerpverordening.

(32)  Zie artikel 40 en overweging 61 van de ontwerpverordening.

(33)  Zie de eerste zin van artikel 43, lid 2 en bijlage VI van de ontwerpverordening.

(34)  Zie artikel 19, lid 2, en in het bijzonder de tweede zin van artikel 43, lid 2, van de ontwerpverordening.

(35)  Zie artikel 6 van de GTM-verordening.

(36)  Zie artikel 2 van de ontwerpverordening.

(37)  Zie artikel 59, lid 8, en artikel 63, lid 6, van de ontwerpverordening.

(38)  Zie artikel 59, lid 2, van de ontwerpverordening.

(39)  Zie artikel 130 van het Verdrag.

(40)  Zie het eerste en vierde streepje van artikel 127, lid 2, van het Verdrag.

(41)  Zie arrest van het Hof van Justitie van 10 juli 2003, Commissie/Europese Centrale Bank, C-11/00, ECLI:EU:C:2003:3, punten 130 tot en met 135.

(42)  Zie artikel 3, lid 1, en bijlage I van de ontwerpverordening.

(43)  Zie punt 5 b) van bijlage III bij de ontwerpverordening.

(44)  Zie artikel 41, lid 1 van de ontwerpverordening.

(45)  Overeenkomstig punt 5 b) van bijlage III bij de ontwerpverordening.

(46)  Zie artikel 41, lid 2 van de ontwerpverordening.

(47)  Zie artikel 7, lid 1 van de ontwerpverordening.