52021AE2482

EUR-Lex

Access to European Union law

This document is an excerpt from the EUR-Lex website

EUROPA
EUR-Lex home
EUR-Lex - 52021AE2482 - EN

Help

Search tips

Need more search options? Use the Advanced search

Document 52021AE2482

Advies van het Europees Economisch en Sociaal Comité over het voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (COM(2021) 206 final — 2021/106 (COD))

EESC 2021/02482

PB C 517 van 22.12.2021, p. 61–66 (BG, ES, CS, DA, DE, ET, EL, EN, FR, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

HTML

PDF

Official Journal

22.12.2021

Publicatieblad van de Europese Unie

C 517/61

(COM(2021) 206 final — 2021/106 (COD))

(2021/C 517/09)

Rapporteur:

Catelijne MULLER

Raadpleging	Europees Parlement, 7.6.2021 Raad, 15.6.2021
Rechtsgrondslag	Artikel 114 van het Verdrag betreffende de werking van de Europese Unie
Bevoegde afdeling	Afdeling Interne Markt, Productie en Consumptie
Goedkeuring door de afdeling	2.9.2021
Goedkeuring door de voltallige vergadering	22.9.2021
Zitting nr.	563
Stemuitslag (voor/tegen/onthoudingen)	225/03/06

1. Conclusies en aanbevelingen

1.1.

Het Europees Economisch en Sociaal Comité (EESC) is ermee ingenomen dat met het voorstel van de Commissie voor de wet op artificiële intelligentie (de AIA) niet alleen de risico’s van AI worden behandeld, maar ook de lat aanzienlijk hoger wordt gelegd wat betreft de kwaliteit, de prestaties en de betrouwbaarheid van AI die de EU wil toestaan. Het EESC is zeer verheugd dat de AIA de gezondheid, de veiligheid en de grondrechten centraal stelt en een mondiale werkingssfeer heeft.

1.2.

Het EESC ziet verbeterpunten met betrekking tot de werkingssfeer, de definitie en de duidelijkheid van de verboden AI-praktijken, de implicaties van de gemaakte indelingskeuzen in verband met de “risicopiramide”, het risicobeperkende effect van de eisen voor AI met een hoog risico, de handhaafbaarheid van de AIA en de relatie met de bestaande regelgeving en andere recente regelgevingsvoorstellen.

1.3.

Het EESC wijst erop dat AI altijd al aan wetgeving gebonden is geweest. Wegens de ruime werkingssfeer van de AIA en het primaat ervan als EU-verordening, kan zij tot spanningen met bestaande nationale en EU-wetgeving en aanverwante regelgevingsvoorstellen leiden. Overweging (41) zou moeten worden gewijzigd om het verband tussen de AIA en bestaande en toekomstige wetgeving naar behoren weer te geven en te verduidelijken.

1.4.

Het EESC beveelt aan de definitie van AI te verduidelijken door bijlage I te verwijderen, artikel 3 licht te wijzigen en de werkingssfeer van de AIA uit te breiden tot “AI-legacysystemen” en AI die onderdeel is van grootschalige IT-systemen in de Ruimte van vrijheid, veiligheid en recht, zoals vermeld in bijlage IX.

1.5.

Het EESC beveelt aan om het verbod met betrekking tot “subliminale technieken” en “uitbuiting van kwetsbaarheden” te verduidelijken, zodat ook recht wordt gedaan aan het verbod op schadelijke manipulatie, en tevens “schade aan de grondrechten, de democratie en de rechtsstaat” toe te voegen als voorwaarden voor dit verbod.

1.6.

Het EESC is van mening dat er in de EU geen scoring van de betrouwbaarheid van EU-burgers op basis van hun sociale gedrag of persoonlijkheidskenmerken mag plaatsvinden, ongeacht de actor die de scoring uitvoert. Het EESC beveelt aan om de werkingssfeer van dit verbod uit te breiden tot sociale scoring door particuliere organisaties en semi-overheidsinstanties.

1.7.

Het EESC dringt aan op een verbod op het gebruik van AI voor geautomatiseerde biometrische herkenning in openbare en particuliere ruimten, behalve voor authenticatiedoeleinden in specifieke omstandigheden, alsook op een verbod op het gebruik van AI voor de geautomatiseerde herkenning van menselijke gedragssignalen in openbare en particuliere ruimten, met uitzondering van zeer specifieke gevallen, bijvoorbeeld voor bepaalde gezondheidsdoeleinden; zo kan de herkenning van emoties van patiënten waardevol zijn.

1.8.

Door de “lijstgebaseerde” aanpak voor AI met een hoog risico ontstaat het risico dat een aantal AI-systemen en -toepassingen die nog steeds zwaar worden bekritiseerd, worden genormaliseerd en gemainstreamd. Het EESC waarschuwt dat door het naleven van de eisen die aan AI met een gemiddeld en hoog risico worden gesteld, niet noodzakelijkerwijs voor alle AI met een hoog risico de risico’s op schade aan de gezondheid, de veiligheid en de grondrechten worden beperkt. Het EESC beveelt aan dat de AIA in die situatie voorziet. Op zijn minst moeten de eisen inzake i) menselijk handelen, ii) privacy, iii) diversiteit, non-discriminatie en billijkheid, iv) verklaarbaarheid en v) milieu- en sociaal welzijn van de ethische richtsnoeren voor betrouwbare AI worden toegevoegd.

1.9.

In lijn met zijn lang bepleite “human-in-command”-aanpak voor AI beveelt het EESC met klem aan dat de AIA voorschrijft dat bepaalde besluiten het prerogatief van mensen blijven, met name op gebieden waar die besluiten een morele dimensie en juridische implicaties of een maatschappelijke impact hebben, zoals bij de rechterlijke macht, rechtshandhaving, sociale diensten, gezondheidszorg, huisvesting, financiële diensten, arbeidsverhoudingen en onderwijs.

1.10.

Het EESC beveelt aan om conformiteitsbeoordelingen door derden verplicht te stellen voor alle AI met een hoog risico.

1.11.

Het EESC beveelt aan een klachten- en beroepsmechanisme in te voeren voor organisaties en burgers die schade hebben geleden als gevolg van AI-systemen, -praktijken of -toepassingen die onder de werkingssfeer van de AIA vallen.

2. Regelgevingsvoorstel inzake artificiële intelligentie — AIA

2.1.

Het EESC is ermee ingenomen dat met het voorstel van de Commissie voor de wet op artificiële intelligentie niet alleen de risico’s van AI worden behandeld, maar ook de lat aanzienlijk hoger wordt gelegd wat betreft de kwaliteit, de prestaties en de betrouwbaarheid van AI die de EU wil toestaan.

3. Overkoepelende opmerkingen — AIA

Doel en werkingssfeer

3.1.

Het EESC is ingenomen met zowel de doelstelling als de werkingssfeer van de AIA. Het EESC is met name ingenomen met het feit dat de Commissie de gezondheid, de veiligheid en de grondrechten centraal stelt in de AIA. Het EESC is tevens ingenomen met het externe effect van de AIA, die waarborgt dat AI die buiten de EU wordt ontwikkeld, aan dezelfde wettelijke normen moet voldoen als AI die binnen de EU wordt ingezet of impact heeft.

Definitie van AI

3.2.

De definitie van AI (artikel 3, lid 1, juncto bijlage I AIA) heeft onder AI-wetenschappers aanleiding gegeven tot een discussie die erop neerkomt dat een aantal van de in bijlage I genoemde voorbeelden door AI-wetenschappers niet als AI worden beschouwd, en dat een aantal belangrijke AI-technieken ontbreekt. Het EESC ziet geen toegevoegde waarde in bijlage I en beveelt aan die geheel uit de AIA te schrappen. Het EESC beveelt tevens aan om de definitie in artikel 3, lid 1, als volgt te wijzigen:

“Artificiële-intelligentiesysteem” (AI-systeem): software die voor een bepaalde reeks door mensen gedefinieerde doelstellingen output kan genereren, zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee wordt geïnterageerd.

Gezondheid, veiligheid en grondrechten — de risicopiramide

3.3.

In de oplopende “risicopiramide” (van laag/gemiddeld risico, naar hoog risico, naar onaanvaardbaar risico) die wordt gebruikt om een aantal algemene AI-praktijken en domeinspecifieke AI-gebruik te categoriseren, wordt erkend dat niet alle AI risico’s met zich meebrengt en dat niet alle risico’s gelijk zijn of dezelfde risicobeperkende maatregelen vereisen.

3.4.

De gekozen aanpak roept twee belangrijke vragen bij ons op. Ten eerste, zorgen de risicobeperkende maatregelen (voor AI met een hoog risico en AI met een laag/gemiddeld risico) er daadwerkelijk voor dat de risico’s op schade aan de gezondheid, de veiligheid en de grondrechten voldoende worden beperkt? Ten tweede, zijn we bereid toe te staan dat AI menselijke besluitvorming grotendeels vervangt, zelfs in kritieke processen zoals rechtshandhaving en de rechterlijke macht?

3.5.

Wat de eerste vraag betreft, waarschuwt het EESC dat door het naleven van de eisen die aan AI met een gemiddeld en hoog risico worden gesteld, niet noodzakelijkerwijs in alle gevallen de risico’s op schade aan de gezondheid, de veiligheid en de grondrechten worden beperkt. Hierop zal in paragraaf 4 nader worden ingegaan.

3.6.

Wat de tweede vraag betreft, ontbreekt in de AIA de notie dat de belofte van AI inhoudt dat menselijke besluitvorming en menselijke intelligentie worden versterkt in plaats van vervangen. De AIA gaat uit van de premisse dat, wanneer aan de eisen inzake gemiddelde en grote risico’s van AI is voldaan, AI de menselijke besluitvorming grotendeels kan vervangen.

3.7.

Het EESC beveelt met klem aan dat de AIA voorschrijft dat bepaalde besluiten het prerogatief van mensen blijven, met name op gebieden waar die besluiten een morele dimensie en juridische implicaties of een maatschappelijke impact hebben, zoals bij de rechterlijke macht, rechtshandhaving, sociale diensten, gezondheidszorg, huisvesting, financiële diensten, arbeidsverhoudingen en onderwijs.

3.8.

Het EESC wijst erop dat AI altijd al aan wetgeving gebonden is geweest. Een aantal juridisch bindende regels op Europees, nationaal en internationaal niveau zijn nu al van toepassing op of relevant voor AI-systemen. Juridische bronnen zijn onder meer: het primaire EU-recht (de Verdragen van de Europese Unie en het EU-Handvest van de grondrechten), secundaire EU-wetgeving (zoals de algemene verordening gegevensbescherming, de richtlijn productaansprakelijkheid, de verordening betreffende het vrije verkeer van niet-persoonsgebonden gegevens, antidiscriminatierichtlijnen, en richtlijnen inzake consumentenrecht en veiligheid en gezondheid op het werk), de VN-mensenrechtenverdragen en de verdragen van de Raad van Europa (zoals het Europees Verdrag tot bescherming van de rechten van de mens), alsook talrijke wetten van de EU-lidstaten. Naast horizontaal toepasselijke regels bestaan er ook verschillende domeinspecifieke regels die van toepassing zijn op bepaalde AI-toepassingen (zoals de verordening inzake medische hulpmiddelen in de gezondheidszorg). Het EESC beveelt aan overweging (41) te wijzigen om hiermee naar behoren rekening te houden.

4. Specifieke opmerkingen en aanbevelingen — AIA

Verboden AI-praktijken

4.1.

Het EESC is het ermee eens dat de in artikel 5 vermelde AI-praktijken inderdaad geen sociaal nut hebben en verboden moeten worden. Het vindt sommige formuleringen echter onduidelijk, waardoor sommige verbodsbepalingen moeilijk te interpreteren en gemakkelijk te omzeilen zouden kunnen zijn.

4.2.

Er is aangetoond dat subliminale technieken, gezien de omgeving waarin zij worden toegepast, niet alleen kunnen leiden tot lichamelijke of psychische schade (de huidige voorwaarden voor de inwerkingtreding van dit specifieke verbod), maar ook tot andere nadelige persoonlijke, maatschappelijke of democratische gevolgen, zoals gewijzigd stemgedrag. Vaak is het niet zozeer de subliminale techniek zelf die door AI wordt aangestuurd, maar de selectie van het doelpubliek.

4.3.

Om duidelijk te maken wat de AIA in artikel 5, lid 1, punt a), beoogt te verbieden, namelijk mensen aanzetten tot schadelijk gedrag, beveelt het EESC aan om het lid als volgt te wijzigen: “[…] een AI-systeem dat wordt ingezet, gericht is op of gebruikt wordt voor het wezenlijk verstoren van het gedrag van een persoon op een wijze die leidt of waarschijnlijk zal leiden tot schade aan de grondrechten van deze persoon, andere personen of een groep personen, met inbegrip van hun fysieke of psychische gezondheid en veiligheid, of aan de democratie en de rechtsstaat”.

4.4.

Het EESC beveelt aan om de verboden praktijk van uitbuiting van kwetsbaarheden in artikel 5, lid 1, punt b), op dezelfde manier te wijzigen, zodat ook schade aan de grondrechten, met inbegrip van fysieke of psychische schade, eronder valt.

4.5.

Het EESC is ingenomen met het in artikel 5, lid 1, punt c), opgenomen verbod op “sociale scoring”. Het EESC beveelt aan om het verbod op sociale scoring eveneens te laten gelden voor particuliere organisaties en semi-overheidsinstanties, in plaats van alleen voor overheidsinstanties. Er mag in de EU geen scoring van de betrouwbaarheid van EU-burgers op basis van hun sociale gedrag of persoonlijkheidskenmerken plaatsvinden, ongeacht de actor die de scoring uitvoert. Als dat wel het geval zou zijn, zou de EU de deur openzetten voor meerdere gebieden waar sociale scoring zou worden toegestaan, zoals op de werkplek. De onder i) en ii) vermelde voorwaarden moeten worden verduidelijkt om ondubbelzinnig onderscheid te kunnen maken tussen wat wordt beschouwd als “sociale scoring” en wat voor een bepaald doel als een aanvaardbare vorm van evaluatie kan worden beschouwd; het dient met andere woorden duidelijk te zijn wanneer de voor de evaluatie gebruikte informatie niet langer als relevant of redelijk gerelateerd aan het doel van de evaluatie mag worden beschouwd.

4.6.

De wet beoogt biometrische identificatie op afstand in real time (bijvoorbeeld met gezichtsherkenning) voor rechtshandhavingsdoeleinden te verbieden en het gebruik ervan voor andere doeleinden als “zeer riskant” aan te merken. Biometrische identificatie achteraf en bijna-realtime-identificatie blijven wel toegestaan. Ook toegestaan blijft biometrische identificatie die niet is bedoeld om een persoon te identificeren, maar om het gedrag van een persoon te beoordelen aan de hand van zijn biometrische kenmerken (micro-uitdrukkingen, bewegingspatronen, temperatuur, hartslag enz.). De beperking tot “rechtshandhavingsdoeleinden” maakt biometrische identificatie mogelijk, evenals alle andere vormen van biometrische herkenning die niet gericht zijn op de identificatie van een persoon, met inbegrip van alle genoemde vormen van “emotieherkenning” voor alle andere doeleinden, door alle andere actoren, op alle openbare en particuliere plaatsen, onder meer op het werk, in winkels, stadions, theaters enz. Dit zet de deur open voor een wereld waarin mensen om welke reden dan ook voortdurend “emotioneel” kunnen worden beoordeeld.

4.7.

De AIA merkt “emotieherkenning” in het algemeen aan als laag risico, met uitzondering van een paar gebruikersdomeinen waar ze als hoog risico worden aangemerkt. Dit soort biometrische herkenning wordt ook wel “affectherkenning” of “gedragsherkenning” genoemd. Al deze AI-praktijken zijn uiterst invasief, missen elke deugdelijke wetenschappelijke basis en vormen een ernstige bedreiging voor een aantal grondrechten uit het EU-Handvest, zoals het recht op menselijke waardigheid, het recht op menselijke integriteit (met inbegrip van de geestelijke integriteit) en het recht op eerbiediging van het privéleven.

4.8.

Grotendeels in overeenstemming met de oproep van de EDPS en het EDPB van 21 juni 2021 tot een verbod op het gebruik van AI voor de geautomatiseerde herkenning van menselijke kenmerken in openbare ruimten, alsook op een aantal andere AI-toepassingen die tot oneerlijke discriminatie kunnen leiden, dringt het EESC aan op:

—

een verbod op het gebruik van AI voor geautomatiseerde biometrische herkenning in openbare en particuliere ruimten (zoals de herkenning van gezichten, bewegingspatronen, stem en andere biometrische kenmerken), behalve voor authenticatiedoeleinden in specifieke omstandigheden (bijvoorbeeld om toegang te verlenen tot vanuit beveiligingsoogpunt gevoelige ruimten);

—	een verbod op het gebruik van AI voor de geautomatiseerde herkenning van menselijke gedragssignalen in openbare en private ruimten;

—	een verbod op AI-systemen die biometrische gegevens gebruiken om personen te categoriseren in clusters op basis van etniciteit, gender, politieke of seksuele geaardheid of andere gronden waarop discriminatie op grond van artikel 21 van het Handvest verboden is;

—	een verbod op het gebruik van AI om conclusies te trekken inzake de emoties, gedragingen, bedoelingen of trekken van een natuurlijke persoon, met uitzondering van zeer specifieke gevallen, zoals bepaalde gezondheidsdoeleinden, waarbij de herkenning van emoties van patiënten van belang is.

AI met een hoog risico

4.9.

Om te bepalen of een AI-praktijk of -toepassing die een risico inhoudt voor de gezondheid, de veiligheid of de grondrechten, onder strikte voorwaarden toch moet worden toegestaan, heeft de Commissie gekeken naar twee elementen: i) of de AI-praktijk of -toepassing maatschappelijke voordelen kan hebben en ii) of de bedreigingen voor de gezondheid, de veiligheid en de grondrechten die dit gebruik niettemin met zich meebrengt, kunnen worden beperkt door aan een aantal eisen te voldoen.

4.10.

Het EESC is ermee ingenomen dat die eisen zijn afgestemd op elementen van de ethische richtsnoeren voor betrouwbare AI (“EGTAI”). Vijf belangrijke eisen van de EGTAI komen echter niet specifiek aan bod in de eisen voor AI met een hoog risico in de AIA, namelijk: i) menselijk handelen (“human agency”), ii) privacy, iii) diversiteit, non-discriminatie en billijkheid, iv) verklaarbaarheid en v) milieu- en sociaal welzijn. Volgens het EESC is dat een gemiste kans, omdat veel van de risico’s van AI gelegen zijn in privacy, vooringenomenheid, uitsluiting, onverklaarbaarheid van de uitkomsten van AI-beslissingen, ondermijning van menselijk handelen (“human agency”) en de omgeving, die allemaal tot uitdrukking komen in onze grondrechten.

4.11.

Het EESC beveelt aan die eisen toe te voegen aan die van hoofdstuk 2 van titel III van de AIA, zodat de AIA de gezondheid, de veiligheid en de grondrechten van de burgers beter kan beschermen tegen de nadelige gevolgen van het gebruik van AI door zowel overheden als particuliere organisaties.

4.12.

Het EESC is ingenomen met de “verwevenheid” tussen de AIA en de harmonisatiewetgeving van de Unie. Het beveelt aan om de werkingssfeer van de AIA en de eisen voor AI met een hoog risico uit te breiden tot meer dan alleen “AI-veiligheidscomponenten” of de situatie waarin het AI-systeem zelf een product is dat onder de in bijlage II vermelde harmonisatiewetgeving van de Unie valt. Dat is omdat AI niet alleen risico’s kan inhouden wanneer zij als veiligheidscomponent van deze producten wordt gebruikt en omdat het AI-systeem zelf niet altijd een product is. Dat is bijvoorbeeld het geval wanneer AI wordt gebruikt als onderdeel van een diagnostisch of prognostisch hulpmiddel op medisch gebied of van een AI-gestuurde thermostaat die een verwarmingsketel regelt.

4.13.

Het EESC waarschuwt echter dat de gekozen “lijstgebaseerde” aanpak voor AI met een hoog risico in bijlage III kan leiden tot de legitimatie, normalisering en mainstreaming van een flink aantal AI-praktijken die nog steeds zwaar bekritiseerd worden en waarvan de maatschappelijke voordelen twijfelachtig zijn of ontbreken.

4.14.

Bovendien kunnen de risico’s op schade aan de gezondheid, de veiligheid en de grondrechten niet noodzakelijk altijd worden beperkt door het naleven van de vijf eisen voor AI met een hoog risico, met name als het gaat om minder genoemde grondrechten die door AI kunnen worden aangetast, zoals het recht op menselijke waardigheid, het vermoeden van onschuld, het recht op billijke en rechtvaardige arbeidsomstandigheden, de vrijheid van vereniging en vergadering en het stakingsrecht.

4.15.

Het EESC beveelt met klem aan om het beheer en de exploitatie van de telecommunicatie- en internetinfrastructuur toe te voegen aan punt 2 van bijlage III. Het EESC beveelt tevens aan om de werkingssfeer van dat punt uit te breiden tot meer dan alleen AI-veiligheidscomponenten.

4.16.

AI-systemen om de toegang tot onderwijs te bepalen en studenten te evalueren brengen een aantal risico’s op schade aan de gezondheid, de veiligheid en de grondrechten van studenten met zich mee. Hulpmiddelen voor online surveilleren, bijvoorbeeld, om zogenaamd “verdacht gedrag” en “aanwijzingen voor spieken” tijdens online-examens te signaleren door het gebruik van allerlei biometrische gegevens en het volgen van gedrag, zijn echt invasief en missen wetenschappelijk bewijs.

4.17.

Het gebruik van AI-systemen voor het volgen, opsporen en evalueren van werknemers geeft aanleiding tot ernstige bezorgdheid met betrekking tot de grondrechten van werknemers op billijke en rechtvaardige arbeidsomstandigheden, op informatie en raadpleging en op gerechtvaardigd ontslag. De toevoeging van die AI-systemen aan de hoogrisicolijst kan leiden tot conflicten met de nationale arbeidswetgeving en de collectieve arbeidsovereenkomsten inzake (on)rechtvaardig ontslag, gezonde en veilige arbeidsomstandigheden en voorlichting van de werknemers. Het EESC dringt erop aan werknemers en sociale partners volledig te betrekken bij en te informeren over het besluitvormingsproces inzake het gebruik van AI op de werkplek en over de ontwikkeling, aankoop en toepassing ervan.

4.18.

De vereiste van “menselijk toezicht” is bijzonder relevant in arbeidsverhoudingen, omdat het toezicht zal worden uitgeoefend door een werknemer of een groep werknemers. Het EESC wijst erop dat die werknemers een opleiding moeten krijgen over hoe zij die taak moeten uitvoeren. Aangezien die werknemers de output van het AI-systeem naar verwachting mogen negeren of zelfs besluiten om er geen gebruik van te maken, moeten er bovendien maatregelen worden getroffen om te voorkomen dat zij bang worden voor negatieve gevolgen (zoals degradatie of ontslag) als een dergelijk besluit wordt genomen.

4.19.

De inzet van AI-systemen in verband met de toegang tot en het gebruik van openbare diensten is ruimer dan de inzet van AI-systemen in verband met de toegang tot en het gebruik van essentiële particuliere diensten, waarbij voor laatstgenoemde diensten enkel scoring van de kredietwaardigheid door AI als een hoog risico wordt beschouwd. Het EESC beveelt aan om de werkingssfeer van punt 5, punt b), van bijlage III uit te breiden tot AI-systemen die bedoeld zijn om te beoordelen of iemand in aanmerking komt voor essentiële particuliere diensten.

4.20.

AI die door rechtshandhavingsautoriteiten en op het gebied van migratie, asiel en beheer van grenscontroles wordt gebruikt om individuele (strafrechtelijke of veiligheids-) risicobeoordelingen uit te voeren, dreigt het vermoeden van onschuld, het recht op verdediging en het recht op asiel uit het EU-Handvest aan te tasten. AI-systemen zoeken in het algemeen slechts naar correlaties die gebaseerd zijn op kenmerken die in andere “gevallen” zijn aangetroffen. De verdenking is in die gevallen niet gebaseerd op een daadwerkelijk vermoeden van een misdrijf of overtreding door de betreffende persoon, maar louter op kenmerken die deze persoon toevallig gemeen heeft met veroordeelde misdadigers (zoals adres, inkomen, nationaliteit, schulden, werk, gedrag, gedrag van vrienden en familieleden enz.).

4.21.

Het gebruik van AI bij rechtsbedeling en in democratische processen ligt bijzonder gevoelig en moet met meer nuance en nauwkeurigheid worden benaderd dan nu het geval is. Als systemen alleen maar worden gebruikt om een rechterlijke autoriteit te helpen bij het onderzoeken en interpreteren van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, wordt voorbijgegaan aan het feit dat rechtspreken zoveel meer is dan het vinden van patronen in historische gegevens (hetgeen de huidige AI-systemen in wezen doen). In de tekst wordt er eveneens van uitgegaan dat die vormen van AI de rechterlijke macht enkel zullen bijstaan, terwijl volledig geautomatiseerde rechterlijke besluitvorming buiten beschouwing wordt gelaten. Het EESC betreurt eveneens dat er geen melding wordt gemaakt van AI-systemen of -toepassingen op het gebied van democratische processen, zoals verkiezingen.

4.22.

Het EESC beveelt aan een bepaling toe te voegen met betrekking tot een situatie waarin duidelijk is of tijdens de voorafgaande conformiteitsbeoordeling duidelijk werd dat de zes eisen het risico op schade aan de gezondheid, de veiligheid en de mensenrechten onvoldoende zullen beperken (bijvoorbeeld door artikel 16, punt g), van de AIA te wijzigen).

Governance en handhaafbaarheid

4.23.

Het EESC is ingenomen met de door de AIA opgezette governancestructuur. Het beveelt de AI-raad aan om regelmatig verplichte gedachtewisselingen met de bredere samenleving, met inbegrip van de sociale partners en ngo’s, te houden.

4.24.

Het EESC beveelt met klem aan om de werkingssfeer van de AIA uit te breiden tot “AI-legacysystemen”, d.w.z. systemen die al in gebruik zijn of vóór de inwerkingtreding van de AIA zijn ingevoerd, teneinde te voorkomen dat exploitanten verboden AI met een hoog of gemiddeld risico versneld invoeren om aan de nalevingseisen te ontkomen. Bovendien beveelt het EESC ten zeerste aan om AI die onderdeel is van grootschalige IT-systemen in de Ruimte van vrijheid, veiligheid en recht, zoals vermeld in bijlage IX, niet uit te sluiten van het toepassingsgebied van de AIA.

4.25.

De complexiteit van de eisen en verantwoordingsactiviteiten, plus de zelfbeoordeling, brengt het risico met zich mee dat dit proces wordt vereenvoudigd tot checklists waarbij een eenvoudig “ja” of “nee” zou kunnen volstaan om aan de eisen te voldoen. Het EESC beveelt aan om beoordelingen door derden verplicht te stellen voor alle AI met een hoog risico.

4.26.

Het EESC beveelt aan dat er passende (financiële) steunmaatregelen en eenvoudige en toegankelijke instrumenten komen voor kleine en micro-organisaties en maatschappelijke organisaties, zodat zij het doel en de betekenis van de AIA kunnen begrijpen alsmede aan de vereisten ervan kunnen voldoen. Die maatregelen zouden verder moeten gaan dan het ondersteunen van digitale-innovatiehubs en moeten bestaan uit het faciliteren van de toegang tot expertise op hoog niveau met betrekking tot de AIA, de eisen en verplichtingen ervan en met name de achterliggende redenering.

4.27.

Brussel, 22 september 2021.

De voorzitter van het Europees Economisch en Sociaal Comité

Christa SCHWENG

Top

Choose the experimental features you want to try