Avis du Comité économique et social européen sur la proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées concernant l’intelligence artificielle (législation sur l’intelligence artificielle) et modifiant certains actes législatifs de l’union

[COM(2021) 206 final — 2021/106 (COD)]

(2021/C 517/09)

Rapporteure:

Catelijne MULLER

Consultation	Parlement européen, 7.6.2021 Conseil, 15.6.2021
Base juridique	Article 114 du traité sur le fonctionnement de l’Union européenne
Compétence	Section «Marché unique, production et consommation»
Adoption en section	2.9.2021
Adoption en session plénière	22.9.2021
Session plénière no	563
Résultat du vote (pour/contre/abstentions)	225/03/06

1. Conclusions et recommandations

1.1.

Le Comité économique et social européen (CESE) se félicite que la proposition de la Commission relative à la législation sur l’intelligence artificielle (IA) ne traite pas seulement des risques associés à l’IA, mais relève également de manière significative le niveau des exigences en ce qui concerne la qualité, la performance et la fiabilité de l’IA que l’Union est prête à autoriser. Il apprécie tout particulièrement que la législation sur l’intelligence artificielle accorde une place centrale à la santé, à la sécurité et aux droits fondamentaux et qu’elle ait une portée mondiale.

1.2.

Le CESE estime que des améliorations sont possibles en ce qui concerne le champ d’application, la définition et la clarté des pratiques d’IA interdites, les implications des choix de catégorisation portant sur la «pyramide des risques», l’effet d’atténuation des risques des exigences en matière d’IA à haut risque, l’applicabilité de la législation sur l’intelligence artificielle et le lien avec la réglementation existante et d’autres propositions réglementaires récentes.

1.3.

Le CESE souligne que l’IA n’a jamais fonctionné dans un désert juridique. En raison de son champ d’application étendu et de sa primauté en tant que règlement de l’Union, la législation sur l’intelligence artificielle pourrait créer des tensions avec les législations nationales et européennes existantes et des propositions réglementaires connexes. Le CESE préconise de modifier le considérant 41 pour refléter exactement et clarifier les rapports entre la législation sur l’intelligence artificielle et les textes législatifs existants et à venir.

1.4.

Le CESE recommande de préciser la définition de l’IA en supprimant l’annexe I, en modifiant légèrement l’article 3 et en élargissant le champ d’application de la législation sur l’intelligence artificielle afin d’y inclure les «systèmes hérités d’IA» et les éléments d’IA des systèmes d’information à grande échelle au sein de l’espace de liberté, de sécurité et de justice, tels qu’énumérés à l’annexe IX.

1.5.

Le CESE recommande de clarifier les interdictions concernant les «techniques subliminales» et l’«exploitation des vulnérabilités», pour qu’elles traduisent la prohibition des manipulations néfastes, ainsi que d’inclure également les «atteintes aux droits fondamentaux, à la démocratie et à l’état de droit» parmi les conditions donnant lieu à ces interdictions.

1.6.

Le CESE estime qu’il n’y a aucune place dans l’Union pour une quelconque évaluation de la fiabilité des citoyens en fonction de leur comportement social ou de leurs caractéristiques de personnalité, quel que soit l’acteur attribuant la note. Il recommande d’élargir le champ d’application de cette interdiction afin d’y inclure la notation sociale par des organisations privées ou des organismes semi-publics.

1.7.

Le CESE appelle à interdire l’utilisation de l’IA pour procéder à une reconnaissance biométrique automatisée à l’intérieur d’espaces accessibles au public, dans un cadre tant public que privé, sauf à des fins d’identification dans des circonstances spécifiques, tout comme pour réaliser une reconnaissance automatisée des signaux comportementaux humains à l’intérieur d’espaces accessibles au public, dans un cadre tant public que privé, exception faite de certaines situations très particulières, répondant par exemple à des impératifs de santé, où il peut s’avérer bénéfique de discerner les émotions d’un patient.

1.8.

L’approche fondée sur des listes pour l’IA à haut risque pourrait aboutir à normaliser et à généraliser un certain nombre de systèmes et d’utilisations de l’IA qui font encore l’objet de vives critiques. Le CESE tient à faire observer que le respect des exigences fixées pour l’IA à moyen et à haut risque n’atténue pas nécessairement les risques de préjudice pour la santé, la sécurité et les droits fondamentaux pour toutes les IA à haut risque. Il recommande que la législation sur l’intelligence artificielle prévoie cette situation. À tout le moins, il convient d’ajouter les exigences des lignes directrices en matière d’éthique pour une IA digne de confiance concernant i) l’action humaine, ii) le respect de la vie privée, iii) la diversité, la non-discrimination et l’équité, iv) l’explicabilité et v) le bien-être environnemental et social.

1.9.

Conformément à l’approche, qu’il prône de longue date, d’une IA où «l’humain reste aux commandes», le CESE préconise vivement que la législation sur l’intelligence artificielle prévoie que certaines décisions demeurent la prérogative des êtres humains, en particulier dans les domaines où ces décisions comportent une composante morale et ont des conséquences juridiques ou une incidence sociétale, par exemple dans les domaines de la justice, de l’application de la loi, des services sociaux, des soins de santé, du logement, des services financiers, des relations de travail et de l’éducation.

1.10.

Le CESE recommande que les évaluations de la conformité par des tiers soient obligatoires pour toutes les formes d’IA à haut risque.

1.11.

Le CESE préconise d’inclure un mécanisme de plainte et de recours pour les organisations et les citoyens qui ont subi un préjudice du fait de tout système, pratique ou utilisation de l’IA qui relève du champ d’application de la législation sur l’intelligence artificielle.

2. Proposition réglementaire sur l’intelligence artificielle — Législation sur l’intelligence artificielle

2.1.

Le CESE se félicite que la proposition de la Commission relative à la législation sur l’intelligence artificielle ne traite pas seulement des risques associés à l’IA, mais relève également de manière significative le niveau des exigences en ce qui concerne la qualité, la performance et la fiabilité de l’IA que l’Union est prête à autoriser.

3. Observations générales — Législation sur l’intelligence artificielle

Objectif et champ d’application

3.1.

Le CESE approuve tout à la fois l’objectif et le champ d’application de la législation sur l’intelligence artificielle. Il se félicite tout particulièrement que la Commission place la santé, la sécurité et les droits fondamentaux au cœur de celle-ci. Il salue également la portée externe de cette législation, qui garantit que l’IA développée en dehors de l’Union doit répondre à ces mêmes normes juridiques lorsqu’elle est déployée sur son territoire ou qu’elle y exerce un impact.

Définition de l’IA

3.2.

La définition de l’IA (article 3, paragraphe 1, en liaison avec l’annexe I de la législation sur l’intelligence artificielle) a suscité un débat parmi les scientifiques spécialisés dans ce domaine, dont il ressort que l’annexe I contient plusieurs exemples ne relevant pas de l’IA aux yeux des experts et qu’à l’inverse, elle fait l’impasse sur diverses techniques importantes d’IA. Le CESE ne voit aucune valeur ajoutée dans l’annexe I et recommande qu’elle soit supprimée en totalité de la législation sur l’IA. Il recommande également de modifier comme suit la définition figurant à l’article 3, point 1):

«“système d’intelligence artificielle” (système d’IA), un logiciel qui peut, pour un ensemble donné d’objectifs définis par l’homme, générer, de manière automatisée, des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit;».

Santé, sécurité et droits fondamentaux — La pyramide des risques

3.3.

La «pyramide des risques» qui est utilisée pour classer, sur une échelle progressive (risque faible/moyen, puis risque élevé, et enfin risque inacceptable), un certain nombre de pratiques générales en matière d’IA et de cas d’utilisation de cette dernière dans des domaines spécifiques reconnaît que les différents types d’IA ne sont pas tous porteurs de risques et que si risques il y a, ils ne sont pas tous identiques ou ne requièrent pas tous les mêmes mesures d’atténuation.

3.4.

L’approche retenue amène à se poser deux questions importantes. Premièrement, les mesures d’atténuation (pour l’IA à haut risque et à risque faible ou moyen) diminuent-elles réellement de manière suffisante les risques de préjudice pour la santé, la sécurité et les droits fondamentaux? Deuxièmement, sommes-nous prêts à autoriser l’IA à remplacer largement la prise de décision humaine, même dans des processus critiques tels que l’application de la loi et le domaine judiciaire?

3.5.

En ce qui concerne la première question, le CESE tient à faire observer que le respect des exigences fixées pour l’IA à moyen et à haut risque n’atténue pas nécessairement, dans tous les cas, les risques de préjudice pour la santé, la sécurité et les droits fondamentaux. Cet aspect sera évoqué de manière plus détaillée dans la section 4.

3.6.

En ce qui concerne la seconde question, la législation sur l’intelligence artificielle omet d’intégrer le principe selon lequel les perspectives qu’offre l’IA consistent à renforcer la prise de décision humaine et l’intelligence humaine et non à les remplacer. La législation sur l’intelligence artificielle part du principe qu’une fois que les exigences en matière d’IA à moyen et à haut risque sont respectées, l’IA peut, dans une large mesure, remplacer la prise de décision humaine.

3.7.

Le CESE préconise vivement que la législation sur l’intelligence artificielle prévoie que certaines décisions demeurent la prérogative des êtres humains, en particulier dans les domaines où ces décisions comportent une composante morale et ont des conséquences juridiques ou une incidence sociétale, par exemple dans les domaines de la justice, de l’application de la loi, des services sociaux, des soins de santé, du logement, des services financiers, des relations de travail et de l’éducation.

3.8.

Les systèmes d’IA ne fonctionnent pas dans un désert juridique. Un certain nombre de règles juridiquement contraignantes, de niveau européen, national et international, leur sont d’ores et déjà applicables ou sont pertinentes à leur égard. Ces sources de droit comprennent, sans que cette liste soit exhaustive, le droit primaire de l’Union (les traités de l’Union européenne et sa charte des droits fondamentaux), son droit dérivé (comme le règlement général sur la protection des données, la directive sur la responsabilité du fait des produits, le règlement sur la libre circulation des données à caractère non personnel, les directives de lutte contre les discriminations, le droit de la consommation et les directives sur la santé et la sécurité au travail), les traités des Nations unies en matière de droits de l’homme et les conventions du Conseil de l’Europe (à l’exemple de la convention européenne des droits de l’homme), ainsi que de nombreuses législations nationales d’États membres de l’Union. À ces dispositions d’application transversale s’ajoutent différentes réglementations propres à un secteur qui régissent des applications spécifiques d’IA, à l’instar du règlement sur les dispositifs médicaux dans le domaine des soins de santé. Le CESE recommande de modifier le considérant 41 pour tenir compte de cet état de fait.

4. Observations particulières et recommandations — législation sur l’intelligence artificielle

Pratiques interdites en matière d’IA

4.1.

Le CESE convient que les pratiques en matière d’IA visées à l’article 5 n’apportent effectivement aucun avantage à la société et qu’il convient de les interdire. Toutefois, quelques formulations ne sont pas claires, de sorte que certaines interdictions pourraient être difficiles à interpréter et faciles à contourner.

4.2.

Il est avéré que les techniques subliminales peuvent non seulement entraîner des préjudices physiques ou psychologiques (qui constituent au stade actuel les conditions d’activation de cette interdiction particulière), mais qu’elles peuvent aussi, selon l’environnement dans lequel elles sont déployées, entraîner d’autres effets négatifs sur le plan personnel, sociétal ou démocratique, tels qu’une modification du comportement de vote. En outre, il est fréquent que ce ne soit pas la technique subliminale elle-même qui est mise en œuvre par l’IA, mais plutôt le choix des personnes ciblées par cette technique.

4.3.

Pour cerner la pratique que vise à interdire l’article 5, paragraphe 1, point a), de la législation sur l’intelligence artificielle, à savoir manipuler les gens pour les inciter à adopter des comportements préjudiciables, le CESE recommande de modifier le paragraphe comme suit: «[…] un système d’IA déployé, conçu ou utilisé pour altérer substantiellement le comportement d’une personne d’une manière qui porte ou est susceptible de porter atteinte aux droits fondamentaux de cette personne, d’un tiers ou d’un groupe de tiers, notamment en affectant leur santé ou leur sécurité physique ou psychique, ou à la démocratie et à l’état de droit».

4.4.

Le CESE recommande de modifier de la même manière la pratique interdite d’exploitation des vulnérabilités visée à l’article 5, paragraphe 1, point b), afin d’y inclure les atteintes, y compris physiques ou psychologiques, qui sont faites aux droits fondamentaux.

4.5.

Le CESE se félicite de l’interdiction de la «notation sociale» figurant à l’article 5, paragraphe 1, point c). Il recommande qu’elle s’applique également aux organisations privées et aux autorités semi-publiques, plutôt qu’aux seules autorités publiques. Quel que soit l’acteur attribuant la note, une évaluation de la fiabilité des citoyens en fonction de leur comportement social ou de leurs caractéristiques de personnalité n’a pas sa place dans l’Union européenne. Si tel était le cas, l’Union laisserait la porte ouverte à ce que la notation sociale soit autorisée dans de nombreux domaines, par exemple sur le lieu de travail. Il conviendrait de clarifier les conditions mentionnées aux points i) et ii), afin de tracer une ligne de démarcation nette entre les pratiques qui sont à ranger dans la catégorie de la «notation sociale» et celles qui peuvent être considérées comme une forme d’évaluation acceptable à certaines fins. En l’occurrence, il s’agira de déterminer à quel moment il conviendra de considérer que l’information utilisée pour procéder à ladite évaluation cesse d’être pertinente pour l’effectuer ou d’être raisonnablement liée à l’objectif qu’elle poursuit.

4.6.

La législation sur l’intelligence artificielle vise à bannir l’identification biométrique à distance en temps réel (avec reconnaissance faciale, par exemple) à des fins répressives et à la qualifier d’application «à haut risque» lorsqu’elle est utilisée à d’autres fins. De ce fait, la reconnaissance biométrique a posteriori ou en léger différé reste autorisée, tout comme celle qui ne vise pas à identifier une personne mais plutôt à évaluer le comportement d’un individu à partir de ses caractéristiques biométriques, telles que ses micro-expressions, sa démarche, sa température ou son rythme cardiaque. Du fait que son interdiction est limitée aux seules «fins répressives», l’utilisation de l’identification biométrique, comme de toutes les autres formes de reconnaissance biométrique qui ne visent pas à identifier les individus, dont tous les types mentionnés de «reconnaissance des émotions», est autorisée pour tous les autres buts, à l’initiative de tous les autres intervenants et en tout site, public ou privé, dont les lieux de travail, magasins, stades, salles de spectacles, etc. La porte est ainsi grande ouverte à un univers dans lequel nos émotions seraient évaluées en permanence pour satisfaire tout objectif que l’auteur de cette évaluation jugerait nécessaire.

4.7.

D’une manière générale, la législation sur l’intelligence artificielle classe la «reconnaissance des émotions» dans la catégorie de l’IA à faible risque, à l’exception de quelques domaines utilisateurs qui sont considérés comme étant à haut risque. Ce mode de reconnaissance biométrique est également connu sous le nom de «reconnaissance des affects», voire de «reconnaissance des comportements». Tous ces types de pratiques de reconnaissance biométrique effectuée par l’IA sont extrêmement invasifs, sont dénués de tout fondement scientifique solide et présentent un fort risque de violation de plusieurs droits fondamentaux inscrits dans la charte de l’Union, tels que le droit à la dignité humaine, le droit à l’intégrité de la personne (qui inclut l’intégrité mentale) et le droit à la vie privée.

4.8.

En s’inscrivant largement dans la logique de l’appel que le contrôleur européen de la protection des données (CEPD) et le comité européen de la protection des données (EDPB) ont lancé le 21 juin 2021, demandant d’interdire l’utilisation de l’IA à des fins de reconnaissance automatique des caractéristiques humaines dans les espaces accessibles au public, de même que d’autres utilisations de l’IA susceptibles de déboucher sur des discriminations injustes, le CESE réclame:

—

l’interdiction de l’utilisation de l’IA pour la reconnaissance biométrique automatisée à l’intérieur d’espaces accessibles au public, dans un cadre tant public que privé, par exemple sous la forme de la reconnaissance des visages, de la démarche, de la voix et d’autres caractéristiques biométriques, sauf à des fins d’identification dans des circonstances spécifiques, par exemple pour donner accès à des espaces sensibles du point de vue de la sécurité;

—	l’interdiction de l’utilisation de l’IA pour la reconnaissance automatisée des signaux comportementaux humains à l’intérieur d’espaces accessibles au public, dans un cadre tant public que privé;

—

l’interdiction des systèmes d’IA utilisant la biométrie pour classer les individus en groupes fondés sur l’appartenance ethnique, le sexe, l’orientation politique ou sexuelle ou d’autres motifs pour lesquels la discrimination est interdite en vertu de l’article 21 de la charte des droits fondamentaux;

—

l’interdiction de l’utilisation de l’IA aux fins de déduire les émotions, le comportement, les intentions ou les traits de personnalité d’une personne physique, sauf dans des cas très spécifiques, tels que certains objectifs de santé, pour lesquels la reconnaissance de l’émotion du patient est importante.

IA à haut risque

4.9.

Pour déterminer si une pratique ou une utilisation de l’IA qui représentent un risque pour la santé, la sécurité ou les droits fondamentaux peuvent néanmoins être autorisées dans des conditions strictement définies, la Commission a pris en compte deux critères: i) la pratique ou l’utilisation en question peuvent-elles s’avérer bénéfiques pour la société? et ii) est-il possible, en imposant le respect de diverses exigences, d’atténuer le risque d’atteinte à la santé, à la sécurité ou aux droits fondamentaux que pose malgré tout l’utilisation de ces systèmes?

4.10.

Le CESE se félicite de l’harmonisation de ces exigences avec les éléments des «lignes directrices en matière d’éthique pour une IA digne de confiance». Cependant, cinq exigences majeures posées par ces lignes directrices ne sont pas expressément mentionnées par la législation sur l’intelligence artificielle au titre des exigences relatives à l’IA à haut risque, à savoir (i) l’action humaine, (ii) le respect de la vie privée, (iii) la diversité, la non-discrimination et l’équité, (iv) l’explicabilité et (v) le bien-être environnemental et social. Le CESE estime qu’il s’agit là d’une occasion manquée, car bon nombre des risques que représente l’IA sont liés au respect de la vie privée, aux préjugés, à l’exclusion, à l’inexplicabilité des résultats auxquels aboutissent les décisions de l’IA, ainsi qu’à l’affaiblissement du facteur humain et de l’environnement, et ils ont tous un impact sur nos droits fondamentaux.

4.11.

Le CESE recommande d’ajouter ces exigences à celles du chapitre 2 du titre III de la législation sur l’intelligence artificielle afin d’améliorer la capacité de ce texte à protéger efficacement notre santé, notre sécurité et nos droits fondamentaux contre les effets néfastes de l’IA, qu’elle soit utilisée par les pouvoirs publics ou des structures privées.

4.12.

Le CESE accueille favorablement les liens étroits tissés entre la législation sur l’intelligence artificielle et la législation d’harmonisation de l’Union. Il recommande d’étendre le champ d’application de la législation sur l’intelligence artificielle et les exigences relatives à l’IA à haut risque au-delà des «composants de sécurité de l’IA» ou de la situation dans laquelle le système d’IA est lui-même un produit couvert par un des actes de la législation d’harmonisation de l’Union, énumérés à l’annexe II. En effet, l’IA peut également présenter des risques dans des cas autres que ceux où elle est utilisée comme un composant de sécurité de ces produits, et le système d’IA lui-même n’est pas toujours un produit. Il en est ainsi, par exemple, lorsque l’IA est utilisée comme composante d’un outil de diagnostic ou de pronostic dans le domaine médical ou qu’elle pilote un thermostat régulant une chaudière.

4.13.

Le CESE tient toutefois à signaler que l’approche consistant à dresser une liste d’IA à haut risque, comme celle figurant à l’annexe III, peut aboutir à légitimer, normaliser ou généraliser bon nombre de pratiques la faisant intervenir qui sont encore fortement critiquées et pour lesquelles les avantages sociétaux sont discutables ou font défaut.

4.14.

En outre, les risques de préjudice pour la santé, la sécurité et les droits fondamentaux ne peuvent pas toujours être atténués par le respect des cinq exigences relatives à l’IA à haut risque, notamment en ce qui concerne des droits fondamentaux moins évoqués qu’elle pourrait affecter, comme le droit à la dignité humaine, la présomption d’innocence, le droit à des conditions de travail justes et équitables, la liberté d’association et de réunion ou le droit de grève, pour n’en citer que quelques-uns.

4.15.

Le CESE recommande vivement d’ajouter la gestion et le fonctionnement de l’infrastructure des télécommunications et de l’internet au point 2 de l’annexe III. Il préconise également que le champ d’application de ce point soit étendu au-delà des composants de sécurité de l’IA.

4.16.

Les systèmes d’IA visant à déterminer l’accès à l’éducation et à évaluer les étudiants exposent ceux-ci à un certain nombre de risques en matière de santé, de sécurité et de droits fondamentaux. Ainsi, les outils de surveillance en ligne, censés signaler les «comportements suspects» et les «indices de tricherie» lors des examens en ligne en utilisant divers types de biométrie et de suivi des comportements, sont véritablement invasifs et dépourvus d’assise scientifique.

4.17.

L’utilisation de systèmes d’IA pour la surveillance, le suivi et l’évaluation des travailleurs suscite de graves inquiétudes s’agissant de leurs droits fondamentaux à bénéficier de conditions de travail justes et équitables, à être informés et consultés et à recevoir une justification en cas de licenciement. L’ajout de ces systèmes d’IA à la liste des systèmes à haut risque est susceptible de créer des conflits avec les législations nationales du droit du travail et les conventions collectives en ce qui concerne le caractère justifié ou injustifié du licenciement, les conditions de travail saines et sûres et l’information des travailleurs. Le CESE réclame que les travailleurs et les partenaires sociaux aient la garantie d’être pleinement associés et informés dans le cadre des processus de prise de décision ayant trait à l’utilisation de l’IA sur les lieux de travail ainsi qu’au développement, à l’acquisition et à la mise en œuvre de tels systèmes.

4.18.

Le «contrôle humain» constitue un impératif particulièrement pertinent dans le cadre des relations professionnelles, car il sera effectué par un travailleur ou un groupe de travailleurs. Le CESE souligne que les intéressés devraient recevoir une formation sur la manière d’accomplir cette tâche. En outre, étant donné qu’ils sont censés être autorisés à ne pas tenir compte des résultats du système d’IA ou même à décider de ne pas l’utiliser, il conviendrait de prévoir des dispositions pour éviter qu’ils n’aient à craindre des conséquences négatives, comme une rétrogradation ou un licenciement, s’ils devaient prendre une telle décision.

4.19.

Le recours aux systèmes d’IA pour l’accès et le droit aux services publics est plus étendu que leur utilisation dans le cadre des services privés essentiels, pour lesquels seule la notation de crédit (solvabilité) par l’IA est considérée comme présentant un risque élevé. Le CESE recommande d’élargir le champ d’application du point 5, paragraphe b), de l’annexe III aux systèmes d’IA destinés à évaluer l’éligibilité aux services privés essentiels.

4.20.

L’IA utilisée par les autorités répressives et dans le cadre de la gestion des migrations, de l’asile et des contrôles aux frontières pour réaliser des évaluations des risques individuels, dans le domaine pénal ou celui de la sécurité, risque de porter atteinte à la présomption d’innocence, aux droits de la défense et au droit d’asile, tels qu’énoncés dans la charte de l’Union. En général, les systèmes d’IA se bornent à rechercher des corrélations qui reposent sur des caractéristiques constatées dans d’autres «cas». Dans ces circonstances, la suspicion ne se fonde pas sur un soupçon effectif qu’un crime ou un délit ait été commis par une personne en particulier, mais simplement sur des caractéristiques que cette personne partage avec des criminels condamnés, comme l’adresse, les revenus, la nationalité, les dettes, l’emploi, le comportement personnel ou celui d’amis et de membres de la famille, etc.

4.21.

L’utilisation de l’IA dans l’administration de la justice et les processus démocratiques revêt un caractère particulièrement sensible et devrait être abordée de manière plus nuancée et prudente qu’elle ne l’est aujourd’hui. Se contenter de recourir à des systèmes pour aider une autorité judiciaire à rechercher et à interpréter les faits et le droit et à appliquer la loi à un ensemble de faits concrets, c’est méconnaître que juger est un processus qui va bien au-delà de ce repérage de schémas dans les données historiques, auquel se résume en substance l’action des systèmes d’IA actuels. Le texte part également du principe que ces types d’IA se limiteront à aider le pouvoir judiciaire, excluant ainsi de son champ d’application la prise de décision judiciaire entièrement automatisée. Le CESE regrette également qu’il ne soit fait aucune mention des systèmes ou utilisations de l’IA dans le domaine des processus démocratiques, tels que les élections.

4.22.

Le CESE recommande d’ajouter, par exemple en modifiant l’article 16, point g), de la législation sur l’intelligence artificielle, une disposition qui régisse la situation dans laquelle soit il est évident, soit il s’avère à la lumière de l’évaluation préalable de conformité, que les six exigences mentionnées précédemment n’atténueront pas suffisamment le risque de préjudice pour la santé, la sécurité et les droits de l’homme.

Gouvernance et applicabilité

4.23.

Le CESE se félicite de la structure de gouvernance mise en place par la législation sur l’intelligence artificielle. Il recommande que le Comité européen de l’intelligence artificielle organise régulièrement des échanges de vues obligatoires avec la société au sens large, y compris les partenaires sociaux et les ONG.

4.24.

Le CESE préconise vivement d’élargir le champ d’application de la législation sur l’intelligence artificielle afin d’y inclure les «systèmes hérités d’IA», c’est-à-dire ceux qui se trouvaient déjà utilisés ou déployés avant l’entrée en vigueur de la législation, afin d’éviter que des systèmes d’IA interdits, à risque élevé ou moyen, ne soient activés en toute hâte par des déployeurs désireux de ne pas devoir se plier aux exigences de conformité. En outre, il recommande avec force que le champ d’application de la législation sur l’intelligence artificielle n’exclue pas l’IA qui constitue une composante des systèmes d’information à grande échelle au sein de l’espace de liberté, de sécurité et de justice tels qu’énumérés dans l’annexe IX.

4.25.

La complexité des exigences et des activités en matière de responsabilité, de même que l’auto-évaluation, risquent de réduire ce processus à des listes de contrôle où cocher un simple «oui» ou «non» pourrait suffire à satisfaire aux exigences. Le CESE recommande que les évaluations par des tiers soient obligatoires pour toutes les formes d’IA à haut risque.

4.26.

Le CESE suggère de mettre en place des mesures appropriées de soutien, y compris financier, et des outils simples et accessibles pour que les organisations de taille très réduite ou modeste, ainsi que celles de la société civile, aient la capacité de comprendre l’objet et la signification de la législation sur l’intelligence artificielle et soient à même de se conformer à ses exigences. Ces mesures devraient aller au-delà du soutien aux pôles d’innovation numérique et consister à faciliter l’accès à une expertise de haut niveau en ce qui concerne la législation sur l’intelligence artificielle, les exigences et les obligations qu’elle énonce et, en particulier, les motivations qui les sous-tendent.

4.27.

Le CESE recommande d’inclure un mécanisme de plainte et de recours pour les organisations et les citoyens qui ont subi un préjudice dû à tout système, pratique ou utilisation de l’IA relevant du champ d’application de la législation sur l’intelligence artificielle.

Bruxelles, le 22 septembre 2021.

La présidente du Comité économique et social européen

Christa SCHWENG