Avis du Comité économique et social européen sur la communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions — Renforcer la confiance dans l’intelligence artificielle axée sur le facteur humain

[COM(2019) 168 final]

(2020/C 47/09)

Rapporteure: Franca SALIS-MADINIER

Consultation	Commission européenne, 3.6.2019
Base juridique	Article 304 du traité sur le fonctionnement de l’Union européenne
Compétence	Section «Marché unique, production et consommation»
Adoption en section	18.10.2019
Adoption en session plénière	30.10.2019
Session plénière no	547
Résultat du vote (pour/contre/abstentions)	198/1/4

1.   Conclusions et recommandations

1.1.

L’intelligence artificielle (IA) n’est pas une fin en soi mais un outil qui peut produire des changements radicaux positifs mais aussi comporter des risques. C’est pourquoi il faut en encadrer l’usage.

1.2.

La Commission devrait prendre des mesures concernant la prévision, la prévention et l’interdiction de l’usage malveillant de l’IA et de l’apprentissage machine, et mieux encadrer la mise sur les marchés de produits à finalité malveillante.»

1.3.

L’Union européenne doit, en particulier, promouvoir le développement de systèmes d’IA orientés vers des applications concrètes permettant d’accélérer la transition écologique et climatique.

1.4.

Il convient de déterminer quels sont les défis qui pourront être relevés au moyen de codes éthiques, d’autorégulation et d’engagements volontaires, et quels sont ceux qui devront être relevés par des moyens réglementaires et législatifs accompagnés d’un suivi et, en cas de non-respect, de sanction. En tout état de cause, les systèmes d’IA doivent se conformer aux législations existantes.

1.5.

L’IA nécessite une approche englobant les aspects techniques, mais également les aspects sociétaux et éthiques. Le Comité économique et social européen (CESE) se félicite de la volonté de l’Union européenne de construire une approche de l’IA axée sur l’humain et conforme aux valeurs qui la fondent: respect de la dignité humaine, liberté, démocratie, égalité et non-discrimination, état de droit, respect des droits de l’homme.

1.6.

Le CESE réaffirme (1) la nécessité de la consultation et de l’information des travailleurs et de leurs représentants lors de l’introduction de systèmes d’IA susceptibles d’entraîner des modifications dans l’organisation du travail, sa surveillance et son contrôle, ainsi que dans les systèmes d’évaluation et de recrutement des travailleurs. La Commission doit promouvoir le dialogue social en vue d’une implication des travailleurs dans les usages des systèmes d’IA.

1.7.

Le CESE souligne (2) qu’une IA digne de confiance suppose le contrôle de l’humain sur la machine et l’information des citoyens quant à ses usages. Les systèmes d’IA doivent être explicables ou, lorsque cela n’est pas possible, des informations doivent être fournies aux citoyens et aux consommateurs sur leurs limites et leurs risques.

1.8.

L’Union européenne doit s’atteler aux «risques émergents» (3) en matière de santé et de sécurité au travail. Des normes doivent être établies pour éviter que les systèmes autonomes portent préjudice ou créent des dommages aux personnes. Les travailleurs doivent être formés à travailler avec la machine et à l’arrêter en cas d’urgence.

1.9.

Le CESE plaide pour le développement d’un système robuste de certification fondé sur des procédures de test qui permettent aux entreprises d’affirmer la fiabilité et la sécurité de leurs systèmes d’IA. La transparence, la traçabilité et l’explicabilité des processus de prise de décision algorithmique sont un défi technique qui appelle le soutien d’instruments de l’Union européenne tels que le programme Horizon Europe.

1.10.

Le respect de la vie privée et de la protection des données déterminera le degré de confiance des citoyens et des consommateurs dans l’IA. L’appartenance des données, leur contrôle et l’utilisation qu’en font les entreprises et les organisations sont des questions qui restent encore largement à régler (en particulier avec l’internet des objets). Le CESE incite la Commission à réviser régulièrement le règlement général sur la protection des données (RGPD) (4) et les réglementations connexes à la lumière des évolutions technologiques.

1.11.

Le CESE juge essentiel de réfléchir à la contribution que les systèmes d’IA peuvent apporter à la réduction des émissions de gaz à effet de serre, en particulier dans les secteurs de l’industrie, du transport, de l’énergie, de la construction et de l’agriculture. Il plaide pour que les transitions climatique et numérique soient interconnectées.

1.12.

Le CESE estime que le contrôle des systèmes d’IA pourrait ne pas suffire à définir les responsabilités et à susciter la confiance. Le CESE recommande d’accorder la priorité à la définition de règles claires attribuant, en cas de manquement, la responsabilité aux personnalités juridiques: personnes physiques ou morales. Le CESE invite également la Commission à examiner prioritairement la question fondamentale de l’assurabilité des systèmes d’IA.

1.13.

Le CESE propose de développer pour les entreprises qui respectent les normes un «certificat européen d’entreprise de confiance pour l’IA», basé entre autres sur la liste d’évaluation proposée par le groupe d’experts de haut niveau sur l’IA (GHN).

1.14.

En promouvant les travaux en la matière au sein du G7, du G20 et dans les dialogues bilatéraux, l’Union européenne doit chercher à faire en sorte que la régulation de l’IA dépasse les frontières européennes. C’est un accord international pour une IA de confiance qui doit être bâti, permettant de développer des normes internationales et d’en vérifier régulièrement la pertinence.

2.   Synthèse de la proposition de la Commission

2.1.

La présente communication s’appuie sur les travaux du GHN que la Commission a désigné en juin 2018. Dans cette communication, la Commission définit sept exigences essentielles pour parvenir à une IA digne de confiance qui sont listées dans le point 4.

2.2.

La Commission a lancé une phase pilote associant un large éventail de parties prenantes. Cet exercice se concentre en particulier sur la liste d’évaluation que le GHN a établie pour chacune des exigences essentielles. Au début de 2020, le GHN réexaminera et actualisera la liste d’évaluation et la Commission proposera, le cas échéant, de nouvelles mesures.

2.3.

La Commission souhaite porter son approche en matière d’IA sur la scène internationale et continuera à jouer un rôle actif, y compris au sein du G7 et du G20.

3.   Observations générales

3.1.

L’IA axée sur le facteur humain nécessite une approche englobant les aspects techniques, mais aussi sociétaux et éthiques. Le CESE se félicite de la volonté manifestée par les institutions de l’Union européenne de construire une approche de l’IA conforme aux valeurs qui la fondent: respect de la dignité humaine, liberté, démocratie, égalité et non-discrimination, état de droit, respect des droits de l’homme. Comme le souligne la Commission (5), l’IA n’est pas une fin en soi, mais un outil qui peut être porteur de changements radicaux positifs. Comme tout outil, elle crée en même temps des opportunités et des risques. C’est pourquoi l’Union européenne doit en encadrer l’usage et en définir clairement les responsabilités.

3.2.

La confiance dans une IA axée sur le facteur humain naîtra de l’affirmation des valeurs et des principes, d’un cadre réglementaire bien établi et de lignes directrices en matière d’éthique contenant des exigences essentielles.

3.3.

Parmi les nombreux défis posés par l’IA, il convient de déterminer avec l’ensemble des parties prenantes quels sont ceux qui devront être relevés par des moyens réglementaires et législatifs accompagnés de mécanismes de suivi réglementaires et, en cas de non-respect, de sanction, et quels seront ceux qui pourront être relevés au moyen de codes éthiques, d’autorégulation et d’engagements volontaires. Le CESE se félicite que la Commission ait repris des principes abordés à l’origine par le CESE, mais regrette qu’à ce stade, elle ne propose aucune mesure spécifique pour répondre aux préoccupations légitimes en matière de droits des consommateurs, de sécurité des systèmes, et de responsabilité.

3.4.

Les systèmes d’IA doivent respecter le cadre réglementaire existant, en particulier en ce qui concerne la protection des données personnelles, la responsabilité des produits, la protection des consommateurs, la non-discrimination, les qualifications professionnelles ainsi que l’information et la consultation des travailleurs sur les lieux de travail. Il convient de s’assurer que ces législations sont adaptées aux nouveaux enjeux de la numérisation et de l’IA.

3.5.

Comme le note la Commission, des «processus devraient être mis en place pour définir et évaluer les risques potentiels liés à l’utilisation de systèmes d’IA pour un éventail d’application» (6). Le CESE attache la plus grande importance aux futures modalités de cette évaluation ainsi qu’à la création d’indicateurs qui pourraient être pris en compte afin de procéder à cette évaluation. Le projet de liste d’évaluation construite par le GHN est un point de départ dans la mise en œuvre de tels processus.

3.6.

Cela concerne également la question de la distribution équitable de la valeur ajoutée attendue des systèmes d’IA. Le CESE considère que les transformations positives dont est porteuse l’IA en termes de développement économique, de durabilité des processus de production et de consommation (notamment d’énergie), d’amélioration de l’utilisation des ressources doivent bénéficier à tous les pays et, en leur sein, à tous les citoyens.

4.   Observations particulières

4.1.   Facteur humain et contrôle humain

4.1.1.

La Commission veut s’assurer que l’usage des systèmes d’IA ne puisse en aucun cas saper l’autonomie humaine ou causer des effets adverses. Le CESE partage cette approche du contrôle humain sur la machine, comme il l’a déjà dit dans ses avis précédents.

4.1.2.

Cela nécessite aussi que les citoyens soient correctement informés des usages de ces systèmes, que ceux-ci soient explicables ou, lorsque ce n’est pas possible (par exemple dans le cas de «l’apprentissage profond»), que des informations soient fournies à l’utilisateur sur les limites et les risques du système. Dans tous les cas, les citoyens doivent pouvoir conserver la liberté de décider autrement que le système d’IA.

4.1.3.

Dans les entreprises et administrations publiques, les travailleurs et leurs représentants doivent être dûment informés et consultés lors de l’introduction de systèmes d’IA susceptibles de modifier l’organisation du travail et de les toucher en termes de contrôle, de surveillance, d’évaluation et de recrutement. La Commission doit promouvoir un dialogue social en vue d’une implication des travailleurs dans les usages des systèmes d’IA.

4.1.4.

En ce qui concerne les ressources humaines, une attention particulière doit être portée aux risques d’usages abusifs des systèmes d’IA tels que la surveillance sans limite, la collecte de données personnelles, de données de santé, le partage de ces données avec des tiers; ainsi qu’aux risques émergents en termes de santé et de sécurité sur les lieux de travail (7). Des normes claires doivent être établies pour éviter que la collaboration humain-machine ne crée des dommages aux personnes. La norme créée par l’Organisation internationale de normalisation (ISO) sur les robots collaboratifs (8), qui s’adresse aux fabricants, aux intégrateurs et aux utilisateurs, fournit des lignes directrices pour la conception et l’organisation de l’espace de travail et la réduction des risques auxquels les personnes peuvent être exposées. Les travailleurs doivent être formés à utiliser l’IA et la robotique, à travailler avec elles et, en particulier, à pouvoir les arrêter en cas d’urgence (principe de l’«emergency brake»).

4.2.   Robustesse technique et sécurité

4.2.1.

Le CESE plaide pour l’introduction de standards de sécurité européens, et le développement d’un système robuste de certification fondé sur des procédures de test qui permettraient aux entreprises d’affirmer la fiabilité de leurs systèmes d’IA. Le CESE tient également à souligner l’importance de la question de l’assurabilité des systèmes d’IA.

4.2.2.

La Commission aborde peu l’aspect de prévision, de prévention et d’interdiction de l’usage malveillant de l’IA et de l’apprentissage machine, contre lequel de nombreux chercheurs mettent en garde (9). Les recommandations de ces derniers gagneraient à être prises en compte, en particulier celles concernant le double usage de ces technologies, lequel peut concerner la sécurité numérique (expansion des attaques informatiques, exploitation des vulnérabilités des humains et de l’IA, «data poisoning»), la sécurité physique (piratage des systèmes autonomes, y compris des véhicules autonomes, drones, armes automatiques) ou la sécurité politique (collecte massive de données personnelles, propagande ciblée, manipulation vidéo, etc.). Chercheurs, ingénieurs et autorités publiques doivent collaborer étroitement pour prévenir ces risques; experts et autres parties prenantes telles que les utilisateurs et les consommateurs doivent être associés aux discussions concernant ces défis.

4.3.   Respect de la vie privée et gouvernance des données

4.3.1.

La Commission plaide pour que l’accès aux données soit «géré et contrôlé de manière appropriée» (10). Le CESE pense qu’il faut aller au-delà des déclarations générales. Le degré de confiance que le citoyen accorde aux systèmes d’IA déterminera aussi son développement. Les questions de l’appartenance des données, de leur contrôle et de l’utilisation qu’en font les entreprises et les organisations restent encore largement à régler. La quantité de données transmises par exemple par les voitures aux constructeurs automobiles ainsi que le type de données transmises ne manquent pas d’interpeller (11). En dépit du concept de «Privacy by design», auquel les objets connectés doivent se conformer en vertu du RGPD, on constate que le consommateur ne dispose que de très peu, voire d’aucune information à ce sujet, et qu’il n’a aucun moyen de contrôle sur ces données. C’est pourquoi le CESE presse la Commission de réviser le RGPD et les réglementations connexes à la lumière des évolutions technologiques (12).

4.4.   Transparence

4.4.1.

Le CESE considère que l’explicabilité des processus de prise de décision algorithmique est essentielle dans la compréhension, non des mécanismes en tant que tels, mais des logiques sous-jacentes aux processus de prise de décision, ainsi qu’à la façon dont ceux-ci sont influencés par les systèmes d’IA. Le développement de procédures de test standards pour les systèmes d’apprentissage automatique reste un défi technique qui devrait être soutenu par des instruments de l’Union européenne tels que le programme Horizon Europe.

4.4.2.

Le CESE partage l’approche de la Commission selon laquelle les systèmes d’IA doivent être identifiables en tant que tels «de manière que les utilisateurs sachent qu’ils interagissent avec un système d’IA» (13), y compris dans le cadre de la relation patient/personnel de santé et des services professionnels liés à la santé et au bien-être des citoyens. Le CESE insiste aussi sur le fait que l’utilisateur ou le consommateur doit également pouvoir être informé sur les services réalisés par des êtres humains. De nombreux systèmes d’IA font en réalité intervenir de grandes quantités de travail humain, souvent cachées aux utilisateurs finaux (14). Il y a derrière cette question l’enjeu du manque de transparence à l’égard des utilisateurs et des consommateurs de services, mais aussi celui d’une forme d’utilisation d’un travail caché et non reconnu.

4.4.3.

Par ailleurs, le CESE estime que le consommateur doit toujours être tenu informé de l’intégration de systèmes d’IA dans les produits qu’il achète, et doit toujours pouvoir avoir accès à ses données et les contrôler.

4.5.   Diversité, non-discrimination et équité

4.5.1.

Les risques en termes de discrimination sont présents dans certaines applications de l’IA permettant de profiler les citoyens, utilisateurs et consommateurs (par exemple pour l’embauche, la location de biens immobiliers, certains services à la personne). L’Union européenne s’est dotée d’un corpus législatif relatif à l’égalité de traitement et à la non-discrimination (15). Les systèmes d’IA doivent s’y conformer. Mais ces législations doivent également être adaptées et, le cas échéant, renforcées (y compris au niveau du contrôle de leur respect) pour faire face aux nouvelles pratiques. Le risque est bien réel que le profilage algorithmique devienne un nouvel outil puissant de discrimination. L’Union européenne doit prévenir ce risque.

4.5.2.

La directive antiracisme (16) et la directive sur l’égalité de traitement entre les sexes en dehors du monde du travail (17) prévoient la création d’organismes spéciaux et compétents en matière de promotion de l’égalité femme-homme. Le CESE plaide pour que ces organismes jouent un rôle actif dans le suivi et le contrôle des systèmes d’IA à l’égard des risques de discrimination directe ou indirecte.

4.6.   Bien-être sociétal et environnemental

4.6.1.

La Commission n’avance pas de pistes précises quant à la manière d’interconnecter la transition climatique et la transformation numérique, en particulier dans l’usage des systèmes d’IA. Il est essentiel de réfléchir à la contribution que les systèmes d’IA peuvent apporter à la réduction des émissions de gaz à effet de serre, en particulier dans les secteurs de l’industrie, du transport, de l’énergie, de la construction et de l’agriculture.

4.6.2.

La Commission affirme que les systèmes d’IA peuvent être utilisés pour renforcer les compétences sociales, mais qu’ils risquent aussi de contribuer à les détériorer. Le CESE est d’avis que l’Union européenne doit davantage prendre la mesure de certains enjeux sociétaux. Des études ont par exemple montré que le design de certaines applications incorporant des systèmes d’IA est conçu pour maintenir connectés le plus longtemps possible les utilisateurs de services en ligne (réseaux sociaux, jeux, vidéos, etc.). L’objectif est de pouvoir collecter le maximum de données sur leurs comportements; et les stratégies utilisées vont du renouvellement sans fin de recommandations algorithmiques, aux rappels et notifications, en passant par des jeux, etc. Les effets sur les enfants des excès de connexion et de sollicitation ont été étudiés (18) et les résultats ont montré une augmentation de l’anxiété, de l’agressivité, un manque de sommeil et des impacts sur l’éducation, les relations sociales, la santé et le bien-être. Pour bâtir une IA digne de confiance, l’Union européenne doit prendre en compte de tels effets et les prévenir.

4.6.3.

Enfin, l’un des facteurs de bien-être sociétal est lié au sentiment de sécurité au travail. Or les effets de la numérisation peuvent être insécurisants et source de stress (19). C’est pourquoi il convient de prévoir des stratégies d’anticipation des changements, avant que ne surviennent d’éventuelles restructurations, et de formation continue de tous les travailleurs. Cela nécessite, au sein des entreprises, un dialogue social de qualité entre employeurs et représentants des travailleurs, permettant notamment le déploiement inclusif des nouvelles technologies, en particulier de l’IA et de la robotique. Pour renforcer la confiance entre les directions et les travailleurs, les systèmes d’IA relatifs au management, aux évaluations, au contrôle des travailleurs doivent être explicables, leurs paramètres connus et leur fonctionnement transparent.

4.7.   Responsabilisation

4.7.1.

Les décisions prises par les systèmes d’apprentissage automatique n’ont pas d’explications simples et sont en outre régulièrement mises à jour. Le CESE estime que le contrôle des systèmes d’IA pourrait ne pas suffire à définir les responsabilités et à susciter la confiance. C’est pourquoi il recommande de définir des règles attribuant, en cas de manquement, la responsabilité aux personnalités juridiques: personnes physiques ou morales. Le CESE recommande de s’appuyer davantage sur des entreprises ou des professionnels dignes de confiance que sur des algorithmes, et propose de développer pour les entreprises qui respectent toutes les normes un «certificat européen d’entreprise de confiance pour l’IA», basé entre autres sur la liste d’évaluation proposée par le GHN.

4.7.2.

La directive sur la responsabilité des produits (20) établit le principe de responsabilité sans faute applicable aux producteurs européens: si un produit présentant un défaut cause un dommage à un consommateur, la responsabilité du producteur peut être engagée même sans faute ni négligence de ce dernier. La conception, le déploiement et l’utilisation de plus en plus répandue des systèmes d’IA nécessitent l’adoption par l’Union européenne de règles adaptées de responsabilité pour les situations dans lesquelles des produits à contenu digital et des services proposés aux consommateurs peuvent s’avérer dangereux et préjudiciables. Les consommateurs doivent pouvoir avoir un accès à la justice en cas de préjudice causé par un système d’IA.

5.   Nécessité d’une régulation au-delà de l’Europe

5.1.

Dans un monde global, la régulation de l’IA doit dépasser les frontières européennes. L’Europe devrait promouvoir un accord large sur l’IA au sein du G7 et du G20 et poursuivre les dialogues bilatéraux afin qu’une majorité de pays puisse participer aux processus de normalisation de l’IA et en vérifier régulièrement la pertinence.

---

(1)  JO C 440, 6.12.2018, p. 1.

(2)  JO C 288, 31.8.2017, p. 1; JO C 440, 6.12.2018, p. 1.

(3)  https://osha.europa.eu/fr/emerging-risks.

(4)  Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO L 119 du 4.5.2016, p. 1).

(5)  COM(2019) 168 final.

(6)  COM(2019) 168 final, p. 5.

(7)  Voir en particulier «OSH and the future of work: benefits and risks of artificial intelligence tools in workplaces».

(8)  ISO/TS 15066, 2016.

(9)  Voir le rapport «The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation», février 2018.

(10)  COM(2019) 168 final, p. 6.

(11)  «Your car knows when you gain weight», The New York Times (International Edition), 22.5.2019.

(12)  JO C 190, 5.6.2019, p. 17.

(13)  COM(2019) 168 final, p. 6.

(14)  Voir par exemple: «A white-collar sweatshop’: Google Assistant contractors allege wage theft», The Guardian, 29.5.2019 et «Bot technology impressive, except when it’s not the bot», The New York Times (International Edition), 24.5.2019.

(15)  JO L 180, 19.7.2000, p. 22; JO L 303, 2.12.2000, p. 16; JO L 373, 21.12.2004, p. 37; JO L 204, 26.7.2006, p. 23.

(16)  Directive 2000/43/CE du Conseil du 29 juin 2000 relative à la mise en œuvre du principe de l’égalité de traitement entre les personnes sans distinction de race ou d’origine ethnique (JO L 180 du 19.7.2000, p. 22).

(17)  17 Directive 2004/113/CE du Conseil du 13 décembre 2004 mettant en œuvre le principe de l’égalité de traitement entre les femmes et les hommes dans l’accès à des biens et services et la fourniture de biens et services (JO L 373 du 21.12.2004, p. 37).

(18)  Voir notamment Kidron, Evans, Afia (2018), «Disrupted Childhood – The COST of Persuasive Design», 5Rights Foundation.

(19)  Rapport du GHN sur l’impact de la transformation numérique sur les marchés du travail de l’Union européenne, 2019.

(20)  Directive 85/374/CEE du Conseil du 25 juillet 1985 relative au rapprochement des dispositions législatives, réglementaires et administratives des États membres en matière de responsabilité du fait des produits défectueux (JO L 210, 7.8.1985, p. 29).