(1)

L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur en établissant un cadre juridique uniforme , en particulier pour le développement , la commercialisation et l’utilisation de l’intelligence artificielle dans le respect des valeurs de l’Union . Le présent règlement poursuit un objectif justifié par un certain nombre de raisons impérieuses d’intérêt général, telles que la nécessité d’un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux , et il garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions concernant le développement, la commercialisation et l’utilisation de systèmes d’IA, sauf autorisation expresse du présent règlement.

(1)

L’objectif du présent règlement est de promouvoir l’adoption de l’intelligence artificielle axée sur le facteur humain et digne de confiance et de garantir un niveau élevé de protection de la santé , de la sécurité, des droits fondamentaux , de la démocratie et de l’état de droit, ainsi que de l’environnement contre les effets néfastes des systèmes d’intelligence artificielle dans l’Union, tout en soutenant l’innovation et en améliorant le fonctionnement du marché intérieur . Le présent règlement établit un cadre juridique uniforme, en particulier pour le développement, la commercialisation, la mise en service et l’utilisation de l’intelligence artificielle dans le respect des valeurs de l’Union , et il garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions concernant le développement, la commercialisation et l’utilisation de systèmes d’intelligence artificielle (systèmes d’IA), sauf autorisation expresse du présent règlement. Certains systèmes d’IA peuvent également avoir une incidence sur la démocratie, l’état de droit et l’environnement. Ces préoccupations sont spécifiquement prises en compte dans les secteurs critiques et les cas d’utilisation énumérés dans les annexes du présent règlement.

(1 bis)

Le présent règlement devrait préserver les valeurs de l’Union en facilitant la répartition des bénéfices de l’intelligence artificielle dans la société, en protégeant les personnes, les entreprises, la démocratie, l’état de droit et l’environnement contre les risques tout en stimulant l’innovation et l’emploi et en faisant de l’Union un acteur de premier plan dans ce domaine.

(2)

Les systèmes d’intelligence artificielle (ci-après les «systèmes d’IA») peuvent être facilement déployés dans plusieurs secteurs de l’économie et de la société, y compris transfrontières, et circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’intelligence artificielle soit sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. La disparité des règles nationales peut entraîner une fragmentation du marché intérieur et réduire la sécurité juridique pour les opérateurs qui développent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union, tandis que les divergences qui entravent la libre circulation des systèmes d’IA et des produits et services connexes au sein du marché intérieur devraient être évitées, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur conformément à l’article 114 du traité sur le fonctionnement de l’Union européenne (TFUE). Dans la mesure où le présent règlement contient des règles spécifiques sur la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel, à savoir notamment des restrictions portant sur l’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives, il convient de fonder le présent règlement, dès lors que ces règles spécifiques sont concernées, sur l’article 16 du TFUE. Compte tenu de ces règles spécifiques et du recours à l’article 16 du TFUE, il convient de consulter le comité européen de la protection des données.

(2)

Les systèmes d’IA peuvent être facilement déployés dans plusieurs secteurs de l’économie et de la société, y compris transfrontières, et circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’intelligence artificielle soit digne de confiance et sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. La disparité des règles nationales peut entraîner une fragmentation du marché intérieur et réduire la sécurité juridique pour les opérateurs qui développent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union afin de parvenir à une IA digne de confiance , tandis que les divergences qui entravent la libre circulation , l’innovation, le déploiement et l’adoption des systèmes d’IA et des produits et services connexes au sein du marché intérieur devraient être évitées, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur conformément à l’article 114 du traité sur le fonctionnement de l’Union européenne (TFUE).

(2 bis)

Étant donné que l’intelligence artificielle (IA) s’appuie souvent sur le traitement de grands volumes de données, et que de nombreux systèmes et applications d’IA se fondent sur le traitement de données à caractère personnel, il convient de fonder le présent règlement sur l’article 16 du TFUE, qui consacre le droit à la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel et prévoit l’adoption de règles sur la protection des personnes physiques pour ce qui est du traitement des données à caractère personnel.

(2 ter)

Le droit fondamental à la protection des données à caractère personnel est garanti en particulier par les règlements (UE) 2016/679 et (UE) 2018/1725, ainsi que par la directive (UE) 2016/680. Par ailleurs, la directive 2002/58/CE protège la vie privée et la confidentialité des communications et prévoit les conditions de stockage de données à caractère personnel et non personnel dans des équipements terminaux ainsi que les conditions d’accès à ces données depuis ces équipements. Ces actes juridiques constituent la base d’un traitement durable et responsable des données, y compris lorsque les jeux de données comprennent des données à caractère personnel et non personnel. Le présent règlement n’entend pas modifier l’application du droit de l’Union régissant le traitement des données à caractère personnel, ni les tâches et les pouvoirs des autorités de contrôle indépendantes chargées de veiller au respect de ces instruments. Le présent règlement est sans effet sur les droits fondamentaux à la vie privée et à la protection des données tels que prévus par le droit de l’Union en matière de protection des données et de respect de la vie privée et consacrés par la charte des droits fondamentaux de l’Union européenne (ci-après la «charte»).

(2 quater)

Les systèmes d’intelligence artificielle dans l’Union sont soumis à la législation pertinente en matière de sécurité des produits, qui fournit un cadre de protection des consommateurs contre les produits dangereux en général, et cette législation devrait continuer à s’appliquer. Le présent règlement est également sans préjudice des règles établies par d’autres actes juridiques de l’Union régissant la protection des consommateurs et la sécurité des produits, notamment le règlement (UE) 2017/2394, le règlement (UE) 2019/1020 et la directive 2001/95/CE relative à la sécurité générale des produits et la directive 2013/11/UE.

(2 quinquies)

Conformément à l’article 114, paragraphe 2, TFUE, le présent règlement complète les droits et les intérêts des travailleurs salariés et ne devrait pas leur nuire. Le présent règlement ne devrait donc pas avoir d’incidence sur le droit de l’Union en matière de politique sociale ni sur le droit du travail et les pratiques liées à l’emploi appliqués au niveau national, à savoir de toute disposition légale et contractuelle concernant les conditions d’emploi, les conditions de travail, y compris la santé et la sécurité au travail, et les relations entre employeurs et salariés, y compris l’information, la consultation et la participation. Le présent règlement ne devrait pas porter préjudice à l’exercice des droits fondamentaux reconnus dans les États membres et au niveau de l’Union, notamment le droit ou la liberté de faire grève ou d’entreprendre d’autres actions prévues par les systèmes de relations du travail propres aux États membres, conformément à la législation et/ou aux pratiques nationales. Il ne devrait pas non plus porter atteinte au droit de négocier, de conclure et d’appliquer une convention collective ou de mener des actions collectives conformément à la législation et/ou aux pratiques nationales. Il ne devrait en aucun cas empêcher la Commission de proposer une législation spécifique relative aux droits et aux libertés des travailleurs concernés par des systèmes d’IA.

(2 sexies)

Le présent règlement ne devrait pas porter atteinte aux dispositions visant à améliorer les conditions de travail via une plateforme, énoncées dans la directive … Directive 2021/414/CE.

(2 septies)

Le présent règlement devrait contribuer à soutenir la recherche et l’innovation et ne devrait pas porter atteinte aux activités de recherche et de développement et respecter la liberté de la recherche scientifique. Il est dès lors nécessaire d’exclure de son champ d’application les systèmes d’IA spécifiquement conçus à des fins de recherche et de développement scientifiques ainsi que de veiller à ce que le règlement ne porte pas atteinte d’une autre manière aux activités de recherche et de développement scientifiques sur les systèmes d’IA. En tout état de cause, toute activité de recherche et de développement devrait être menée conformément à la charte, au de l’Union ainsi qu’au droit national.

(3)

L’intelligence artificielle est une famille de technologies en évolution rapide susceptible de contribuer à un large éventail de bienfaits économiques et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales. En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’intelligence artificielle peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, l’éducation et la formation, la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.

(3)

L’intelligence artificielle est une famille de technologies en évolution rapide susceptible de contribuer , ce qu’elle fait déjà, à un large éventail de bienfaits économiques , environnementaux et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales si elle est développée selon des principes généraux pertinents conformes à la charte des droits fondamentaux de l’Union européenne et aux valeurs sur lesquelles l’Union est fondée . En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’intelligence artificielle peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, la sécurité des aliments, l’éducation et la formation , les médias, le sport, la culture , la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie , la surveillance de l’environnement, la préservation et la restauration de la biodiversité et des écosystèmes ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.

(3 bis)

Pour contribuer à la réalisation des objectifs de neutralité carbone, il convient que les entreprises européennes s’efforcent d’utiliser tous les progrès technologiques disponibles susceptibles de concourir à la réalisation de ces objectifs. L’intelligence artificielle est une technologie qui présente le potentiel pour être utilisée dans le traitement du volume toujours croissant de données créées lors des processus industriels, environnementaux, sanitaires et autres. Pour faciliter les investissements dans les instruments d’analyse et d’optimisation basées sur l’IA, le présent règlement doit créer un environnement prévisible et proportionné propice aux solutions industrielles à faible risque.

(4)

Dans le même temps, en fonction des circonstances concernant son application et son utilisation, l’intelligence artificielle peut générer des risques et porter atteinte aux intérêts et droits publics protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel.

(4)

Dans le même temps, en fonction des circonstances concernant son application et son utilisation, ainsi que du niveau de développement technologique, l’intelligence artificielle peut générer des risques et porter atteinte aux intérêts et droits fondamentaux publics ou privés des personnes physiques protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel , y compris physique, psychologique, sociétal ou économique .

(4 bis)

Compte tenu de l’incidence majeure que l’intelligence artificielle peut avoir sur nos sociétés et de la nécessité de bâtir la confiance, l’intelligence artificielle et son cadre réglementaire doivent impérativement être élaborés dans le respect des valeurs de l’Union consacrées à l’article 2 du traité UE, des droits et libertés fondamentaux prévus par les traités, de la charte et du droit international en matière de droits de l’homme. Il est indispensable que l’intelligence artificielle soit une technologie axée sur l’humain. Elle ne devrait pas se substituer à l’autonomie humaine ni supposer la perte de liberté individuelle, et elle devrait avant tout être au service des besoins de la société et du bien commun. Des garde-fous devraient être prévus pour veiller au développement et à l’utilisation d’une intelligence artificielle intégrée de manière éthique qui respecte les valeurs de l’Union et de la charte.

(5)

Un cadre juridique de l’Union établissant des règles harmonisées sur l’intelligence artificielle est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’intelligence artificielle dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé, la sécurité et la protection des droits fondamentaux, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché et la mise en service de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. En établissant ces règles, le présent règlement contribue à la réalisation de l’objectif formulé par le Conseil européen (33) de faire de l’Union un acteur mondial de premier plan dans le développement d’une intelligence artificielle sûre, fiable et éthique, et il garantit la protection de principes éthiques expressément demandée par le Parlement européen (34).

(5)

Un cadre juridique de l’Union établissant des règles harmonisées sur l’intelligence artificielle est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’intelligence artificielle dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé, la sécurité et la protection des droits fondamentaux, de la démocratie, de l’état de droit ainsi que de l’environnement, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché, la mise en service et l’utilisation de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. Ces règles devraient être claires et solides pour protéger les droits fondamentaux, soutenir de nouvelles solutions innovantes et permettre la mise en place d’un écosystème européen d’acteurs publics et privés créant des systèmes d’IA conformes aux valeurs de l’Union. En établissant ces règles, ainsi que des mesures en faveur de l’innovation mettant un accent particulier sur les PME et les jeunes entreprises, le présent règlement contribue à la réalisation de l’objectif de promotion de l’IA développée en Europe formulé par le Conseil européen (33) de faire de l’Union un acteur mondial de premier plan dans le développement d’une intelligence artificielle sûre, fiable et éthique, et il garantit la protection de principes éthiques expressément demandée par le Parlement européen (34).

(5 bis)

En outre, pour favoriser le développement de systèmes d’IA dans le respect des valeurs sur lesquelles elle repose, l’Union doit s’attaquer aux principaux freins et lacunes qui empêchent la transformation numérique de réaliser tout son potentiel, en remédiant notamment à la pénurie de travailleurs dotés de compétences numériques, aux problèmes de cybersécurité ainsi qu’au manque d’accès aux investissements et à leur insuffisance, et doit s’efforcer de combler les écarts qui existent ou peuvent exister entre les grandes entreprises, les PME et les jeunes entreprises. Il convient de veiller tout particulièrement à ce que les bienfaits de l’IA et de l’innovation dans les nouvelles technologies se fassent sentir dans toutes les régions de l’Union et à ce que des investissements et des moyens suffisants soient dirigés tout particulièrement vers les régions accusant du retard au regard de certains indicateurs numériques.

(6)

Il convient de définir clairement la notion de système d’IA afin de garantir une sécurité juridique, tout en offrant la flexibilité nécessaire pour s’adapter aux progrès technologiques à venir . La définition devrait être basée sur les caractéristiques fonctionnelles clés du logiciel , en particulier la capacité , pour un ensemble donné d’objectifs définis par l’homme, à  générer des résultats tels que du contenu, des prédictions, des recommandations ou des décisions qui influencent l’environnement avec lequel le système interagit, que ce soit dans une dimension physique ou numérique . Les systèmes d’IA peuvent être conçus pour fonctionner à différents niveaux d’autonomie et être utilisés seuls ou en tant que composant d’un produit , que le système soit physiquement incorporé dans le produit (intégré) ou qu’il serve la fonctionnalité du produit sans être incorporé dans celui-ci (non intégré). La définition des systèmes d’IA devrait être complétée par une liste de techniques et d’approches spécifiques utilisées pour le développement de ces systèmes , laquelle devrait être mise à jour, pour tenir compte de l’évolution du marché et de la technologie, par l’adoption d’actes délégués de la Commission modifiant ladite liste .

(6)

La notion de système d’IA figurant dans le présent règlement devrait être clairement définie et étroitement alignée sur les travaux des organisations internationales œuvrant dans le domaine de l’intelligence artificielle afin de garantir la sécurité juridique, l’harmonisation et une large acceptation, tout en offrant la souplesse nécessaire pour tenir compte des évolutions technologiques rapides dans ce domaine . La définition devrait être basée sur les caractéristiques fonctionnelles clés de l’intelligence artificielle, telles que ses capacités d’apprentissage , de raisonnement ou de modélisation , de manière à la distinguer de systèmes logiciels et d’approches de programmation plus simples. Les systèmes d’IA sont conçus pour fonctionner avec différents niveaux d’autonomie, ce qui signifie qu’ils jouissent au moins d’un certain degré d’indépendance dans leur action par rapport aux contrôles humains et de capacités à  fonctionner sans intervention humaine. Le terme «fondé sur des machines» fait référence au fait que les systèmes d’IA fonctionnent grâce à des machines. La référence à des objectifs explicites ou implicites souligne que les systèmes d’IA peuvent fonctionner selon des objectifs explicites définis par l’homme ou des objectifs implicites. Les objectifs du système d’IA peuvent être différents de la destination du système d’IA dans un contexte spécifique. La référence aux prévisions inclut le contenu , qui est considéré dans le présent règlement comme une forme de prévision en tant que l’un des résultats possibles produits par un système d’IA. Aux fins du présent règlement, les environnements devraient s’entendre comme les contextes dans lesquels les systèmes d’IA fonctionnent, tandis que les résultats générés par le système d’IA, c’est-à-dire les prévisions, les recommandations ou les décisions , répondent aux objectifs du système, sur la base des contributions dudit environnement. Une telle production influe davantage sur cet environnement, même en lui apportant simplement de nouvelles informations.

(6 bis)

Les systèmes d’IA disposent souvent de capacités d’apprentissage automatique qui leur permettent de s’adapter et d’exécuter de nouvelles tâches de manière autonome. L’apprentissage automatique fait référence au processus de calcul consistant à optimiser, à partir de données, les paramètres d’un modèle qui est une construction mathématique générant un résultat fondé sur les données d’entrée. Les approches d’apprentissage automatique, comprennent, par exemple, l’apprentissage supervisé, non supervisé et par renforcement, et utilisent une grande variété de méthodes, y compris l’apprentissage profond au moyen de réseaux neuronaux. Le présent règlement vise à faire face aux nouveaux risques potentiels qui pourraient découler de la délégation du contrôle aux systèmes d’IA, en particulier aux systèmes d’IA qui peuvent évoluer après leur déploiement. La fonction et les résultats d’un grand nombre de ces systèmes d’IA reposent sur des relations mathématiques abstraites que l’être humain éprouve des difficultés à comprendre, à surveiller et à retracer vers des intrants spécifiques. Ces caractéristiques complexes et opaques (élément de la boîte noire) ont une incidence sur la responsabilité et l’explicabilité.Des techniques comparativement simples telles que les approches fondées sur la connaissance, l’estimation bayésienne ou les arbres décisionnels peuvent également entraîner des lacunes juridiques auxquelles le présent règlement doit remédier, en particulier lorsqu’elles sont utilisées en combinaison avec des approches d’apprentissage automatique dans des systèmes hybrides.

(6 ter)

Les systèmes d’IA peuvent être utilisés dans un logiciel seul, incorporé dans un produit physique (intégré), utilisé pour qu’il serve la fonctionnalité d’un produit physique sans être incorporé dans celui-ci (non intégré) ou utilisé comme sous-système d’un logiciel/système physique/hybride de systèmes. Si ce système de plus grande taille ne fonctionne pas sans le composant d’IA en question, l’ensemble du système plus vaste devrait être considéré comme un seul système d’IA au titre du présent règlement.

(7)

La notion de données biométriques utilisée dans le présent règlement est conforme à  la notion de données biométriques telle que définie à l’article 4, paragraphe 14, du règlement (UE) 2016/679 du Parlement européen et du Conseil (35) , à l’article 3, paragraphe 18 , du règlement (UE) 2018/1725 du Parlement européen et du Conseil  (36) et à l’article 3 , paragraphe 13 , de la directive (UE) 2016/680 du Parlement européen et du Conseil et devrait être interprétée de manière cohérente avec celle-ci  (37) .

(7)

La notion de données biométriques utilisée dans le présent règlement est conforme à  celle définie à l’article 4, paragraphe 14, du règlement (UE) 2016/679 du Parlement européen et du Conseil (35) et devrait être interprétée de manière cohérente avec celle-ci. Les données fondées sur la biométrie sont les données supplémentaires résultant d’un traitement technique spécifique , relatives aux signaux physiques, physiologiques ou comportementaux, tels que les expressions faciales, les mouvements , la fréquence cardiaque , la voix, la pression sur des touches ou encore la démarche, d’une personne physique qui peuvent ou pas permettre ou confirmer son identification unique;

(7 bis)

La notion d’identification biométrique, telle qu’employée dans le présent règlement, devrait être définie comme la reconnaissance automatisée de propriétés physiques, physiologiques, comportementales et psychologiques humaines telles que le visage, le mouvement des yeux, les expressions faciales, la forme du corps, la voix, la parole, la démarche, la posture, le rythme cardiaque, la pression sanguine, l’odeur, la frappe au clavier, les réactions psychologiques (colère, détresse, chagrin, etc.) permettant la vérification de l’identité d’une personne par comparaison des données biométriques de cette personne aux données biométriques des personnes stockées dans une base de données (identification un à plusieurs), que la personne ait donné son approbation ou non;

(7 ter)

La notion de catégorisation biométrique, telle qu’employée dans le présent règlement, devrait définir l’affectation de personnes physiques à des catégories spécifiques, ou la déduction de leurs caractéristiques et attributs, tels que le genre, le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, l’origine ethnique ou sociale, la santé, les aptitudes mentales, les traits liés au comportement ou à la personnalité, la langue, la religion ou l’appartenance à une minorité nationale ou l’orientation sexuelle ou politique, etc., sur la base de leurs données biométriques et de données fondées sur la biométrie ou qui peuvent être déduites de ces données.

(8)

La notion de système d’identification biométrique à distance telle qu’elle est utilisée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques à distance par la comparaison des données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence, sans savoir au préalable si la personne ciblée sera présente et pourra être identifiée, quels que soient la technologie, les processus ou les types de données biométriques utilisés. Compte tenu de leurs caractéristiques et modes d’utilisation différents, ainsi que des différents risques encourus, il convient de faire une distinction entre les systèmes d’identification biométrique à distance «en temps réel» et «a posteriori». Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA en question. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai significatif. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées.

(8)

La notion de système d’identification biométrique à distance telle qu’elle est utilisée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques à distance par la comparaison des données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence, sans savoir au préalable si la personne ciblée sera présente et pourra être identifiée, quels que soient la technologie, les processus ou les types de données biométriques utilisés , à l’exclusion des systèmes de vérifications qui se limitent à comparer les données biométriques d’une personne aux données biométriques qu’ils ont précédemment fournies (comparaison un-à-un) . Compte tenu de leurs caractéristiques et modes d’utilisation différents, ainsi que des différents risques encourus, il convient de faire une distinction entre les systèmes d’identification biométrique à distance «en temps réel» et «a posteriori». Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA en question. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai significatif. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées. Étant donné que la notion d’identification biométrique est indépendante de l’accord ou non de l’approbation de la personne, cette définition s’applique même lorsque des avertissements sont affichés dans le lieu placé sous la surveillance du système d’identification biométrique à distance, et elle n’est pas invalidée de facto par la préinscription.

(8 bis)

L’identification à distance des personnes physiques vise à distinguer les systèmes d’identification biométrique à distance des systèmes de vérification individuelle à proximité immédiate utilisant des moyens d’identification biométrique, dont le seul but est de confirmer si une personne physique spécifique se présentant à des fins d’identification est ou non autorisée, par exemple pour avoir accès à un service, à un dispositif ou à des locaux.

(9)

Aux fins du présent règlement, la notion d’espace accessible au public devrait être comprise comme désignant tous les lieux physiques accessibles au public, qu’ils appartiennent à un propriétaire privé ou public. Par conséquent, cette notion ne couvre pas les lieux qui sont privés par nature et qui en temps normal ne sont pas librement accessibles à des tiers, y compris aux autorités répressives, sauf si ces tiers ont été spécifiquement invités ou autorisés, comme les logements, les clubs privés, les bureaux, les entrepôts et les usines. Les espaces en ligne ne sont pas non plus couverts, car ce ne sont pas des espaces physiques. Cependant, le simple fait que l’accès à un espace donné soit soumis à certaines conditions, telles que des billets d’entrée ou des restrictions d’âge, ne signifie pas que l’espace n’est pas accessible au public au sens du présent règlement. Par conséquent, outre les espaces publics tels que les rues, les parties pertinentes de bâtiments du secteur public et la plupart des infrastructures de transport, les espaces tels que les cinémas, les théâtres, les magasins et les centres commerciaux sont normalement aussi accessibles au public. Le caractère accessible au public ou non d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.

(9)

Aux fins du présent règlement, la notion d’espace accessible au public devrait être comprise comme désignant tous les lieux physiques accessibles au public, qu’ils appartiennent à un propriétaire privé ou public , sans tenir compte des éventuelles restrictions de capacité . Par conséquent, cette notion ne couvre pas les lieux qui sont privés par nature et qui en temps normal ne sont pas librement accessibles à des tiers, y compris aux autorités répressives, sauf si ces tiers ont été spécifiquement invités ou autorisés, comme les logements, les clubs privés, les bureaux, les entrepôts et les usines. Les espaces en ligne ne sont pas non plus couverts, car ce ne sont pas des espaces physiques. Cependant, le simple fait que l’accès à un espace donné soit soumis à certaines conditions, telles que des billets d’entrée ou des restrictions d’âge, ne signifie pas que l’espace n’est pas accessible au public au sens du présent règlement. Par conséquent, outre les espaces publics tels que les rues, les parties pertinentes de bâtiments du secteur public et la plupart des infrastructures de transport, les espaces tels que les cinémas, les théâtres, les terrains de sport, les écoles, les universités, les parties concernées des hôpitaux et des banques, les parcs d’attractions, les festivals, les magasins et les centres commerciaux sont normalement aussi accessibles au public. Le caractère accessible au public ou non d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.

(9 bis)

Il importe de noter que les systèmes d’IA devraient tout mettre en œuvre pour respecter les principes généraux établissant un cadre de haut niveau qui favorise une approche cohérente et centrée sur l’humain d’une IA éthique et digne de confiance, conformément à la charte des droits fondamentaux de l’Union européenne et aux valeurs sur lesquelles l’Union est fondée, y compris la protection des droits fondamentaux, le facteur et le contrôle humains, la solidité technique et la sécurité, la protection de la vie privée et la gouvernance des données, la transparence, la non-discrimination et l’équité ainsi que le bien-être sociétal et environnemental.

(9 ter)

La notion de «maîtrise de l’IA» désigne les compétences, les connaissances et la compréhension qui permettent aux fournisseurs, aux utilisateurs et aux personnes concernées, compte tenu de leurs droits et obligations respectifs dans le contexte du présent règlement, de procéder à un déploiement des systèmes d’IA en toute connaissance de cause, ainsi que de prendre conscience des possibilités et des risques que comporte l’IA, ainsi que des préjudices potentiels qu’elle peut causer, et ainsi agir en faveur de son contrôle démocratique. La maîtrise de l’IA ne devrait pas se limiter à l’apprentissage des outils et des technologies, mais devrait également viser à doter les fournisseurs et les utilisateurs des notions et des compétences requises pour garantir le respect et l’application du présent règlement. C’est pourquoi il est nécessaire que la Commission, les États membres, ainsi que les fournisseurs et utilisateurs de systèmes d’IA, en coopération avec tous les acteurs pertinents, promeuvent le développement de la maîtrise de l’IA à un niveau suffisant, dans tous les secteurs de la société, pour les personnes de tous âges, y compris les femmes et les filles, et que les progrès en la matière soient suivis de près.

(10)

Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux utilisateurs de systèmes d’IA établis dans l’Union.

(10)

Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union et à l’échelle internationale, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux déployeurs de systèmes d’IA établis dans l’Union. Pour que l’Union reste fidèle à ses valeurs fondamentales, les systèmes d’IA destinés à être utilisés pour des pratiques considérées comme inacceptables par le présent règlement devraient également être considérés comme inacceptables en dehors de l’Union en raison de leur effet particulièrement néfaste sur les droits fondamentaux consacrés par la charte. Il convient donc d’interdire l’exportation de ces systèmes d’IA vers des pays tiers par des fournisseurs résidant dans l’Union.

(11)

Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont ni mis sur le marché, ni mis en service, ni utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi en dehors de l’Union la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA, qui serait considéré comme étant à haut risque et dont les effets ont une incidence sur des personnes physiques situées dans l’Union. Dans ces circonstances, l’opérateur établi en dehors de l’Union pourrait utiliser un système d’IA pour traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union le résultat de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux utilisateurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure où le résultat produit par ces systèmes est utilisé dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords internationaux conclus au niveau national ou au niveau européen pour la coopération des services répressifs et judiciaires avec l’Union ou avec ses États membres. De tels accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’UE, des pays tiers et des organisations internationales.

(11)

Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont ni mis sur le marché, ni mis en service, ni utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi en dehors de l’Union la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA, qui serait considéré comme étant à haut risque et dont les effets ont une incidence sur des personnes physiques situées dans l’Union. Dans ces circonstances, l’opérateur établi en dehors de l’Union pourrait utiliser un système d’IA pour traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union le résultat de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux utilisateurs déployeurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure où le résultat produit par ces systèmes est destiné à être utilisé dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords internationaux conclus au niveau national ou au niveau européen pour la coopération des services répressifs et judiciaires avec l’Union ou avec ses États membres. De tels accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’UE, des pays tiers et des organisations internationales. Cette exception devrait néanmoins être limitée aux pays et organisations internationales de confiance qui partagent les valeurs de l’Union.

(12)

Le présent règlement devrait également s’appliquer aux institutions, organismes, organes et agences de l’Union lorsqu’ils agissent en tant que fournisseurs ou utilisateurs d’un système d’IA. Les systèmes d’IA exclusivement développés ou utilisés à des fins militaires devraient être exclus du champ d’application du présent règlement lorsque cette utilisation relève de la compétence exclusive de la politique étrangère et de sécurité commune régie par le titre V du traité sur l’Union européenne (TUE). Le présent règlement ne devrait pas porter atteinte aux dispositions relatives à la responsabilité des prestataires de services intermédiaires énoncées dans la directive 2000/31/CE du Parlement européen et du Conseil (telle que modifiée par la législation sur les services numériques).

(12)

Le présent règlement devrait également s’appliquer aux institutions, organismes, organes et agences de l’Union lorsqu’ils agissent en tant que fournisseurs ou déployeurs d’un système d’IA. Les systèmes d’IA exclusivement développés ou utilisés à des fins militaires devraient être exclus du champ d’application du présent règlement lorsque cette utilisation relève de la compétence exclusive de la politique étrangère et de sécurité commune régie par le titre V du traité sur l’Union européenne (TUE). Le présent règlement ne devrait pas porter atteinte aux dispositions relatives à la responsabilité des prestataires de services intermédiaires énoncées dans la directive 2000/31/CE du Parlement européen et du Conseil (telle que modifiée par la législation sur les services numériques).

(12 bis)

Les logiciels et les données qui sont librement partagés et que les utilisateurs peuvent librement consulter, utiliser, modifier et redistribuer, y compris leurs versions modifiées, peuvent contribuer à la recherche et à l’innovation sur ce marché. Des recherches menées par la Commission montrent également que les logiciels libres et ouverts peuvent contribuer au produit intérieur brut (PIB) de l’Union européenne à hauteur de 65 milliards à 95 milliards d’EUR et peuvent offrir des possibilités significatives de croissance à l’économie de l’Union. Les utilisateurs sont autorisés à exécuter, copier, distribuer, étudier, modifier et améliorer les logiciels et les données, y compris les modèles, au moyen de licences libres et ouverts. Pour favoriser le développement et le déploiement de l’IA, en particulier par les PME, les jeunes entreprises et le secteur de la recherche universitaire, mais aussi par les personnes individuelles, le présent règlement ne devrait pas s’appliquer aux composants d’IA fournis dans le cadre de licences libres et ouvertes, sauf dans la mesure où ils sont mis sur le marché ou mis en service par un fournisseur dans le cadre d’un système d’IA à haut risque ou d’un système d’IA qui relève du titre II ou IV du présent règlement.

(12 ter)

Ni le développement collaboratif de composants libres et ouverts d’AI ni leur mise à disposition dans des référentiels ouverts ne devraient constituer une mise sur le marché ou une mise en service. L’activité commerciale, au sens de la mise à disposition sur le marché, peut toutefois être caractérisée par le prix facturé, à l’exception des transactions entre les micro-entreprises, pour un composant d’AI libre et ouvert, mais également par le prix des services d’assistance technique, par la fourniture d’une plate-forme logicielle par l’intermédiaire de laquelle le fournisseur monétise d’autres services, ou par l’utilisation de données à caractère personnel pour des raisons autres qu’aux seules fins d’améliorer la sécurité, la compatibilité ou l’interopérabilité du logiciel.

(12 quater)

Les développeurs de composants d’IA libres et ouverts ne devraient pas être tenus, en vertu du présent règlement, de se conformer aux exigences ciblant la chaîne de valeur de l’IA et, en particulier, aux exigences vis-à-vis du fournisseur qui a utilisé ce composant d’IA libre et ouvert. Les développeurs de composants d’IA libres et ouverts devraient toutefois être encouragés à mettre en œuvre des pratiques documentaires largement adoptées, telles que des modèles et des cartes de données, afin d’accélérer le partage d’informations tout au long de la chaîne de valeur de l’IA, ce qui permettrait de promouvoir des systèmes d’IA dignes de confiance dans l’Union.

(13)

Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux, il convient d’établir des normes communes pour tous les systèmes d’IA à haut risque. Ces normes devraient être conformes à la charte des droits fondamentaux de l’Union européenne (ci-après la «charte») , non discriminatoires et compatibles avec les engagements commerciaux internationaux de l’Union.

(13)

Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux ainsi que la démocratie, l’état de droit et l’environnement , il convient d’établir des normes communes pour tous les systèmes d’IA à haut risque. Ces normes devraient être conformes à la charte , au pacte vert pour l’Europe, à la déclaration commune sur les droits numériques de l’Union et aux lignes directrices en matière d’éthique pour une IA digne de confiance du groupe d’experts de haut niveau sur l’IA , non discriminatoires et compatibles avec les engagements internationaux de l’Union.

(14)

Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques en matière d’intelligence artificielle, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.

(14)

Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques inacceptables en matière d’intelligence artificielle, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.

(15)

Si l’intelligence artificielle peut être utilisée à de nombreuses fins positives, cette technologie peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, et elles portent atteinte aux droits fondamentaux de l’Union, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.

(15)

Si l’intelligence artificielle peut être utilisée à de nombreuses fins positives, cette technologie peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et abusives et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, et elles portent atteinte aux droits fondamentaux de l’Union, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.

(16)

La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA destinés à altérer les comportements humains d’une manière qui est susceptible de causer un préjudice psychologique ou physique devraient être interdites. De tels systèmes d’IA déploient des composants subliminaux que les personnes ne peuvent pas percevoir, ou exploitent les vulnérabilités des enfants et des personnes vulnérables en raison de leur âge ou de leurs handicaps physiques ou mentaux. Ces systèmes ont pour finalité d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est susceptible de causer un préjudice à cette personne ou à une autre personne. La finalité ne peut être présumée si l’altération du comportement humain résulte de facteurs externes au système d’IA, qui échappent au contrôle du fournisseur ou de l’utilisateur. Les activités de recherche à des fins légitimes liées à de tels systèmes d’IA ne devraient pas être entravées par l’interdiction, tant que ces activités ne consistent pas à utiliser le système d’IA dans des relations homme-machine qui exposent des personnes physiques à un préjudice et tant qu’elles sont menées dans le respect de normes éthiques reconnues pour la recherche scientifique.

(16)

La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA avec pour objectif ou pour effet d’altérer substantiellement les comportements humains d’une manière qui est susceptible de causer un préjudice psychologique ou physique devraient être interdites. Cette limitation devrait s’entendre comme incluant les neuro-technologies assistées par des systèmes d’IA qui sont utilisées pour surveiller, utiliser ou influencer les données neuronales recueillies au moyen d’interfaces cerveaux/ordinateurs, dans la mesure où elles altèrent sensiblement le comportement d’une personne physique d’une manière qui cause ou est susceptible de causer un préjudice important à cette personne ou à une autre personne. De tels systèmes d’IA déploient des composants subliminaux que les personnes ne peuvent pas percevoir, ou exploitent les vulnérabilités de personnes ou de groupes de personnes spécifiques en raison de leur traits de personnalité connus ou prévus, de leur âge, de leurs handicaps physiques ou mentaux , ou de leur situation sociale ou économique . Ils le font avec pour objectif ou pour effet de perturber substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des préjudices susceptibles de s’accumuler dans le temps . La finalité de perturber le comportement ne peut être présumée si l’altération résulte de facteurs externes au système d’IA, qui échappent au contrôle du fournisseur ou de l’utilisateur , tels que des facteurs qui ne peuvent être raisonnablement prévus et atténués par le fournisseur ou le déployeur du système d’IA. En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, pour autant que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. L’interdiction de telles pratiques en matière d’IA est complémentaire des dispositions de la directive 2005/29/CE, selon lesquelles les pratiques commerciales déloyales sont interdites, qu’elles aient recours à des systèmes d’IA ou non. Dans ce contexte, les pratiques commerciales licites, par exemple dans le domaine de la publicité, qui sont conformes au droit de l’Union ne devraient pas, en soi, être considérées comme violant l’interdiction. Les activités de recherche à des fins légitimes liées à de tels systèmes d’IA ne devraient pas être entravées par l’interdiction, tant que ces activités ne consistent pas à utiliser le système d’IA dans des relations homme-machine qui exposent des personnes physiques à un préjudice et tant qu’elles sont menées dans le respect de normes éthiques reconnues pour la recherche scientifique et fondées sur une approbation spécifique et informée des personnes qui y sont exposées ou, le cas échéant, de leur représentant légal .

(16 bis)

Les systèmes d’IA qui classent les personnes physiques en les répartissant dans des catégories spécifiques, en fonction de caractéristiques sensibles ou protégées connues ou déduites, sont particulièrement intrusifs, portent atteinte à la dignité humaine et présentent un risque élevé de discrimination. Ces caractéristiques s’étendent au genre et à l’identité de genre, à la race, à l’origine ethnique, au statut migratoire ou de citoyenneté, à l’orientation politique, à l’orientation sexuelle, à la religion, au handicap ou à tout autre motif pour lequel la discrimination est interdite en vertu de l’article 21 de la charte des droits fondamentaux de l’Union européenne ainsi que de l’article 9 du règlement (UE) 2016/769. Il convient donc d’interdire de tels systèmes d’IA.

(17)

Les systèmes d’IA permettant la notation sociale des personnes physiques à des fins générales par les autorités publiques ou pour le compte de celles-ci peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent porter atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent la fiabilité des personnes physiques en fonction de leur comportement social dans plusieurs contextes ou de caractéristiques personnelles ou de personnalité connues ou prédites. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il convient donc d’interdire de tels systèmes d’IA.

(17)

Les systèmes d’IA permettant la notation sociale des personnes physiques à des fins générales peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils portent atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent les personnes physiques ou les groupes de personnes physiques en fonction de plusieurs points d’information et occurrences liées à leur comportement social dans plusieurs contextes ou de caractéristiques personnelles ou de personnalité connues , déduites ou prédites. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il convient donc d’interdire de tels systèmes d’IA.

(18)

L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives est considérée comme particulièrement intrusive pour les droits et les libertés des personnes concernées , dans la mesure où elle peut toucher la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constante et dissuader indirectement l’exercice de la liberté de réunion et d’autres droits fondamentaux. En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant «en temps réel» engendre des risques accrus pour les droits et les libertés des personnes concernées par les activités répressives.

(18)

L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public est particulièrement intrusive du point de vue des droits et des libertés des personnes concernées et peut, en fin de compte, toucher la vie privée d’une grande partie de la population, créer un sentiment justifié de surveillance constante , conférer aux parties déployant l’identification biométrique dans les espaces accessibles au public une position de pouvoir incontrôlable et dissuader indirectement de l’exercice de la liberté de réunion et d’autres droits fondamentaux qui constituent le fondement de l’état de droit. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires, en particulier en ce qui concerne l’âge, l’appartenance ethnique, le sexe ou les handicaps . En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant «en temps réel» engendre des risques accrus pour les droits et les libertés des personnes concernées par les activités répressives. L’utilisation de ces systèmes dans les lieux accessibles au public devrait donc être interdite. De même, les systèmes d’IA utilisés pour l’analyse des images enregistrées d’espaces accessibles au public au moyen de systèmes d’identification biométrique à distance «postérieurs» devraient également être interdits, à moins qu’il n’existe une autorisation judiciaire préalable d’utilisation à des fins répressives, lorsque cela est strictement nécessaire à la recherche ciblée liée à une infraction pénale grave spécifique qui a déjà eu lieu, et uniquement sous réserve d’une autorisation judiciaire préalable.

(19)

L’utilisation de ces systèmes à des fins répressives devrait donc être interdite, sauf dans trois situations précisément répertoriées et définies, dans lesquelles l’utilisation se limite au strict nécessaire à la réalisation d’objectifs d’intérêt général dont l’importance est considérée comme supérieure aux risques encourus. Ces situations comprennent la recherche de victimes potentielles d’actes criminels, y compris des enfants disparus; certaines menaces pour la vie ou la sécurité physique des personnes physiques, y compris les attaques terroristes; et la détection, la localisation, l’identification ou les poursuites à l’encontre des auteurs ou des suspects d’infractions pénales visées dans la décision-cadre 2002/584/JAI du Conseil  (38) si ces infractions pénales telles qu’elles sont définies dans le droit de l’État membre concerné sont passibles d’une peine ou d’une mesure de sûreté privative de liberté pour une période maximale d’au moins trois ans. Le seuil fixé pour la peine ou la mesure de sûreté privative de liberté prévue par le droit national contribue à garantir que l’infraction soit suffisamment grave pour justifier l’utilisation de systèmes d’identification biométrique à distance «en temps réel». En outre, sur les 32 infractions pénales énumérées dans la décision-cadre 2002/584/JAI du Conseil, certaines sont en pratique susceptibles d’être plus pertinentes que d’autres, dans le sens où le recours à l’identification biométrique à distance «en temps réel» sera vraisemblablement nécessaire et proportionné, à des degrés très divers, pour les mesures pratiques de détection, de localisation, d’identification ou de poursuites à l’encontre d’un auteur ou d’un suspect de l’une des différentes infractions pénales répertoriées, compte tenu également des différences probables dans la gravité, la probabilité et l’ampleur du préjudice ou des éventuelles conséquences négatives.

(20)

Afin de s’assurer que ces systèmes soient utilisés de manière responsable et proportionnée, il est également important d’établir que, dans chacune des trois situations précisément répertoriées et définies, certains éléments devraient être pris en considération, notamment en ce qui concerne la nature de la situation donnant lieu à la demande et les conséquences de l’utilisation pour les droits et les libertés de toutes les personnes concernées, ainsi que les garanties et les conditions associées à l’utilisation. En outre, l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être soumise à des limites appropriées dans le temps et dans l’espace, eu égard en particulier aux preuves ou aux indications concernant les menaces, les victimes ou les auteurs. La base de données de référence des personnes devrait être appropriée pour chaque cas d’utilisation dans chacune des trois situations mentionnées ci-dessus.

(21)

Toute utilisation d’un système d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être subordonnée à l’autorisation expresse et spécifique d’une autorité judiciaire ou d’une autorité administrative indépendante d’un État membre. Cette autorisation devrait en principe être obtenue avant l’utilisation, sauf dans des situations d’urgence dûment justifiées, c’est-à-dire des situations où la nécessité d’utiliser les systèmes en question est de nature à rendre effectivement et objectivement impossible l’obtention d’une autorisation avant le début de l’utilisation. Dans de telles situations d’urgence, l’utilisation devrait être limitée au strict nécessaire et être assorties de garanties et de conditions appropriées, telles que déterminées dans la législation nationale et spécifiées dans le contexte de chaque cas d’utilisation urgente par les autorités répressives elles-mêmes. De plus, les autorités répressives devraient, dans de telles situations, chercher à obtenir une autorisation dans les meilleurs délais, tout en indiquant les raisons pour lesquelles elles n’ont pas pu la demander plus tôt.

(22)

En outre, il convient de prévoir, dans le cadre exhaustif établi par le présent règlement, qu’une telle utilisation sur le territoire d’un État membre conformément au présent règlement ne devrait être possible que dans la mesure où l’État membre en question a décidé de prévoir expressément la possibilité d’autoriser une telle utilisation dans des règles détaillées de son droit national. Par conséquent, les États membres restent libres, en vertu du présent règlement, de ne pas prévoir une telle possibilité, ou de prévoir une telle possibilité uniquement pour certains objectifs parmi ceux susceptibles de justifier l’utilisation autorisée définis dans le présent règlement.

(23)

L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives passe nécessairement par le traitement de données biométriques. Les règles du présent règlement qui interdisent, sous réserve de certaines exceptions, une telle utilisation, et qui sont fondées sur l’article 16 du TFUE, devraient s’appliquer en tant que lex specialis pour ce qui est des règles sur le traitement des données biométriques figurant à l’article 10 de la directive (UE) 2016/680, réglementant ainsi de manière exhaustive cette utilisation et le traitement des données biométriques qui en résulte. Par conséquent, une telle utilisation et un tel traitement ne devraient être possibles que dans la mesure où ils sont compatibles avec le cadre fixé par le présent règlement, sans qu’il soit possible pour les autorités compétentes, lorsqu’elles agissent à des fins répressives en dehors de ce cadre, d’utiliser ces systèmes et de traiter les données y afférentes pour les motifs énumérés à l’article 10 de la directive (UE) 2016/680. Dans ce contexte, le présent règlement ne vise pas à fournir la base juridique pour le traitement des données à caractère personnel en vertu de l’article 8 de la directive (UE) 2016/680. Cependant, l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins autres que répressives, y compris par les autorités compétentes, ne devrait pas être couverte par le cadre spécifique concernant l’utilisation à des fins répressives établi par le présent règlement. L’utilisation à des fins autres que répressives ne devrait donc pas être subordonnée à l’exigence d’une autorisation au titre du présent règlement et des règles détaillées du droit national applicable susceptibles de lui donner effet.

(24)

Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives telle que réglementée par le présent règlement , y compris lorsque ces systèmes sont utilisés par les autorités compétentes dans des espaces accessibles au public à des fins autres que répressives, devrait continuer d’être conforme à toutes les exigences découlant de l’article 9, paragraphe 1, du règlement (UE) 2016/679, de l’article 10, paragraphe 1, du règlement (UE) 2018/1725 et de l’article 10 de la directive (UE) 2016/680, selon le cas.

(24)

Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public telle que réglementée par le présent règlement devrait continuer d’être conforme à toutes les exigences découlant de l’article 9, paragraphe 1, du règlement (UE) 2016/679, de l’article 10, paragraphe 1, du règlement (UE) 2018/1725 et de l’article 10 de la directive (UE) 2016/680, selon le cas.

(25)

Conformément à l’article 6 bis du protocole no 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au TUE et au TFUE, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, point d), et à l’article 5, paragraphes 2 et 3 , du présent règlement et adoptées sur la base de l’article 16 du TFUE concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du TFUE doivent être respectées.

(25)

Conformément à l’article 6 bis du protocole no 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au TUE et au TFUE, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, point d), du présent règlement et adoptées sur la base de l’article 16 du TFUE concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du TFUE doivent être respectées.

(26)

Conformément aux articles 2 et 2 bis du protocole no 22 sur la position du Danemark, annexé au TUE et au TFUE, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, point d), et à l’article 5, paragraphes 2 et 3, du présent règlement et adoptées sur la base de l’article 16 du TFUE, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE.

(26)

Conformément aux articles 2 et 2 bis du protocole no 22 sur la position du Danemark, annexé au TUE et au TFUE, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, point d), du présent règlement et adoptées sur la base de l’article 16 du TFUE, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du TFUE.

(26 bis)

Les systèmes d’IA utilisés par les services répressifs ou pour le compte de ceux-ci afin de faire des prévisions, de dresser des profils ou de procéder à des évaluations des risques sur la base du profilage de personnes physiques ou de l’analyse de données fondée sur les traits ou les caractéristiques de personnalité, y compris l’emplacement de la personne ou les antécédents délictuels d’une personne physique ou d’un groupe de personnes, dans le but de prévoir la commission ou la répétition d’une ou de plusieurs infractions pénales réelles ou potentielles ou d’autres comportements sociaux qualifiés d’infractions pénales, présentent un risque particulier de discrimination à l’égard de certaines personnes ou de certains groupes de personnes, car ils portent atteinte à la dignité humaine ainsi qu’au principe juridique fondamental de la présomption d’innocence. Il convient donc d’interdire de tels systèmes d’IA.

(26 ter)

La saisie aveugle et non ciblée des données biométriques provenant des médias sociaux ou des séquences de vidéosurveillance en vue de créer ou d’étendre des bases de données de reconnaissance faciale renforce le sentiment de surveillance de masse et peut entraîner des violations flagrantes des droits fondamentaux, y compris le droit au respect de la vie privée. L’utilisation de systèmes d’IA avec cette destination dans les lieux accessibles au public devrait donc être interdite.

(26 quater)

La base scientifique des systèmes d’IA visant à détecter les émotions, les propriétés physiques ou physiologiques comme les expressions faciales, les mouvements, le pouls ou la voix, suscite de sérieuses inquiétudes. Les émotions et leur expression ou leur perception varient considérablement selon les cultures et les situations, et même chez une même personne. Parmi les principaux défauts de ces technologies, il convient de citer leur fiabilité limitée (les catégories d’émotions ne sont ni exprimées de manière fiable, ni associées sans équivoque à un ensemble commun de mouvements physiques ou physiologiques), leur manque de précision (les expressions physiques ou physiologiques ne correspondent pas parfaitement aux catégories d’émotions) et leur généralisabilité limitée (les effets du contexte et de la culture ne sont pas suffisamment pris en considération). Les problèmes de fiabilité et, par conséquent, les risques majeurs d’abus peuvent se poser en particulier lors du déploiement du système dans des situations réelles liées à l’application de la loi, à la gestion des frontières, au lieu de travail et aux établissements d’enseignement. Par conséquent, la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés comme dans ces contextes afin de déterminer l’état émotionnel de personnes physiques devraient être interdites.

(26 quinquies)

Le présent règlement devrait être sans effet sur les pratiques interdites par la législation de l’Union, notamment en vertu du droit de la protection des données, de la lutte contre la discrimination, de la protection des consommateurs et de la concurrence.

(27)

Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union ou mis en service que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les résultats sont utilisés d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union. Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable significative sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union, une telle limitation permettant, le cas échéant, de réduire au minimum toute éventuelle restriction au commerce international.

(27)

Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union, mis en service ou utilisés que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les résultats sont utilisés d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union , y compris les droits fondamentaux, la démocratie, l’état de droit ou l’environnement. Pour garantir une harmonisation avec la législation sectorielle et éviter les doubles emplois, les exigences relatives aux systèmes d’IA à haut risque devraient tenir compte de la législation sectorielle qui définit des exigences suffisantes pour les systèmes d’IA à haut risque inclus dans le champ d’application du présent règlement, notamment le règlement (UE) 2017/745 relatif aux dispositifs médicaux et le règlement (UE) 2017/746 relatif aux dispositifs de diagnostic in vitro ou la directive 2006/42/CE relative aux machines . Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable significative sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union, une telle limitation permettant, le cas échéant, de réduire au minimum toute éventuelle restriction au commerce international. Compte tenu du rythme rapide du développement technologique et des changements potentiels dans l’utilisation des systèmes d’IA, la liste des domaines à haut risque et des cas d’utilisation figurant à l’annexe III devrait néanmoins faire l’objet d’un réexamen permanent au moyen d’une évaluation régulière.

(28)

Les systèmes d’IA pourraient avoir des effets néfastes sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être associés à un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide aux personnes, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis. L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la charte est un critère particulièrement pertinent lorsqu’il s’agit de classer des systèmes d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, ainsi que la non-discrimination, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner que les enfants bénéficient de droits spécifiques tels que consacrés à l’article 24 de la charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale no 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme étant nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement consacré dans la charte et mis en œuvre dans les politiques de l’Union devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes.

(28)

Les systèmes d’IA pourraient avoir des effets néfastes sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de sécurité de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être associés à un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide aux personnes, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis.

(28 bis)

L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la charte est un critère particulièrement pertinent lorsqu’il s’agit de classer des systèmes d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, ainsi que la non-discrimination, le droit à l’éducation, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, l’égalité entre les femmes et les hommes, les droits de propriété intellectuelle, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner que les enfants bénéficient de droits spécifiques tels que consacrés à l’article 24 de la charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale no 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme étant nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement consacré dans la charte et mis en œuvre dans les politiques de l’Union devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes ou pour l’environnement.

(29)

En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) no 300/2008 du Parlement européen et du Conseil (39), du règlement (UE) no 167/2013 du Parlement européen et du Conseil (40), du règlement (UE) no 168/2013 du Parlement européen et du Conseil (41), de la directive 2014/90/UE du Parlement européen et du Conseil (42), de la directive (UE) 2016/797 du Parlement européen et du Conseil (43), du règlement (UE) 2018/858 du Parlement européen et du Conseil (44), du règlement (UE) 2018/1139 du Parlement européen et du Conseil (45) ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil (46), il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption ultérieure d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.

(29)

En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) no 300/2008 du Parlement européen et du Conseil (39), du règlement (UE) no 167/2013 du Parlement européen et du Conseil (40), du règlement (UE) no 168/2013 du Parlement européen et du Conseil (41), de la directive 2014/90/UE du Parlement européen et du Conseil (42), de la directive (UE) 2016/797 du Parlement européen et du Conseil (43), du règlement (UE) 2018/858 du Parlement européen et du Conseil (44), du règlement (UE) 2018/1139 du Parlement européen et du Conseil (45) ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil (46), il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité , de surveillance du marché et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption ultérieure d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.

(30)

En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certaines législations d’harmonisation de l’Union, ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit en question est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité conformément à la législation d’harmonisation de l’Union correspondante. Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radioélectriques, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux et les dispositifs médicaux de diagnostic in vitro.

(30)

En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certains actes législatifs d’harmonisation de l’Union énumérés à l’annexe II , ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit en question est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité afin de garantir le respect des exigences essentielles de sécurité conformément à la législation d’harmonisation de l’Union Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radioélectriques, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux et les dispositifs médicaux de diagnostic in vitro.

(31)

La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas nécessairement signifier que le produit utilisant un système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant «à haut risque» selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 du Parlement européen et du Conseil (47) et le règlement (UE) 2017/746 du Parlement européen et du Conseil (48), dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.

(31)

La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas signifier que le produit utilisant un système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant «à haut risque» selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 du Parlement européen et du Conseil (47) et le règlement (UE) 2017/746 du Parlement européen et du Conseil (48), dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.

(32)

En ce qui concerne les systèmes d’IA autonomes, c’est-à-dire les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits, il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque élevé de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens, en tenant compte à  la fois de la gravité et de la probabilité du préjudice éventuel , et s’ils sont utilisés dans un certain nombre de domaines spécifiquement prédéfinis dans le règlement . La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour les modifications ultérieures de la liste des systèmes d’IA à haut risque.

(32)

En ce qui concerne les systèmes d’IA autonomes, c’est-à-dire les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits et qui relèvent de l’un des domaines et cas d’utilisation qui figurent à l’annexe III , il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque important de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens et, lorsque le système d’IA est utilisé comme un composant de sécurité d’une infrastructure critique , à l’environnement. Ce risque important de préjudice devrait être déterminé en évaluant, d’une part, l’effet d’un tel risque par rapport à  son niveau de gravité, d’intensité, de probabilité d’occurrence et de durée combiné et , d’autre part, si le risque peut affecter une personne, une pluralité de personnes ou un groupe particulier de personnes. Une telle combinaison pourrait, par exemple, entraîner une gravité élevée mais une faible probabilité d’affecter une personne physique , ou une forte probabilité d’affecter un groupe de personnes avec une faible intensité sur une longue période, en fonction du contexte . La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour les modifications ultérieures de la liste des systèmes d’IA à haut risque.

(32 bis)

Les fournisseurs dont les systèmes d’IA relèvent de l’un des domaines et des cas d’utilisation énumérés à l’annexe III qui considèrent que leur système ne présente pas de risque important de préjudice pour la santé, la sécurité, les droits fondamentaux ou l’environnement devraient en informer les autorités nationales de surveillance en soumettant une notification motivée. Elle pourrait prendre la forme d’un résumé d’une page des informations pertinentes sur le système d’IA en question, y compris sa destination et les raisons pour lesquelles il ne présenterait pas de risque important de préjudice pour la santé, la sécurité, les droits fondamentaux ou l’environnement. La Commission devrait définir des critères permettant aux entreprises d’évaluer si leur système présente de tels risques, et élaborer un modèle de notification facile à utiliser et normalisé. Les fournisseurs devraient soumettre la notification le plus tôt possible et, en tout état de cause, avant la mise sur le marché ou la mise en service du système d’IA, idéalement au stade du développement, et ils devraient être libres de le mettre sur le marché à tout moment après la notification. Toutefois, si l’autorité estime que le système d’IA en question a été mal classé, elle devrait s’opposer à la notification dans un délai de trois mois. L’objection devrait être motivée et dûment expliquer pourquoi le système d’IA a fait l’objet d’une classification erronée. Le fournisseur devrait conserver le droit de former un recours en fournissant des arguments supplémentaires. En l’absence d’objection à la notification après trois mois, les autorités nationales de surveillance peuvent encore intervenir si le système d’IA présente un risque au niveau national, comme pour tout autre système d’IA sur le marché. Les autorités nationales de surveillance devraient soumettre à l’Office de l’IA des rapports annuels détaillant les notifications reçues et les décisions prises.

(33)

Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires, en particulier en ce qui concerne l’âge, l’appartenance ethnique, le sexe ou les handicaps. Par conséquent, les systèmes d’identification biométrique à distance «en temps réel» et «a posteriori» devraient être classés comme étant à haut risque. Compte tenu des risques qu’ils présentent, les deux types de systèmes d’identification biométrique à distance devraient être soumis à des exigences spécifiques en matière de capacités de journalisation et de contrôle humain.

(33 bis)

Étant donné que les données biométriques constituent une catégorie particulière de données à caractère personnel sensibles conformément au règlement (UE) 2016/679, il convient de classer comme étant à haut risque plusieurs cas critiques d’utilisation de systèmes biométriques et fondés sur la biométrie. Les systèmes d’IA destinés à être utilisés pour l’identification biométrique de personnes physiques et les systèmes d’IA destinés à être utilisés pour effectuer des déductions sur les caractéristiques personnelles des personnes physiques sur la base de données biométriques ou fondées sur la biométrie, y compris les systèmes de reconnaissance des émotions, à l’exception de ceux qui sont interdits en vertu du présent règlement, devraient donc être classés comme étant à haut risque. Ce classement ne devrait pas comprendre les systèmes de vérification biométrique, qui inclut l’authentification, dont le seul but est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être, et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, à un dispositif ou à des locaux (vérification «un-à-un»). Les systèmes biométriques et fondés sur la biométrie qui sont prévus par le droit de l’Union pour permettre des mesures de cybersécurité et de protection des données à caractère personnel ne devraient pas être considérés comme présentant un risque important de préjudice pour la santé, la sécurité et les droits fondamentaux.

(34)

En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans la gestion et l’exploitation du trafic routier et dans la fourniture d’eau, de gaz, de chauffage et d’électricité, car leur défaillance ou leur dysfonctionnement peut mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans la conduite ordinaire des activités sociales et économiques.

(34)

En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans la gestion et l’exploitation de la fourniture d’eau, de gaz, de chauffage , d’électricité et des infrastructures numériques critiques, et d’électricité, car leur défaillance ou leur dysfonctionnement peut porter atteinte à la sécurité et à l’intégrité de ces infrastructures critiques ou mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans la conduite ordinaire des activités sociales et économiques. Les composants de sécurité des infrastructures critiques, y compris les infrastructures numériques critiques, sont des systèmes utilisés pour protéger directement l’intégrité physique des infrastructures critiques ou la santé et la sécurité des personnes et des biens. La défaillance ou le mauvais fonctionnement de ces composants pourrait directement entraîner des risques pour l’intégrité physique des infrastructures critiques et, partant, des risques pour la santé et la sécurité des personnes et des biens. Les composants destinés à être utilisés uniquement à des fins de cybersécurité ne devraient pas être considérés comme des composants de sécurité. Ces composants de sécurité peuvent comprendre, par exemple, des systèmes de surveillance de la pression de l’eau ou des systèmes de commande d’alarme incendie dans les centres d’informatique en nuage.

(35)

Les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, notamment pour déterminer l’accès ou l’affectation de personnes aux établissements d’enseignement et de formation professionnelle ou pour évaluer les personnes sur la base d’épreuves dans le cadre de leur formation ou comme condition préalable à celle-ci devraient être considérés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et ont par conséquent une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination.

(35)

Le déploiement des systèmes d’IA dans l’éducation est important pour la modernisation de la totalité des systèmes d’enseignement et au renforcement de la qualité de l’éducation, hors ligne et en ligne, et à l’accélération de la numérisation de l’éducation, permettant ainsi à un plus large public d’y accéder. Les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, notamment pour déterminer l’accès ou influencer de manière substantielle les décisions relatives à l’admission ou à l’affectation de personnes aux établissements d’enseignement et de formation professionnelle ou pour évaluer les personnes sur la base d’épreuves dans le cadre de leur formation ou comme condition préalable à celle-ci , ou pour influer sur le niveau d’étude qu’un étudiant devrait atteindre, ou encore pour surveiller et détecter les comportements interdits des étudiants au cours des épreuves, devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et ont par conséquent une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination , par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées, des personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle .

(36)

Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, notamment pour le recrutement et la sélection de personnes, pour la prise de décisions de promotion et de licenciement, pour l’attribution des tâches et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque, car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière et les moyens de subsistance de ces personnes. Les relations professionnelles contractuelles en question devraient concerner également celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour 2021. Ces personnes ne devraient en principe pas être considérées comme des utilisateurs au sens du présent règlement. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi avoir une incidence sur leurs droits à la protection des données et à la vie privée.

(36)

Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, notamment pour le recrutement et la sélection de personnes, pour la prise de décisions ou une influence substantielle sur les décisions de recrutement, de promotion et de licenciement, pour l’attribution personnalisée des tâches sur la base du comportement individuel, de traits personnels ou de données biométriques et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque, car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière, les moyens de subsistance de ces personnes et les droits des travailleurs . Les relations professionnelles contractuelles en question devraient concerner également de manière significative celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour 2021. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi porter atteinte à l’essence de leurs droits fondamentaux à la protection des données et à la vie privée. Le présent règlement s’applique sans préjudice de la compétence de l’Union et des États membres de prévoir des règles plus spécifiques concernant l’utilisation des systèmes d’IA dans le contexte de l’emploi.

(37)

Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, devant permettre aux citoyens de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à cette fin peuvent conduire à la discrimination à  l’égard de personnes ou de groupes et perpétuer des schémas historiques de discrimination, par exemple fondés sur les origines raciales ou ethniques, les handicaps, l’âge ou l’orientation sexuelle, ou créer de nouvelles formes d’incidences discriminatoires. Compte tenu de l’incidence très limitée et des solutions de remplacement disponibles sur le marché, il convient d’exempter les systèmes d’IA utilisés à des fins d’évaluation de la solvabilité et de notation de crédit lorsqu’ils sont mis en service par des petits fournisseurs pour leur usage propre . Les personnes physiques sollicitant ou recevant des prestations sociales et des services fournis par des autorités publiques sont généralement tributaires de ces prestations et services et se trouvent dans une position vulnérable par rapport aux autorités responsables. Lorsque les systèmes d’IA sont utilisés pour déterminer si ces prestations et services devraient être refusés, réduits, révoqués ou récupérés par les autorités, ils peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, le principe de non-discrimination, le droit à la dignité humaine ou le droit à un recours effectif. Il convient donc de classer ces systèmes comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes morales et physiques. Enfin, les systèmes d’IA utilisés pour envoyer ou établir des priorités dans l’envoi des services d’intervention d’urgence devraient aussi être classés comme étant à haut risque, car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens matériels des personnes.

(37)

Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, y compris les services de santé et services essentiels, qui comprennent sans s’y limiter le logement, l’électricité, le chauffage/refroidissement et l’internet, devant permettre aux citoyens de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à cette fin peuvent conduire à la discrimination à  l’égard de personnes ou de groupes et perpétuer des schémas historiques de discrimination, par exemple fondés sur les origines raciales ou ethniques, le sexe, les handicaps, l’âge ou l’orientation sexuelle, ou créer de nouvelles formes d’incidences discriminatoires. Toutefois, les systèmes d’IA prévus par le droit de l’Union aux fins de détecter les fraudes dans l’offre de services financiers ne devraient pas être considérés comme présentant un risque élevé au titre du présent règlement. Les personnes physiques sollicitant ou recevant des prestations sociales et des services essentiels fournis par des autorités publiques , y inclus les services de santé et services essentiels, qui comprennent sans s’y limiter le logement, l’électricité, le chauffage/refroidissement et l’internet, sont généralement tributaires de ces prestations et services et se trouvent dans une position vulnérable par rapport aux autorités responsables. Lorsque les systèmes d’IA sont utilisés pour déterminer si ces prestations et services devraient être refusés, réduits, révoqués ou récupérés par les autorités, ils peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, le principe de non-discrimination, le droit à la dignité humaine ou le droit à un recours effectif. De même, les systèmes d’IA destinés à être utilisés pour prendre des décisions ou influencer substantiellement les décisions relatives à l’éligibilité des personnes physiques à l’assurance-maladie et vie peuvent également avoir une incidence importante sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, par exemple en limitant leur accès aux soins de santé ou en perpétuant une discrimination fondée sur des caractéristiques personnelles. Il convient donc de classer ces systèmes comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes morales et physiques. Enfin, les systèmes d’IA utilisés pour évaluer et hiérarchiser les appels d’urgence émis par des personnes physiques ou pour envoyer ou établir des priorités dans l’envoi des services d’intervention d’urgence devraient aussi être classés comme étant à haut risque, car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens matériels des personnes.

(37 bis)

Compte tenu du rôle et de la responsabilité des autorités policières et judiciaires et de l’impact de leurs décisions prises à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, certains cas spécifiques d’utilisation des applications d’IA par les autorités répressives doivent être classés comme à haut risque lorsqu’ils sont susceptibles d’avoir une incidence significative sur la vie ou les droits fondamentaux des personnes.

(38)

Les actions des autorités répressives qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences appropriées en matière d’exactitude ou de robustesse, ou n’est pas correctement conçu et mis à l’essai avant d’être mis sur le marché ou mis en service d’une autre manière, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice d’importants droits fondamentaux procéduraux, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme systèmes à haut risque un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter les conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours efficaces puissent être exercés. Compte tenu de la nature des activités en question et des risques y afférents, ces systèmes d’IA à haut risque devraient comprendre en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives pour réaliser des évaluations individuelles des risques, pour servir de polygraphes ou d’outils similaires ou pour analyser l’état émotionnel de personnes physiques , pour détecter les hypertrucages, pour évaluer la fiabilité des preuves dans les procédures pénales, pour prédire la survenance ou la répétition d’une infraction pénale réelle ou potentielle sur la base du profilage de personnes physiques , ou pour évaluer les traits de personnalité, les caractéristiques ou les antécédents délictuels de personnes physiques ou de groupes à des fins de profilage dans le cadre d’activités de détection, d’enquête ou de poursuite relatives à des infractions pénales, ainsi que d’analyse de la criminalité des personnes physiques. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ne devraient pas être considérés comme des systèmes d’IA à haut risque utilisés par les autorités répressives dans le cadre d’activités de prévention, de détection, d’enquête et de poursuite relatives à des infractions pénales.

(38)

Les actions des autorités répressives qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences appropriées en matière de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et mis à l’essai avant d’être mis sur le marché ou mis en service d’une autre manière, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice d’importants droits fondamentaux procéduraux, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme systèmes à haut risque un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter les conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours efficaces puissent être exercés. Compte tenu de la nature des activités en question et des risques y afférents, ces systèmes d’IA à haut risque devraient comprendre en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou par des organes et organismes de l’Union en soutien aux autorités répressives, ou en leur nom , pour servir de polygraphes ou d’outils similaires, dans la mesure où leur usage est autorisé par le droit de l’Union et national applicables , pour évaluer la fiabilité des preuves dans les procédures pénales à des fins de profilage dans le cadre d’activités de détection, d’enquête ou de poursuite relatives à des infractions pénales, ainsi que d’analyse de la criminalité des personnes physiques. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ne devraient pas être classés en tant que systèmes d’IA à haut risque utilisés par les autorités répressives dans le cadre d’activités de prévention, de détection, d’enquête et de poursuite relatives à des infractions pénales. L’utilisation des outils d’IA par les autorités répressives et judiciaires ne devrait pas devenir un facteur d’inégalité de fracture sociale ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, notamment la difficulté d’obtenir des informations utiles sur leur fonctionnement et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes faisant l’objet d’une enquête.

(39)

Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières touchent des personnes qui sont souvent dans une position particulièrement vulnérable et qui dépendent du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, notamment leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes chargées de tâches dans les domaines de la gestion de la migration, de l’asile et des contrôles aux frontières pour servir de polygraphes ou d’outils similaires ou pour analyser l’état émotionnel d’une personne physique; pour évaluer certains risques posés par des personnes physiques entrant sur le territoire d’un État membre ou faisant une demande de visa ou d’asile ; pour vérifier l’authenticité des documents pertinents de personnes physiques; et pour aider les autorités publiques compétentes à examiner les demandes d’asile, de visa et de permis de séjour ainsi que les plaintes connexes, l’objectif étant de vérifier l’éligibilité des personnes physiques qui demandent un statut. Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par la directive 2013/32/UE du Parlement européen et du Conseil (49), le règlement (CE) no 810/2009 du Parlement européen et du Conseil (50) et toute autre législation pertinente.

(39)

Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières touchent des personnes qui sont souvent dans une position particulièrement vulnérable et qui dépendent du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, notamment leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes ou par les organes ou organismes de l’Union chargés de tâches dans les domaines de la gestion de la migration, de l’asile et des contrôles aux frontières , ou en leur nom, en tant que polygraphes et outils similaires , dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, aux fins de l’évaluation de certains risques présentés par des personnes physiques entrant sur le territoire d’un État membre ou demandant un visa ou l’asile ; pour vérifier l’authenticité des documents pertinents de personnes physiques; pour aider les autorités publiques compétentes à examiner les demandes d’asile, de visa et de permis de séjour ainsi que les plaintes connexes et à évaluer l’authenticité des preuves y relatives , l’objectif étant de vérifier l’éligibilité des personnes physiques qui demandent un statut. pour assurer le suivi, la surveillance ou le traitement des données à caractère personnel dans le cadre des activités de gestion des frontières, aux fins de la détection, de la reconnaissance ou de l’identification des personnes physiques; pour la prévision ou la prédiction des tendances liées aux mouvements migratoires et au franchissement des frontières. Les systèmes d’IA utilisés dans le domaine de la gestion de la migration, de l’asile et des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par la directive 2013/32/UE du Parlement européen et du Conseil (49), le règlement (CE) no 810/2009 du Parlement européen et du Conseil (50) et toute autre législation pertinente. Les systèmes d’IA permettant la gestion des migrations, de l’asile et des contrôles aux frontières ne devraient en aucun cas être utilisés par les États membres ou les institutions, organes et organismes de l’Union européenne comme un moyen de contourner les obligations internationales qui leur incombent en vertu de la convention du 28 juillet 1951 relative au statut des réfugiés, telle que modifiée par le protocole du 31 janvier 1967, ni être utilisés pour enfreindre de quelque manière que ce soit le principe de non-refoulement ou refuser des voies d’accès légales sûres et efficaces au territoire de l’Union, y compris le droit à la protection internationale;

(40)

Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits. Cette qualification ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel, les tâches administratives ou l’allocation des ressources.

(40)

Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à  être utilisés par une autorité judiciaire ou un organisme administratif, ou en leur nom, pour aider les autorités judiciaires ou les organismes administratifs à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits , ou utilisés de manière similaire lors du règlement extrajudiciaire d’un litige. L’utilisation d’outils d’intelligence artificielle peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne devrait pas les remplacer, car la décision finale doit rester une activité et une décision humaines . Cette qualification ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel, les tâches administratives ou l’allocation des ressources.

(40 bis)

Afin de faire face aux risques d’ingérence extérieure indue dans le droit de vote consacré à l’article 39 de la charte et d’effets disproportionnés sur les processus démocratiques, la démocratie et l’état de droit, les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement électoral de personnes physiques dans l’exercice de leur vote lors d’élections ou de référendums devraient être classés comme systèmes d’IA à haut risque, à l’exception des systèmes d’IA dont les résultats ne sont pas directement au contact des personnes physiques, tels que les outils utilisés pour organiser, optimiser et structurer les campagnes politiques d’un point de vue administratif et logistique.

(40 ter)

Compte tenu du nombre des personnes physiques qui utilisent les services fournis par les plateformes de médias sociaux désignées comme de très grandes plateformes en ligne, ces plateformes en ligne peuvent être utilisées d’une manière qui influence fortement la sécurité en ligne, la formation de l’opinion et du discours publics, les processus électoraux et démocratiques et les préoccupations sociétales. Il convient donc que les systèmes d’IA utilisés par ces plateformes en ligne dans leurs systèmes de recommandation soient soumis au présent règlement de manière à garantir que les systèmes d’IA respectent les exigences énoncées dans le présent règlement, y compris les exigences techniques en matière de gouvernance des données, de documentation technique et de traçabilité, de transparence, de contrôle humain, d’exactitude et de robustesse. Le respect du présent règlement devrait permettre à ces très grandes plateformes en ligne de se conformer à leurs obligations plus larges en matière d’évaluation et d’atténuation des risques prévues aux articles 34 et 35 du règlement (UE) 2022/2065. Les obligations prévues par le présent règlement sont sans préjudice du règlement (UE) 2022/2065 et devraient compléter les obligations prévues par le règlement (UE) 2022/2065 lorsque la plateforme de médias sociaux a été désignée comme très grande plateforme en ligne. Compte tenu de l’impact à l’échelle européenne des plateformes de médias sociaux désignées comme très grandes plateformes en ligne, les autorités désignées en vertu du règlement (UE) 2022/2065 devraient agir en tant qu’autorités chargées de faire appliquer la présente disposition.

(41)

Le fait qu’un système d’IA soit classé comme étant à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est nécessairement licite au titre d’autres actes du droit de l’Union ou au titre du droit national compatible avec le droit de l’Union, s’agissant notamment de la protection des données à caractère personnel , de l’utilisation de polygraphes et d’outils similaires, ou de l’utilisation d’autres systèmes d’analyse de l’état émotionnel des personnes physiques . Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la charte et des actes applicables du droit dérivé de l’Union et du droit national. Le présent règlement ne devrait pas être compris comme constituant un fondement juridique pour le traitement des données à caractère personnel, y compris des catégories spéciales de données à caractère personnel, le cas échéant.

(41)

Le fait qu’un système d’IA soit classé en tant que système d’IA à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est nécessairement licite ou illicite au titre d’autres actes du droit de l’Union ou au titre du droit national compatible avec le droit de l’Union, s’agissant notamment de la protection des données à caractère personnel. Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la charte et des actes applicables du droit dérivé de l’Union et du droit national.

(41 bis)

Diverses règles juridiquement contraignantes aux échelons européen, national et international sont d’ores et déjà applicables ou sont pertinentes en ce qui concerne les système d’IA et comprennent, sans s’y limiter, le droit primaire de l’UE (les traités de l’Union européenne et sa charte des droits fondamentaux), le droit dérivé de l’Union (tel que le règlement général sur la protection des données, la directive sur la responsabilité du fait des produits, le règlement sur la libre circulation des données à caractère non personnel, les directives antidiscrimination, le droit de la consommation et les directives sur la sécurité et la santé au travail), les traités des Nations unies sur les droits de l’homme et les conventions du Conseil de l’Europe (telles que la convention européenne des droits de l’homme), ainsi que le droit national. À ces dispositions d’application transversale s’ajoutent différentes réglementations propres à un secteur qui régissent des applications spécifiques d’IA, à l’instar du règlement sur les dispositifs médicaux dans le domaine des soins de santé.

(42)

Afin d’atténuer les risques liés aux systèmes d’IA à haut risque commercialisés ou mis en service d’une autre manière sur le marché de l’Union pour les utilisateurs et les personnes concernées, certaines exigences obligatoires devraient s’appliquer, en tenant compte de la destination du système et en fonction du système de gestion des risques à mettre en place par le fournisseur.

(42)

Afin d’atténuer les risques liés aux systèmes d’IA à haut risque commercialisés ou mis en service d’une autre manière sur le marché de l’Union pour les déployeurs et les personnes concernées, certaines exigences obligatoires devraient s’appliquer, en tenant compte de la destination ou de la mauvaise utilisation raisonnablement prévisible du système et en fonction du système de gestion des risques à mettre en place par le fournisseur. Ces exigences devraient être axées sur les objectifs, adaptées à la finalité, raisonnables et efficaces, sans ajouter de charges réglementaires ni de coûts excessifs pour les opérateurs.

(43)

Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la qualité des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux utilisateurs , le contrôle humain, ainsi que la robustesse, l’exactitude et la cybersécurité . Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux, selon la destination du système, et, aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, elles n’imposent pas de restriction injustifiée aux échanges.

(43)

Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la qualité et la pertinence des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux déployeurs , le contrôle humain, ainsi que la robustesse, l’exactitude et la sécurité . Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux, ainsi que pour l’environnement, la démocratie et l’état de droit, selon la destination ou la mauvaise utilisation raisonnablement prévisible du système, et, aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, elles n’imposent pas de restriction injustifiée aux échanges.

(44)

Une haute qualité des données est essentielle au bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Des jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement, de validation et de test devraient être suffisamment pertinents, représentatifs, exempts d’erreurs et complets au regard de la destination du système. Ils devraient également avoir les propriétés statistiques appropriées, notamment en ce qui concerne les personnes ou les groupes de personnes sur lesquels le système d’IA à haut risque est destiné à être utilisé. En particulier, les jeux de données d’entraînement, de validation et de test devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont particuliers au cadre ou au contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Afin de protéger le droit d’autres personnes contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient être en mesure de traiter également des catégories spéciales de données à caractère personnel, pour des raisons d’intérêt public important, afin d’assurer la surveillance, la détection et la correction des biais liés aux systèmes d’IA à haut risque.

(44)

L’accès à des données de haute qualité joue un rôle essentiel pour fournir une structure et assurer le bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Des jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement et, le cas échéant , de validation et de test , y compris les étiquettes, devraient être suffisamment pertinents, représentatifs, correctement vérifiés en ce qui concerne les erreurs et complets au regard de la destination du système. Ils devraient également avoir les propriétés statistiques appropriées, notamment en ce qui concerne les personnes ou les groupes de personnes en rapport avec lesquels le système d’IA à haut risque est destiné à être utilisé , en accordant une attention particulière à l’atténuation des biais éventuels dans les jeux de données qui pourraient entraîner des risques pour les droits fondamentaux ou conduire à des résultats discriminatoires pour les personnes concernées par le système d’IA à haut risque. Des biais peuvent, par exemple, être inhérents à des séries de données sous-jacentes, en particulier lorsque des données historiques sont utilisées, ou peuvent être introduits par les concepteurs des algorithmes ou générés lorsque les systèmes sont mis en œuvre dans des conditions réelles. Les résultats produits par les systèmes d’IA sont influencés par ces biais inhérents, qui ont tendance à se renforcer progressivement et ainsi à perpétuer et à amplifier les discriminations existantes, en particulier pour les personnes appartenant à certains groupes vulnérables ou ethniques ou à certaines communautés racialisées. En particulier, les jeux de données d’entraînement, de validation et de test devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont particuliers au cadre ou au contexte géographique, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Afin de protéger le droit d’autres personnes contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient , à titre exceptionnel, à la suite de la mise en œuvre de toutes les conditions applicables prévues par le présent règlement ainsi que par le règlement (UE) 2016/679, la directive (UE) 2016/680, et le règlement (UE) 2018/1725, veiller à ce que les bases de données contiennent des données adéquates sur les groupes qui sont plus vulnérables aux effets discriminatoires de l’IA, tels que les personnes handicapées, et être en mesure de traiter également des catégories spéciales de données à caractère personnel, pour des raisons d’intérêt public important, afin d’assurer la surveillance, la détection et la correction des biais liés aux systèmes d’IA à haut risque. Les préjugés négatifs devraient être compris comme des biais qui créent un effet discriminatoire direct ou indirect à l’encontre d’une personne physique. Les exigences liées à la gouvernance des données peuvent être respectées en ayant recours à des tiers qui proposent des services de conformité certifiés, y compris la vérification de la gouvernance des données et de l’intégrité des ensembles de données, ainsi que les pratiques de formation, de validation et d’évaluation des données.

(45)

Pour le développement de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités pertinentes, telles que les pôles d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’obtenir et d’utiliser des jeux de données de haute qualité dans leurs domaines d’activité respectifs liés au présent règlement. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’intelligence artificielle à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.

(45)

Pour le développement et l’évaluation de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités pertinentes, telles que les pôles d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’obtenir et d’utiliser des jeux de données de haute qualité dans leurs domaines d’activité respectifs liés au présent règlement. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’intelligence artificielle à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.

(45 bis)

Le droit au respect de la vie privée et à la protection des données à caractère personnel doit être garanti tout au long du cycle de vie du système d’IA. À cet égard, les principes de minimisation et de protection des données dès la conception et par défaut tel qu’énoncé dans le droit de l’Union sur la protection des données sont essentiels lorsque le traitement des données présente de graves dangers pour les droits fondamentaux des personnes. Les fournisseurs et utilisateurs de systèmes d’IA devraient prendre des mesures techniques et organisationnelles reflétant l’état de la technique afin de protéger lesdits droits. Ces mesures devraient inclure non seulement l’anonymisation et le chiffrement, mais également le recours à une technologie de plus en plus accessible qui permet l’utilisation d’algorithmes avec les données et l’obtention de précieux renseignements sans transmission entre les parties ou sans reproduction superflue des données brutes ou structurées elles-mêmes.

(46)

Il est essentiel de disposer d’informations sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur cycle de vie afin de vérifier le respect des exigences du présent règlement. Cela nécessite la tenue de registres et la mise à disposition d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, d’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place. La documentation technique devrait être tenue à jour.

(46)

Il est essentiel de disposer d’informations compréhensibles sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur durée de vie afin de vérifier le respect des exigences du présent règlement. Cela nécessite la tenue de registres et la mise à disposition d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, d’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place. La documentation technique devrait être tenue à jour tout au long du cycle de vie du système d’IA. Les systèmes d’IA peuvent avoir une incidence importante sur l’environnement et une forte consommation d’énergie au cours de leur cycle de vie. Afin de mieux appréhender l’incidence des systèmes d’IA sur l’environnement, la documentation technique élaborée par les fournisseurs devrait inclure des informations sur la consommation d’énergie du système d’IA, y compris la consommation pendant le développement et la consommation prévue pendant l’utilisation. Ces informations devraient tenir compte de la législation de l’Union et de la législation nationale pertinentes. Ces informations doivent être compréhensibles, comparables et vérifiables et, à cette fin, la Commission devrait élaborer des lignes directrices sur une méthodologie harmonisée pour le calcul et la communication de ces informations. Afin de garantir la possibilité d’établir une documentation unique, les termes et définitions relatifs à la documentation requise et à toute documentation requise dans la législation applicable de l’Union devraient être alignés autant que possible.

(46 bis)

Les systèmes d’IA devraient tenir compte des méthodes avancées et des normes pertinentes et applicables pour réduire la consommation d’énergie, l’utilisation des ressources et les déchets, ainsi que pour améliorer l’efficacité énergétique et l’efficacité globale du système. Les aspects environnementaux des systèmes d’IA qui importent aux fins du présent règlement sont la consommation d’énergie du système d’IA au cours de la phase de développement, d’entraînement et de déploiement, ainsi que l’enregistrement, la communication et le stockage de ces données. La conception des systèmes d’IA devrait permettre de mesurer et de consigner la consommation d’énergie et de ressources à chaque étape du développement, de l’entraînement et du déploiement. La surveillance et la déclaration des émissions des systèmes d’IA doivent être solides, transparentes, cohérentes et précises. Afin d’assurer l’application uniforme du présent règlement et un écosystème juridique stable pour les fournisseurs et les déployeurs au sein du marché unique, la Commission devrait élaborer une spécification commune pour la méthode permettant de satisfaire aux exigences en matière de rapports et de documentation concernant la consommation d’énergie et de ressources pendant le développement, la formation et le déploiement. Ces spécifications communes relatives à la méthode de mesure peuvent élaborer une base de référence grâce à laquelle la Commission peut mieux décider si de futures interventions réglementaires sont nécessaires, après réalisation d’une analyse d’impact tenant compte de la législation en vigueur.

(46 ter)

Afin d’atteindre les objectifs du présent règlement et de contribuer aux objectifs environnementaux de l’Union tout en assurant le bon fonctionnement du marché intérieur, il peut être nécessaire d’établir des recommandations et des lignes directrices et, à terme, des objectifs en matière de durabilité. À cette fin, la Commission est habilitée à élaborer une méthodologie pour contribuer à la mise en place d’indicateurs clés de performance (ICP) et d’une référence pour les objectifs de développement durable (ODD). L’objectif devrait être, en premier lieu, de permettre une comparaison équitable entre les choix de mise en œuvre de l’IA en incitant à promouvoir l’utilisation de technologies d’IA plus efficaces répondant aux préoccupations liées à l’énergie et aux ressources. Pour atteindre cet objectif, le présent règlement devrait prévoir les moyens d’établir une collecte de référence des données déclarées sur les émissions résultant du développement, de la formation et du déploiement.

(47 bis)

Ces exigences en matière de transparence et d’explicabilité de la prise de décision par l’IA devraient également contribuer à contrer les effets dissuasifs de l’asymétrie numérique et à lutter contre les «interfaces truquées» (dark patterns) visant les individus et leur consentement éclairé.

(49)

Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité conformément à l’état de la technique généralement reconnu. Le degré d’exactitude et les critères de mesure de l’exactitude devraient être communiqués aux utilisateurs .

(49)

Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité conformément à l’état de la technique généralement reconnu. Les critères de mesure de la performance et leur degré attendu devraient avant tout être définis pour atténuer les risques et l’incidence négative du système d’IA . Les critères de mesure du degré de performances attendu devraient être communiqués de façon claire, transparente et facilement compréhensible par les déployeurs. La déclaration des indicateurs de performance ne peut être considérée comme une preuve de niveaux futurs, mais des méthodes pertinentes doivent être appliquées pour garantir des niveaux cohérents pendant l’utilisation. Bien qu’il existe des organismes de normalisation pour établir des normes, une coordination en matière d’étalonnage est nécessaire pour déterminer comment ces exigences et caractéristiques normalisées des systèmes d’IA devraient être mesurées. Le bureau européen de l’intelligence artificielle devrait réunir les autorités nationales et internationales de métrologie et d’étalonnage des performances et fournir des orientations non contraignantes pour aborder les aspects techniques de la manière de mesurer les niveaux appropriés de précision et de robustesse.

(50)

La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Ils doivent être résilients contre les risques liés aux limites du système (par exemple les erreurs, les défauts, les incohérences, les situations inattendues) ainsi que contre les actions malveillantes qui peuvent compromettre la sûreté du système d’IA et entraîner un comportement préjudiciable ou, plus généralement, indésirable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de résultats inexacts ou biaisés générés par le système d’IA.

(50)

La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Ils doivent être résilients contre les risques liés aux limites du système (par exemple les erreurs, les défauts, les incohérences, les situations inattendues) ainsi que contre les actions malveillantes qui peuvent compromettre la sûreté du système d’IA et entraîner un comportement préjudiciable ou, plus généralement, indésirable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de résultats inexacts ou biaisés générés par le système d’IA. Les utilisateurs du système d’IA doivent prendre des mesures pour veiller à ce que le l’arbitrage éventuel entre robustesse et précision n’entraîne pas de résultats discriminatoires ou négatifs pour les sous-groupes minoritaires.

(51)

La cybersécurité joue un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement, leurs performances ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent faire usage de ressources spécifiques à l’IA, telles que des jeux de données d’entraînement (par exemple l’empoisonnement de données) ou des modèles entraînés (par exemple les attaques adversaires), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente.

(51)

La cybersécurité joue un rôle crucial pour garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement, leurs performances ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent passer par des ressources propres à l’IA, telles que les jeux de données d’entraînement (pour l’empoisonnement de données) ou l’entraînement des modèles (pour les attaques contradictoires, ou adversarial attacks, et les attaques sur la confidentialité des données), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, ainsi que par les organismes notifiés, les autorités nationales compétentes et les autorités de surveillance du marché, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente. L’IA à haut risque devrait s’accompagner de solutions et de correctifs de sécurité pour la durée de vie du produit ou, en l’absence de dépendance à un produit spécifique, pour une période devant être définie par le fabricant.

(53 bis)

En leur qualité de signataires de la convention des Nations unies relative aux droits des personnes handicapées, l’Union et les États membres sont légalement tenus de protéger les personnes handicapées contre la discrimination et de promouvoir leur égalité, de veiller à ce que les personnes handicapées aient accès, au même titre que les autres, aux technologies et aux systèmes d’information et de communication, ainsi que de garantir le respect de leur vie privée. Compte tenu de l’importance et de l’utilisation croissantes des systèmes d’IA, l’application des principes de conception universelle à toutes les nouvelles technologies et à tous les nouveaux services devrait garantir un accès complet, égal et sans restriction à toute personne potentiellement concernée par les technologies d’IA ou les utilisant, y compris les personnes handicapées, d’une manière qui tienne pleinement compte de leur dignité et de leur diversité intrinsèques. Il est donc essentiel que les fournisseurs garantissent la pleine conformité avec les exigences en matière d’accessibilité, y compris la directive (UE) 2016/2102 et la directive (UE) 2019/882. Les fournisseurs devraient veiller au respect de ces exigences dès la conception. Les mesures nécessaires doivent donc être aussi intégrées que possible dans la conception des systèmes d’IA à haut risque.

(54)

Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique en question.

(54)

Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Pour les fournisseurs qui ont déjà mis en place des systèmes de gestion de la qualité fondés sur des normes telles que la norme ISO 9001 ou d’autres normes pertinentes, il ne faut pas s’attendre à un système de gestion de la qualité faisant double emploi dans son intégralité, mais plutôt à une adaptation de leurs systèmes existants à certains aspects liés au respect d’exigences spécifiques du présent règlement. Cela devrait également se refléter dans les futures activités ou orientations de normalisation adoptées par la Commission à cet égard. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique en question.

(56)

Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition de produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, préalablement à la mise à disposition sur le marché de l’Union de leurs systèmes d’IA, et lorsqu’aucun importateur ne peut être identifié, les fournisseurs établis en dehors de l’Union sont tenus de nommer, par mandat écrit, un mandataire établi dans l’Union.

(56)

Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition de produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, préalablement à la mise à disposition sur le marché de l’Union de leurs systèmes d’IA, les fournisseurs établis en dehors de l’Union sont tenus de nommer, par mandat écrit, un mandataire établi dans l’Union.

(58)

Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat des performances d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les utilisateurs . Les utilisateurs devraient en particulier être tenus d’utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas.

(58)

Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat des performances d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les déployeurs . Les déployeurs devraient en particulier être tenus d’utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas.

(58 bis)

Si des risques liés aux systèmes d’IA peuvent découler de la manière dont ces systèmes sont conçus, ils peuvent également provenir de la manière dont ces systèmes d’IA sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle essentiel pour garantir la protection des droits fondamentaux, en complétant les obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera utilisé concrètement et peuvent donc identifier les risques importants potentiels qui n’étaient pas prévus au cours de la phase de développement, en raison d’une connaissance plus précise du contexte d’utilisation, des personnes ou groupes de personnes susceptibles d’être touchés, y compris les groupes marginalisés et vulnérables. Les déployeurs devraient recenser les structures de gouvernance appropriées dans ce contexte spécifique d’utilisation, telles que les dispositifs de contrôle humain, les procédures de traitement des plaintes et les procédures de recours, car les choix opérés dans les structures de gouvernance peuvent contribuer à atténuer les risques pour les droits fondamentaux dans des cas concrets d’utilisation. Afin d’assurer efficacement la protection des droits fondamentaux, le déployeur de systèmes d’IA à haut risque devrait donc procéder à une analyse d’impact relative aux droits fondamentaux avant de les mettre en service. L’analyse d’impact doit être accompagnée d’un plan détaillé décrivant les mesures ou les outils qui permettront d’atténuer les risques recensés pour les droits fondamentaux relevés au plus tard au moment de la mise en service. Si ce plan ne peut être élaboré, le déployeur devrait s’abstenir de mettre le système en service. Lorsqu’il réalise cette analyse d’impact, le déployeur devrait informer l’autorité nationale de surveillance et, dans toute la mesure du possible, les parties prenantes concernées ainsi que les représentants des groupes de personnes susceptibles d’être affectés par le système d’IA afin de recueillir les informations pertinentes jugées nécessaires à la réalisation de l’analyse d’impact et il est encouragé à rendre public le résumé de son analyse d’impact sur les droits fondamentaux sur son site internet. Ces obligations ne devraient pas s’appliquer aux PME qui, compte tenu de leurs faibles ressources, pourraient éprouver des difficultés à mener une telle consultation. Néanmoins, elles devraient également s’efforcer d’associer ces représentants lors de leur analyse d’impact sur les droits fondamentaux. En outre, compte tenu de l’incidence potentielle et de la nécessité d’une surveillance et d’un contrôle démocratiques, les déployeurs de systèmes d’IA à haut risque qui sont des autorités publiques ou des institutions, organes et organismes de l’Union, ainsi que les déployeurs qui sont des entreprises désignées comme contrôleurs d’accès en vertu du règlement (UE) 2022/1925 devraient être tenus d’enregistrer l’utilisation de tout système d’IA à haut risque dans une base de données publique. D’autres déployeurs peuvent s’enregistrer volontairement.

(59)

Il convient d’envisager que l’utilisateur du système d’IA soit la personne physique ou morale, l’autorité publique, l’agence ou tout autre organisme sous l’autorité duquel le système d’IA est exploité, sauf lorsque l’utilisation s’inscrit dans le cadre d’une activité personnelle à caractère non professionnel.

(59)

Il convient d’envisager que le déployeur du système d’IA soit la personne physique ou morale, l’autorité publique, l’agence ou tout autre organisme sous l’autorité duquel le système d’IA est exploité, sauf lorsque l’utilisation s’inscrit dans le cadre d’une activité personnelle à caractère non professionnel.

(60)

Étant donné la complexité de la chaîne de valeur de l’intelligence artificielle, les tiers concernés, notamment ceux qui interviennent dans la vente et la fourniture de logiciels, d’outils logiciels, de composants, de données et de modèles pré-entraînés , ou les fournisseurs de services de réseau, devraient coopérer, le cas échéant, avec les fournisseurs et les utilisateurs pour faciliter le respect des obligations qui leur incombent au titre du présent règlement, et avec les autorités compétentes établies en vertu du présent règlement .

(60)

Au sein de la chaîne de valeur de l’IA, plusieurs entités fournissent souvent des outils et des services, mais aussi des composants ou des processus qui sont ensuite intégrés par le fournisseur dans le système d’IA, y compris en ce qui concerne la collecte et le prétraitement des données, l’entraînement aux modèles, le recyclage des modèles, l’essai et l’évaluation des modèles, l’intégration dans des logiciels, ou d’autres aspects du développement de modèles. Les entités concernées peuvent rendre leur offre commercialement disponible directement ou indirectement, par l’intermédiaire d’interfaces, telles que les interfaces de programmation d’applications (API), et distribuées sous licences libres et ouvertes, mais aussi de plus en plus par des plateformes de main-d’œuvre de l’IA, la revente de paramètres formés, des kits de bricolage pour construire des modèles ou l’offre d’un accès payant à un modèle servant à développer et à former des modèles. Compte tenu de cette complexité de la chaîne de valeur de l’IA, tous les tiers concernés, en particulier ceux qui participent au développement, à la vente et à la fourniture commerciale d’outils logiciels, de composants, de modèles préformés ou de données intégrés dans le système d’IA , ou les fournisseurs de services de réseau, devraient , sans compromettre leurs propres droits de propriété intellectuelle ou secrets d’affaires, mettre à disposition les informations, la formation ou l’expertise requises et coopérer, le cas échéant, avec les fournisseurs pour leur permettre de contrôler tous les aspects pertinents du système d’IA qui relèvent du présent règlement . Afin de permettre une gouvernance rentable de la chaîne de valeur de l’IA, le niveau de contrôle est explicitement divulgué par chaque tiers qui fournit au fournisseur un outil, un service, une composante ou un processus qui est ensuite intégré par le fournisseur dans le système d’IA.

(60 bis)

Lorsqu’une partie occupe une position de négociation plus forte, elle risque de tirer parti de cette position au détriment de l’autre partie contractante lorsqu’elle négocie la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou les mesures correctives en cas de violation ou de résiliation des obligations connexes. Ces déséquilibres contractuels nuisent particulièrement aux micro, petites et moyennes entreprises ainsi qu’aux jeunes pousses, à moins qu’elles ne soient détenues ou sous-traitées par une entreprise en mesure d’indemniser de manière appropriée le sous-traitant, étant donné qu’elles ne disposent pas d’une capacité significative à négocier les conditions de l’accord contractuel et qu’elles ne peuvent avoir d’autre choix que d’accepter des clauses contractuelles «à prendre ou à laisser». C’est pourquoi des clauses contractuelles abusives qui régissent la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou les voies de recours en cas de violation ou de résiliation d’obligations connexes ne devraient pas être contraignantes pour une PME ou à une jeune entreprise si elle lui a été imposée unilatéralement.

(60 ter)

Les règles relatives aux clauses contractuelles devraient tenir compte du principe de la liberté contractuelle en tant que concept essentiel dans les relations interentreprises. Par conséquent, toutes les clauses contractuelles ne devraient pas être soumises à une appréciation du caractère abusif, mais uniquement aux clauses qui sont imposées unilatéralement aux micro, petites et moyennes entreprises. ainsi qu’aux jeunes pousses. Il s’agit des situations du type «à prendre ou à laisser» dans lesquelles une partie fournit une certaine clause contractuelle et où la micro, petite ou moyenne entreprise ou jeune pousse ne peut pas influencer le contenu de cette clause malgré une tentative de négociation. Une clause contractuelle qui est simplement fournie par une partie et acceptée par la micro, petite ou moyenne entreprise ou jeune pousse ou une clause négociée puis convenue sous forme modifiée entre les parties contractantes ne devrait pas être considérée comme imposée unilatéralement.

(60 quater)

En outre, les règles relatives aux clauses contractuelles abusives ne devraient s’appliquer qu’aux éléments d’un contrat qui sont liés à la fourniture d’outils, de services, de composants ou de processus qui sont utilisés ou intégrés dans un système d’IA à haut risque ou aux recours en cas de violation ou de résiliation des obligations connexes. Les autres parties du même contrat, qui ne sont pas liées à ces éléments, ne devraient pas être soumises à l’appréciation du caractère abusif prévue par le présent règlement.

(60 quinquies)

Les critères permettant d’identifier les clauses contractuelles abusives ne devraient s’appliquer qu’aux clauses contractuelles excessives, en cas d’abus de pouvoir de négociation supérieur. La grande majorité des clauses contractuelles qui sont commercialement plus favorables à une partie qu’à l’autre, y compris celles qui sont normales dans les contrats interentreprises, sont une expression normale du principe de la liberté contractuelle et continuent de s’appliquer. Si une clause contractuelle ne figure pas dans la liste des clauses qui sont toujours considérées comme abusives, la disposition générale relative au caractère abusif s’applique. À cet égard, les clauses énumérées en tant que clauses abusives devraient servir de critère d’interprétation de la disposition générale relative au caractère abusif.

(60 sexies)

Les systèmes d’IA à finalité générale sont une évolution récente, dans le cadre de laquelle des modèles d’IA sont développés à partir d’algorithmes conçus pour optimiser la généralité et la polyvalence de la production. Ces modèles sont souvent formés sur un large éventail de sources de données et de grandes quantités de données pour accomplir un large éventail de tâches en aval, y compris certaines pour lesquelles ils n’ont pas été spécifiquement développés et formés. Le système d’IA à finalité générale peut être unimodal ou multimodal, formé au moyen de diverses méthodes telles que l’apprentissage supervisé ou l’apprentissage renforcé. Les systèmes d’IA ayant une destination spécifique ou les systèmes d’IA à usage général peuvent être la mise en œuvre d’un système d’IA à finalité générale, ce qui signifie que chaque système d’IA à finalité générale peut être réutilisé dans d’innombrables systèmes d’IA en aval ou à usage général. Ces modèles revêtent une importance croissante pour de nombreuses applications et systèmes en aval.

(60 septies)

Dans le cas de systèmes d’IA à finalité générale fournis sous la forme d’un service comme par accès API, la coopération avec les fournisseurs en aval devrait s’étendre pendant toute la durée de fourniture et de soutien de ce service, afin de permettre une atténuation appropriée des risques, à moins que le fournisseur du système d’IA à finalité générale ne transfère le système d’IA à finalité générale ainsi que des informations détaillées et appropriées sur les ensembles de données et le processus de développement du système ou restreint le service, comme l’accès API, de manière à ce que le fournisseur en aval soit en mesure de se conformer pleinement au présent règlement sans le soutien supplémentaire du fournisseur initial du système d’IA à finalité générale.

(60 octies)

Compte tenu de la nature et de la complexité de la chaîne de valeur des systèmes d’IA, il est essentiel de faire la lumière sur le rôle des acteurs qui contribuent au développement des système d’IA. Il existe une grande incertitude quant à la manière dont les systèmes d’IA à finalité générale évolueront, tant en ce qui concerne la typologie des modèles que l’autogouvernance. Il est donc essentiel de clarifier la situation juridique des fournisseurs de systèmes d’IA à finalité générale. Combinés à leur complexité et à leur incidence inattendue, le manque de contrôle exercé par le fournisseur d’IA en aval sur le développement du système d’IA à finalité générale et sur le déséquilibre de pouvoir qui en résulte, et afin de garantir un partage équitable des responsabilités tout au long de la chaîne de valeur de l’IA, ces modèles devraient être soumis à des exigences et obligations proportionnées et plus spécifiques au titre du présent règlement, à savoir que les systèmes d’IA à finalité générale devraient évaluer et atténuer les risques et les préjudices éventuels au moyen d’une conception, d’essais et d’analyses appropriés, mettre en œuvre des mesures de gouvernance des données, y compris l’évaluation des biais, et respecter les exigences en matière de conception technique afin de garantir des niveaux appropriés de performance, de prévisibilité, d’interprétation, de prévisibilité, de sécurité et de cybersécurité, et devraient être conformes aux normes environnementales. Ces obligations devraient s’accompagner de normes. En outre, les systèmes d’IA à finalité générale devraient être soumis à des obligations d’information et préparer toute la documentation technique nécessaire pour permettre aux fournisseurs en aval potentiels de se conformer aux obligations qui leur incombent en vertu du présent règlement. Les systèmes d’IA à finalité générale génératifs devraient garantir la transparence quant au fait que le contenu est généré par un système d’IA, et non par un humain. Ces exigences et obligations spécifiques n’équivalent pas à considérer les systèmes d’IA à finalité générale comme des systèmes d’IA à haut risque, mais devraient garantir que les objectifs du présent règlement visant à garantir un niveau élevé de protection des droits fondamentaux, de la santé et de la sécurité, de l’environnement, de la démocratie et de l’état de droit sont atteints. Les modèles préformés élaborés pour un ensemble d’applications plus restreint, moins général et plus limité, qui ne peuvent être adaptés à un large éventail de tâches, telles que les simples systèmes d’IA polyvalents, ne devraient pas être considérés comme des systèmes d’IA à finalité générale aux fins du présent règlement, en raison de leur plus grande capacité d’interprétation, ce qui rend leur comportement moins imprévisible.

(60 nonies)

Compte tenu de la nature des systèmes d’IA à finalité générale, l’expertise en matière d’évaluation de la conformité fait défaut et des méthodes d’audit par des tiers sont toujours en cours d’élaboration. Le secteur lui-même développe donc de nouveaux moyens d’évaluer les systèmes d’IA à finalité générale qui répondent en partie à l’objectif de l’audit (tels que l’évaluation des modèles, la méthode de l’équipe rouge («red teaming») ou les techniques de vérification et de validation de l’apprentissage automatique). Ces évaluations internes des systèmes d’IA à finalité générale devraient être largement applicables (par exemple, indépendamment des canaux de distribution, des modalités, des méthodes de développement), afin de traiter les risques propres à ces modèles en tenant compte des pratiques les plus récentes du secteur et de mettre l’accent sur le développement d’une compréhension technique et d’un contrôle suffisants du modèle, sur la gestion des risques raisonnablement prévisibles, ainsi que sur une analyse et des essais approfondis du modèle au moyen de mesures appropriées, par exemple par la participation d’évaluateurs indépendants. Étant donné que les systèmes d’IA à finalité générale constituent une évolution nouvelle et rapide dans le domaine de l’intelligence artificielle, il convient que la Commission et le Bureau de l’IA surveillent et évaluent périodiquement le cadre législatif et de gouvernance de ces modèles et, en particulier, des systèmes d’IA génératifs fondés sur de tels modèles, qui soulèvent des questions importantes liées à la production de contenus en violation du droit de l’Union, aux règles en matière de droit d’auteur et à d’éventuels abus. Il convient de préciser que le présent règlement devrait être sans préjudice du droit de l’Union sur le droit d’auteur et les droits voisins, y compris les directives 2001/29/CE, 2004/48/CE et (UE) 2019/790 du Parlement européen et du Conseil.

(61)

La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec présent règlement. Le respect des normes harmonisées telles que définies dans le règlement (UE) no 1025/2012 du Parlement européen et du Conseil  (54) devrait être un moyen pour les fournisseurs de démontrer la conformité aux exigences du présent règlement. Cependant, la Commission pourrait adopter des spécifications techniques communes dans les domaines où il n’existe pas de normes harmonisées ou où elles sont insuffisantes .

(61)

La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec présent règlement. Le respect des normes harmonisées telles que définies dans le règlement (UE) no 1025/2012 du Parlement européen et du Conseil  (54) devrait être un moyen pour les fournisseurs de démontrer la conformité aux exigences du présent règlement. Afin d’assurer l’efficacité des normes comme instrument politique pour l’Union et compte tenu de l’importance des normes pour assurer la conformité avec les exigences du présent règlement ainsi que pour la compétitivité des entreprises, il convient de garantir une représentation équilibrée des intérêts en associant toutes les parties prenantes concernées dans l’élaboration des normes . Le processus de normalisation devrait préciser clairement les personnes morales et physiques participant aux activités de normalisation.

(61 bis)

Afin de faciliter la conformité, les premières demandes de normalisation devraient être émises par la Commission au plus tard deux mois après l’entrée en vigueur du présent règlement. Cela devrait permettre d’améliorer la sécurité juridique, favorisant ainsi l’investissement et l’innovation dans l’IA, ainsi que la compétitivité et la croissance du marché de l’Union, tout en renforçant la gouvernance multipartite représentant toutes les parties prenantes européennes concernées, telles que le Bureau de l’IA, les organisations et organismes européens de normalisation ou les groupes d’experts établis en vertu du droit sectoriel pertinent de l’Union, ainsi que le secteur, les PME, les jeunes pousses, la société civile, les chercheurs et les partenaires sociaux, et, à terme, faciliter la coopération mondiale en matière de normalisation dans le domaine de l’IA d’une manière compatible avec les valeurs de l’Union. Lors de l’élaboration des demandes de normalisation, la Commission consulte le Bureau de l’IA et le forum consultatif afin de recueillir l’expertise pertinente;

(61 ter)

Lorsque les systèmes d’IA sont destinés à être utilisés sur le lieu de travail, les normes harmonisées devraient se limiter aux spécifications techniques et aux procédures.

(61 quater)

La Commission devrait être en mesure d’adopter des spécifications communes sous certaines conditions, lorsqu’il n’existe pas de norme harmonisée pertinente, ou de répondre à des préoccupations spécifiques en matière de droits fondamentaux. Tout au long du processus de rédaction, la Commission devrait consulter régulièrement le Bureau de l’IA et son forum consultatif, les organisations et organes européens de normalisation ou les groupes d’experts établis en vertu du droit sectoriel pertinent de l’Union, ainsi que les parties prenantes concernées, telles que le secteur, les PME, les jeunes pousses, la société civile, les chercheurs et les partenaires sociaux.

(61 quinquies)

Lorsqu’elle adopte des spécifications communes, la Commission devrait s’efforcer d’aligner la réglementation de l’IA sur celle de partenaires mondiaux partageant les mêmes valeurs, ce qui est essentiel pour encourager l’innovation et les partenariats transfrontières dans le domaine de l’IA, étant donné que la coordination avec des partenaires partageant les mêmes valeurs au sein des organismes internationaux de normalisation revêt une grande importance.

(62)

Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service.

(62)

Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service. Afin d’améliorer la confiance dans la chaîne de valeur et de rassurer les entreprises quant à l’efficacité de leurs systèmes, les tiers qui fournissent des composants d’IA peuvent se soumettre volontairement à une évaluation de la conformité réalisée par un tiers.

(64)

Étant donné l’expérience plus étendue des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés pour l’identification biométrique à distance de personnes, pour lesquels l’intervention d’un organisme notifié dans l’évaluation de la conformité devrait être prévue, pour autant qu’ils ne soient pas interdits.

(64)

Compte tenu de la complexité des systèmes d’IA à haut risque et des risques qui y sont associés, il est essentiel de développer une capacité plus adéquate pour l’application de l’évaluation de la conformité par des tiers aux systèmes d’IA à haut risque. Toutefois, étant donné l’expérience actuelle des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés pour l’identification biométrique à distance de personnes , ou de systèmes d’IA destinés à être utilisés pour effectuer des déductions sur les caractéristiques personnelles de personnes physiques sur la base de données biométriques ou fondées sur la biométrie, y compris les systèmes de reconnaissance des émotions , pour lesquels l’intervention d’un organisme notifié dans l’évaluation de la conformité devrait être prévue, pour autant qu’ils ne soient pas interdits.

(65)

Afin de procéder à une évaluation de la conformité par un tiers des systèmes d’IA destinés à être utilisés pour l’identification biométrique à distance de personnes , les organismes notifiés devraient être désignés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils soient conformes à un ensemble d’exigences portant notamment sur leur indépendance, leur compétence et l’absence de conflits d’intérêts.

(65)

Afin de procéder à des évaluations de la conformité par des tiers lorsque cela est nécessaire, les organismes notifiés devraient être désignés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils soient conformes à un ensemble d’exigences portant notamment sur leur indépendance, leur compétence, l’absence de conflits d’intérêts et les exigences minimales en matière de cybersécurité. Les États membres devraient encourager la nomination d’un nombre suffisant d’organismes d’évaluation de la conformité soit désigné, afin qu’il puisse être procédé à la certification en temps utile. Les procédures d’évaluation, de désignation, de notification et de surveillance des organismes d’évaluation de la conformité devraient être mises en œuvre de manière aussi uniforme que possible dans les États membres, en coopération entre les autorités notifiantes de tous les États membres et aboutissent à des procédures types mises en œuvre de manière uniforme dans tous les États membres, en vue de supprimer les obstacles administratifs aux frontières et d’assurer que le potentiel du marché intérieur est réalisé.

(65 bis)

Conformément aux engagements pris par l’Union en vertu de l’accord sur les obstacles techniques au commerce de l’Organisation mondiale du commerce, il convient de favoriser l’acceptation universelle des résultats des analyses réalisées par les organismes d’évaluation de la conformité, quel que soit leur lieu d’établissement, lorsque cela est nécessaire pour prouver le respect des exigences applicables du présent règlement. La Commission devrait étudier activement les instruments internationaux possibles à cette fin et, en particulier, chercher à établir des accords de reconnaissance mutuelle avec des pays dont le niveau de développement technique est comparable et qui ont une approche compatible en matière d’IA et d’évaluation de la conformité.

(66)

Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, il convient que les systèmes d’IA fassent l’objet d’une nouvelle évaluation de la conformité chaque fois qu’ils subissent une modification susceptible d’avoir une incidence sur leur conformité avec le présent règlement ou que la destination du système change. En outre, pour les systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service (c’est-à-dire qui adaptent automatiquement la façon dont les fonctions sont exécutées), il est nécessaire de prévoir des règles établissant que les modifications de l’algorithme et de ses performances qui ont été prédéterminées par le fournisseur et évaluées au moment de l’évaluation de la conformité ne devraient pas constituer une modification substantielle.

(66)

Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, il convient que les systèmes d’IA à haut risque fassent l’objet d’une nouvelle évaluation de la conformité chaque fois qu’ils subissent une modification imprévue qui dépasse la notion de modification contrôlée ou prédéterminée par le fournisseur, y compris l’apprentissage continu, et qui peut créer un nouveau risque inacceptable et avoir une incidence considérable sur conformité du système d’IA à haut risque avec le présent règlement ou que la destination du système change. En outre, pour les systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service (c’est-à-dire qui adaptent automatiquement la façon dont les fonctions sont exécutées), il est nécessaire de prévoir des règles établissant que les modifications de l’algorithme et de ses performances qui ont été prédéterminées par le fournisseur et évaluées au moment de l’évaluation de la conformité ne devraient pas constituer une modification substantielle. Il convient également d’appliquer cette approche en cas de mise à jour du système pour raisons générales de sécurité et pour parer à l’évolution des risques de manipulation du système, sous réserve que ces modifications ne constituent pas des modifications substantielles.

(67)

Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».

(67)

Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Pour les systèmes d’IA physiques à haut risque, un marquage «CE» physique devrait être apposé et peut être complété par un marquage CE numérique. Pour les systèmes d’IA à haut risque exclusivement numériques, il convient d’utiliser un marquage «CE» numérique. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».

(68)

Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la sécurité publique, à la protection de la vie et de la santé des personnes physiques et à la protection de la propriété industrielle et commerciale , les États membres puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité.

(68)

Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes , pour l’environnement et le changement climatique et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la protection de la vie et de la santé des personnes physiques, à la protection de l’environnement et à la protection des infrastructures critiques , les États membres puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité.

(69)

Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’intelligence artificielle et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière devraient être tenus d’enregistrer leur système d’IA à haut risque dans une base de données de l’UE, qui sera établie et gérée par la Commission. La Commission devrait faire fonction de responsable du traitement pour cette base de données, conformément au règlement (UE) 2018/1725 du Parlement européen et du Conseil (55). Afin de garantir que la base de données soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir l’élaboration de spécifications fonctionnelles par la Commission et d’un rapport d’audit indépendant.

(69)

Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’intelligence artificielle et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière devraient être tenus d’enregistrer leur système d’IA à haut risque et leurs systèmes d’IA à finalité générale dans une base de données de l’UE, qui sera établie et gérée par la Commission. Cette base de données devrait être accessible librement et publiquement, facilement compréhensible et lisible par machine. La base de données devrait également être conviviale et facilement accessible, avec des fonctionnalités de recherche permettant au minimum au grand public de rechercher dans la base de données des systèmes à haut risque spécifiques, des lieux, des catégories de risque visées à l’annexe IV et des mots-clés. Les déployeurs qui sont des autorités publiques ou les institutions, organes, organismes et agences de l’Union ou les déployeurs agissant en leur nom ainsi que les déployeurs qui sont des entreprises désignées comme contrôleurs d’accès en vertu du règlement (UE) 2022/1925 devraient également s’enregistrer dans la base de données de l’Union avant la mise en service ou l’utilisation d’un système d’IA à haut risque. D’autres déployeurs devraient être autorisés à le faire volontairement. Toute modification substantielle de systèmes d’IA à haut risque est également enregistrée dans la base de données de l’Union. La Commission devrait faire fonction de responsable du traitement pour cette base de données, conformément au règlement (UE) 2018/1725 du Parlement européen et du Conseil (55). Afin de garantir que la base de données soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir l’élaboration de spécifications fonctionnelles par la Commission et d’un rapport d’audit indépendant. La Commission devrait tenir compte des risques liés à la cybersécurité et aux dangers dans l’accomplissement de ses missions en tant que responsable du traitement des données dans la base de données de l’UE. La base de données, y compris les informations mises à disposition par son intermédiaire, devrait être conforme aux exigences prévues par la directive 2019/882, afin d’optimiser son accès et son utilisation par le public.

(71)

L’intelligence artificielle est une famille de technologies en évolution rapide qui nécessite la mise en place de nouvelles formes de contrôle réglementaire et d’un espace sûr pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique propice à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les autorités nationales compétentes d’un ou de plusieurs États membres devraient être encouragées à mettre en place des bacs à sable réglementaires sur l’intelligence artificielle pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière.

(71)

L’intelligence artificielle est une famille de technologies en évolution rapide qui nécessite la mise en place d’un contrôle réglementaire et d’un espace sûr et contrôlé pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique favorable à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les États membres devraient mettre en place au moins un bac à sable réglementaire sur l’intelligence artificielle pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière. Il est en effet souhaitable que la mise en place de bacs à sable réglementaires, actuellement laissée à la discrétion des États membres, soit rendue obligatoire au moyen de critères établis. Ce bac à sable obligatoire pourrait également être établi conjointement avec un ou plusieurs autres États membres, pour autant que ce bac à sable couvre le niveau national respectif des États membres concernés. Des bacs à sable supplémentaires peuvent également être mis en place à différents niveaux, y compris entre les États membres, afin de faciliter la coopération et les synergies transfrontières. À l’exception du bac à sable obligatoire au niveau national, les États membres devraient également pouvoir mettre en place des bacs à sable virtuels ou hybrides. Tous les bacs à sable réglementaires devraient pouvoir accueillir à la fois des produits physiques et des produits virtuels. Les autorités d’établissement devraient également veiller à ce que les bacs à sable réglementaires disposent des ressources financières et humaines nécessaires à leur fonctionnement.

(72)

Les bacs à sable réglementaires devraient avoir pour objectif de favoriser l’innovation dans le domaine de l’IA en créant un environnement contrôlé d’expérimentation et d’essai au stade du développement et de la pré-commercialisation afin de garantir la conformité des systèmes d’IA innovants avec le présent règlement et d’autres législations pertinentes de l’Union et des États membres; de renforcer la sécurité juridique pour les innovateurs ainsi que le contrôle et la compréhension, par les autorités compétentes, des possibilités, des risques émergents et des conséquences de l’utilisation de l’IA; et d’accélérer l’accès aux marchés , notamment en supprimant les obstacles pour les petites et moyennes entreprises (PME) et les jeunes entreprises . Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Le présent règlement devrait constituer la base juridique pour l’utilisation des données à  caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire sur l’IA, conformément à  l’article 6, paragraphe 4, du règlement (UE) 2016/679 et à l’article 6 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, de la directive (UE) 2016/680. Les participants au bac à sable réglementaire devraient fournir des garanties appropriées et coopérer avec les autorités compétentes , notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer tout risque important pour la sécurité et les droits fondamentaux susceptible de survenir au cours du développement et de l’expérimentation dans le bac à  sable. La conduite des participants dans le cadre du bac à sable réglementaire devrait être prise en considération lorsque les autorités compétentes décident d’infliger ou non une amende administrative au titre de l’article 83, paragraphe 2, du règlement (UE) 2016/679 et de l’article 57 de la directive (UE) 2016/680.

(72)

Les objectifs des bacs à sable réglementaires devraient être les suivants: que les autorités d’établissement améliorent leur compréhension des évolutions techniques, améliorent les méthodes de surveillance et fournissent des orientations aux développeurs et fournisseurs de systèmes d’IA afin qu’ils se conforment au présent règlement ou, le cas échéant, aux autres législations applicables de l’Union et des États membres , ainsi qu’avec la charte des droits fondamentaux ; que les fournisseurs potentiels permettent et facilitent l’expérimentation et le développement de solutions innovantes liées aux systèmes d’IA au cours de la phase de précommercialisation afin de renforcer la sécurité juridique , permettre un meilleur apprentissage réglementaire en établissant des autorités dans un environnement contrôlé afin d’élaborer de meilleures orientations et de recenser d’éventuelles améliorations futures du cadre juridique au moyen de la procédure législative ordinaire. Tout risque significatif constaté lors du développement et des tests de ces systèmes devrait donner lieu à des mesures d’atténuation immédiates et , à défaut, à la suspension du processus de développement et d’essai jusqu’à ce que cette atténuation soit effective . Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Les États membres devraient veiller à ce que les bacs à  sable réglementaires soient largement disponibles dans l’ensemble de l’Union, tandis que la participation devrait rester volontaire. Il est particulièrement important de veiller à  ce que les PME et les jeunes pousses puissent facilement accéder à ces bacs à sable, qu’elles jouent un rôle actif et qu’elles participent au développement et à la mise à l’essai de systèmes d’IA innovants, afin d’être en mesure d’apporter leur savoir-faire et leur expérience .

(72 bis)

Le présent règlement devrait constituer la base juridique pour l’utilisation des données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire sur l’IA, uniquement dans des conditions spécifiques, conformément à l’article 6, paragraphe 4, du règlement (UE) 2016/679 et à l’article 6 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, de la directive (UE) 2016/680. Les fournisseurs potentiels du bac à sable réglementaire devraient fournir des garanties appropriées et coopérer avec les autorités compétentes, notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer tout risque important pour la sécurité, la santé, l’environnement et les droits fondamentaux susceptible de survenir au cours du développement et de l’expérimentation dans le bac à sable. La conduite des fournisseurs potentiels du cadre du bac à sable réglementaire devrait être prise en considération lorsque les autorités compétentes décident de suspendre de manière temporaire ou permanente leur participation au bac à sable, ou d’infliger ou non une amende administrative au titre de l’article 83, paragraphe 2, du règlement (UE) 2016/679 et de l’article 57 de la directive (UE) 2016/680.

(72 ter)

Pour faire en sorte que l’intelligence artificielle aboutisse à des résultats bénéfiques sur les plans social et environnemental, les États membres devraient soutenir et promouvoir la recherche et le développement de l’IA à l’appui de résultats bénéfiques sur le plan social et environnemental en allouant des ressources suffisantes, y compris des financements publics et de l’Union, et en accordant un accès prioritaire aux bacs à sable réglementaires aux projets menés par la société civile. Ces projets devraient être fondés sur le principe d’une coopération interdisciplinaire entre les développeurs d’IA, les experts en matière d’inégalité et de non-discrimination, d’accessibilité, de droits des consommateurs, de droits environnementaux et numériques, ainsi que les universitaires.

(73)

Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des petits fournisseurs et utilisateurs de systèmes d’IA bénéficient d’une attention particulière. Pour atteindre cet objectif, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière de sensibilisation et de communication d’informations. En outre, les intérêts et les besoins spécifiques des petits fournisseurs doivent être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. Les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent constituer un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible d’utilisateurs transfrontières.

(73)

Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des petits fournisseurs et utilisateurs de systèmes d’IA bénéficient d’une attention particulière. Pour atteindre cet objectif, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière d’éducation à l’IA, de sensibilisation et de communication d’informations. Les États membres utilisent les canaux existants de communication et, le cas échéant, en établissent de nouveaux afin de fournir des orientations aux PME, jeunes entreprises, utilisateurs et autres innovateurs, et répondre à leurs questions concernant la mise en œuvre du présent règlement. Lesdits canaux pourraient comprendre, sans s’y limiter, les centres de réponse aux incidents de sécurité informatique de l’Agence de l’Union européenne pour la cybersécurité (ENISA), les agences nationales chargées de la protection des données, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et autres instruments pertinents financés par les programmes de l’Union, ainsi que les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau national ou de l’Union. Le cas échéant, ces canaux collaborent pour créer des synergies et assurer la cohérence des conseils donnés aux jeunes entreprises, aux PME et aux utilisateurs. En outre, les intérêts et les besoins spécifiques des petits fournisseurs doivent être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. La Commission évalue régulièrement les coûts de certification et de mise en conformité pour les PME et les jeunes entreprises, y compris par des consultations transparentes avec les PME, les jeunes entreprises et les utilisateurs, et collabore avec les États membres pour réduire ces coûts. Les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent par exemple représenter un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible d’utilisateurs transfrontières. Les entreprises qui sont récemment passées de la catégorie «petite» à «moyenne» au sens de l’annexe à la recommandation 2003/361/CE (article 16) ont accès à ces initiatives et orientations pendant la période qui sera jugée appropriée par les États membres, étant donné que ces nouvelles entreprises de taille moyenne peuvent parfois manquer des ressources juridiques et de la formation nécessaires pour garantir une bonne compréhension et le respect des dispositions.

(74)

Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau national ou de l’UE devraient éventuellement contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, ils peuvent notamment apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.

(74)

Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau national ou de l’UE devraient éventuellement contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, ils peuvent notamment apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.

(76)

Afin de faciliter une mise en œuvre aisée, efficace et harmonisée du présent règlement, il convient de créer un Comité européen de l’intelligence artificielle. Le Comité devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou d’orientations sur des questions liées à la mise en œuvre du présent règlement, y compris sur les spécifications techniques ou les normes existantes concernant les exigences établies dans le présent règlement , et la fourniture de conseils et d’assistance à la Commission sur des questions spécifiques liées à l’intelligence artificielle .

(76)

Afin d’éviter la fragmentation, d’assurer le fonctionnement optimal du marché unique, d’assurer une mise en œuvre efficace et harmonisée du présent règlement, d’atteindre un niveau élevé de fiabilité et de protection de la santé et de la sécurité, des droits fondamentaux, de l’environnement, de la démocratie et de l’état de droit dans l’ensemble de l’Union en ce qui concerne les systèmes d’IA, de soutenir activement les autorités nationales de surveillance, les institutions, organes et organismes de l’Union dans les domaines relevant du présent règlement et d’accroître l’adoption de l’intelligence artificielle dans l’ensemble de l’Union, il convient de créer un Bureau de l’Union européenne pour l’intelligence artificielle. Le Bureau de l’IA devrait être doté de la personnalité juridique, agir en toute indépendance, devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou d’orientations sur des questions liées à la mise en œuvre du présent règlement, et devrait bénéficier d’un financement et d’un personnel suffisants. Les États membres doivent assurer la direction stratégique et le contrôle du Bureau de l’IA par l’intermédiaire du conseil d’administration du Bureau de l’IA, aux côtés de la Commission, du CEPD, de la FRA et de l’ENISA. Un directeur exécutif devrait être responsable de la gestion des activités du secrétariat du Bureau de l’IA et de la représentation du Bureau de l’IA. Les parties prenantes devraient participer officiellement aux travaux du Bureau de l’IA par l’intermédiaire d’un forum consultatif qui devrait garantir une représentation variée et équilibrée des parties prenantes et conseiller le Bureau de l’IA sur les questions relatives au présent règlement. Si la création du Bureau de l’IA s’avère insuffisante pour garantir une application pleinement cohérente du présent règlement au niveau de l’Union ainsi que des mesures d’exécution transfrontières efficaces, la création d’une agence de l’IA devrait être envisagée .

(77)

Les États membres jouent un rôle clé dans l’application et le contrôle du respect du présent règlement. À cet égard, chaque État membre devrait désigner une ou plusieurs autorités nationales compétentes chargées de contrôler l’application et la mise en œuvre du présent règlement. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact officiel avec le public et les homologues au niveau des États membres et de l’Union, chaque État membre devrait désigner une autorité nationale unique en tant qu’autorité de contrôle nationale .

(77)

À cet égard, chaque État membre devrait désigner une ou plusieurs autorités nationales de surveillance chargées de contrôler l’application et la mise en œuvre du présent règlement. Elle devrait également représenter son État membre au sein du conseil d’administration du Bureau de l’IA. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact officiel avec le public et les homologues au niveau des États membres et de l’Union. Chaque autorité de contrôle nationale devrait agir en toute indépendance dans l’accomplissement de ses tâches et l’exercice de ses pouvoirs conformément au présent règlement .

(77 bis)

Il y a lieu que les autorités nationales de contrôle surveillent l’application des dispositions en vertu du présent règlement et contribuent à ce que son application soit cohérente dans l’ensemble de l’Union. À cette fin, les autorités nationales de surveillance devraient coopérer entre elles, avec les autorités nationales compétentes concernées, avec la Commission et avec le Bureau de l’IA.

(77 ter)

Le membre ou le personnel de chaque autorité nationale de surveillance devrait, conformément au droit de l’Union ou au droit national, être soumis au secret professionnel pendant et après son mandat, à l’égard de toute information confidentielle dont il a eu connaissance dans l’exercice de ses fonctions ou de ses pouvoirs. Pendant la durée de leur mandat, ce secret professionnel devrait s’appliquer en particulier au secret des affaires et au signalement par des personnes physiques de violations du présent règlement.

(78)

Afin de garantir que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave ou toute violation du droit national ou de l’Union en matière de droits fondamentaux résultant de l’utilisation de leurs systèmes d’IA.

(78)

Afin de garantir que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» ou à évoluer après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave ou toute violation du droit national ou de l’Union , y compris en matière de droits fondamentaux et des consommateurs résultant de l’utilisation de leurs systèmes d’IA et prendre les mesures correctives appropriées . Les déployeurs devraient également signaler aux autorités compétentes, tout incident grave ou toute violation du droit national ou de l’Union résultant de l’utilisation de leurs systèmes d’IA dès qu’ils ont connaissance de l’incident ou de la violation.

(79)

Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Lorsque cela est nécessaire à leur mandat, les autorités ou organismes publics nationaux qui contrôlent l’application du droit de l’Union en matière de droits fondamentaux, y compris les organismes de promotion de l’égalité, devraient aussi avoir accès à toute documentation créée au titre du présent règlement.

(79)

Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Aux fins du présent règlement, les autorités nationales de surveillance devraient agir en tant qu’autorités de surveillance du marché pour les systèmes d’IA couverts par le présent règlement, à l’exception des systèmes d’IA couverts par l’annexe II du présent règlement. Pour les systèmes d’IA couverts par les actes juridiques énumérés à l’annexe II, les autorités compétentes au titre de ces actes juridiques devraient rester l’autorité chef de file. Les autorités nationales de surveillance et les autorités compétentes dans les actes juridiques énumérés à l’annexe II devraient collaborer chaque fois que cela est nécessaire. Le cas échéant, les autorités compétentes visées par les actes juridiques énumérés à l’annexe II devraient envoyer du personnel compétent à l’autorité nationale de surveillance afin de l’assister dans l’accomplissement de ses tâches. Aux fins du présent règlement, les autorités nationales de surveillance devraient avoir les mêmes pouvoirs et obligations que les autorités de surveillance du marché en vertu du règlement (UE) 2019/1020. Lorsque cela est nécessaire à leur mandat, les autorités ou organismes publics nationaux qui contrôlent l’application du droit de l’Union en matière de droits fondamentaux, y compris les organismes de promotion de l’égalité, devraient aussi avoir accès à toute documentation créée au titre du présent règlement. Après avoir épuisé tous les autres moyens raisonnables d’évaluer/de vérifier la conformité et sur demande motivée, l’autorité de surveillance nationale devrait se voir accorder l’accès aux ensembles de données d’entraînement, de validation et de test, au modèle de formation et d’entraînement du système d’IA à haut risque, y compris les paramètres pertinents de son modèle et leur environnement d’exécution/de fonctionnement. Dans le cas de systèmes logiciels plus simples relevant du présent règlement qui ne reposent pas sur des modèles formés, et lorsque tous les autres moyens de vérifier la conformité ont été épuisés, l’autorité de surveillance nationale peut, à titre exceptionnel, avoir accès au code source, sur demande motivée. Lorsque l’autorité de surveillance nationale s’est vu accorder l’accès aux ensembles de données de formation, de validation et de test conformément au présent règlement, cet accès devrait être assuré par des moyens et des outils techniques appropriés, y compris un accès sur place et, dans des circonstances exceptionnelles, un accès à distance. L’autorité de contrôle nationale devrait traiter toutes les informations, y compris le code source, les logiciels et les données, le cas échéant, obtenues comme des informations confidentielles et respecter le droit de l’Union applicable en matière de protection de la propriété intellectuelle et des secrets d’affaires. L’autorité de contrôle nationale devrait supprimer toute information obtenue à l’issue de l’enquête.

(80)

La législation de l’Union sur les services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer l’application et la mise en œuvre cohérentes des obligations découlant du présent règlement et des règles et exigences pertinentes de la législation de l’Union sur les services financiers, les autorités chargées de la surveillance et du contrôle de l’application de la législation sur les services financiers, y compris, le cas échéant, la Banque centrale européenne, devraient être désignées comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE du Parlement européen et du Conseil (56), il convient aussi d’intégrer la procédure d’évaluation de la conformité et certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux utilisateurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE.

(80)

Le droit de l’Union sur les services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer l’application et la mise en œuvre cohérentes des obligations découlant du présent règlement et des règles et exigences pertinentes de la législation de l’Union sur les services financiers, les autorités compétentes chargées de la surveillance et du contrôle de l’application de la législation sur les services financiers, y compris, le cas échéant, la Banque centrale européenne, devraient être désignées comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE du Parlement européen et du Conseil (56), il convient aussi d’intégrer la procédure d’évaluation de la conformité et certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux déployeurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE.

(80 bis)

Compte tenu des objectifs du présent règlement, à savoir assurer un niveau équivalent de protection de la santé, de la sécurité et des droits fondamentaux des personnes physiques, assurer la protection de l’état de droit et de la démocratie, et compte tenu du fait que l’atténuation des risques liés aux systèmes d’IA contre ces droits peut ne pas être réalisée de manière suffisante au niveau national ou faire l’objet d’interprétations divergentes qui pourraient, en fin de compte, conduire à un niveau inégal de protection des personnes physiques et entraîner une fragmentation du marché, les autorités nationales de surveillance devraient être habilitées à mener des enquêtes conjointes ou à s’appuyer sur la procédure de sauvegarde de l’Union prévue par le présent règlement aux fins d’une application efficace. Des enquêtes communes devraient être ouvertes lorsque l’autorité de contrôle nationale a des raisons suffisantes de croire qu’une infraction au présent règlement constitue une infraction de grande ampleur ou une infraction de grande ampleur à l’échelle de l’Union, ou lorsque le système d’IA ou le système d’IA à finalité générale présente un risque qui affecte ou est susceptible de toucher au moins 45 millions de personnes dans plus d’un État membre.

(82)

Il est important que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences y afférentes soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application de la directive 2001/95/CE du Parlement européen et du Conseil (57) constituerait un filet de sécurité.

(82)

Il est important que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences définies pour les systèmes d’IA à haut risque soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application de la directive 2001/95/CE du Parlement européen et du Conseil (57) constituerait un filet de sécurité.

(83)

Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient respecter la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches.

(83)

Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient viser la transparence et l’ouverture tout en respectant la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches en mettant en place des mesures techniques et organisationnelles visant à protéger la sécurité et la confidentialité des informations obtenues dans l’exécution de leurs activités, notamment en ce qui concerne les droits de propriété intellectuelle et les intérêts en matière de sécurité nationale et publique. Lorsque les activités de la Commission, des autorités nationales compétentes et des organismes notifiés en vertu du présent règlement entraînent une violation des droits de propriété intellectuelle, les États membres devraient prévoir des mesures et recours appropriés pour garantir le respect des droits de propriété intellectuelle en application de la directive 2004/48/CE.

(84)

Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions. Pour certaines infractions spécifiques , les États membres devraient tenir compte des marges et des critères définis dans le présent règlement . Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement.

(84)

L’autorité de contrôle nationale devrait pouvoir assurer le respect des dispositions du présent règlement en infligeant des amendes dans le cadre de poursuites engagées conformément à la procédure énoncée dans le présent règlement. Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions. Afin de renforcer et d’harmoniser les sanctions administratives applicables en cas de violation du présent règlement, il convient d’établir le montant maximal pour la fixation des amendes administratives pour certaines infractions spécifiques. Pour évaluer le montant des amendes, les autorités nationales compétentes devraient , dans chaque cas d’espèce, tenir compte de toutes les caractéristiques propres à chaque cas, en prenant notamment en considération la nature, la gravité et la durée de l’infraction et ses conséquences, ainsi que la taille du fournisseur, en particulier s’il s’agit d’une PME ou d’une jeune entreprise . Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement. Les sanctions et frais de contentieux visés par le présent règlement ne devraient pas faire l’objet de clauses contractuelles ou d’autres arrangements.

(84 bis)

Étant donné que les droits et libertés des personnes physiques et morales et des groupes de personnes physiques peuvent être gravement compromis par les systèmes d’IA, il est essentiel que les personnes physiques et morales ou les groupes de personnes physiques aient un accès significatif aux mécanismes de signalement et puissent disposer de recours proportionnés et effectifs. Ils devraient pouvoir signaler les violations du présent règlement à leur autorité de contrôle nationale et avoir le droit d’introduire une réclamation contre les fournisseurs ou les déployeurs de systèmes d’IA. Le cas échéant, les déployeurs devraient mettre en place des mécanismes de plainte internes à l’usage des personnes physiques et morales ou des groupes de personnes physiques. Sans préjudice de tout autre recours administratif ou extrajudiciaire, les personnes physiques et morales et les groupes de personnes physiques devraient également avoir le droit de former un recours juridictionnel effectif contre une décision juridiquement contraignante d’une autorité de contrôle nationale les concernant, ou lorsque l’autorité de contrôle nationale ne traite pas une réclamation, n’informe pas le plaignant de l’évolution ou de l’issue préliminaire de la réclamation introduite ou ne respecte pas son obligation de prendre une décision définitive sur la réclamation.

(84 ter)

Les personnes concernées devraient toujours être informées qu’elles font l’objet de l’utilisation d’un système d’IA à haut risque, lorsque les déployeurs utilisent un système d’IA à haut risque pour aider à la prise de décision ou prendre des décisions concernant des personnes physiques. Ces informations peuvent servir de base aux personnes concernées afin d’exercer leur droit à une explication en vertu du présent règlement. Lorsque les déployeurs fournissent une explication aux personnes concernées en vertu du présent règlement, ils devraient tenir compte du niveau d’expertise et de connaissances du consommateur moyen ou de l’individu.

(84 quater)

Le droit de l’Union sur la protection des lanceurs d’alerte [directive (UE) 2019/1937] s’applique pleinement aux universitaires, concepteurs, développeurs, contributeurs de projet, auditeurs, chefs de produit, ingénieurs et opérateurs économiques qui acquièrent des informations sur des violations du droit de l’Union par un fournisseur de système d’IA ou son système d’IA.

(85)

Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du TFUE devrait être délégué à la Commission pour lui permettre de modifier les techniques et les approches visées à l’annexe I pour définir les systèmes d’IA, les actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, les systèmes d’IA à haut risque énumérés à l’annexe III, les dispositions relatives à la documentation technique énumérées à l’annexe IV, le contenu de la déclaration «UE» de conformité à l’annexe V, les dispositions relatives aux procédures d’évaluation de la conformité des annexes VI et VII et les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016«Mieux légiférer» (58). En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.

(85)

Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du TFUE devrait être délégué à la Commission pour lui permettre de modifier les actes législatifs d’harmonisation de l’Union énumérés à l’annexe II, les systèmes d’IA à haut risque énumérés à l’annexe III, les dispositions relatives à la documentation technique énumérées à l’annexe IV, le contenu de la déclaration «UE» de conformité à l’annexe V, les dispositions relatives aux procédures d’évaluation de la conformité des annexes VI et VII et les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016«Mieux légiférer» (58). Ces consultations devraient inclure une sélection équilibrée de parties prenantes, notamment des organisations de consommateurs, de la société civile, des associations représentant les personnes concernées, des représentants d’entreprises issues de divers secteurs et de tailles différentes, ainsi que des chercheurs et des scientifiques . En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.

(85 bis)

Compte tenu de la rapidité des évolutions technologiques et de l’expertise technique requise pour l’évaluation des systèmes d’IA à haut risque, la Commission devrait réexaminer régulièrement, au moins une fois par an, la mise en œuvre du présent règlement, en particulier les systèmes d’IA interdits, les obligations en matière de transparence et la liste des domaines à haut risque et des cas d’utilisation, tout en consultant le bureau de l’IA et les parties prenantes concernées.

(87 bis)

Les informations fiables sur l’utilisation des ressources et de l’énergie, la production de déchets et les autres incidences environnementales des systèmes d’IA et des technologies de l’information et de la communication (TIC) connexes, y compris les logiciels, le matériel et, en particulier, les centres de données, étant limitées, la Commission devrait intégrer une méthodologie appropriée afin de mesurer l’impact environnemental et l’efficacité du présent règlement compte tenu des objectifs environnementaux et climatiques de l’Union.

(89)

Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphe 2, du règlement (UE) 2018/1725 et ont rendu un avis le […],

(89)

Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphe 2, du règlement (UE) 2018/1725 et ont rendu un avis le  18 juin 2021 .

1.

d)

des règles harmonisées en matière de transparence applicables aux systèmes d’IA destinés à interagir avec des personnes physiques, aux systèmes de reconnaissance des émotions et de catégorisation biométrique, et aux systèmes d’IA utilisés pour générer ou manipuler des images ou des contenus audio ou vidéo ;

d)

des règles harmonisées en matière de transparence applicables à  certains systèmes d’IA;

e)

des règles relatives au suivi et à la surveillance du marché.

e)

des règles relatives au suivi du marché, à la surveillance du marché, à la gouvernance et à l’application des règles;

e bis)

des mesures afin de soutenir l’innovation, avec un accent particulier mis sur les PME et les jeunes entreprises, notamment en vue de la mise en place de bacs à sable réglementaires et de mesures ciblées visant à réduire la charge réglementaire pesant sur les PME et les jeunes entreprises;

e ter)

des règles relatives à la création et au fonctionnement du Bureau de l’intelligence artificielle de l’Union (Bureau de l’IA).

b)

aux utilisateurs de systèmes d’IA situés dans l’Union;

b)

aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou qui sont situés dans l’Union;

c)

aux fournisseurs et aux utilisateurs de systèmes d’IA situés dans un pays tiers, lorsque les résultats générés par le système sont utilisés dans l’Union.

c)

aux fournisseurs et aux déployeurs de systèmes d’IA qui ont leur lieu d’établissement ou qui sont situés dans un pays tiers, lorsque le droit d’un État membre s’applique en vertu d’un droit international public ou que les résultats générés par le système sont destinés à être utilisés dans l’Union;

c bis)

aux fournisseurs qui mettent sur le marché ou mettent en service des systèmes d’IA visés à l’article 5 en dehors de l’Union, lorsque le fournisseur ou le distributeur de ces systèmes se situe dans l’Union;

c ter)

aux importateurs et aux distributeurs de systèmes d’IA, ainsi qu’aux mandataires des fournisseurs de systèmes d’IA, lorsque ces importateurs, distributeurs ou mandataires ont leur établissement ou sont situés dans l’Union;

c quater)

aux personnes concernées au sens de l’article 3, paragraphe 8 bis, qui sont situées dans l’Union et dont la santé, la sécurité ou les droits fondamentaux subissent une incidence négative due à l’utilisation d’un système d’IA qui est mis sur le marché ou mis en service dans l’Union.

a)

règlement (CE) no 300/2008;

b)

règlement (UE) no 167/2013;

c)

règlement (UE) no 168/2013;

d)

directive 2014/90/UE;

e)

directive (UE) 2016/797;

f)

règlement (UE) 2018/858;

g)

règlement (UE) 2018/1139;

h)

règlement (UE) 2019/2144.

1)

«système d’intelligence artificielle» (système d’IA), un logiciel qui est développé au moyen d’une ou plusieurs des techniques et approches énumérées à l’annexe I et qui peut, pour un ensemble donné d’objectifs définis par l’homme , générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit ;

1)

«système d’intelligence artificielle» (système d’IA), un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et qui peut, pour des objectifs explicites ou implicites, générer des résultats tels que des prédictions, des recommandations ou des décisions qui influencent les environnements physiques ou virtuels;

1 bis)

1 ter)

1 quater)

1 quinquies)

1 sexies)

3)

«petit fournisseur», un fournisseur qui est une micro ou petite entreprise au sens de la recommandation 2003/361/CE de la Commission  (61);

4)

« utilisateur », toute personne physique ou morale, autorité publique, agence ou autre organisme utilisant sous sa propre autorité un système d’IA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel;

4)

« déployeur », toute personne physique ou morale, autorité publique, agence ou autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel;

8)

«opérateur», le fournisseur, l’ utilisateur , le mandataire, l’importateur et le distributeur;

8)

«opérateur», le fournisseur, le déployeur , le mandataire, l’importateur et le distributeur;

8 bis)

11)

«mise en service», la fourniture d’un système d’IA directement à l’ utilisateur en vue d’une première utilisation ou pour usage propre sur le marché de l’Union, conformément à la destination du système;

11)

«mise en service», la fourniture d’un système d’IA directement au déployeur en vue d’une première utilisation ou pour usage propre sur le marché de l’Union, conformément à la destination du système;

13)

«mauvaise utilisation raisonnablement prévisible», l’utilisation d’un système d’IA d’une manière qui n’est pas conforme à sa destination, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes;

13)

«mauvaise utilisation raisonnablement prévisible», l’utilisation d’un système d’IA d’une manière qui n’est pas conforme à sa destination telle qu’indiquée dans la notice d’utilisation établie par le fournisseur, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes , notamment d’autres systèmes d’IA ;