(1)

L’objectif du présent règlement est d’améliorer le fonctionnement du marché intérieur en établissant un cadre juridique uniforme, en particulier pour le développement, la mise sur le marché, la mise en service et l’utilisation de systèmes d’intelligence artificielle (ci-après dénommés «systèmes d’IA») dans l’Union, dans le respect des valeurs de l’Union, de promouvoir l’adoption de l’intelligence artificielle (IA) axée sur l’humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte des droits fondamentaux de l’Union européenne (ci-après dénommée «Charte»), y compris la démocratie, l’état de droit et la protection de l’environnement, de protéger contre les effets néfastes des systèmes d’IA dans l’Union, et de soutenir l’innovation. Le présent règlement garantit la libre circulation transfrontière des biens et services fondés sur l’IA, empêchant ainsi les États membres d’imposer des restrictions au développement, à la commercialisation et à l’utilisation de systèmes d’IA, sauf autorisation expresse du présent règlement.

(2)

Le présent règlement devrait être appliqué dans le respect des valeurs de l’Union consacrées dans la Charte, en facilitant la protection des personnes physiques, des entreprises, de la démocratie, de l’état de droit et de l’environnement, tout en stimulant l’innovation et l’emploi et en faisant de l’Union un acteur de premier plan dans l’adoption d’une IA digne de confiance.

(3)

Les systèmes d’IA peuvent être facilement déployés dans un large éventail de secteurs de l’économie et dans de nombreux pans de la société, y compris transfrontières, et peuvent facilement circuler dans toute l’Union. Certains États membres ont déjà envisagé l’adoption de règles nationales destinées à faire en sorte que l’IA soit digne de confiance et sûre et à ce qu’elle soit développée et utilisée dans le respect des obligations en matière de droits fondamentaux. Le fait que les règles nationales divergent peut entraîner une fragmentation du marché intérieur et peut réduire la sécurité juridique pour les opérateurs qui développent, importent ou utilisent des systèmes d’IA. Il convient donc de garantir un niveau de protection cohérent et élevé dans toute l’Union afin de parvenir à une IA digne de confiance, et d’éviter les divergences qui entravent la libre circulation, l’innovation, le déploiement et l’adoption des systèmes d’IA et des produits et services connexes au sein du marché intérieur, en établissant des obligations uniformes pour les opérateurs et en garantissant la protection uniforme des raisons impérieuses d’intérêt général et des droits des citoyens dans l’ensemble du marché intérieur sur la base de l’article 114 du traité sur le fonctionnement de l’Union européenne. Dans la mesure où le présent règlement contient des règles spécifiques sur la protection des personnes physiques en ce qui concerne le traitement des données à caractère personnel, à savoir des restrictions portant sur l’utilisation de systèmes d’IA pour l’identification biométrique à distance à des fins répressives, sur l’utilisation de systèmes d’IA pour l’évaluation des risques liés à des personnes physiques à des fins répressives, et sur l’utilisation de systèmes d’IA de catégorisation biométrique à des fins répressives, il convient de fonder le présent règlement, pour ce qui est de ces règles spécifiques, sur l’article 16 du traité sur le fonctionnement de l’Union européenne. Compte tenu de ces règles spécifiques et du recours à l’article 16 du traité sur le fonctionnement de l’Union européenne, il convient de consulter le comité européen de la protection des données.

(4)

L’IA est une famille de technologies en évolution rapide, contribuant à un large éventail de bienfaits économiques, environnementaux et sociétaux touchant l’ensemble des secteurs économiques et des activités sociales. En fournissant de meilleures prédictions, en optimisant les processus et l’allocation des ressources et en personnalisant les solutions numériques disponibles pour les particuliers et les organisations, le recours à l’IA peut donner des avantages concurrentiels décisifs aux entreprises et produire des résultats bénéfiques pour la société et l’environnement, dans des domaines tels que les soins de santé, l’agriculture, la sécurité des aliments, l’éducation et la formation, les médias, le sport, la culture, la gestion des infrastructures, l’énergie, les transports et la logistique, les services publics, la sécurité, la justice, l’utilisation efficace des ressources et de l’énergie, la surveillance de l’environnement, la préservation et la restauration de la biodiversité et des écosystèmes ainsi que l’atténuation du changement climatique et l’adaptation à celui-ci.

(5)

Cependant, en fonction des circonstances concernant son application et son utilisation et du niveau de développement technologique, l’IA peut générer des risques et porter atteinte aux intérêts publics et aux droits fondamentaux protégés par le droit de l’Union. Le préjudice causé peut être matériel ou immatériel, y compris physique, psychologique, sociétal ou économique.

(6)

Compte tenu de l’incidence majeure que l’IA peut avoir sur nos sociétés et de la nécessité de bâtir la confiance, l’IA et son cadre réglementaire doivent impérativement être élaborés dans le respect des valeurs de l’Union consacrées à l’article 2 du traité sur l’Union européenne, des droits et libertés fondamentaux prévus par les traités, et, conformément à l’article 6 du traité sur l’Union européenne, de la Charte. Il est indispensable que l’IA soit une technologie axée sur l’humain. Elle devrait servir d’outil aux personnes, dans le but ultime d’accroître le bien-être des humains.

(7)

Afin d’assurer un niveau cohérent et élevé de protection des intérêts publics en ce qui concerne la santé, la sécurité et les droits fondamentaux, il convient d’établir des règles communes pour les systèmes d’IA à haut risque. Ces règles devraient être conformes à la Charte, non discriminatoires et compatibles avec les engagements commerciaux internationaux de l’Union. Elles devraient également tenir compte de la déclaration européenne sur les droits et principes numériques pour la décennie numérique et des lignes directrices en matière d’éthique pour une IA digne de confiance rédigées par le groupe d’experts de haut niveau sur l’intelligence artificielle (ci-après dénommé «GEHN IA»).

(8)

Un cadre juridique de l’Union établissant des règles harmonisées sur l’IA est donc nécessaire pour favoriser le développement, l’utilisation et l’adoption de l’IA dans le marché intérieur, tout en garantissant un niveau élevé de protection des intérêts publics, comme la santé et la sécurité, et de protection des droits fondamentaux, y compris la démocratie, l’état de droit et la protection de l’environnement, tels qu’ils sont reconnus et protégés par le droit de l’Union. Pour atteindre cet objectif, des règles régissant la mise sur le marché, la mise en service et l’utilisation de certains systèmes d’IA devraient être établies, garantissant ainsi le bon fonctionnement du marché intérieur et permettant à ces systèmes de bénéficier du principe de libre circulation des marchandises et des services. Ces règles devraient être claires et solides pour protéger les droits fondamentaux, soutenir de nouvelles solutions innovantes, permettre la mise en place d’un écosystème européen d’acteurs publics et privés créant des systèmes d’IA conformes aux valeurs de l’Union, et libérer le potentiel de la transformation numérique dans l’ensemble des régions de l’Union. En établissant ces règles, ainsi que des mesures en faveur de l’innovation mettant un accent particulier sur les petites et moyennes entreprises (PME), parmi lesquelles les jeunes pousses, le présent règlement contribue à la réalisation de l’objectif qui consiste à promouvoir l’approche européenne de l’IA axée sur l’humain et faire de l’UE un acteur mondial de premier plan dans le développement d’une IA sûre, fiable et éthique, ainsi que l’avait formulé le Conseil européen (5), et il garantit la protection de principes éthiques expressément demandée par le Parlement européen (6).

(9)

Des règles harmonisées applicables à la mise sur le marché, à la mise en service et à l’utilisation de systèmes d’IA à haut risque devraient être établies conformément au règlement (CE) no 765/2008 du Parlement européen et du Conseil (7), à la décision no 768/2008/CE du Parlement européen et du Conseil (8) et au règlement (UE) 2019/1020 du Parlement européen et du Conseil (9) (ci-après dénommé «nouveau cadre législatif»). Les règles harmonisées énoncées dans le présent règlement devraient s’appliquer dans tous les secteurs et, conformément au nouveau cadre législatif, être sans préjudice du droit de l’Union en vigueur, en particulier en ce qui concerne la protection des données, la protection des consommateurs, les droits fondamentaux, l’emploi et la protection des travailleurs, et la sécurité des produits, que le présent règlement vient compléter. En conséquence, tous les droits et recours prévus par ce droit de l’Union pour les consommateurs et les autres personnes sur lesquelles les systèmes d’IA sont susceptibles d’avoir des incidences négatives, y compris en ce qui concerne la réparation de dommages éventuels conformément à la directive 85/374/CEE du Conseil (10), demeurent inchangés et pleinement applicables. En outre, dans le contexte de l’emploi et de la protection des travailleurs, le présent règlement ne devrait donc pas avoir d’incidence sur le droit de l’Union en matière de politique sociale ni sur le droit national du travail, dans le respect du droit de l’Union, en ce qui concerne les conditions d’emploi et de travail, y compris la santé et la sécurité au travail et les relations entre employeurs et travailleurs. Par ailleurs, le présent règlement ne devrait pas porter atteinte à l’exercice des droits fondamentaux reconnus dans les États membres et au niveau de l’Union, notamment le droit ou la liberté de faire grève ou d’entreprendre d’autres actions prévues par les mécanismes de concertation sociale propres aux États membres, ainsi que le droit de négocier, de conclure et d’appliquer des conventions collectives ou de mener des actions collectives conformément au droit national. Le présent règlement ne devrait pas avoir d’incidence sur les dispositions visant à améliorer les conditions de travail dans le cadre du travail via une plateforme, établies dans la directive du Parlement européen et du Conseil relative à l’amélioration des conditions de travail dans le cadre du travail via une plateforme. De plus, le présent règlement vise à renforcer l’efficacité de ces droits et recours existants en établissant des exigences et des obligations spécifiques, y compris en ce qui concerne la transparence, la documentation technique et la tenue de registres des systèmes d’IA. Par ailleurs, les obligations imposées aux différents opérateurs intervenant dans la chaîne de valeur de l’IA en vertu du présent règlement devraient s’appliquer sans préjudice du droit national, dans le respect du droit de l’Union, ayant pour effet de limiter l’utilisation de certains systèmes d’IA lorsque ces législations ne relèvent pas du champ d’application du présent règlement ou poursuivent des objectifs légitimes d’intérêt public autres que ceux poursuivis par le présent règlement. Ainsi, le droit national du travail et les lois sur la protection des mineurs, à savoir des personnes âgées de moins de 18 ans, compte tenu de l’observation générale no 25 (2021) de la CNUDE sur les droits de l’enfant en relation avec l’environnement numérique, dans la mesure où ils ne sont pas spécifiques aux systèmes d’IA et poursuivent d’autres objectifs légitimes d’intérêt public, ne devraient pas être affectés par le présent règlement.

(10)

Le droit fondamental à la protection des données à caractère personnel est garanti en particulier par les règlements (UE) 2016/679 (11) et (UE) 2018/1725 (12) du Parlement européen et du Conseil, ainsi que par la directive (UE) 2016/680 du Parlement européen et du Conseil (13). Par ailleurs, la directive 2002/58/CE du Parlement européen et du Conseil (14) protège la vie privée et la confidentialité des communications, y compris en prévoyant des conditions régissant le stockage de données à caractère personnel et non personnel dans des équipements terminaux ainsi que les conditions d’accès à ces données depuis ces équipements. Ces actes législatifs de l’Union servent de base à un traitement pérenne et responsable des données, y compris lorsque les ensembles de données contiennent un mélange de données à caractère personnel et de données à caractère non personnel. Le présent règlement n’entend pas modifier l’application du droit de l’Union régissant le traitement des données à caractère personnel, ni les tâches et les pouvoirs des autorités de contrôle indépendantes chargées de veiller au respect de ces ins truments. Il n’a pas non plus d’incidence sur les obligations des fournisseurs et des déployeurs de systèmes d’IA en leur qualité de responsables du traitement ou de sous-traitants découlant du droit de l’Union ou du droit national relatif à la protection des données à caractère personnel dans la mesure où la conception, le développement ou l’utilisation de systèmes d’IA implique le traitement de données à caractère personnel. Il convient également de préciser que les personnes concernées continuent de jouir de tous les droits et garanties qui leur sont conférés par le droit de l’Union, dont les droits liés à la prise de décision individuelle entièrement automatisée, y compris le profilage. Des règles harmonisées concernant la mise sur le marché, la mise en service et l’utilisation des systèmes d’IA établies en vertu du présent règlement devraient faciliter la mise en œuvre effective des droits et autres voies de recours garantis par le droit de l’Union relatif à la protection des données à caractère personnel et d’autres droits fondamentaux, et permettre aux personnes concernées de faire valoir ces droits et autres voies de recours.

(11)

Le présent règlement devrait être sans préjudice des dispositions relatives à la responsabilité des fournisseurs de services intermédiaires prévue dans le règlement (UE) 2022/2065 du Parlement européen et du Conseil (15).

(12)

La notion de «système d’IA» figurant dans le présent règlement devrait être clairement définie et devrait être étroitement alignée sur les travaux des organisations internationales œuvrant dans le domaine de l’IA afin de garantir la sécurité juridique, et de faciliter la convergence internationale et une large acceptation, tout en offrant la souplesse nécessaire pour tenir compte des évolutions technologiques rapides dans ce domaine. En outre, la définition devrait être fondée sur les caractéristiques essentielles des systèmes d’IA qui la distinguent des systèmes logiciels ou des approches de programmation traditionnels plus simples, et ne devrait pas couvrir les systèmes fondés sur les règles définies uniquement par les personnes physiques pour exécuter automatiquement des opérations. Une caractéristique essentielle des systèmes d’IA est leur capacité d’inférence. Cette capacité d’inférence concerne le processus consistant à générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions, qui peuvent influencer l’environnement physique ou virtuel, et la capacité des systèmes d’IA à inférer des modèles ou des algorithmes, ou les deux, à partir d’entrées ou de données. Les techniques permettant l’inférence lors de la construction d’un système d’IA comprennent des approches d’apprentissage automatique qui apprennent à partir des données la manière d’atteindre certains objectifs, et des approches fondées sur la logique et les connaissances qui font des inférences à partir des connaissances encodées ou de la représentation symbolique de la tâche à résoudre. La capacité d’un système d’IA à faire des inférences va au-delà du traitement de données de base en ce qu’elle permet l’apprentissage, le raisonnement ou la modélisation. Le terme «fondé sur des machines» renvoie au fait que les systèmes d’IA tournent sur des machines. La référence à des objectifs explicites ou implicites souligne que les systèmes d’IA peuvent fonctionner selon des objectifs explicites définis ou des objectifs implicites. Les objectifs du système d’IA peuvent être différents de la destination du système d’IA dans un contexte spécifique. Aux fins du présent règlement, les environnements devraient s’entendre comme étant les contextes dans lesquels les systèmes d’IA fonctionnent, tandis que les sorties générées par le système d’IA correspondent à différentes fonctions exécutées par les systèmes d’IA et consistent en des prévisions, du contenu, des recommandations ou des décisions. Les systèmes d’IA sont conçus pour fonctionner à différents niveaux d’autonomie, ce qui signifie qu’ils bénéficient d’un certain degré d’indépendance dans leur action par rapport à une ingérence humaine et de capacités à fonctionner sans intervention humaine. La faculté d’adaptation dont un système d’IA pourrait faire preuve après son déploiement est liée à des capacités d’auto-apprentissage, qui permettent au système d’évoluer en cours d’utilisation. Les systèmes d’IA peuvent être utilisés seuls ou en tant que composant d’un produit, que le système soit physiquement incorporé dans le produit (intégré) ou qu’il serve la fonctionnalité du produit sans y être incorporé (non intégré).

(13)

Il convient d’interpréter la notion de «déployeur» visée dans le présent règlement comme désignant toute personne physique ou morale, y compris une autorité publique, une agence ou un autre organisme, utilisant sous sa propre autorité un système d’IA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel. En fonction du type de système d’IA, l’utilisation du système peut concerner des personnes autres que le déployeur.

(14)

Il convient d’interpréter la notion de «données biométriques» utilisée dans le présent règlement à la lumière de la notion de données biométriques au sens de l’article 4, point 14), du règlement (UE) 2016/679, de l’article 3, point 18), du règlement (UE) 2018/1725, et de l’article 3, point 13), de la directive (UE) 2016/680. Des données biométriques peuvent permettre l’authentification, l’identification ou la catégorisation des personnes physiques, ainsi que la reconnaissance de leurs émotions.

(15)

La notion d’«identification biométrique» visée dans le présent règlement devrait être définie comme la reconnaissance automatisée de caractéristiques physiques, physiologiques et comportementales d’une personne, telles que le visage, les mouvements oculaires, la forme du corps, la voix, la prosodie, la démarche, la posture, le rythme cardiaque, la pression sanguine, l’odeur et la frappe au clavier, aux fins d’établir l’identité d’une personne par comparaison des données biométriques de cette personne avec les données biométriques de personnes stockées dans une base de données de référence, que la personne ait donné son approbation ou non. En sont exclus les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, ce qui inclut l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux.

(16)

La notion de «catégorisation biométrique» visée dans le présent règlement devrait être définie comme le classement de personnes physiques dans certaines catégories sur la base de leurs données biométriques. Ces catégories spécifiques peuvent concerner des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits liés au comportement ou à la personnalité, la langue, la religion, l’appartenance à une minorité nationale ou encore l’orientation sexuelle ou politique. Cela n’inclut pas les systèmes de catégorisation biométrique qui sont une caractéristique purement accessoire intrinsèquement liée à un autre service commercial, ce qui signifie que cette caractéristique ne peut, pour des raisons techniques objectives, être utilisée sans le service principal, et l’intégration de cette caractéristique ou fonctionnalité n’est pas un moyen de contourner l’applicabilité des règles du présent règlement. Ainsi, les filtres de catégorisation des caractéristiques faciales ou corporelles qui sont utilisés sur les places de marché en ligne pourraient correspondre à ce type de caractéristique accessoire, étant donné qu’ils ne peuvent être utilisés qu’en lien avec le service principal, qui consiste à vendre un produit en permettant au consommateur d’afficher un aperçu du produit porté par lui-même et de l’aider à prendre une décision d’achat. Les filtres utilisés sur les services de réseaux sociaux en ligne qui classent par catégorie les caractéristiques faciales ou corporelles afin de permettre aux utilisateurs d’ajouter ou de modifier des images ou des vidéos pourraient également être considérés comme des fonctionnalités accessoires, étant donné que ce type de filtre ne peut pas être utilisé sans le service principal des services de réseau social consistant à partager des contenus en ligne.

(17)

La notion de «système d’identification biométrique à distance» visée dans le présent règlement devrait être définie, sur le plan fonctionnel, comme un système d’IA destiné à identifier des personnes physiques sans leur participation active, en règle générale à distance, par la comparaison des données biométriques d’une personne avec celles contenues dans une base de données de référence, quels que soient la technologie, les processus ou les types de données biométriques particuliers utilisés. Ces systèmes d’identification biométrique à distance sont généralement utilisés pour la perception simultanée de plusieurs personnes ou de leur comportement afin de faciliter sensiblement l’identification de personnes physiques sans leur participation active. Sont exclus les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, ce qui inclut l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux. Cette exclusion est justifiée par le fait que ces systèmes sont susceptibles d’avoir une incidence mineure sur les droits fondamentaux des personnes physiques par rapport aux systèmes d’identification biométrique à distance qui peuvent être utilisés pour le traitement des données biométriques d’un grand nombre de personnes sans leur participation active. Dans le cas des systèmes «en temps réel», la capture des données biométriques, la comparaison et l’identification se font toutes instantanément, quasi instantanément ou en tout état de cause sans décalage significatif. À cet égard, il convient, en prévoyant la possibilité de légers décalages, d’empêcher le contournement des règles du présent règlement relatives à l’utilisation «en temps réel» des systèmes d’IA concernés. Les systèmes «en temps réel» reposent sur l’utilisation d’éléments «en direct» ou «en léger différé», comme des séquences vidéo, générés par une caméra ou un autre appareil doté de fonctionnalités similaires. Dans le cas des systèmes «a posteriori», en revanche, les données biométriques sont prélevées dans un premier temps et la comparaison et l’identification n’ont lieu qu’après un délai substantiel. Cela suppose des éléments tels que des images ou des séquences vidéo, qui ont été générés par des caméras de télévision en circuit fermé ou des appareils privés avant l’utilisation du système à l’égard des personnes physiques concernées.

(18)

La notion de «système de reconnaissance des émotions» visée dans le présent règlement devrait être définie comme un système d’IA servant à identifier les émotions ou les intentions de personnes physiques ou à faire des déductions quant à leurs émotions ou intentions, sur la base de leurs données biométriques. Cette notion renvoie à des émotions ou des intentions telles que le bonheur, la tristesse, la colère, la surprise, le dégoût, la gêne, l’excitation, la honte, le mépris, la satisfaction et l’amusement. Cette notion ne recouvre pas les états physiques, tels que la douleur ou la fatigue, qui comprennent, par exemple, des systèmes utilisés pour déceler l’état de fatigue des pilotes ou des conducteurs professionnels aux fins de la prévention des accidents. Elle ne recouvre pas non plus la simple détection d’expressions, de gestes ou de mouvements dont l’apparence est immédiate, à moins que ceux-ci ne soient utilisés pour identifier ou déduire des émotions. Ces expressions peuvent être des expressions faciales toutes simples telles qu’un froncement de sourcils ou un sourire, ou des gestes tels qu’un mouvement de mains, de bras ou de tête, ou encore des caractéristiques de la voix d’une personne, comme le fait de parler fort ou de chuchoter.

(19)

Aux fins du présent règlement, la notion d’«espace accessible au public» devrait s’entendre comme désignant tout espace physique accessible à un nombre indéterminé de personnes physiques, que l’espace en question soit privé ou public, et indépendamment de l’activité pour laquelle il peut être utilisé, comme pour le commerce, par exemple, magasins, restaurants ou cafés, pour la prestation de services, par exemple, banques, activités professionnelles ou hôtellerie, pour la pratique de sports, par exemple, piscines, salles de sport ou stades, pour les transports, par exemple, gares routières, stations de métro et gares ferroviaires, aéroports ou moyens de transport, pour les divertissements, par exemple, cinémas, théâtres, musées, salles de concert et de conférence, ou pour les loisirs ou autres, par exemple, routes et places publiques, parcs, forêts ou terrains de jeux. Un espace devrait également être classé comme accessible au public si, indépendamment de la capacité potentielle ou des restrictions de sécurité, l’accès est soumis à certaines conditions prédéterminées qui peuvent être remplies par un nombre indéterminé de personnes, telles que l’achat d’un billet ou d’un titre de transport, l’enregistrement préalable ou le fait d’avoir un certain âge. En revanche, un espace ne devrait pas être considéré comme étant accessible au public si l’accès est limité à certaines personnes physiques, définies soit par le droit de l’Union soit par le droit national directement lié à la sûreté ou à la sécurité publiques, ou par la manifestation claire de la volonté de la personne disposant de l’autorité compétente sur l’espace. Le seul fait d’avoir une possibilité d’accès, comme une porte déverrouillée ou une porte ouverte dans une clôture, n’implique pas que l’espace est accessible au public en présence d’indications ou de circonstances suggérant le contraire, comme des signes d’interdiction ou de restriction d’accès. Les locaux des entreprises et des usines, ainsi que les bureaux et les lieux de travail qui sont destinés à être accessibles uniquement aux employés et prestataires de services concernés ne sont pas des espaces accessibles au public. Les espaces accessibles au public ne devraient pas inclure les prisons ni le contrôle aux frontières. D’autres espaces peuvent comprendre à la fois des espaces accessibles au public et des espaces non accessibles au public, comme le hall d’un bâtiment d’habitation privé par lequel il faut passer pour accéder au bureau d’un médecin ou le hall d’un aéroport. Les espaces en ligne ne sont pas couverts, car ce ne sont pas des espaces physiques. Le caractère accessible ou non au public d’un espace donné devrait cependant être déterminé au cas par cas, en tenant compte des particularités de la situation en question.

(20)

Afin de tirer le meilleur parti des systèmes d’IA tout en protégeant les droits fondamentaux, la santé et la sécurité et de permettre un contrôle démocratique, il convient que les fournisseurs, les déployeurs et les personnes concernées acquièrent, dans le cadre de la maîtrise de l’IA, les notions nécessaires pour prendre des décisions éclairées concernant les systèmes d’IA. Ces notions peuvent varier en fonction du contexte et peuvent recouvrir le faire de comprendre l’application correcte des éléments techniques au cours de la phase de développement du système d’IA, les mesures à appliquer pendant son utilisation, les moyens appropriés d’interpréter les sorties du système d’IA et, dans le cas des personnes concernées, les connaissances nécessaires pour comprendre comment les décisions prises avec l’aide de l’IA auront une incidence sur elles. Dans le cadre de l’application du présent règlement, la maîtrise de l’IA devrait fournir à tous les acteurs pertinents de la chaîne de valeur de l’IA les connaissances nécessaires pour en garantir le respect approprié et la mise en application correcte. En outre, la mise en œuvre à grande échelle de mesures relatives à la maîtrise de l’IA et l’introduction d’actions de suivi appropriées pourraient contribuer à améliorer les conditions de travail et, à terme, soutenir la consolidation et une trajectoire d’innovation d’une IA digne de confiance dans l’Union. Le Comité européen de l’intelligence artificielle (ci-après dénommé «Comité IA») devrait soutenir la Commission afin de promouvoir les outils de maîtrise de l’IA, la sensibilisation du public et la compréhension des avantages, des risques, des garanties, des droits et des obligations liés à l’utilisation des systèmes d’IA. En coopération avec les parties prenantes concernées, la Commission et les États membres devraient faciliter l’élaboration de codes de conduite volontaires au service de la maîtrise de l’IA chez les personnes chargées du développement, du fonctionnement et de l’utilisation de l’IA.

(21)

Afin de garantir des conditions de concurrence équitables et une protection efficace des droits et libertés des citoyens dans toute l’Union, les règles établies par le présent règlement devraient s’appliquer de manière non discriminatoire aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers, et aux déployeurs de systèmes d’IA établis dans l’Union.

(22)

Compte tenu de leur nature numérique, certains systèmes d’IA devraient relever du présent règlement même lorsqu’ils ne sont pas mis sur le marché, mis en service, ou utilisés dans l’Union. Cela devrait notamment être le cas lorsqu’un opérateur établi dans l’Union confie à un opérateur externe établi dans un pays tiers la tâche d’exécuter certains services ayant trait à une activité devant être réalisée par un système d’IA qui serait considéré comme étant à haut risque. Dans ces circonstances, le système d’IA utilisé dans un pays tiers par l’opérateur pourrait traiter des données légalement collectées et transférées depuis l’Union, et fournir à l’opérateur contractant établi dans l’Union les sorties dudit système d’IA provenant de ce traitement, sans que ce système d’IA soit mis sur le marché, mis en service ou utilisé dans l’Union. Afin d’éviter le contournement des règles du présent règlement et d’assurer une protection efficace des personnes physiques situées dans l’Union, le présent règlement devrait également s’appliquer aux fournisseurs et aux déployeurs de systèmes d’IA qui sont établis dans un pays tiers, dans la mesure les sorties produites par ces systèmes sont destinées à être utilisées dans l’Union. Néanmoins, pour tenir compte des dispositions existantes et des besoins particuliers de coopération future avec les partenaires étrangers avec lesquels des informations et des preuves sont échangées, le présent règlement ne devrait pas s’appliquer aux autorités publiques d’un pays tiers ni aux organisations internationales lorsqu’elles agissent dans le cadre d’accords de coopération ou d’accords internationaux conclus au niveau de l’Union ou au niveau national pour la coopération des services répressifs et judiciaires avec l’Union ou avec les États membres, à condition que le pays tiers concerné ou les organisations internationales concernées fournissent des garanties adéquates en ce qui concerne la protection des libertés et droits fondamentaux des personnes. Le cas échéant, cela peut couvrir les activités des entités chargées par les pays tiers d’exécuter des tâches spécifiques à l’appui de cette coopération policière et judiciaire. De tels cadres de coopération ou accords ont été conclus bilatéralement entre des États membres et des pays tiers ou entre l’Union européenne, Europol et d’autres agences de l’Union, des pays tiers et des organisations internationales. Les autorités compétentes pour la surveillance des autorités répressives et judiciaires au titre du présent règlement devraient évaluer si ces cadres de coopération ou accords internationaux comportent des garanties adéquates en ce qui concerne la protection des libertés et droits fondamentaux des personnes. Les autorités nationales bénéficiaires et les institutions, organes et organismes de l’Union qui utilisent ces sorties dans l’Union demeurent responsables de veiller à ce que leur utilisation soit conforme au droit de l’Union. Lors de la révision de ces accords internationaux ou de la conclusion de nouveaux accords à l’avenir, les parties contractantes devraient tout mettre en œuvre pour aligner ces accords sur les exigences du présent règlement.

(23)

Le présent règlement devrait également s’appliquer aux institutions, organes et organismes de l’Union lorsqu’ils agissent en tant que fournisseurs ou déployeurs d’un système d’IA.

(24)

Si et dans la mesure où des systèmes d’IA sont mis sur le marché, mis en service ou utilisés avec ou sans modification de ces systèmes à des fins militaires, de défense ou de sécurité nationale, ces systèmes devraient être exclus du champ d’application du présent règlement, indépendamment du type d’entité exerçant ces activités, par exemple qu’il s’agisse d’une entité publique ou privée. En ce qui concerne l’usage à des fins militaires et de défense, une telle exclusion est justifiée tant par l’article 4, paragraphe 2, du traité sur l’Union européenne que par les spécificités de la politique de défense des États membres et de la politique de défense commune de l’Union relevant du titre V, chapitre 2, du traité sur l’Union européenne, qui sont soumises au droit international public, lequel constitue donc le cadre juridique le plus approprié pour la réglementation des systèmes d’IA dans le contexte de l’utilisation de la force létale et d’autres systèmes d’IA dans le cadre d’activités militaires et de défense. En ce qui concerne l’usage à des fins de sécurité nationale, l’exclusion est justifiée tant par le fait que la sécurité nationale reste de la seule responsabilité de chaque État membre, conformément à l’article 4, paragraphe 2, du traité sur l’Union européenne, que par la nature spécifique et les besoins opérationnels des activités liées à la sécurité nationale et par les règles nationales spécifiques applicables à ces activités. Néanmoins, si un système d’IA développé, mis sur le marché, mis en service ou utilisé à des fins militaires, de défense ou de sécurité nationale est, temporairement ou définitivement, utilisé en dehors de ce cadre à d’autres fins (par exemple, à des fins civiles ou humanitaires, à des fins répressives ou de sécurité publique), un tel système relèverait du champ d’application du présent règlement. Dans ce cas, l’entité qui utilise le système d’IA à des fins autres que militaires, de défense ou de sécurité nationale devrait veiller à la mise en conformité du système d’IA avec le présent règlement, à moins qu’il le soit déjà. Les systèmes d’IA mis sur le marché ou mis en service à des fins exclues, à savoir à des fins militaires, de défense ou de sécurité nationale, et à une ou plusieurs fins non exclues, comme à des fins civiles ou répressives, relèvent du champ d’application du présent règlement et les fournisseurs de ces systèmes devraient veiller au respect du présent règlement. En l’occurrence, le fait qu’un système d’IA puisse relever du champ d’application du présent règlement ne devrait pas affecter la possibilité pour les entités exerçant des activités de sécurité nationale, de défense et militaires, indépendamment du type d’entité exerçant ces activités, d’utiliser des systèmes d’IA à des fins de sécurité nationale, militaires et de défense, dont l’utilisation est exclue du champ d’application du présent règlement. Un système d’IA mis sur le marché à des fins civiles ou répressives qui est utilisé avec ou sans modification à des fins militaires, de défense ou de sécurité nationale ne devrait pas relever du champ d’application du présent règlement, indépendamment du type d’entité exerçant ces activités.

(25)

Le présent règlement devrait soutenir l’innovation et respecter la liberté scientifique et ne devrait pas compromettre les activités de recherche et de développement. Il est donc nécessaire d’exclure de son champ d’application les systèmes et modèles d’IA spécifiquement développés et mis en service aux seules fins de la recherche et du développement scientifiques. En outre, il est nécessaire de veiller à ce que le présent règlement n’affecte pas autrement les activités de recherche et de développement scientifiques relatives aux systèmes ou modèles d’IA avant leur mise sur le marché ou leur mise en service. En ce qui concerne les activités de recherche, d’essai et de développement axées sur les produits, relatives aux systèmes ou modèles d’IA, les dispositions du présent règlement ne devraient pas non plus s’appliquer avant la mise en service ou la mise sur le marché de ces systèmes et modèles. Cette exclusion est sans préjudice de l’obligation de se conformer au présent règlement lorsqu’un système d’IA relevant du champ d’application du présent règlement est mis sur le marché ou mis en service à la suite de cette activité de recherche et de développement, et sans préjudice de l’application des dispositions relatives aux bacs à sable réglementaires de l’IA et aux essais en conditions réelles. En outre, sans préjudice de l’exclusion des systèmes d’IA spécifiquement développés et mis en service aux seules fins de la recherche et du développement scientifiques, tout autre système d’IA susceptible d’être utilisé pour mener une activité de recherche et de développement devrait rester soumis aux dispositions du présent règlement. En tout état de cause, toute activité de recherche et de développement devrait être menée conformément à des normes éthiques et professionnelles reconnues en matière de recherche scientifique et dans le respect du droit de l’Union applicable.

(26)

Afin d’introduire un ensemble proportionné et efficace de règles contraignantes pour les systèmes d’IA, il convient de suivre une approche clairement définie fondée sur les risques. Cette approche devrait adapter le type et le contenu de ces règles à l’intensité et à la portée des risques que les systèmes d’IA peuvent générer. Il est donc nécessaire d’interdire certaines pratiques inacceptables en matière d’IA, de fixer des exigences pour les systèmes d’IA à haut risque et des obligations pour les opérateurs concernés, ainsi que de fixer des obligations de transparence pour certains systèmes d’IA.

(27)

Si l’approche fondée sur les risques constitue la base d’un ensemble proportionné et efficace de règles contraignantes, il importe de rappeler les lignes directrices en matière d’éthique pour une IA digne de confiance, élaborées en 2019 par le GEHN IA indépendant constitué par la Commission. Dans ces lignes directrices, le GEHN IA a élaboré sept principes éthiques non contraignants pour l’IA, qui sont destinés à contribuer à faire en sorte que l’IA soit digne de confiance et saine sur le plan éthique. Il s’agit des sept principes suivants: action humaine et contrôle humain; robustesse technique et sécurité; respect de la vie privée et gouvernance des données; transparence; diversité, non-discrimination et équité; bien-être sociétal et environnemental; et responsabilité. Sans préjudice des exigences juridiquement contraignantes du présent règlement et de toute autre disposition législative de l’Union applicable, ces lignes directrices contribuent à la conception d’une IA cohérente, fiable et axée sur l’humain, conformément à la Charte et aux valeurs sur lesquelles l’Union est fondée. Conformément aux lignes directrices du GEHN IA, «action humaine et contrôle humain» renvoient au fait que les systèmes d’IA sont développés et utilisés comme un outil au service des personnes, qui respecte la dignité humaine et l’autonomie de l’individu, et qui fonctionne de manière à pouvoir être contrôlé et supervisé par des êtres humains.«Robustesse technique et sécurité» renvoient au fait que les systèmes d’IA sont développés et utilisés de manière à ce qu’ils soient techniquement robustes en cas de problème et résilients aux tentatives visant à en corrompre l’utilisation ou les performances afin de permettre à des tiers d’en faire une utilisation abusive, et à réduire le plus possible les atteintes involontaires. «Respect de la vie privée et gouvernance des données» renvoient au fait que les systèmes d’IA sont développés et utilisés conformément aux règles en matière de respect de la vie privée et de protection des données, dans le cadre d’un traitement de données répondant à des normes élevées en matière de qualité et d’intégrité. «Transparence» renvoie au fait que les systèmes d’IA sont développés et utilisés de manière à permettre une traçabilité et une explicabilité appropriées, faisant en sorte que les personnes réalisent qu’elles communiquent ou interagissent avec un système d’IA, que les déployeurs soient dûment informés des capacités et des limites de ce système d’IA et que les personnes concernées soient informées de leurs droits. «Diversité, non-discrimination et équité» renvoient au fait que les systèmes d’IA sont développés et utilisés de manière à inclure des acteurs divers et à promouvoir l’égalité d’accès, l’égalité de genre et la diversité culturelle, tout en évitant les effets discriminatoires et les biais injustes, qui sont interdits par le droit de l’Union ou le droit national. «Bien-être sociétal et environnemental» renvoie au fait que les systèmes d’IA sont développés et utilisés d’une manière durable et respectueuse de l’environnement, mais aussi de manière à ce que tous les êtres humains en profitent, tout en surveillant et en évaluant les effets à long terme sur l’individu, la société et la démocratie. Ces principes devraient se retrouver, autant que possible, dans la conception et l’utilisation des modèles d’IA. Ils devraient en tout état de cause servir de base à l’élaboration de codes de conduite au titre du présent règlement. Toutes les parties prenantes, y compris l’industrie, le monde universitaire, la société civile et les organismes de normalisation, sont encouragées à tenir compte, ainsi qu’il convient, des principes éthiques pour l’élaboration de bonnes pratiques et de normes volontaires.

(28)

Si l’IA peut être utilisée à de nombreuses fins positives, elle peut aussi être utilisée à mauvais escient et fournir des outils nouveaux et puissants à l’appui de pratiques de manipulation, d’exploitation et de contrôle social. De telles pratiques sont particulièrement néfastes et abusives et devraient être interdites, car elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, ainsi qu’aux droits fondamentaux consacrés dans la Charte, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant.

(29)

Des techniques de manipulation fondées sur l’IA peuvent être utilisées pour persuader des personnes d’adopter des comportements indésirables ou pour les tromper en les poussant à prendre des décisions d’une manière qui met à mal et compromet leur autonomie, leur libre arbitre et leur liberté de choix. La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA ayant pour objectif ou pour effet d’altérer substantiellement les comportements humains, avec le risque de causer des dommages importants, en particulier d’avoir des incidences suffisamment importantes sur la santé physique ou psychologique ou sur les intérêts financiers, sont particulièrement dangereuses et devraient dès lors être interdites. Ces systèmes d’IA font intervenir des composants subliminaux, tels que des stimuli sonores, visuels ou vidéo que l’individu ne peut percevoir, étant donné que ces stimuli échappent à la perception humaine, ou d’autres techniques manipulatrices ou trompeuses qui mettent à mal ou altèrent l’autonomie de la personne, son libre arbitre ou sa liberté de choix de telle sorte que l’individu n’est pas conscient de ces techniques ou, à supposer qu’il le soit, sans qu’il puisse échapper à la duperie ni opposer une résistance ou un contrôle auxdites techniques. Cela pourrait être facilité, par exemple, par des interfaces cerveau-machine ou par la réalité virtuelle étant donné qu’elles permettent d’avoir plus de contrôle sur les stimuli qui sont présentés aux personnes, dans la mesure où elles peuvent en altérer sensiblement le comportement d’une manière très nocive. En outre, des systèmes d’IA peuvent également exploiter les vulnérabilités d’une personne ou d’un groupe particulier de personnes en raison de leur âge, d’un handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil (16), ou d’une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l’exploitation, telles que les personnes vivant dans une extrême pauvreté ou appartenant à des minorités ethniques ou religieuses. De tels systèmes d’IA peuvent être mis sur le marché, mis en service ou utilisés avec pour objectif ou pour effet d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des dommages susceptibles de s’accumuler au fil du temps, et il y a lieu, par conséquent, de les interdire. Il peut s’avérer impossible de présumer l’existence d’une intention d’altérer le comportement lorsque cette altération résulte de facteurs externes au système d’IA qui échappent au contrôle du fournisseur ou du déployeur, à savoir de facteurs qui ne peuvent être raisonnablement prévisibles, et partant, ne peuvent être atténués par le fournisseur ou le déployeur du système d’IA. En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, du moment que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. Les interdictions de telles pratiques en matière d’IA complètent les dispositions de la directive 2005/29/CE du Parlement européen et du Conseil (17), notamment concernant le fait que les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu’elles soient mises en place au moyen de systèmes d’IA ou autrement. Les interdictions des pratiques de manipulation et d’exploitation prévues par le présent règlement ne devraient pas affecter les pratiques licites dans le cadre de traitements médicaux tels que le traitement psychologique d’une maladie mentale ou la rééducation physique, lorsque ces pratiques sont effectuées conformément à la législation applicable et aux normes médicales, comme le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales courantes et légitimes, par exemple dans le domaine de la publicité, qui respectent le droit applicable ne devraient pas, en soi, être considérées comme constituant des pratiques de manipulation préjudiciables reposant sur l’IA.

(30)

Il y a lieu d’interdire les systèmes de catégorisation biométrique fondés sur les données biométriques des personnes physiques, comme le visage ou les empreintes digitales, utilisés pour arriver à des déductions ou des inférences concernant les opinions politiques d’un individu, son affiliation à une organisation syndicale, ses convictions religieuses ou philosophiques, sa race, sa vie sexuelle ou son orientation sexuelle. Cette interdiction ne devrait pas couvrir l’étiquetage, le filtrage ou la catégorisation licites des ensembles de données biométriques acquis dans le respect du droit de l’Union ou du droit national en fonction de données biométriques, comme le tri des images en fonction de la couleur des cheveux ou de celle des yeux, qui peuvent par exemple être utilisés dans le domaine répressif.

(31)

Les systèmes d’IA permettant la notation sociale des personnes physiques par des acteurs publics ou privés peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent porter atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent les personnes physiques ou les groupes de personnes physiques en fonction de plusieurs points de données liées à leur comportement social dans divers contextes ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites pendant un certain temps. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il y a donc lieu d’interdire les systèmes d’IA impliquant de telles pratiques de notation inacceptables et produisant de tels effets préjudiciables ou défavorables. Cette interdiction ne devrait pas avoir d’incidence sur les évaluations licites des personnes physiques qui sont pratiquées dans un but précis, dans le respect du droit de l’Union et du droit national.

(32)

L’utilisation de systèmes d’IA pour l’identification biométrique à distance «en temps réel» de personnes physiques dans des espaces accessibles au public à des fins répressives est particulièrement intrusive pour les droits et les libertés des personnes concernées, dans la mesure où elle peut toucher la vie privée d’une grande partie de la population, susciter un sentiment de surveillance constante et dissuader indirectement l’exercice de la liberté de réunion et d’autres droits fondamentaux. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Ce risque de résultats biaisés et d’effets discriminatoires est particulièrement significatif en ce qui concerne l’âge, l’appartenance ethnique, la race, le sexe ou le handicap. En outre, du fait de l’immédiateté des effets et des possibilités limitées d’effectuer des vérifications ou des corrections supplémentaires, l’utilisation de systèmes fonctionnant en temps réel engendre des risques accrus pour les droits et les libertés des personnes concernées dans le cadre d’activités répressives ou affectées par celles-ci.

(33)

L’utilisation de ces systèmes à des fins répressives devrait donc être interdite, sauf dans des situations précisément répertoriées et rigoureusement définies, dans lesquelles l’utilisation se limite au strict nécessaire à la réalisation d’objectifs d’intérêt général dont l’importance l’emporte sur les risques encourus. Ces situations comprennent la recherche de certaines victimes d’actes criminels, y compris de personnes disparues; certaines menaces pour la vie ou la sécurité physique des personnes physiques, ou des menaces d’attaque terroriste; et la localisation ou l’identification des auteurs ou des suspects des infractions pénales énumérées dans une annexe du présent règlement, lorsque ces infractions pénales sont passibles, dans l’État membre concerné, d’une peine ou d’une mesure de sûreté privative de liberté d’une durée maximale d’au moins quatre ans et telles qu’elles sont définies dans le droit dudit État membre. Le seuil fixé pour la peine ou la mesure de sûreté privative de liberté prévue par le droit national contribue à garantir que l’infraction soit suffisamment grave pour justifier l’utilisation de systèmes d’identification biométrique à distance «en temps réel». En outre, la liste des infractions pénales figurant en annexe du présent règlement sont basées sur les 32 infractions pénales énumérées dans la décision-cadre 2002/584/JAI du Conseil (18), compte tenu du fait que certaines de ces infractions sont, en pratique, susceptibles d’être plus pertinentes que d’autres, dans le sens où le recours à l’identification biométrique à distance «en temps réel» pourrait, vraisemblablement, être nécessaire et proportionné, à des degrés très divers, pour les mesures pratiques de localisation ou d’identification d’un auteur ou d’un suspect de l’une des différentes infractions pénales répertoriées, eu égard également aux différences probables dans la gravité, la probabilité et l’ampleur du préjudice ou des éventuelles conséquences négatives. Une menace imminente pour la vie ou pour la sécurité physique des personnes physiques pourrait également résulter d’une grave perturbation d’une infrastructure critique, au sens de l’article 2, point 4), de la directive (UE) 2022/2557 du Parlement européen et du Conseil (19), lorsque l’arrêt ou la destruction de cette infrastructure critique entraînerait une menace imminente pour la vie ou la sécurité physique d’une personne, notamment en portant gravement atteinte à la fourniture de produits de base à la population ou à l’exercice de la fonction essentielle de l’État. Par ailleurs, le présent règlement devrait préserver la capacité des autorités répressives, des autorités chargées des contrôles aux frontières, des services de l’immigration ou des autorités compétentes en matière d’asile d’effectuer des contrôles d’identité en présence de la personne concernée conformément aux conditions prévues par le droit de l’Union et le droit national pour ces contrôles. En particulier, les autorités répressives, les autorités chargées des contrôles aux frontières, les services de l’immigration ou les autorités compétentes en matière d’asile devraient pouvoir utiliser des systèmes d’information, conformément au droit de l’Union ou au droit national, pour identifier une personne qui, lors d’un contrôle d’identité, soit refuse d’être identifiée, soit n’est pas en mesure de décliner son identité ou de la prouver, sans qu’il leur soit fait obligation par le présent règlement d’obtenir une autorisation préalable. Il peut s’agir, par exemple, d’une personne impliquée dans une infraction, qui ne veut pas ou ne peut pas divulguer son identité aux autorités répressives en raison d’un accident ou de son état de santé.

(34)

Afin de s’assurer que ces systèmes soient utilisés de manière responsable et proportionnée, il est également important d’établir que, dans chacune des situations précisément répertoriées et rigoureusement définies, certains éléments devraient être pris en considération, notamment en ce qui concerne la nature de la situation donnant lieu à la demande et les conséquences de l’utilisation pour les droits et les libertés de toutes les personnes concernées, ainsi que les garanties et les conditions associées à l’utilisation. En outre, l’utilisation, à des fins répressives, de systèmes d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public ne devrait être déployée que pour confirmer l’identité de la personne spécifiquement ciblée et elle devrait être limitée au strict nécessaire dans le temps, ainsi que du point de vue de la portée géographique et personnelle, eu égard en particulier aux preuves ou aux indications concernant les menaces, les victimes ou les auteurs. L’utilisation du système d’identification biométrique à distance en temps réel dans des espaces accessibles au public ne devrait être autorisée que si l’autorité répressive compétente a réalisé une analyse d’impact sur les droits fondamentaux et, sauf disposition contraire du présent règlement, a enregistré le système dans la base de données prévue par le présent règlement. La base de données de référence des personnes devrait être appropriée pour chaque cas d’utilisation dans chacune des situations mentionnées ci-dessus.

(35)

Toute utilisation d’un système d’identification biométrique à distance «en temps réel» dans des espaces accessibles au public à des fins répressives devrait être subordonnée à l’autorisation expresse et spécifique d’une autorité judiciaire ou d’une autorité administrative indépendante d’un État membre dont la décision est contraignante. Cette autorisation devrait en principe être obtenue avant l’utilisation du système d’IA en vue d’identifier une ou plusieurs personnes. Des exceptions à cette règle devraient être autorisées dans des situations dûment justifiées en raison du caractère urgent, c’est-à-dire des situations où la nécessité d’utiliser les systèmes en question est de nature à rendre effectivement et objectivement impossible l’obtention d’une autorisation avant de commencer à utiliser le système d’IA. Dans de telles situations d’urgence, l’utilisation du système d’IA devrait être limitée au strict nécessaire et assortie de garanties et de conditions appropriées, telles qu’elles sont déterminées dans le droit national et spécifiées dans le contexte de chaque cas d’utilisation urgente par les autorités répressives elles-mêmes. En outre, l’autorité répressive devrait, dans ce genre de situation, solliciter une telle autorisation tout en indiquant les raisons pour lesquelles elle n’a pas été en mesure de le faire plus tôt, sans retard injustifié et au plus tard dans un délai de 24 heures. Lorsqu’une demande d’autorisation est rejetée, l’utilisation de systèmes d’identification biométrique en temps réel liés à cette autorisation devrait cesser immédiatement et toutes les données relatives à cette utilisation devraient être mises au rebut et supprimées. Ces données comprennent les données d’entrée directement acquises par un système d’IA au cours de l’utilisation de ce système, ainsi que les résultats et sorties de l’utilisation liée à cette autorisation. Cela ne devrait pas comprendre les entrées qui sont légalement acquises dans le respect d’un autre droit national ou du droit de l’Union. En tout état de cause, aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne devrait être prise sur la seule base des sorties du système d’identification biométrique à distance.

(36)

Afin de s’acquitter de leurs tâches conformément aux exigences énoncées dans le présent règlement ainsi que dans les règles nationales, l’autorité de surveillance du marché concernée et l’autorité nationale chargée de la protection des données devraient être informées de chaque utilisation du système d’identification biométrique en temps réel. Les autorités de surveillance du marché et les autorités nationales chargées de la protection des données auxquelles une notification a été adressée devraient présenter à la Commission un rapport annuel sur l’utilisation des systèmes d’identification biométrique en temps réel.

(37)

En outre, il convient de prévoir, dans le cadre exhaustif établi par le présent règlement, qu’une telle utilisation sur le territoire d’un État membre conformément au présent règlement ne devrait être possible que dans le cas et dans la mesure où l’État membre concerné a décidé de prévoir expressément la possibilité d’autoriser une telle utilisation dans des règles détaillées de son droit national. Par conséquent, les États membres restent libres, en vertu du présent règlement, de ne pas prévoir une telle possibilité, ou de prévoir une telle possibilité uniquement pour certains objectifs parmi ceux susceptibles de justifier l’utilisation autorisée définis dans le présent règlement. Ces règles nationales devraient être notifiées à la Commission dans les 30 jours suivant leur adoption.

(38)

L’utilisation de systèmes d’IA pour l’identification biométrique à distance en temps réel de personnes physiques dans des espaces accessibles au public à des fins répressives passe nécessairement par le traitement de données biométriques. Les règles du présent règlement qui interdisent, sous réserve de certaines exceptions, une telle utilisation, et qui sont fondées sur l’article 16 du traité sur le fonctionnement de l’Union européenne, devraient s’appliquer en tant que lex specialis pour ce qui est des règles sur le traitement des données biométriques figurant à l’article 10 de la directive (UE) 2016/680, réglementant ainsi de manière exhaustive cette utilisation et le traitement des données biométriques qui en résulte. Par conséquent, une telle utilisation et un tel traitement ne devraient être possibles que dans la mesure où ils sont compatibles avec le cadre fixé par le présent règlement, sans qu’il soit possible pour les autorités compétentes, lorsqu’elles agissent à des fins répressives en dehors de ce cadre, d’utiliser ces systèmes et de traiter ces données pour les motifs énumérés à l’article 10 de la directive (UE) 2016/680. Dans ce contexte, le présent règlement ne vise pas à fournir la base juridique pour le traitement des données à caractère personnel en vertu de l’article 8 de la directive (UE) 2016/680. Cependant, l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins autres que répressives, y compris par les autorités compétentes, ne devrait pas être couverte par le cadre spécifique concernant l’utilisation à des fins répressives établi par le présent règlement. L’utilisation à des fins autres que répressives ne devrait donc pas être subordonnée à l’exigence d’une autorisation au titre du présent règlement et des règles détaillées du droit national applicable susceptibles de donner effet à cette autorisation.

(39)

Tout traitement de données biométriques et d’autres données à caractère personnel mobilisées lors de l’utilisation de systèmes d’IA pour l’identification biométrique, qui n’est pas lié à l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, réglementée par le présent règlement, devrait rester conforme à toutes les exigences découlant de l’article 10 de la directive (UE) 2016/680. À des fins autres que répressives, l’article 9, paragraphe 1, du règlement (UE) 2016/679 et l’article 10, paragraphe 1, du règlement (UE) 2018/1725 interdisent le traitement de données biométriques sous réserve d’exceptions limitées prévues dans ces articles. En application de l’article 9, paragraphe 1, du règlement (UE) 2016/679, l’utilisation de l’identification biométrique à distance à des fins autres que répressives a déjà fait l’objet de décisions d’interdiction prises par les autorités nationales chargées de la protection des données.

(40)

Conformément à l’article 6 bis du protocole no 21 sur la position du Royaume-Uni et de l’Irlande à l’égard de l’espace de liberté, de sécurité et de justice, annexé au traité sur l’Union européenne et au traité sur le fonctionnement de l’Union européenne, l’Irlande n’est pas liée par les règles fixées à l’article 5, paragraphe 1, premier alinéa, point g), dans la mesure où il s’applique à l’utilisation de systèmes de catégorisation biométrique pour des activités dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, à l’article 5, paragraphe 1, premier alinéa, point d), dans la mesure où il s’applique à l’utilisation de systèmes d’IA couverts par cette disposition, à l’article 5, paragraphe 1, premier alinéa, point h), à l’article 5, paragraphes 2 à 6, et l’article 26, paragraphe 10, du présent règlement et adoptées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne concernant le traitement de données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou 5 du titre V de la troisième partie du traité sur le fonctionnement de l’Union européenne, lorsque l’Irlande n’est pas liée par les règles qui régissent des formes de coopération judiciaire en matière pénale ou de coopération policière dans le cadre desquelles les dispositions fixées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne doivent être respectées.

(41)

Conformément aux articles 2 et 2 bis du protocole no 22 sur la position du Danemark, annexé au traité l’Union européenne et au traité sur le fonctionnement de l’Union européenne, le Danemark n’est pas lié par les règles fixées à l’article 5, paragraphe 1, premier alinéa, point g), dans la mesure où il s’applique à l’utilisation de systèmes de catégorisation biométrique pour des activités dans le domaine de la coopération policière et de la coopération judiciaire en matière pénale, à l’article 5, paragraphe 1, premier alinéa, point d), dans la mesure où il s’applique à l’utilisation de systèmes d’IA couverts par cette disposition, à l’article 5, paragraphe 1, premier alinéa, point h), à l’article 5, paragraphes 2 à 6, et à l’article 26, paragraphe 10, du présent règlement et adoptées sur la base de l’article 16 du traité sur le fonctionnement de l’Union européenne, ni soumis à leur application, lorsqu’elles concernent le traitement des données à caractère personnel par les États membres dans l’exercice d’activités qui relèvent du champ d’application du chapitre 4 ou du chapitre 5 du titre V de la troisième partie du traité sur le fonctionnement de l’Union européenne.

(42)

Conformément à la présomption d’innocence, les personnes physiques dans l’Union devraient toujours être jugées sur leur comportement réel. Une personne physique ne devrait jamais être jugée sur la base d’un comportement prédit par l’IA uniquement sur la base de son profilage, de ses traits de personnalité ou de ses caractéristiques, telles que la nationalité, le lieu de naissance, le lieu de résidence, le nombre d’enfants, le niveau d’endettement ou le type de voiture, sans qu’il existe un motif raisonnable de soupçonner que cette personne est impliquée dans une activité criminelle sur la base de faits objectifs vérifiables et sans évaluation humaine de ceux-ci. Par conséquent, il convient d’interdire les évaluations des risques effectuées en ce qui concerne des personnes physiques dans le but d’évaluer la probabilité que ces dernières commettent une infraction ou de prévoir la survenance d’une infraction pénale, réelle ou potentielle, sur la seule base du profilage de ces personnes physiques ou de l’évaluation de leurs traits de personnalité et caractéristiques. En tout état de cause, cette interdiction ne vise ni ne concerne l’analyse des risques non fondée sur le profilage des personnes ou sur les traits de personnalité et les caractéristiques des individus, tels que les systèmes d’IA utilisant l’analyse des risques pour évaluer la probabilité de fraude financière de la part d’entreprises sur la base de transactions suspectes ou d’outils d’analyse des risques permettant de prédire la probabilité de la localisation de stupéfiants ou de marchandises illicites par les autorités douanières, par exemple sur la base de voies de trafic connues.

(43)

Il y a lieu d’interdire la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance, parce que cette pratique ne fait qu’accentuer le sentiment de surveillance de masse et peut entraîner des violations flagrantes des droits fondamentaux, y compris du droit au respect de la vie privée.

(44)

La base scientifique des systèmes d’IA visant à identifier ou à inférer les émotions suscite de vives inquiétudes, d’autant plus que l’expression des émotions varie considérablement d’une culture et d’une situation à l’autre, comme d’ailleurs chez un même individu. Les principaux défauts de ces systèmes sont, entre autres, leur fiabilité limitée, leur manque de précision et leur généralisabilité limitée. Par conséquent, les systèmes d’IA qui identifient ou déduisent les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et libertés des personnes concernées. Si l’on considère le déséquilibre de pouvoir qui existe dans le cadre du travail ou de l’enseignement, combiné au caractère intrusif de ces systèmes, ces derniers risqueraient de déboucher sur le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques. Par conséquent, il convient d’interdire la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés pour déterminer l’état émotionnel de personnes physiques dans des situations liées au lieu de travail et à l’enseignement. Cette interdiction ne devrait pas porter sur les systèmes d’IA mis sur le marché strictement pour des raisons médicales ou de sécurité, tels que les systèmes destinés à un usage thérapeutique.

(45)

Le présent règlement devrait être sans effet sur les pratiques interdites par le droit de l’Union, notamment en vertu du droit de la protection des données, de la lutte contre la discrimination, de la protection des consommateurs et de la concurrence.

(46)

Les systèmes d’IA à haut risque ne devraient être mis sur le marché de l’Union, mis en service ou utilisés que s’ils satisfont à certaines exigences obligatoires. Ces exigences devraient garantir que les systèmes d’IA à haut risque disponibles dans l’Union ou dont les sorties sont utilisées d’une autre manière dans l’Union ne présentent pas de risques inacceptables pour d’importants intérêts publics de l’Union tels qu’ils sont reconnus et protégés par le droit de l’Union. Sur la base du nouveau cadre législatif, que la Commission a détaillé dans sa communication présentant le «“Guide bleu” relatif à la mise en œuvre de la réglementation de l’UE sur les produits 2022» (20), la règle générale est que plus d’un acte juridique de la législation d’harmonisation de l’Union, comme les règlements (UE) 2017/745 (21) et (UE) 2017/746 (22) du Parlement européen et du Conseil ou la directive 2006/42/CE du Parlement européen et du Conseil (23), peuvent s’appliquer à un produit dès lors que la mise à disposition ou la mise en service ne peut avoir lieu que lorsque le produit est conforme à l’ensemble de la législation d’harmonisation de l’Union applicable. Dans un souci de cohérence, et afin d’éviter des charges administratives ou des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’IA à haut risque, auxquels s’appliquent les exigences du présent règlement et de la législation d’harmonisation de l’Union dont la liste figure en annexe du présent règlement, devraient disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles à prendre quant à la manière de garantir de façon optimale qu’un produit contenant un ou plusieurs systèmes d’IA est conforme à l’ensemble des exigences applicables de la législation d’harmonisation de l’Union. Les systèmes d’IA désignés comme étant à haut risque devraient être limités aux systèmes qui ont une incidence préjudiciable substantielle sur la santé, la sécurité et les droits fondamentaux des citoyens dans l’Union et une telle limitation devrait réduire au minimum toute éventuelle restriction au commerce international.

(47)

Les systèmes d’IA pourraient avoir un impact négatif sur la santé et la sécurité des citoyens, en particulier lorsque ces systèmes sont utilisés en tant que composants de sécurité de produits. Conformément aux objectifs de la législation d’harmonisation de l’Union visant à faciliter la libre circulation des produits sur le marché intérieur et à garantir que seuls des produits sûrs et conformes à d’autres égards soient mis sur le marché, il est important de dûment prévenir et atténuer les risques pour la sécurité susceptibles d’être créés par un produit dans son ensemble en raison de ses composants numériques, y compris les systèmes d’IA. Par exemple, des robots de plus en plus autonomes, que ce soit dans le secteur de l’industrie manufacturière ou des services de soins et d’aide à autrui, devraient pouvoir opérer et remplir leurs fonctions en toute sécurité dans des environnements complexes. De même, dans le secteur de la santé, où les enjeux pour la vie et la santé sont particulièrement importants, les systèmes de diagnostic de plus en plus sophistiqués et les systèmes soutenant les décisions humaines devraient être fiables et précis.

(48)

L’ampleur de l’incidence négative du système d’IA sur les droits fondamentaux protégés par la Charte est un critère particulièrement pertinent lorsqu’il s’agit de classer un système d’IA en tant que système à haut risque. Ces droits comprennent le droit à la dignité humaine, le respect de la vie privée et familiale, la protection des données à caractère personnel, la liberté d’expression et d’information, la liberté de réunion et d’association, le droit à la non-discrimination, le droit à l’éducation, la protection des consommateurs, les droits des travailleurs, les droits des personnes handicapées, l’égalité de genre, les droits de propriété intellectuelle, le droit à un recours effectif et à accéder à un tribunal impartial, les droits de la défense et la présomption d’innocence, et le droit à une bonne administration. En plus de ces droits, il est important de souligner le fait que les enfants bénéficient de droits spécifiques consacrés à l’article 24 de la Charte et dans la convention des Nations unies relative aux droits de l’enfant (et précisés dans l’observation générale no 25 de la CNUDE en ce qui concerne l’environnement numérique), et que ces deux textes considèrent la prise en compte des vulnérabilités des enfants et la fourniture d’une protection et de soins appropriés comme nécessaires au bien-être de l’enfant. Le droit fondamental à un niveau élevé de protection de l’environnement, consacré dans la Charte et mis en œuvre dans les politiques de l’Union, devrait également être pris en considération lors de l’évaluation de la gravité du préjudice qu’un système d’IA peut causer, notamment en ce qui concerne les conséquences pour la santé et la sécurité des personnes.

(49)

En ce qui concerne les systèmes d’IA à haut risque constituant des composants de sécurité de produits ou de systèmes, ou qui sont eux-mêmes des produits ou des systèmes entrant dans le champ d’application du règlement (CE) no 300/2008 du Parlement européen et du Conseil (24), du règlement (UE) no 167/2013 du Parlement européen et du Conseil (25), du règlement (UE) no 168/2013 du Parlement européen et du Conseil (26), de la directive 2014/90/UE du Parlement européen et du Conseil (27), de la directive (UE) 2016/797 du Parlement européen et du Conseil (28), du règlement (UE) 2018/858 du Parlement européen et du Conseil (29), du règlement (UE) 2018/1139 du Parlement européen et du Conseil (30) ou du règlement (UE) 2019/2144 du Parlement européen et du Conseil (31), il convient de modifier ces actes pour veiller à ce que la Commission tienne compte, sur la base des spécificités techniques et réglementaires de chaque secteur, et sans interférer avec les mécanismes et les autorités de gouvernance, d’évaluation de la conformité et de contrôle de l’application déjà en place en vertu de ces règlements, des exigences obligatoires applicables aux systèmes d’IA à haut risque définis dans le présent règlement lors de l’adoption d’actes délégués ou d’actes d’exécution pertinents sur la base de ces actes.

(50)

En ce qui concerne les systèmes d’IA qui constituent des composants de sécurité de produits relevant de certaines législations d’harmonisation de l’Union dont la liste figure en annexe du présent règlement, ou qui sont eux-mêmes de tels produits, il convient de les classer comme étant à haut risque au titre du présent règlement si le produit concerné est soumis à la procédure d’évaluation de la conformité par un organisme tiers d’évaluation de la conformité conformément à la législation d’harmonisation de l’Union correspondante. Ces produits sont notamment les machines, les jouets, les ascenseurs, les appareils et les systèmes de protection destinés à être utilisés en atmosphères explosibles, les équipements radio, les équipements sous pression, les équipements pour bateaux de plaisance, les installations à câbles, les appareils brûlant des combustibles gazeux, les dispositifs médicaux, les dispositifs médicaux de diagnostic in vitro, l’automobile et l’aviation.

(51)

La classification d’un système d’IA comme étant à haut risque en application du présent règlement ne devrait pas nécessairement signifier que le produit utilisant le système d’IA en tant que composant de sécurité, ou que le système d’IA lui-même en tant que produit, est considéré comme étant à haut risque selon les critères établis dans la législation d’harmonisation de l’Union correspondante qui s’applique au produit en question. Tel est notamment le cas pour le règlement (UE) 2017/745 et le règlement (UE) 2017/746, dans le cadre desquels une évaluation de la conformité par un tiers est prévue pour les produits à risque moyen et les produits à haut risque.

(52)

En ce qui concerne les systèmes d’IA autonomes, à savoir les systèmes d’IA à haut risque autres que ceux qui constituent des composants de sécurité de produits ou qui sont eux-mêmes des produits, il convient de les classer comme étant à haut risque si, au vu de leur destination, ils présentent un risque élevé de causer un préjudice à la santé, à la sécurité ou aux droits fondamentaux des citoyens, en tenant compte à la fois de la gravité et de la probabilité du préjudice éventuel, et s’ils sont utilisés dans un certain nombre de domaines spécifiquement prédéfinis dans le présent règlement. La définition de ces systèmes est fondée sur la même méthode et les mêmes critères que ceux également envisagés pour toute modification ultérieure de la liste des systèmes d’IA à haut risque que la Commission devrait être habilitée à adopter, au moyen d’actes délégués, afin de tenir compte du rythme rapide de l’évolution technologique, ainsi que des changements potentiels dans l’utilisation des systèmes d’IA.

(53)

Il importe également de préciser qu’il peut exister des cas spécifiques dans lesquels les systèmes d’IA visés dans des domaines prédéfinis spécifiés dans le présent règlement ne présentent pas un risque important d’atteinte aux intérêts juridiques protégés dans ces domaines parce qu’ils n’ont pas d’incidence substantielle sur la prise de décision ou ne causent pas de préjudice important à ces intérêts. Aux fins du présent règlement, il convient d’entendre par système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision un système d’IA qui n’a pas d’incidence sur la substance et, partant, sur le résultat de la prise de décision, qu’elle soit humaine ou automatisée. Dans les cas où une ou plusieurs des conditions ci-après sont remplies, il pourrait s’agir d’un système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision. La première de ces conditions devrait être que le système d’IA est destiné à accomplir une tâche procédurale étroite, comme transformer des données non structurées en données structurées, classer les documents entrants par catégories ou détecter les doublons parmi un grand nombre d’applications. Ces tâches sont par nature si étroites et limitées qu’elles ne présentent que des risques limités, qui ne sont pas exacerbés par une utilisation d’un système d’IA dans un contexte répertorié parmi les utilisations à haut risque dans la liste figurant en annexe du présent règlement. La deuxième condition devrait être que la tâche effectuée par le système d’IA est destinée à améliorer le résultat d’une activité humaine préalablement réalisée, susceptible d’être utile aux fins des utilisations à haut risque énumérées dans une annexe du présent règlement. Compte tenu de ces caractéristiques, le système d’IA n’ajoute qu’une couche supplémentaire à une activité humaine, ce qui présente par conséquent un risque réduit. Cette condition s’appliquerait par exemple aux systèmes d’IA destinés à améliorer la façon dont un document est rédigé, pour lui donner un ton professionnel ou un style académique ou pour l’adapter à un message de marque défini. La troisième condition devrait être que le système d’IA est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures. Le risque serait réduit parce que l’utilisation du système d’IA intervient après la réalisation d’une évaluation humaine et n’est pas destinée à se substituer à celle-ci ni à l’influencer, sans examen humain approprié. Il s’agit par exemple des systèmes d’IA qui, compte tenu de certaines constantes habituelles observées chez un enseignant au niveau de la notation, peuvent être utilisés pour vérifier a posteriori si l’enseignant s’est éventuellement écarté de ces constantes, de manière à signaler d’éventuelles incohérences ou anomalies. La quatrième condition devrait être que le système d’IA est destiné à exécuter une tâche qui n’est qu’un acte préparatoire à une évaluation pertinente aux fins des systèmes d’IA repris dans la liste figurant dans une annexe du présent règlement et, partant, la probabilité que les sorties produites par le système présentent un risque pour l’évaluation postérieure est très faible. Cette condition s’applique, entre autres, aux solutions intelligentes de traitement des fichiers, qui comprennent diverses fonctions telles que l’indexation, la recherche, le traitement de texte et le traitement de la parole ou le fait de relier des données à d’autres sources de données, ou aux systèmes d’IA utilisés pour la traduction de documents initiaux. En tout état de cause, les systèmes d’IA utilisés dans des cas d’utilisation à haut risque énumérés dans une annexe du présent règlement devraient être considérés comme présentant des risques importants de préjudice pour la santé, la sécurité ou les droits fondamentaux si le système d’IA implique un profilage au sens de l’article 4, point 4), du règlement (UE) 2016/679, de l’article 3, point 4), de la directive (UE) 2016/680 et de l’article 3, point 5), du règlement (UE) 2018/1725. Afin de garantir la traçabilité et la transparence, un fournisseur qui considère qu’un système d’IA n’est pas à haut risque sur la base des conditions susvisées devrait documenter l’évaluation avant la mise sur le marché ou la mise en service de ce système et fournir cette documentation aux autorités nationales compétentes sur demande. Ce fournisseur devrait être tenu d’enregistrer le système d’IA dans la base de données de l’UE établie en vertu du présent règlement. En vue de fournir des orientations supplémentaires pour la mise en œuvre pratique des critères en fonction desquels des systèmes d’IA répertoriés dans la liste figurant dans une annexe du présent règlement sont, à titre exceptionnel, des systèmes qui ne sont pas à haut risque, la Commission devrait, après consultation du Comité IA, fournir des lignes directrices précisant cette mise en œuvre pratique, assorties d’une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui sont à haut risque et de cas d’utilisation qui ne le sont pas.

(54)

Étant donné que les données biométriques constituent une catégorie particulière de données à caractère personnel, il convient de classer comme étant à haut risque plusieurs cas d’utilisation critique des systèmes biométriques, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables. Les inexactitudes techniques des systèmes d’IA destinés à l’identification biométrique à distance des personnes physiques peuvent conduire à des résultats biaisés et entraîner des effets discriminatoires. Le risque de tels résultats biaisés et d’effets discriminatoires est particulièrement important en ce qui concerne l’âge, l’appartenance ethnique, la race, le sexe ou le handicap. Il convient par conséquent de classer les systèmes d’identification biométrique à distance comme étant à haut risque compte tenu des risques qu’ils présentent. Sont exclus de cette classification les systèmes d’IA destinés à être utilisés à des fins de vérification biométrique, parmi lesquelles l’authentification, dont la seule finalité est de confirmer qu’une personne physique donnée est bien celle qu’elle prétend être et de confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service, de déverrouiller un dispositif ou de disposer d’un accès sécurisé à des locaux. En outre, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés pour la catégorisation biométrique en fonction d’attributs ou de caractéristiques sensibles protégés en vertu de l’article 9, paragraphe 1, du règlement (UE) 2016/679 sur la base de données biométriques, dans la mesure où ils ne sont pas interdits par le présent règlement, et les systèmes de reconnaissance des émotions qui ne sont pas interdits en vertu du présent règlement. Les systèmes biométriques destinés à être utilisés uniquement dans le but de permettre la cybersécurité et les mesures de protection des données à caractère personnel ne devraient pas être considérés comme des systèmes d’IA à haut risque.

(55)

En ce qui concerne la gestion et l’exploitation des infrastructures critiques, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés en tant que composants de sécurité dans le cadre de la gestion et de l’exploitation des infrastructures numériques critiques visées à l’annexe, point 8, de la directive (UE) 2022/2557, du trafic routier et de l’approvisionnement en eau, gaz, électricité et chauffage, car leur défaillance ou leur mauvais fonctionnement peut mettre en danger la vie et la santé de personnes à grande échelle et entraîner des perturbations importantes dans le déroulement normal des activités sociales et économiques. Les composants de sécurité des infrastructures critiques, y compris des infrastructures numériques critiques, sont des systèmes utilisés pour protéger directement l’intégrité physique des infrastructures critiques ou la santé et la sécurité des personnes et des biens, mais qui ne sont pas nécessaires au fonctionnement du système. La défaillance ou le mauvais fonctionnement de ces composants pourrait directement entraîner des risques pour l’intégrité physique des infrastructures critiques et, partant, des risques pour la santé et la sécurité des personnes et des biens. Les composants destinés à être utilisés uniquement à des fins de cybersécurité ne devraient pas être considérés comme des composants de sécurité. Les systèmes de surveillance de la pression de l’eau ou les systèmes de commande des alarmes incendie dans les centres d’informatique en nuage sont des exemples de composants de sécurité de ces infrastructures critiques.

(56)

Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.

(57)

Les systèmes d’IA utilisés pour des questions liées à l’emploi, à la gestion de la main-d’œuvre et à l’accès à l’emploi indépendant, en particulier pour le recrutement et la sélection de personnes, pour la prise de décisions affectant les conditions des relations professionnelles, ainsi que la promotion et la résiliation des relations professionnelles contractuelles, pour l’attribution de tâches fondée sur le comportement individuel, les traits de personnalité ou les caractéristiques personnelles et pour le suivi ou l’évaluation des personnes dans le cadre de relations professionnelles contractuelles, devraient également être classés comme étant à haut risque car ces systèmes peuvent avoir une incidence considérable sur les perspectives de carrière et les moyens de subsistance de ces personnes ainsi que sur les droits des travailleurs. Les relations professionnelles contractuelles en question devraient concerner également, de manière significative, celles qui lient les employés et les personnes qui fournissent des services sur des plateformes telles que celles visées dans le programme de travail de la Commission pour 2021. Tout au long du processus de recrutement et lors de l’évaluation, de la promotion ou du maintien des personnes dans des relations professionnelles contractuelles, les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination, par exemple à l’égard des femmes, de certains groupes d’âge et des personnes handicapées, ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle. Les systèmes d’IA utilisés pour surveiller les performances et le comportement de ces personnes peuvent aussi porter atteinte à leurs droits fondamentaux à la protection des données et à la vie privée.

(58)

Un autre domaine dans lequel l’utilisation des systèmes d’IA mérite une attention particulière est l’accès et le droit à certains services et prestations essentiels, publics et privés, devant permettre aux personnes de participer pleinement à la société ou d’améliorer leur niveau de vie. En particulier, les personnes physiques qui demandent à bénéficier ou bénéficient de prestations et services essentiels d’aide publique de la part des pouvoirs publics, à savoir des services de soins de santé, des prestations de sécurité sociale, des services sociaux fournissant une protection dans des cas tels que la maternité, la maladie, les accidents du travail, la dépendance ou la vieillesse et la perte d’emploi et l’aide sociale et au logement, sont généralement tributaires de ces prestations et services et se trouvent dans une situation vulnérable par rapport aux autorités compétentes. Lorsqu’ils sont utilisés pour déterminer si ces prestations et services devraient être accordés, refusés, réduits, révoqués ou récupérés par les autorités, y compris pour déterminer si les bénéficiaires y ont légitimement droit, les systèmes d’IA peuvent avoir une grande incidence sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, à la non-discrimination, à la dignité humaine ou à un recours effectif, et devraient donc être classés comme étant à haut risque. Néanmoins, le présent règlement ne devrait pas entraver la mise en place et l’utilisation, dans l’administration publique, d’approches innovantes qui bénéficieraient d’une utilisation plus large de systèmes d’IA conformes et sûrs, à condition que ces systèmes n’entraînent pas de risque élevé pour les personnes physiques et morales. En outre, les systèmes d’IA utilisés pour évaluer la note de crédit ou la solvabilité des personnes physiques devraient être classés en tant que systèmes d’IA à haut risque, car ils déterminent l’accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l’électricité et les services de télécommunication. Les systèmes d’IA utilisés à ces fins peuvent conduire à la discrimination entre personnes ou groupes et perpétuer des schémas historiques de discrimination, tels que ceux fondés sur les origines raciales ou ethniques, le sexe, les handicaps, l’âge ou l’orientation sexuelle, ou peuvent créer de nouvelles formes d’incidences discriminatoires. Toutefois, les systèmes d’IA prévus par le droit de l’Union aux fins de détecter les fraudes dans l’offre de services financiers et à des fins prudentielles pour calculer les besoins en fonds propres des établissements de crédit et des compagnies d’assurance ne devraient pas être considérés comme étant à haut risque au titre du présent règlement. Par ailleurs, les systèmes d’IA destinés à être utilisés pour l’évaluation des risques et la tarification en ce qui concerne les personnes physiques en matière d’assurance-santé et vie peuvent avoir une incidence significative sur les moyens de subsistance de ces personnes et, s’ils ne sont pas dûment conçus, développés et utilisés, peuvent porter atteinte à leurs droits fondamentaux et entraîner de graves conséquences pour leur vie et leur santé, y compris l’exclusion financière et la discrimination. Enfin, les systèmes d’IA utilisés pour évaluer et hiérarchiser les appels d’urgence émis par des personnes physiques ou pour envoyer des services d’intervention d’urgence ou établir des priorités dans l’envoi de tels services, y compris la police, les pompiers et les secours, ainsi que dans l’utilisation des systèmes de tri des patients admis dans les services de santé d’urgence, devraient aussi être classés comme étant à haut risque car ils prennent des décisions dans des situations très critiques pour la vie, la santé et les biens des personnes.

(59)

Compte tenu du rôle et de la responsabilité des autorités répressives, les actions menées par celles-ci qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la Charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences voulues en termes de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et testé avant d’être mis sur le marché ou mis en service, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice de droits fondamentaux procéduraux importants, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter des conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours puissent être exercés. Compte tenu de la nature des activités et des risques y afférents, ces systèmes d’IA à haut risque devraient inclure en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou pour leur compte ou par les institutions, organes et organismes de l’Union pour aider les autorités répressives à évaluer le risque qu’une personne physique ne devienne victime d’infractions pénales, tels que les polygraphes et instruments similaires, à évaluer la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites relatives à des infractions pénales, et, dans la mesure où cela n’est pas interdit par le présent règlement, à évaluer le risque d’infraction ou de récidive d’une personne physique non seulement sur la base du profilage de personnes physiques, mais aussi sur la base de l’évaluation des traits de personnalité, des caractéristiques ou des antécédents judiciaires de personnes physiques ou de groupes, à des fins de profilage dans le cadre de la détection d’infractions pénales, d’enquêtes et de poursuites en la matière. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ainsi que par les cellules de renseignement financier effectuant des tâches administratives d’analyse d’informations dans le cadre de la législation de l’Union relative à la lutte contre le blanchiment des capitaux ne devraient pas être classés comme des systèmes d’IA à haut risque utilisés par les autorités répressives à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière. L’utilisation des outils d’IA par les autorités répressives et d’autres autorités pertinentes ne devrait pas devenir un facteur d’inégalité ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, en particulier la difficulté d’obtenir des informations utiles sur le fonctionnement de ces outils et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes physiques faisant l’objet d’une enquête.

(60)

Les systèmes d’IA utilisés dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières touchent des personnes qui se trouvent souvent dans une situation particulièrement vulnérable et qui sont tributaires du résultat des actions des autorités publiques compétentes. L’exactitude, la nature non discriminatoire et la transparence des systèmes d’IA utilisés dans ces contextes sont donc particulièrement importantes pour garantir le respect des droits fondamentaux des personnes concernées, en particulier leurs droits à la libre circulation, à la non-discrimination, à la protection de la vie privée et des données à caractère personnel, à une protection internationale et à une bonne administration. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, les systèmes d’IA destinés à être utilisés par les autorités publiques compétentes ou pour leur compte ou par les institutions, organes et organismes de l’Union chargés de tâches dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières, tels que les polygraphes et instruments similaires, pour évaluer certains risques présentés par des personnes physiques entrant sur le territoire d’un État membre ou demandant un visa ou l’asile, et pour aider les autorités publiques compétentes à procéder à l’examen, y compris l’évaluation connexe de la fiabilité des éléments de preuve, des demandes d’asile, de visas et de titres de séjour et des plaintes connexes au regard de l’objectif visant à établir l’éligibilité des personnes physiques demandant un statut, aux fins de détecter, de reconnaître ou d’identifier des personnes physiques dans le cadre de la migration, de l’asile et de la gestion des contrôles aux frontières, à l’exception de la vérification des documents de voyage. Les systèmes d’IA utilisés dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières couverts par le présent règlement devraient être conformes aux exigences procédurales pertinentes fixées par le règlement (CE) no 810/2009 du Parlement européen et du Conseil (32), la directive 2013/32/UE du Parlement européen et du Conseil (33) et tout autre acte législatif pertinent de l’Union. Les systèmes d’IA ne devraient en aucun cas être utilisés par les États membres ou les institutions, organes ou organismes de l’Union dans les domaines de la migration, de l’asile et de la gestion des contrôles aux frontières comme moyen de contourner les obligations internationales qui leur incombent en vertu de la convention des Nations unies relative au statut des réfugiés, signée à Genève le 28 juillet 1951, telle que modifiée par le protocole du 31 janvier 1967. Ils ne devraient pas non plus être utilisés pour enfreindre de quelque manière que ce soit le principe de non-refoulement ou pour refuser des voies d’accès légales sûres et effectives au territoire de l’Union, y compris le droit à la protection internationale.

(61)

Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par une autorité judiciaire ou pour le compte de celle-ci pour aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits. Les systèmes d’IA destinés à être utilisés par des organismes de règlement extrajudiciaire des litiges à ces fins devraient également être considérés comme étant à haut risque lorsque les résultats des procédures de règlement extrajudiciaire des litiges produisent des effets juridiques pour les parties. L’utilisation d’outils d’IA peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne devrait pas les remplacer, car la décision finale doit rester une activité humaine. La classification des systèmes d’IA comme étant à haut risque ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel ou les tâches administratives.

(62)

Sans préjudice des règles prévues dans le règlement (UE) 2024/900 du Parlement européen et du Conseil (34), et afin de faire face aux risques d’ingérence extérieure indue dans le droit de vote consacré à l’article 39 de la Charte et d’effets négatifs sur la démocratie et l’état de droit, les systèmes d’IA destinés à être utilisés pour influencer le résultat d’une élection ou d’un référendum ou le comportement électoral de personnes physiques dans l’exercice de leur vote lors d’élections ou de référendums devraient être classés comme étant à haut risque, à l’exception des systèmes d’IA dont les sorties ne touchent pas directement les personnes physiques, tels que les outils utilisés pour organiser, optimiser et structurer les campagnes politiques d’un point de vue administratif et logistique.

(63)

Le fait qu’un système d’IA soit classé comme étant à haut risque au titre du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système est licite au titre d’autres actes législatifs de l’Union ou au titre du droit national compatible avec le droit de l’Union, concernant notamment la protection des données à caractère personnel ou l’utilisation de polygraphes et d’instruments similaires ou d’autres systèmes d’analyse de l’état émotionnel des personnes physiques. Toute utilisation de ce type devrait continuer à être subordonnée aux exigences applicables découlant de la Charte et des actes applicables du droit dérivé de l’Union et du droit national. Le présent règlement ne saurait être considéré comme constituant un fondement juridique pour le traitement des données à caractère personnel, y compris des catégories particulières de données à caractère personnel, le cas échéant, sauf disposition contraire expresse du présent règlement.

(64)

Afin d’atténuer les risques liés aux systèmes d’IA à haut risque mis sur le marché ou mis en service et de garantir un niveau élevé de fiabilité, certaines exigences obligatoires devraient s’appliquer aux systèmes d’IA à haut risque, en tenant compte de la destination du système d’IA et du contexte de son utilisation et en fonction du système de gestion des risques à mettre en place par le fournisseur. Les mesures adoptées par les fournisseurs pour se conformer aux exigences obligatoires du présent règlement devraient tenir compte de l’état de la technique généralement reconnu en matière d’IA, et être proportionnées et effectives pour atteindre les objectifs du présent règlement. Reposant sur le nouveau cadre législatif, tel que précisé dans la communication de la Commission intitulée «“Guide bleu” relatif à la mise en œuvre de la réglementation de l’UE sur les produits 2022», la règle générale est que plus d’un acte juridique de la législation d’harmonisation de l’Union peuvent être applicables à un produit donné, étant donné que la mise à disposition ou la mise en service ne peut avoir lieu que si le produit est conforme à l’ensemble de la législation d’harmonisation de l’Union applicable. Les dangers des systèmes d’IA couverts par les exigences du présent règlement concernent des aspects différents de ceux qui sont énoncés dans la législation d’harmonisation existante de l’Union, et, par conséquent, les exigences du présent règlement compléteraient l’ensemble existant de la législation d’harmonisation de l’Union. Par exemple, les machines ou les dispositifs médicaux incorporant un système d’IA peuvent présenter des risques qui ne sont pas couverts par les exigences essentielles en matière de santé et de sécurité énoncées dans la législation harmonisée pertinente de l’Union, étant donné que cette législation sectorielle ne traite pas des risques spécifiques aux systèmes d’IA. Cela implique d’appliquer conjointement et de manière complémentaire les divers actes législatifs. Dans un souci de cohérence, et afin d’éviter une charge administrative et des coûts inutiles, les fournisseurs d’un produit contenant un ou plusieurs systèmes d’IA à haut risque, auxquels s’appliquent les exigences du présent règlement ainsi que les exigences de la législation d’harmonisation de l’Union reposant sur le nouveau cadre législatif et dont la liste figure dans une annexe du présent règlement, devraient disposer d’une certaine souplesse en ce qui concerne les décisions opérationnelles à prendre quant à la manière de garantir de façon optimale qu’un produit contenant un ou plusieurs systèmes d’IA est conforme à l’ensemble des exigences applicables de cette législation harmonisée de l’Union. Cette souplesse pourrait signifier, par exemple, que le fournisseur décide d’intégrer une partie des processus d’essai et de déclaration nécessaires, ainsi que des informations et de la documentation requises en vertu du présent règlement dans la documentation et les procédures existantes requises en vertu de la législation d’harmonisation de l’Union en vigueur reposant sur le nouveau cadre législatif et dont la liste figure en annexe du présent règlement. Cela ne devrait en aucun cas porter atteinte à l’obligation qu’a le fournisseur de se conformer à toutes les exigences applicables.

(65)

Le système de gestion des risques devrait consister en un processus itératif continu planifié et se dérouler sur l’ensemble du cycle de vie d’un système d’IA à haut risque. Ce processus devrait viser à identifier et à atténuer les risques des systèmes d’IA qui se posent pour la santé, la sécurité et les droits fondamentaux. Le système de gestion des risques devrait être régulièrement réexaminé et mis à jour afin de garantir le maintien de son efficacité, ainsi que la justification et la documentation de toutes les décisions et mesures importantes prises en vertu du présent règlement. Ce processus devrait garantir que le fournisseur détermine les risques ou les incidences négatives et mette en œuvre des mesures d’atténuation des risques connus et raisonnablement prévisibles des systèmes d’IA pour la santé, la sécurité et les droits fondamentaux à la lumière de leur destination et de leur mauvaise utilisation raisonnablement prévisible, y compris les risques éventuels découlant de l’interaction entre les systèmes d’IA et l’environnement dans lequel ils fonctionnent. Le système de gestion des risques devrait adopter les mesures de gestion des risques les plus appropriées à la lumière de l’état de la technique en matière d’IA. Lorsqu’il détermine les mesures de gestion des risques les plus appropriées, le fournisseur devrait documenter et expliquer les choix effectués et, le cas échéant, associer des experts et des parties prenantes externes. Lorsqu’il s’agit de déterminer la mauvaise utilisation raisonnablement prévisible des systèmes d’IA à haut risque, le fournisseur devrait couvrir les utilisations des systèmes d’IA dont on peut raisonnablement prévoir, bien qu’elles ne soient pas directement couvertes par la destination et prévues dans la notice d’utilisation, qu’elles résultent d’un comportement humain aisément prévisible dans le contexte des caractéristiques et de l’utilisation spécifiques d’un système d’IA donné. Toutes circonstances connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé, la sécurité ou les droits fondamentaux, devraient figurer dans la notice d’utilisation fournie par le fournisseur. Il s’agit de veiller à ce que le déployeur en ait connaissance et en tienne compte lors de l’utilisation du système d’IA à haut risque. La détermination et la mise en œuvre de mesures d’atténuation des risques en cas de mauvaise utilisation prévisible au titre du présent règlement ne devraient pas nécessiter de la part du fournisseur, pour remédier à la mauvaise utilisation prévisible, des mesures d’entraînement supplémentaires spécifiques pour le système d’IA à haut risque. Les fournisseurs sont toutefois encouragés à envisager de telles mesures d’entraînement supplémentaires pour atténuer les mauvaises utilisations raisonnablement prévisibles, si cela est nécessaire et approprié.

(66)

Des exigences devraient s’appliquer aux systèmes d’IA à haut risque en ce qui concerne la gestion des risques, la qualité et la pertinence des jeux de données utilisés, la documentation technique et la tenue de registres, la transparence et la fourniture d’informations aux déployeurs, le contrôle humain, ainsi que la robustesse, l’exactitude et la sécurité. Ces exigences sont nécessaires pour atténuer efficacement les risques pour la santé, la sécurité et les droits fondamentaux. Aucune autre mesure moins contraignante pour le commerce n’étant raisonnablement disponible, ces exigences ne constituent pas des restrictions injustifiées aux échanges.

(67)

Les données de haute qualité et l’accès à ces données jouent un rôle essentiel pour ce qui est de fournir une structure et d’assurer le bon fonctionnement de nombreux systèmes d’IA, en particulier lorsque des techniques axées sur l’entraînement de modèles sont utilisées, afin de garantir que le système d’IA à haut risque fonctionne comme prévu et en toute sécurité et qu’il ne devient pas une source de discrimination interdite par le droit de l’Union. Les jeux de données d’entraînement, de validation et de test de haute qualité nécessitent la mise en œuvre de pratiques de gouvernance et de gestion des données appropriées. Les jeux de données d’entraînement, de validation et de test, y compris les étiquettes, devraient être pertinents, suffisamment représentatifs et, dans toute la mesure du possible, exempts d’erreurs et complets au regard de la destination du système. Afin de faciliter le respect du droit de l’Union sur la protection des données, tel que le règlement (UE) 2016/679, les pratiques en matière de gouvernance et de gestion des données devraient inclure, dans le cas des données à caractère personnel, la transparence quant à la finalité initiale de la collecte des données. Les jeux de données devraient également posséder les propriétés statistiques voulues, y compris en ce qui concerne les personnes ou groupes de personnes pour lesquels le système d’IA à haut risque est destiné à être utilisé, en accordant une attention particulière à l’atténuation des éventuels biais dans les jeux de données qui sont susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou de se traduire par une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les entrées pour les opérations futures («boucles de rétroaction»). Des biais peuvent, par exemple, être inhérents à des jeux de données sous-jacents, en particulier lorsque des données historiques sont utilisées, ou générés lorsque les systèmes sont mis en œuvre dans des conditions réelles. Les résultats produits par les systèmes d’IA pourraient être influencés par ces biais inhérents, qui ont tendance à se renforcer progressivement et ainsi à perpétuer et à amplifier les discriminations existantes, en particulier pour les personnes appartenant à certains groupes vulnérables, y compris les groupes ethniques ou raciaux. L’exigence selon laquelle les jeux de données doivent être dans toute la mesure du possible complets et exempts d’erreurs ne devrait pas avoir d’effet sur l’utilisation de techniques respectueuses de la vie privée dans le contexte du développement et de la mise à l’essai des systèmes d’IA. En particulier, les jeux de données devraient prendre en considération, dans la mesure requise au regard de leur destination, les propriétés, les caractéristiques ou les éléments qui sont propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA est destiné à être utilisé. Les exigences relatives à la gouvernance des données peuvent être respectées en faisant appel à des tiers qui proposent des services de conformité certifiés, y compris la vérification de la gouvernance des données, l’intégrité des jeux de données et les pratiques d’entraînement, de validation et de mise à l’essai des données, dans la mesure où le respect des exigences du présent règlement en matière de données est garanti.

(68)

Pour le développement et l’évaluation de systèmes d’IA à haut risque, certains acteurs, tels que les fournisseurs, les organismes notifiés et d’autres entités concernées, telles que les pôles européens d’innovation numérique, les installations d’expérimentation et d’essai et les centres de recherche, devraient être en mesure d’avoir accès à des jeux de données de haute qualité dans leurs domaines d’activité liés au présent règlement et d’utiliser de tels jeux de données. Les espaces européens communs des données créés par la Commission et la facilitation du partage de données d’intérêt public entre les entreprises et avec le gouvernement seront essentiels pour fournir un accès fiable, responsable et non discriminatoire à des données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA. Par exemple, dans le domaine de la santé, l’espace européen des données de santé facilitera l’accès non discriminatoire aux données de santé et l’entraînement d’algorithmes d’IA à l’aide de ces jeux de données, d’une manière respectueuse de la vie privée, sûre, rapide, transparente et digne de confiance, et avec une gouvernance institutionnelle appropriée. Les autorités compétentes concernées, y compris les autorités sectorielles, qui fournissent ou facilitent l’accès aux données peuvent aussi faciliter la fourniture de données de haute qualité pour l’entraînement, la validation et la mise à l’essai des systèmes d’IA.

(69)

Le droit au respect de la vie privée et à la protection des données à caractère personnel doit être garanti tout au long du cycle de vie du système d’IA. À cet égard, les principes de minimisation et de protection des données dès la conception et par défaut, tels qu’énoncés dans le droit de l’Union sur la protection des données, sont applicables lorsque des données à caractère personnel sont traitées. Les mesures prises par les fournisseurs pour garantir le respect de ces principes peuvent inclure non seulement l’anonymisation et le cryptage, mais aussi l’utilisation d’une technologie qui permet l’introduction d’algorithmes dans les données ainsi que l’entraînement des systèmes d’IA sans transmission entre parties ou copie des données brutes ou structurées elles-mêmes, sans préjudice des exigences en matière de gouvernance des données prévues par le présent règlement.

(70)

Afin de protéger le droit d’autrui contre la discrimination qui pourrait résulter des biais dans les systèmes d’IA, les fournisseurs devraient, à titre exceptionnel, et dans la mesure où cela est strictement nécessaire aux fins de la détection et de la correction des biais en ce qui concerne les systèmes d’IA à haut risque, sous réserve de garanties appropriées pour les libertés et droits fondamentaux des personnes physiques et à la suite de l’application de toutes les conditions applicables prévues par le présent règlement en plus des conditions énoncées dans les règlements (UE) 2016/679 et (UE) 2018/1725 et dans la directive (UE) 2016/680, être en mesure de traiter également des catégories particulières de données à caractère personnel, pour des raisons d’intérêt public important au sens de l’article 9, paragraphe 2, point g), du règlement (UE) 2016/679 et de l’article 10, paragraphe 2, point g), du règlement (UE) 2018/1725.

(71)

Il est essentiel de disposer d’informations compréhensibles sur la manière dont les systèmes d’IA à haut risque ont été développés et sur leur fonctionnement tout au long de leur durée de vie afin de permettre la traçabilité de ces systèmes, de vérifier le respect des exigences du présent règlement et de surveiller le fonctionnement des systèmes en question et d’assurer leur surveillance après commercialisation. Cela nécessite la tenue de registres et la disponibilité d’une documentation technique contenant les informations nécessaires pour évaluer la conformité du système d’IA avec les exigences pertinentes et faciliter la surveillance après commercialisation. Ces informations devraient notamment porter sur les caractéristiques générales, les capacités et les limites du système, sur les algorithmes, les données et les processus d’entraînement, de mise à l’essai et de validation utilisés, ainsi que sur le système de gestion des risques mis en place et être établies de façon claire et exhaustive. La documentation technique devrait être dûment tenue à jour tout au long de la durée de vie du système d’IA. Par ailleurs, les systèmes d’IA à haut risque devraient permettre, sur le plan technique, l’enregistrement automatique des événements, au moyen de journaux, tout au long de la durée de vie du système.

(72)

Afin de répondre aux préoccupations liées à l’opacité et à la complexité de certains systèmes d’IA et d’aider les déployeurs à remplir les obligations qui leur incombent en vertu du présent règlement, la transparence devrait être requise pour les systèmes d’IA à haut risque avant leur mise sur le marché ou leur mise en service. Les systèmes d’IA à haut risque devraient être conçus de manière à permettre aux déployeurs de comprendre le fonctionnement du système d’IA, d’évaluer sa fonctionnalité et de comprendre ses forces et ses limites. Les systèmes d’IA à haut risque devraient être accompagnés d’informations appropriées sous la forme d’une notice d’utilisation. Ces informations devraient inclure les caractéristiques, les capacités et les limites de la performance du système d’IA. Il s’agirait des informations sur les éventuelles circonstances connues et prévisibles liées à l’utilisation du système d’IA à haut risque, y compris l’action des déployeurs susceptible d’influencer le comportement et la performance du système, dans le cadre desquelles le système d’IA peut entraîner des risques pour la santé, la sécurité et les droits fondamentaux, sur les changements qui ont été déterminés au préalable et évalués à des fins de conformité par le fournisseur et sur les mesures de contrôle humain pertinentes, y compris les mesures visant à faciliter l’interprétation des sorties du système d’IA par les déployeurs. La transparence, y compris la notice d’utilisation jointe au système, devrait aider les déployeurs à utiliser celui-ci et à prendre des décisions en connaissance de cause. Les déployeurs devraient, entre autres, être mieux à même de faire le bon choix quant au système qu’ils ont l’intention d’utiliser à la lumière des obligations qui leur sont applicables, d’être informés sur les utilisations prévues et interdites et d’utiliser le système d’IA correctement et le cas échéant. Afin d’améliorer la lisibilité et l’accessibilité des informations figurant dans la notice d’utilisation, il convient, le cas échéant, d’inclure des exemples illustratifs, par exemple sur les limitations et sur les utilisations prévues et interdites du système d’IA. Les fournisseurs devraient veiller à ce que toute la documentation, y compris la notice d’utilisation, contienne des informations utiles, complètes, accessibles et compréhensibles, compte tenu des besoins et des connaissances prévisibles des déployeurs visés. La notice d’utilisation devrait être mise à disposition dans une langue aisément compréhensible par les déployeurs visés, déterminée par l’État membre concerné.

(73)

Les systèmes d’IA à haut risque devraient être conçus et développés de manière à ce que les personnes physiques puissent superviser leur fonctionnement et veiller à ce qu’ils soient utilisés comme prévu et à ce que leurs incidences soient prises en compte tout au long de leur cycle de vie. À cette fin, des mesures appropriées de contrôle humain devraient être établies par le fournisseur du système avant sa mise sur le marché ou sa mise en service. En particulier, le cas échéant, de telles mesures devraient garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent pas être ignorées par le système lui-même, que le système répond aux ordres de l’opérateur humain et que les personnes physiques auxquelles le contrôle humain a été confié ont les compétences, la formation et l’autorité nécessaires pour s’acquitter de ce rôle. Il est également essentiel, le cas échéant, de veiller à ce que les systèmes d’IA à haut risque comprennent des mécanismes destinés à guider et à informer une personne physique à laquelle le contrôle humain a été confié, afin qu’elle puisse décider en connaissance de cause s’il faut intervenir, à quel moment et de quelle manière, pour éviter des conséquences négatives ou des risques, ou arrêter le système s’il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas d’erreur dans les correspondances établies par certains systèmes d’identification biométrique, il convient de prévoir pour ces systèmes une exigence de contrôle humain accru, de manière qu’aucune mesure ou décision ne puisse être prise par le déployeur sur la base de l’identification obtenue par le système, à moins qu’elle n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes pourraient provenir d’une ou de plusieurs entités et compter parmi elles la personne qui fait fonctionner le système ou l’utilise. Cette exigence ne devrait pas entraîner de charges ou de retards inutiles, et il pourrait suffire que les vérifications effectuées séparément par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines que sont les activités répressives, la migration, les contrôles aux frontières et l’asile, cette exigence ne devrait pas s’appliquer lorsque le droit de l’Union ou le droit national considère que cette application est disproportionnée.

(74)

Les systèmes d’IA à haut risque devraient produire des résultats d’une qualité constante tout au long de leur cycle de vie et assurer un niveau approprié d’exactitude, de robustesse et de cybersécurité, au vu de leur destination et conformément à l’état de la technique généralement reconnu. La Commission et les organisations et parties prenantes concernées sont encouragées à tenir dûment compte de l’atténuation des risques et des incidences négatives du système d’IA. Le niveau attendu des indicateurs de performance devrait être indiqué dans la notice d’utilisation jointe au système. Les fournisseurs sont instamment invités à communiquer ces informations aux déployeurs d’une manière claire et aisément compréhensible, sans malentendus ou déclarations trompeuses. Le droit de l’Union en matière de métrologie légale, y compris les directives 2014/31/UE (35) et 2014/32/UE (36) du Parlement européen et du Conseil, vise à garantir l’exactitude des mesures et à contribuer à la transparence et à la loyauté des transactions commerciales. Dans ce contexte, en coopération avec les parties prenantes et organisations concernées, telles que les autorités de métrologie et d’étalonnage des performances, la Commission devrait encourager, le cas échéant, l’élaboration de critères de référence et de méthodes de mesure pour les systèmes d’IA. Ce faisant, la Commission devrait prendre note des partenaires internationaux travaillant sur la métrologie et les indicateurs de mesure pertinents relatifs à l’IA et collaborer avec ceux-ci.

(75)

La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Il convient qu’ils soient résilients face aux comportements préjudiciables ou, plus généralement, indésirables pouvant résulter de limites intrinsèques aux systèmes ou dues à l’environnement dans lequel les systèmes fonctionnent (par exemple les erreurs, les défaillances, les incohérences et les situations inattendues). Par conséquent, des mesures techniques et organisationnelles devraient être prises pour garantir la robustesse des systèmes d’IA à haut risque, par exemple en concevant et développant des solutions techniques appropriées pour prévenir ou réduire au minimum les comportements préjudiciables ou, plus généralement, indésirables. Ces solutions techniques peuvent comprendre, par exemple, des mécanismes permettant au système d’interrompre son fonctionnement en toute sécurité (mesures de sécurité après défaillance) en présence de certaines anomalies ou en cas de fonctionnement en dehors de certaines limites déterminées au préalable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de sorties inexactes ou biaisées générées par le système d’IA.

(76)

La cybersécurité joue un rôle crucial pour ce qui est de garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement ou leur performance ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent passer par des ressources propres à l’IA, telles que les jeux de données d’entraînement (par exemple pour l’empoisonnement de données) ou l’entraînement des modèles (par exemple pour des attaques contradictoires ou des attaques par inférence d’appartenance), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées, telles que des contrôles de sécurité, devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente.

(77)

Sans préjudice des exigences relatives à la robustesse et à l’exactitude énoncées dans le présent règlement, les systèmes d’IA à haut risque qui relèvent du champ d’application du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, conformément audit règlement, peuvent démontrer leur conformité avec les exigences de cybersécurité du présent règlement en satisfaisant aux exigences essentielles de cybersécurité énoncées audit règlement. Lorsqu’ils satisfont aux exigences essentielles du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, les systèmes d’IA à haut risque devraient être réputés conformes aux exigences de cybersécurité énoncées dans le présent règlement dans la mesure où le respect de ces exigences est démontré dans la déclaration UE de conformité, ou dans des parties de celle-ci, délivrée en vertu dudit règlement. À cette fin, l’évaluation des risques en matière de cybersécurité associés à un produit comportant des éléments numériques classé comme système d’IA à haut risque conformément au présent règlement, effectuée en vertu du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques, devrait tenir compte des risques pesant sur la cyberrésilience d’un système d’IA en ce qui concerne les tentatives de tiers non autorisés de modifier son utilisation, son comportement ou sa performance, y compris les vulnérabilités spécifiques à l’IA telles que l’empoisonnement des données ou les attaques hostiles, ainsi que, le cas échéant, les risques pesant sur les droits fondamentaux, comme l’exige le présent règlement.

(78)

La procédure d’évaluation de la conformité prévue par le présent règlement devrait s’appliquer en ce qui concerne les exigences essentielles de cybersécurité d’un produit comportant des éléments numériques relevant du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques et classé comme système d’IA à haut risque en vertu du présent règlement. Toutefois, l’application de cette règle ne devrait pas entraîner de réduction du niveau d’assurance nécessaire pour les produits critiques comportant des éléments numériques couverts par le règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques. Par conséquent, par dérogation à cette règle, les systèmes d’IA à haut risque qui relèvent du champ d’application du présent règlement et sont également considérés comme des produits critiques importants comportant des éléments numériques en vertu du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques et auxquels s’applique la procédure d’évaluation de la conformité fondée sur le contrôle interne visée à l’annexe du présent règlement, sont soumis aux dispositions relatives à l’évaluation de la conformité du règlement du Parlement européen et du Conseil concernant des exigences horizontales en matière de cybersécurité pour les produits comportant des éléments numériques en ce qui concerne les exigences essentielles de cybersécurité énoncées dans ledit règlement. Dans ce cas, les dispositions respectives relatives à l’évaluation de la conformité fondée sur le contrôle interne énoncées à l’annexe du présent règlement devraient s’appliquer à tous les autres aspects couverts par le présent règlement. En s’appuyant sur les connaissances et l’expertise de l’ENISA en ce qui concerne la politique de cybersécurité et les tâches qui lui sont confiées en vertu du règlement (UE) 2019/881 du Parlement européen et du Conseil (37), la Commission devrait coopérer avec l’ENISA sur les questions liées à la cybersécurité des systèmes d’IA.

(79)

Il convient qu’une personne physique ou morale spécifique, définie comme étant le fournisseur, assume la responsabilité de la mise sur le marché ou de la mise en service d’un système d’IA à haut risque, indépendamment du fait que cette personne physique ou morale soit ou non la personne qui a conçu ou développé le système.

(80)

En leur qualité de signataires de la convention des Nations unies relative aux droits des personnes handicapées, l’Union et les États membres sont légalement tenus de protéger les personnes handicapées contre la discrimination et de promouvoir leur égalité, de veiller à ce que les personnes handicapées aient accès, au même titre que les autres, aux technologies et aux systèmes d’information et de communication, ainsi que de garantir le respect de leur vie privée. Compte tenu de l’importance et de l’utilisation croissantes des systèmes d’IA, l’application des principes de conception universelle à toutes les nouvelles technologies et à tous les nouveaux services devrait garantir un accès complet et égal à toute personne potentiellement concernée par les technologies d’IA ou les utilisant, y compris les personnes handicapées, d’une manière qui tienne pleinement compte de leur dignité et de leur diversité intrinsèques. Il est donc essentiel que les fournisseurs garantissent la pleine conformité avec les exigences en matière d’accessibilité, y compris la directive (UE) 2016/2102 du Parlement européen et du Conseil (38) et la directive (UE) 2019/882. Les fournisseurs devraient veiller au respect de ces exigences dès la conception. Les mesures nécessaires devraient donc être aussi intégrées que possible dans la conception des systèmes d’IA à haut risque.

(81)

Le fournisseur devrait mettre en place un système solide de gestion de la qualité, garantir le respect de la procédure d’évaluation de la conformité requise, rédiger la documentation pertinente et mettre en place un système solide de surveillance après commercialisation. Les fournisseurs de systèmes d’IA à haut risque qui sont soumis à des obligations en matière de systèmes de gestion de la qualité en vertu du droit sectoriel pertinent de l’Union devraient avoir la possibilité d’intégrer les éléments du système de gestion de la qualité prévus par le présent règlement dans le système de gestion de la qualité existant prévu dans cet autre droit sectoriel de l’Union. La complémentarité entre le présent règlement et le droit sectoriel existant de l’Union devrait également être prise en compte dans les futures activités ou orientations de normalisation de la Commission. Les autorités publiques qui mettent en service des systèmes d’IA à haut risque destinés à être utilisés exclusivement par elles peuvent adopter et mettre en œuvre les règles relatives au système de gestion de la qualité dans le cadre du système de gestion de la qualité adopté au niveau national ou régional, selon le cas, en tenant compte des spécificités du secteur, ainsi que des compétences et de l’organisation de l’autorité publique concernée.

(82)

Pour permettre le contrôle de l’application du présent règlement et créer des conditions de concurrence équitables pour les opérateurs, et compte tenu des différentes formes de mise à disposition des produits numériques, il est important de veiller à ce que, en toutes circonstances, une personne établie dans l’Union puisse fournir aux autorités toutes les informations nécessaires sur la conformité d’un système d’IA. Par conséquent, avant de mettre leurs systèmes d’IA à disposition dans l’Union, les fournisseurs établis dans des pays tiers devraient nommer, par mandat écrit, un mandataire établi dans l’Union. Ce mandataire joue un rôle capital en ce sens qu’il veille à la conformité des systèmes d’IA à haut risque mis sur le marché ou mis en service dans l’Union par des fournisseurs qui ne sont pas établis dans l’Union et sert à ces derniers de point de contact établi dans l’Union.

(83)

Compte tenu de la nature et de la complexité de la chaîne de valeur des systèmes d’IA, et conformément au nouveau cadre législatif, il est essentiel de garantir la sécurité juridique et de faciliter le respect du présent règlement. Par conséquent, il est nécessaire de préciser le rôle et les obligations spécifiques des opérateurs concernés tout au long de ladite chaîne de valeur, tels que les importateurs et les distributeurs qui peuvent contribuer au développement des systèmes d’IA. Dans certaines situations, ces opérateurs pourraient jouer plus d’un rôle en même temps et devraient donc remplir toutes les obligations pertinentes associées à ces rôles. Par exemple, un opérateur pourrait agir à la fois en tant que distributeur et importateur.

(84)

Afin de garantir la sécurité juridique, il est nécessaire de préciser que, dans certaines conditions particulières, tout distributeur, importateur, déployeur ou autre tiers devrait être considéré comme un fournisseur d’un système d’IA à haut risque et, par conséquent, assumer toutes les obligations correspondantes. Tel serait le cas si cette partie met son nom ou sa marque sur un système d’IA à haut risque déjà mis sur le marché ou mis en service, sans préjudice des dispositions contractuelles stipulant que les obligations sont attribuées d’une autre manière. Tel serait aussi le cas si cette partie apporte une modification substantielle à un système d’IA à haut risque qui a déjà été mis sur le marché ou a déjà été mis en service et de telle sorte qu’il demeure un système d’IA à haut risque conformément au présent règlement, ou si elle modifie la destination d’un système d’IA, y compris un système d’IA à usage général, qui n’a pas été classé comme étant à haut risque et qui a déjà été mis sur le marché ou mis en service, de telle sorte que le système d’IA devient un système d’IA à haut risque conformément au présent règlement. Ces dispositions devraient s’appliquer sans préjudice de dispositions plus spécifiques établies dans certains actes législatifs de l’Union en matière d’harmonisation reposant sur le nouveau cadre législatif avec lesquels le présent règlement devrait s’appliquer. Par exemple, l’article 16, paragraphe 2, du règlement (UE) 2017/745, qui dispose que certaines modifications ne devraient pas être considérées comme des modifications d’un dispositif susceptibles d’influer sur sa conformité avec les exigences applicables, devrait continuer de s’appliquer aux systèmes d’IA à haut risque constituant des dispositifs médicaux au sens dudit règlement.

(85)

Les systèmes d’IA à usage général peuvent être utilisés comme des systèmes d’IA à haut risque en tant que tels ou comme des composants d’autres systèmes d’IA à haut risque. Dès lors, en raison de leur nature particulière, et afin de garantir un partage équitable des responsabilités tout au long de la chaîne de valeur de l’IA, les fournisseurs de systèmes d’IA à usage général, indépendamment du fait que ces systèmes puissent être utilisés comme des systèmes d’IA à haut risque en tant que tels par d’autres fournisseurs ou comme des composants de systèmes d’IA à haut risque, et sauf dispositions contraires du présent règlement, devraient coopérer étroitement avec les fournisseurs des systèmes d’IA à haut risque concernés afin de leur permettre de se conformer aux obligations pertinentes prévues par le présent règlement et avec les autorités compétentes établies en vertu du présent règlement.

(86)

Lorsque, dans les conditions prévues par le présent règlement, le fournisseur qui a initialement mis sur le marché ou mis en service le système d’IA ne devrait plus être considéré comme le fournisseur aux fins du présent règlement, et lorsque ce fournisseur n’a pas expressément exclu le changement du système d’IA en un système d’IA à haut risque, ce fournisseur devrait néanmoins coopérer étroitement, mettre à disposition les informations nécessaires et fournir l’accès technique raisonnablement attendu et toute autre assistance qui sont requis pour le respect des obligations énoncées dans le présent règlement, notamment en ce qui concerne la conformité avec l’évaluation de la conformité des systèmes d’IA à haut risque.

(87)

En outre, lorsqu’un système d’IA à haut risque qui est un composant de sécurité d’un produit relevant du champ d’application de la législation d’harmonisation de l’Union reposant sur le nouveau cadre législatif n’est pas mis sur le marché ou mis en service indépendamment du produit, le fabricant du produit défini par cette législation devrait se conformer aux obligations du fournisseur établies dans le présent règlement et devrait, en particulier, garantir que le système d’IA intégré dans le produit final est conforme aux exigences du présent règlement.

(88)

Tout au long de la chaîne de valeur de l’IA, plusieurs parties fournissent souvent des systèmes, des outils et des services d’IA, mais aussi des composants ou des processus que le fournisseur intègre dans le système d’IA avec plusieurs objectifs, dont l’entraînement de modèles, le réentraînement de modèles, la mise à l’essai et l’évaluation de modèles, l’intégration dans des logiciels ou d’autres aspects du développement de modèles. Ces parties ont un rôle important à jouer dans la chaîne de valeur vis-à-vis du fournisseur du système d’IA à haut risque dans lequel leurs systèmes, outils, services, composants ou processus d’IA sont intégrés, et devraient fournir à ce fournisseur, en vertu d’un accord écrit, les informations, les capacités, l’accès technique et toute autre assistance nécessaires sur la base de l’état de la technique généralement reconnu, afin de lui permettre de se conformer pleinement aux obligations énoncées dans le présent règlement, sans compromettre leurs propres droits de propriété intellectuelle ou secrets d’affaires.

(89)

Les tiers qui rendent accessibles au public des outils, services, processus ou composants d’IA autres que des modèles d’IA à usage général ne devraient pas être tenus de se conformer aux exigences visant les responsabilités tout au long de la chaîne de valeur de l’IA, en particulier à l’égard du fournisseur qui les a utilisés ou intégrés, lorsque ces outils, services, processus ou composants d’IA sont rendus accessibles sous licence libre et ouverte. Les développeurs d’outils, de services, de processus ou de composants d’IA libres et ouverts autres que les modèles d’IA à usage général devraient être encouragés à mettre en œuvre des pratiques documentaires largement adoptées, telles que les cartes modèles et les fiches de données, afin d’accélérer le partage d’informations tout au long de la chaîne de valeur de l’IA, ce qui permettrait de promouvoir des systèmes d’IA fiables dans l’Union.

(90)

La Commission pourrait élaborer et recommander des clauses contractuelles types volontaires à établir entre les fournisseurs de systèmes d’IA à haut risque et les tiers qui fournissent des outils, des services, des composants ou des processus qui sont utilisés ou intégrés dans les systèmes d’IA à haut risque, afin de faciliter la coopération tout au long de la chaîne de valeur. Lorsqu’elle élabore des clauses contractuelles types volontaires, la Commission devrait aussi tenir compte des éventuelles exigences contractuelles applicables dans des secteurs ou des activités spécifiques.

(91)

Compte tenu de la nature des systèmes d’IA et des risques pour la sécurité et les droits fondamentaux potentiellement associés à leur utilisation, notamment en ce qui concerne la nécessité d’assurer un suivi adéquat de la performance d’un système d’IA dans un contexte réel, il convient de définir des responsabilités spécifiques pour les déployeurs. Les déployeurs devraient en particulier prendre des mesures techniques et organisationnelles appropriées pour pouvoir utiliser les systèmes d’IA à haut risque conformément à la notice d’utilisation, et certaines autres obligations devraient être prévues en ce qui concerne la surveillance du fonctionnement des systèmes d’IA et la tenue de registres, selon le cas. En outre, les déployeurs devraient veiller à ce que les personnes chargées de mettre en œuvre la notice d’utilisation et au contrôle humain des systèmes énoncées dans le présent règlement possèdent les compétences nécessaires, en particulier un niveau adéquat de maîtrise, de formation et d’autorité en matière d’IA pour s’acquitter correctement de ces tâches. Ces obligations devraient être sans préjudice des autres obligations des déployeurs en ce qui concerne les systèmes d’IA à haut risque en vertu du droit de l’Union ou du droit national.

(92)

Le présent règlement est sans préjudice de l’obligation qu’ont les employeurs d’informer ou d’informer et de consulter les travailleurs ou leurs représentants en vertu du droit et des pratiques nationales ou de l’Union, y compris la directive 2002/14/CE du Parlement européen et du Conseil (39), sur les décisions de mise en service ou d’utilisation de systèmes d’IA. Il reste nécessaire de veiller à ce que les travailleurs et leurs représentants soient informés du déploiement prévu de systèmes d’IA à haut risque sur le lieu de travail lorsque les conditions de cette obligation d’information ou d’information et de consultation figurant dans d’autres instruments juridiques ne sont pas remplies. En outre, ce droit à l’information est accessoire et nécessaire à l’objectif de protection des droits fondamentaux qui sous-tend le présent règlement. Par conséquent, il convient de prévoir une obligation d’information à cet effet dans le présent règlement, sans porter atteinte aux droits existants des travailleurs.

(93)

Si des risques liés aux systèmes d’IA peuvent découler de la manière dont ces systèmes sont conçus, ils peuvent également provenir de la manière dont ces systèmes d’IA sont utilisés. Les déployeurs de systèmes d’IA à haut risque jouent donc un rôle essentiel pour ce qui est de garantir la protection des droits fondamentaux, en complétant les obligations du fournisseur lors du développement du système d’IA. Les déployeurs sont les mieux placés pour comprendre comment le système d’IA à haut risque sera utilisé concrètement et peuvent donc identifier les risques importants potentiels qui n’étaient pas prévus au cours de la phase de développement, en raison d’une connaissance plus précise du contexte d’utilisation et des personnes ou groupes de personnes susceptibles d’être concernés, y compris les groupes vulnérables. Les déployeurs de systèmes d’IA à haut risque énumérés dans une annexe du présent règlement contribuent également de façon essentielle à informer les personnes physiques et devraient, lorsqu’ils prennent des décisions ou facilitent la prise de décisions concernant des personnes physiques, selon le cas, informer lesdites personnes physiques qu’elles sont soumises à l’utilisation du système d’IA à haut risque. Cette information devrait comprendre la destination du système et le type de décisions prises. Les déployeurs devraient aussi informer les personnes physiques de leur droit à une explication prévu par le présent règlement. En ce qui concerne les systèmes d’IA à haut risque utilisés à des fins répressives, cette obligation devrait être mise en œuvre conformément à l’article 13 de la directive (UE) 2016/680.

(94)

Tout traitement de données biométriques intervenant dans l’utilisation de systèmes d’IA à des fins d’identification biométrique de nature répressive doit être conforme à l’article 10 de la directive (UE) 2016/680, qui n’autorise un tel traitement que lorsque cela est strictement nécessaire, sous réserve de garanties appropriées pour les droits et libertés de la personne concernée, et lorsqu’il est autorisé par le droit de l’Union ou le droit d’un État membre. Une telle utilisation, lorsqu’elle est autorisée, doit également respecter les principes énoncés à l’article 4, paragraphe 1, de la directive (UE) 2016/680, notamment la licéité, la loyauté et la transparence, la limitation des finalités, l’exactitude et la limitation de la conservation.

(95)

Sans préjudice du droit de l’Union applicable, en particulier le règlement (UE) 2016/679 et la directive (UE) 2016/680, et compte tenu de la nature intrusive des systèmes d’identification biométrique à distance a posteriori, l’utilisation de systèmes d’identification biométrique à distance a posteriori devrait être soumise à des garanties. Les systèmes d’identification biométrique à distance a posteriori devraient toujours être utilisés d’une manière proportionnée, légitime et strictement nécessaire, et donc ciblée, en ce qui concerne les personnes à identifier, le lieu et la portée temporelle et fondée sur un jeu de données fermé d’images vidéo légalement acquises. En tout état de cause, les systèmes d’identification biométrique à distance a posteriori ne devraient pas être utilisés dans le cadre d’activités répressives pour mener à une surveillance aveugle. Les conditions d’identification biométrique à distance a posteriori ne devraient en aucun cas constituer une base permettant de contourner les conditions applicables en ce qui concerne l’interdiction et les exceptions strictes pour l’identification biométrique à distance en temps réel.

(96)

Afin de garantir efficacement la protection des droits fondamentaux, les déployeurs de systèmes d’IA à haut risque qui sont des organismes de droit public ou des entités privées fournissant des services publics et des déployeurs de certains systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, tels que des entités bancaires ou d’assurance, devraient procéder à une analyse d’impact de ces systèmes concernant les droits fondamentaux avant de les mettre en service. Les services à caractère public importants pour les personnes peuvent également être fournis par des entités privées. Les entités privées fournissant de tels services publics sont liées à des missions d’intérêt public dans des domaines tels que l’éducation, les soins de santé, les services sociaux, le logement et l’administration de la justice. L’analyse d’impact concernant les droits fondamentaux vise à ce que le déployeur identifie les risques spécifiques pour les droits des personnes ou groupes de personnes susceptibles d’être concernés et à ce qu’il détermine les mesures à prendre en cas de matérialisation de ces risques. L’analyse d’impact devrait être réalisée avant le premier déploiement du système d’IA à haut risque et être mise à jour lorsque le déployeur estime que l’un des facteurs pertinents a changé. L’analyse d’impact devrait identifier les processus pertinents du déployeur dans lesquels le système d’IA à haut risque sera utilisé conformément à sa destination, et devrait indiquer la durée pendant laquelle le système est destiné à être utilisé et selon quelle fréquence ainsi que les catégories spécifiques de personnes physiques et de groupes susceptibles d’être concernés dans le contexte spécifique d’utilisation. L’analyse devrait aussi déterminer les risques spécifiques de préjudice susceptibles d’avoir une incidence sur les droits fondamentaux de ces personnes ou groupes. Afin que cette analyse soit réalisée correctement, le déployeur devrait tenir compte des informations pertinentes, y compris, mais sans s’y limiter, les informations communiquées par le fournisseur du système d’IA à haut risque dans la notice d’utilisation. À la lumière des risques recensés, les déployeurs devraient déterminer les mesures à prendre en cas de matérialisation de ces risques, y compris, par exemple, les dispositions en matière de gouvernance dans ce contexte spécifique d’utilisation, telles que les dispositions pour le contrôle humain conformément à la notice d’utilisation ou les procédures de traitement des plaintes et de recours, en ce qu’elles pourraient contribuer à atténuer les risques pour les droits fondamentaux dans des cas d’utilisation concrets. Après avoir réalisé cette analyse d’impact, le déployeur devrait en informer l’autorité de surveillance du marché concernée. Le cas échéant, pour recueillir les informations pertinentes nécessaires à la réalisation de l’analyse d’impact, les déployeurs de systèmes d’IA à haut risque, en particulier lorsque des systèmes d’IA sont utilisés dans le secteur public, pourraient associer les parties prenantes concernées, y compris les représentants de groupes de personnes susceptibles d’être concernés par le système d’IA, les experts indépendants et les organisations de la société civile, à la réalisation de cette analyse d’impact et à la conception des mesures à prendre en cas de matérialisation des risques. Le Bureau européen de l’intelligence artificielle (ci-après dénommé «Bureau de l’IA») devrait élaborer un modèle de questionnaire afin de faciliter la mise en conformité et de réduire la charge administrative pesant sur les déployeurs.

(97)

La notion de modèles d’IA à usage général devrait être clairement définie et distincte de la notion de systèmes d’IA afin de garantir la sécurité juridique. La définition devrait se fonder sur les principales caractéristiques fonctionnelles d’un modèle d’IA à usage général, en particulier la généralité et la capacité d’exécuter de manière compétente un large éventail de tâches distinctes. Ces modèles sont généralement entraînés avec de grandes quantités de données, au moyen de diverses méthodes, telles que l’apprentissage auto-supervisé, non supervisé ou par renforcement. Les modèles d’IA à usage général peuvent être mis sur le marché de différentes manières, notamment au moyen de bibliothèques, d’interfaces de programmation d’applications (API), de téléchargements directs ou de copies physiques. Ces modèles peuvent être modifiés ou affinés et ainsi se transformer en nouveaux modèles. Bien que les modèles d’IA soient des composants essentiels des systèmes d’IA, ils ne constituent pas en soi des systèmes d’IA. Les modèles d’IA nécessitent l’ajout d’autres composants, tels qu’une interface utilisateur, pour devenir des systèmes d’IA. Les modèles d’IA sont généralement intégrés dans les systèmes d’IA et en font partie. Le présent règlement prévoit des règles spécifiques pour les modèles d’IA à usage général et pour les modèles d’IA à usage général qui présentent des risques systémiques, lesquelles devraient également s’appliquer lorsque ces modèles sont intégrés dans un système d’IA ou en font partie. Il convient de considérer que les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient s’appliquer une fois que ces modèles sont mis sur le marché. Lorsque le fournisseur d’un modèle d’IA à usage général intègre un propre modèle dans son propre système d’IA qui est mis à disposition sur le marché ou mis en service, ce modèle devrait être considéré comme étant mis sur le marché et, par conséquent, les obligations prévues par le présent règlement pour les modèles devraient continuer de s’appliquer en plus de celles applicables aux systèmes d’IA. Les obligations prévues pour les modèles ne devraient en aucun cas s’appliquer lorsqu’un propre modèle est utilisé pour des processus purement internes qui ne sont pas essentiels à la fourniture d’un produit ou d’un service à des tiers et que les droits des personnes physiques ne sont pas affectés. Compte tenu de leurs effets potentiellement très négatifs, les modèles d’IA à usage général présentant un risque systémique devraient toujours être soumis aux obligations pertinentes prévues par le présent règlement. La définition ne devrait pas couvrir les modèles d’IA utilisés avant leur mise sur le marché aux seules fins d’activités de recherche, de développement et de prototypage. Cela est sans préjudice de l’obligation de se conformer au présent règlement lorsque, à la suite de telles activités, un modèle est mis sur le marché.

(98)

Alors que la généralité d’un modèle pourrait, entre autres, également être déterminée par un nombre de paramètres, les modèles comptant au moins un milliard de paramètres et entraînés à l’aide d’un grand nombre de données utilisant l’auto-supervision à grande échelle devraient être considérés comme présentant une généralité significative et exécutant de manière compétente un large éventail de tâches distinctes.

(99)

Les grands modèles d’IA génératifs sont un exemple typique d’un modèle d’IA à usage général, étant donné qu’ils permettent la production flexible de contenus, tels que du texte, de l’audio, des images ou de la vidéo, qui peuvent aisément s’adapter à un large éventail de tâches distinctes.

(100)

Lorsqu’un modèle d’IA à usage général est intégré dans un système d’IA ou en fait partie, ce système devrait être considéré comme un système d’IA à usage général lorsque, en raison de cette intégration, ce système a la capacité de répondre à divers usages. Un système d’IA à usage général peut être utilisé directement ou être intégré dans d’autres systèmes d’IA.

(101)

Les fournisseurs de modèles d’IA à usage général ont un rôle et une responsabilité particuliers tout au long de la chaîne de valeur de l’IA, étant donné que les modèles qu’ils fournissent peuvent constituer la base d’une série de systèmes en aval, souvent fournis par des fournisseurs en aval, qui nécessitent une bonne compréhension des modèles et de leurs capacités, à la fois pour permettre l’intégration de ces modèles dans leurs produits et pour remplir les obligations qui leur incombent en vertu du présent règlement ou d’autres règlements. Par conséquent, des mesures de transparence proportionnées devraient être prévues, y compris l’élaboration et la tenue à jour de la documentation, et la fourniture d’informations sur le modèle d’IA à usage général en vue de son utilisation par les fournisseurs en aval. La documentation technique devrait être élaborée et tenue à jour par le fournisseur de modèles d’IA à usage général afin qu’elle puisse être mise, sur demande, à la disposition du Bureau de l’IA et des autorités nationales compétentes. L’ensemble minimal d’éléments à inclure dans cette documentation devrait figurer dans des annexes spécifiques du présent règlement. La Commission devrait être habilitée à modifier ces annexes par voie d’actes délégués à la lumière des évolutions technologiques.

(102)

Les logiciels et les données, y compris les modèles, publiés dans le cadre d’une licence libre et ouverte grâce à laquelle ils peuvent être partagés librement et qui permet aux utilisateurs de librement consulter, utiliser, modifier et redistribuer ces logiciels et données ou leurs versions modifiées peuvent contribuer à la recherche et à l’innovation sur le marché et offrir d’importantes possibilités de croissance pour l’économie de l’Union. Les modèles d’IA à usage général publiés sous licence libre et ouverte devraient être considérés comme garantissant des niveaux élevés de transparence et d’ouverture si leurs paramètres, y compris les poids, les informations sur l’architecture du modèle et les informations sur l’utilisation du modèle, sont rendus publics. La licence devrait également être considérée comme libre et ouverte lorsqu’elle permet aux utilisateurs d’exploiter, de copier, de distribuer, d’étudier, de modifier et d’améliorer les logiciels et les données, y compris les modèles, à condition que le fournisseur initial du modèle soit crédité et que les conditions de distribution identiques ou comparables soient respectées.

(103)

Les composants d’IA libres et ouverts couvrent les logiciels et les données, y compris les modèles et les modèles à usage général, outils, services ou processus d’un système d’IA. Les composants d’IA libres et ouverts peuvent être fournis par différents canaux, y compris leur développement dans des référentiels ouverts. Aux fins du présent règlement, les composants d’IA qui sont fournis contre paiement ou monétisés, y compris par la fourniture d’un soutien technique ou d’autres services, notamment au moyen d’une plateforme logicielle, liés au composant d’IA, ou l’utilisation de données à caractère personnel pour des raisons autres qu’aux fins exclusives de l’amélioration de la sécurité, de la compatibilité ou de l’interopérabilité des logiciels, à l’exception des transactions entre micro-entreprises, ne devraient pas bénéficier des exceptions prévues pour les composants d’IA libres et ouverts. La mise à disposition de composants d’IA au moyen de référentiels ouverts ne devrait pas, en soi, constituer une monétisation.

(104)

Les fournisseurs de modèles d’IA à usage général qui sont publiés sous licence libre et ouverte et dont les paramètres, y compris les poids, les informations sur l’architecture des modèles et les informations sur l’utilisation des modèles, sont rendus publics devraient faire l’objet d’exceptions en ce qui concerne les exigences en matière de transparence imposées pour les modèles d’IA à usage général, à moins que les modèles ne puissent être considérés comme présentant un risque systémique, auquel cas le fait que les modèles soient transparents et accompagnés d’une licence ouverte ne devrait pas être considéré comme une raison suffisante pour exclure le respect des obligations prévues par le présent règlement. En tout état de cause, étant donné que la publication de modèles d’IA à usage général sous licence libre et ouverte ne révèle pas nécessairement des informations importantes sur le jeu de données utilisé pour l’entraînement ou de réglage fin du modèle et sur la manière dont le respect de la législation sur le droit d’auteur a été assuré, l’exception prévue pour les modèles d’IA à usage général en ce qui concerne les exigences en matière de transparence ne devrait pas concerner l’obligation de produire un résumé du contenu utilisé pour l’entraînement des modèles ni l’obligation de mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur, en particulier pour identifier et respecter la réservation de droits au titre de l’article 4, paragraphe 3, de la directive (UE) 2019/790 du Parlement européen et du Conseil (40).

(105)

Les modèles d’IA à usage général, en particulier les grands modèles d’IA génératifs, capables de générer du texte, des images et d’autres contenus, présentent des possibilités d’innovation uniques mais aussi des défis pour les artistes, les auteurs et les autres créateurs, et la manière dont leur contenu créatif est créé, distribué, utilisé et consommé. Le développement et l’entraînement de ces modèles requièrent un accès à de grandes quantités de texte, d’images, de vidéos et d’autres données. Les techniques de fouille de textes et de données peuvent être largement utilisées dans ce contexte pour extraire et analyser ces contenus, qui peuvent être protégés par le droit d’auteur et les droits voisins. Toute utilisation d’un contenu protégé par le droit d’auteur nécessite l’autorisation du titulaire de droits concerné, à moins que des exceptions et limitations pertinentes en matière de droit d’auteur ne s’appliquent. La directive (UE) 2019/790 a introduit des exceptions et des limitations autorisant les reproductions et extractions d’œuvres ou d’autres objets protégés aux fins de la fouille de textes et de données, sous certaines conditions. En vertu de ces règles, les titulaires de droits peuvent choisir de réserver leurs droits sur leurs œuvres ou autres objets protégés afin d’empêcher la fouille de textes et de données, à moins que celle-ci ne soit effectuée à des fins de recherche scientifique. Lorsque les droits d’exclusion ont été expressément réservés de manière appropriée, les fournisseurs de modèles d’IA à usage général doivent obtenir une autorisation des titulaires de droits s’ils souhaitent procéder à une fouille de textes et de données sur ces œuvres.

(106)

Les fournisseurs qui mettent des modèles d’IA à usage général sur le marché de l’Union devraient veiller au respect des obligations pertinentes prévues par le présent règlement. À cette fin, les fournisseurs de modèles d’IA à usage général devraient mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur et les droits voisins, en particulier pour identifier et respecter la réservation de droits exprimées par les titulaires de droits conformément à l’article 4, paragraphe 3, de la directive (UE) 2019/790. Tout fournisseur qui met un modèle d’IA à usage général sur le marché de l’Union devrait se conformer à cette obligation, quelle que soit la juridiction dans laquelle se déroulent les actes pertinents au titre du droit d’auteur qui sous-tendent l’entraînement de ces modèles d’IA à usage général. Cela est nécessaire pour garantir des conditions de concurrence équitables entre les fournisseurs de modèles d’IA à usage général, lorsqu’aucun fournisseur ne devrait pouvoir obtenir un avantage concurrentiel sur le marché de l’Union en appliquant des normes en matière de droit d’auteur moins élevées que celles prévues dans l’Union.

(107)

Afin d’accroître la transparence concernant les données utilisées dans le cadre de l’entraînement préalable et de l’entraînement des modèles d’IA à usage général, y compris le texte et les données protégés par la législation sur le droit d’auteur, il convient que les fournisseurs de ces modèles élaborent et mettent à la disposition du public un résumé suffisamment détaillé du contenu utilisé pour entraîner les modèles d’IA à usage général. Tout en tenant dûment compte de la nécessité de protéger les secrets d’affaires et les informations commerciales confidentielles, ce résumé devrait être généralement complet en termes de contenu plutôt que détaillé sur le plan technique afin d’aider les parties ayant des intérêts légitimes, y compris les titulaires de droits d’auteur, à exercer et à faire respecter les droits que leur confère la législation de l’Union, par exemple en énumérant les principaux jeux ou collections de données utilisés pour entraîner le modèle, tels que les archives de données ou bases de données publiques ou privées de grande ampleur, et en fournissant un texte explicatif sur les autres sources de données utilisées. Il convient que le Bureau de l’IA fournisse un modèle de résumé, qui devrait être simple et utile et permettre au fournisseur de fournir le résumé requis sous forme descriptive.

(108)

En ce qui concerne l’obligation imposée aux fournisseurs de modèles d’IA à usage général de mettre en place une politique visant à respecter la législation de l’Union sur le droit d’auteur et de mettre à la disposition du public un résumé du contenu utilisé pour l’entraînement, le Bureau de l’IA devrait vérifier si le fournisseur a rempli cette obligation sans vérifier ou évaluer œuvre par œuvre les données d’entraînement en ce qui concerne le respect du droit d’auteur. Le présent règlement n’affecte pas l’application des règles en matière de droit d’auteur prévues par la législation de l’Union.

(109)

Le respect des obligations applicables aux fournisseurs de modèles d’IA à usage général devrait correspondre et être proportionné au type de fournisseur de modèles, excluant la nécessité de se conformer pour les personnes qui développent ou utilisent des modèles à des fins non professionnelles ou de recherche scientifique, lesquelles devraient néanmoins être encouragées à se conformer volontairement à ces exigences. Sans préjudice de la législation de l’Union sur le droit d’auteur, le respect de ces obligations devrait tenir dûment compte de la taille du fournisseur et permettre aux PME, y compris aux jeunes pousses, de recourir à des méthodes simplifiées de mise en conformité qui ne devraient pas représenter un coût excessif et décourager l’utilisation de tels modèles. En cas de modification ou de réglage fin d’un modèle, les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient se limiter à cette modification ou à ce réglage fin, par exemple en complétant la documentation technique existante avec des informations sur les modifications, y compris les nouvelles sources de données d’entraînement, aux fins de conformité avec les obligations relatives à la chaîne de valeur prévues par le présent règlement.

(110)

Les modèles d’IA à usage général pourraient présenter des risques systémiques qui comprennent, sans s’y limiter, tout effet négatif réel ou raisonnablement prévisible en rapport avec des accidents majeurs, des perturbations de secteurs critiques et des conséquences graves pour la santé et la sécurité publiques, tout effet négatif réel ou raisonnablement prévisible sur les processus démocratiques, la sécurité publique et la sécurité économique, et la diffusion de contenus illicites, faux ou discriminatoires. Les risques systémiques devraient être perçus comme augmentant avec les capacités et la portée du modèle, peuvent survenir tout au long du cycle de vie du modèle et sont influencés par les conditions de mauvaise utilisation, la fiabilité du modèle, l’équité et la sécurité du modèle, le niveau d’autonomie du modèle, son accès aux outils, les modalités nouvelles ou combinées, les stratégies de publication et de distribution, le potentiel de suppression des garde-fous et d’autres facteurs. En particulier, les approches internationales ont jusqu’à présent mis en évidence la nécessité de prêter attention aux risques liés à une potentielle mauvaise utilisation intentionnelle ou à des problèmes non intentionnels de contrôle liés à l’alignement sur l’intention humaine, aux risques chimiques, biologiques, radiologiques et nucléaires, tels que les moyens d’abaisser les barrières à l’entrée, y compris pour la mise au point, l’acquisition ou l’utilisation d’armes, aux cybercapacités offensives, tels que les moyens permettant la découverte, l’exploitation ou l’utilisation opérationnelle de vulnérabilités, aux effets de l’interaction et de l’utilisation des outils, y compris, par exemple, la capacité de contrôler les systèmes physiques et d’interférer avec les infrastructures critiques, aux risques liés à la possibilité que les modèles fassent des copies d’eux-mêmes ou «s’auto-reproduisent» ou qu’ils entraînent d’autres modèles, à la manière dont les modèles peuvent donner lieu à des préjugés et des discriminations préjudiciables présentant des risques pour les individus, les communautés ou les sociétés, à la facilitation de la désinformation ou au préjudice porté à la vie privée par des menaces pour les valeurs démocratiques et les droits de l’homme, et au risque qu’un événement particulier entraîne une réaction en chaîne s’accompagnant d’effets négatifs considérables qui pourraient aller jusqu’à affecter toute une ville, tout un secteur d’activité ou toute une communauté.

(111)

Il convient d’établir une méthode de classification des modèles d’IA à usage général en tant que modèle d’IA à usage général présentant des risques systémiques. Étant donné que les risques systémiques résultent de capacités particulièrement élevées, un modèle d’IA à usage général devrait être considéré comme présentant des risques systémiques s’il a des capacités à fort impact, évaluées sur la base de méthodologies et d’outils techniques appropriés, ou une incidence significative sur le marché intérieur en raison de sa portée. Les capacités à fort impact des modèles d’IA à usage général sont des capacités égales ou supérieures aux capacités des modèles d’IA à usage général les plus avancés. L’éventail complet des capacités d’un modèle pourrait être mieux compris après sa mise sur le marché ou lorsque les déployeurs interagissent avec le modèle. Selon l’état de la technique au moment de l’entrée en vigueur du présent règlement, la quantité cumulée de calculs utilisée pour l’entraînement du modèle d’IA à usage général mesurée en opérations en virgule flottante est l’une des approximations pertinentes pour les capacités du modèle. La quantité cumulée de calculs utilisée pour l’entraînement inclut les calculs utilisés pour l’ensemble des activités et méthodes destinées à renforcer les capacités du modèle avant le déploiement, telles que l’entraînement préalable, la production de données synthétiques et le réglage fin. Par conséquent, il convient de fixer un seuil initial d’opérations en virgule flottante, qui, s’il est atteint par un modèle d’IA à usage général, conduit à présumer qu’il s’agit d’un modèle d’IA à usage général présentant des risques systémiques. Ce seuil devrait être ajusté au fil du temps pour tenir compte des évolutions technologiques et industrielles, telles que les améliorations algorithmiques ou l’amélioration de l’efficacité des matériels, et être complété par des critères de référence et des indicateurs pour la capacité du modèle. À cette fin, le Bureau de l’IA devrait coopérer avec la communauté scientifique, l’industrie, la société civile et d’autres experts. Les seuils, ainsi que les outils et les critères de référence pour l’évaluation des capacités à fort impact, devraient être de bons indicateurs de la généralité et des capacités des modèles d’IA à usage général ainsi que du risque systémique qui y est associé, et pourraient tenir compte de la manière dont le modèle sera mis sur le marché ou du nombre d’utilisateurs qu’il pourrait affecter. Afin de compléter ce système, la Commission devrait avoir la possibilité de prendre des décisions individuelles désignant un modèle d’IA à usage général comme modèle d’IA à usage général présentant un risque systémique s’il est constaté que ce modèle a des capacités ou une incidence équivalentes à celles relevant du seuil fixé. Ces décisions devraient être prises sur la base d’une évaluation globale des critères de désignation des modèles d’IA à usage général présentant un risque systémique énoncés dans une annexe du présent règlement, tels que la qualité ou la taille du jeu de données d’entraînement, le nombre d’utilisateurs professionnels et finaux du modèle, ses modalités d’entrée et de sortie, son niveau d’autonomie et d’évolutivité, ou les outils auxquels il a accès. Sur demande motivée d’un fournisseur dont le modèle a été désigné comme modèle d’IA à usage général présentant un risque systémique, la Commission devrait tenir compte de la demande et peut décider de réévaluer si le modèle d’IA à usage général peut encore être considéré comme présentant un risque systémique.

(112)

Il convient également d’établir de façon précise une procédure de classification d’un modèle d’IA à usage général présentant un risque systémique. Il convient de présumer qu’un modèle d’IA à usage général qui atteint le seuil applicable pour les capacités à fort impact est un modèle d’IA à usage général présentant un risque systémique. Le fournisseur devrait informer le Bureau de l’IA au plus tard deux semaines après que les exigences ont été remplies ou qu’il a été établi qu’un modèle d’IA à usage général répondra aux exigences qui conduisent à la présomption. Cela est particulièrement important en ce qui concerne le seuil d’opérations en virgule flottante, car l’entraînement des modèles d’IA à usage général nécessite une planification considérable qui inclut l’allocation préalable des ressources de calcul, et, par conséquent, les fournisseurs de modèles d’IA à usage général sont en mesure de savoir si leur modèle atteindra le seuil avant l’achèvement de l’entraînement. Dans le cadre de cette information, le fournisseur devrait pouvoir démontrer que, en raison de ses caractéristiques spécifiques, un modèle d’IA à usage général ne présente pas, exceptionnellement, de risques systémiques et qu’il ne devrait donc pas être classé comme modèle d’IA à usage général présentant des risques systémiques. Ces éléments d’information sont utiles pour le Bureau de l’IA en ce qu’ils lui permettent d’anticiper la mise sur le marché de modèles d’IA à usage général présentant des risques systémiques, et les fournisseurs peuvent ainsi commencer à coopérer avec le Bureau de l’IA à un stade précoce. Ils sont particulièrement importants en ce qui concerne les modèles d’IA à usage général qu’il est prévu de publier en tant que source ouverte, étant donné que, après la publication des modèles de source ouverte, les mesures nécessaires pour garantir le respect des obligations prévues par le présent règlement peuvent être plus difficiles à mettre en œuvre.

(113)

Si la Commission prend connaissance du fait qu’un modèle d’IA à usage général satisfait aux exigences de classification en tant que modèle d’IA à usage général présentant un risque systémique, qui n’était pas connu auparavant ou dont le fournisseur concerné n’avait pas informé la Commission, celle-ci devrait être habilitée à désigner ce modèle comme tel. Un système d’alertes qualifiées devrait garantir que le Bureau de l’IA est informé par le panel scientifique des modèles d’IA à usage général qui devraient éventuellement être classés comme modèles d’IA à usage général présentant un risque systémique, en plus des activités de suivi du Bureau de l’IA.

(114)

Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient être soumis non seulement aux obligations prévues pour les fournisseurs de modèles d’IA à usage général mais aussi à des obligations visant à identifier et à atténuer ces risques et à garantir un niveau adéquat de protection de la cybersécurité, que les modèles en question soient fournis en tant que modèles autonomes ou qu’ils soient intégrés dans un système ou un produit d’IA. Pour atteindre ces objectifs, le présent règlement devrait exiger des fournisseurs qu’ils effectuent les évaluations nécessaires des modèles, en particulier avant leur première mise sur le marché, y compris la réalisation et la documentation d’essais contradictoires des modèles, ainsi que, le cas échéant, au moyen d’essais internes ou externes indépendants. En outre, les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer en permanence les risques systémiques, y compris, par exemple, en mettant en place des politiques de gestion des risques, telles que des processus de responsabilité et de gouvernance, en mettant en œuvre une surveillance après commercialisation, en prenant des mesures appropriées tout au long du cycle de vie du modèle et en coopérant avec les acteurs pertinents tout au long de la chaîne de valeur de l’IA.

(115)

Les fournisseurs de modèles d’IA à usage général présentant des risques systémiques devraient évaluer et atténuer les éventuels risques systémiques. Si, malgré les efforts déployés pour recenser et prévenir les risques liés à un modèle d’IA à usage général susceptible de présenter des risques systémiques, le développement ou l’utilisation du modèle cause un incident grave, le fournisseur de modèle d’IA à usage général devrait, sans retard injustifié, réaliser un suivi de l’incident et communiquer toute information pertinente et toute mesure corrective éventuelle à la Commission et aux autorités nationales compétentes. En outre, les fournisseurs devraient garantir un niveau approprié de protection en matière de cybersécurité en ce qui concerne le modèle et son infrastructure physique, le cas échéant, tout au long du cycle de vie du modèle. La protection en matière de cybersécurité contre les risques systémiques associés à une utilisation malveillante ou à des attaques devrait tenir dûment compte des fuites accidentelles du modèle, des publications non autorisées, du contournement des mesures de sécurité ainsi que de la défense contre les cyberattaques, l’accès non autorisé ou le vol de modèle. Une telle protection pourrait être facilitée par la sécurisation des poids du modèle, des algorithmes, des serveurs et des jeux de données, notamment au moyen de mesures de sécurité opérationnelle relatives à la sécurité de l’information, de politiques spécifiques en matière de cybersécurité, de solutions techniques établies adéquates, et de contrôles de l’accès physique ou informatique, qui soient adaptés aux circonstances particulières et aux risques encourus.

(116)

Le Bureau de l’IA devrait encourager et faciliter l’élaboration, le réexamen et l’adaptation des codes de bonne pratique, en tenant compte des approches internationales. Tous les fournisseurs de modèles d’IA à usage général pourraient être invités à participer. Afin de veiller à ce que les codes de bonne pratique correspondent à l’état de la technique et prennent dûment en compte un ensemble divers de perspectives, le Bureau de l’IA devrait collaborer avec les autorités nationales compétentes concernées et pourrait, selon qu’il convient, consulter les organisations de la société civile et d’autres parties prenantes et experts pertinents, notamment le groupe scientifique, pour l’élaboration de ces codes. Les codes de bonne pratique devraient traiter des obligations incombant aux fournisseurs de modèles d’IA à usage général, et de modèles d’IA à usage général présentant des risques systémiques. En outre, en ce qui concerne les risques systémiques, les codes de bonne pratique devraient contribuer à établir une taxinomie des risques reprenant le type et la nature des risques systémiques au niveau de l’Union, ainsi que leur source. Les codes de bonne pratique devraient également mettre l’accent sur une évaluation des risques et des mesures d’atténuation spécifiques.

(117)

Les codes de bonne pratique devraient constituer un outil central pour assurer le bon respect des obligations qui incombent aux fournisseurs de modèles d’IA à usage général au titre du présent règlement. Les fournisseurs devraient pouvoir s’appuyer sur des codes de bonne pratique pour démontrer qu’ils respectent leurs obligations. Par voie d’actes d’exécution, la Commission pourrait décider d’approuver un code de bonnes pratiques et de lui conférer une validité générale au sein de l’Union ou, à défaut, de fixer des règles communes pour la mise en œuvre des obligations pertinentes si un code de bonnes pratiques ne peut pas être mis au point avant que le présent règlement ne devienne applicable, ou si un tel code n’est pas considéré comme adéquat par le Bureau de l’IA. Dès lors qu’une norme harmonisée est publiée et jugée appropriée par le Bureau de l’IA au regard des obligations pertinentes, les fournisseurs devraient bénéficier de la présomption de conformité lorsqu’ils respectent une norme européenne harmonisée. En outre, les fournisseurs de modèles d’IA à usage général devraient être en mesure de démontrer la conformité en utilisant d’autres moyens adéquats en l’absence de codes de bonne pratique ou de normes harmonisées ou s’ils choisissent de ne pas s’appuyer sur ceux-ci.

(118)

Le présent règlement régit les systèmes et modèles d’IA en instituant certaines exigences et obligations visant les acteurs du marché concernés qui les mettent sur le marché, les mettent en service ou les utilisent dans l’Union, complétant ainsi les obligations incombant aux fournisseurs de services intermédiaires qui intègrent de tels systèmes ou modèles dans leurs services relevant du règlement (UE) 2022/2065. Dans la mesure où ces systèmes ou modèles sont intégrés dans des très grandes plateformes en ligne ou des très grands moteurs de recherche en ligne, ils sont soumis au cadre de gestion des risques établi par le règlement (UE) 2022/2065. Par conséquent, il devrait être présumé que les obligations correspondantes du présent règlement sont remplies, à moins que des risques systémiques importants non couverts par le règlement (UE) 2022/2065 n’apparaissent et ne soient recensés dans de tels modèles. Dans ce contexte, les fournisseurs de très grandes plateformes en ligne et de très grands moteurs de recherche en ligne sont tenus d’évaluer les risques systémiques découlant de la conception, du fonctionnement et de l’utilisation de leurs services, y compris la manière dont la conception des systèmes algorithmiques utilisés dans un service pourrait contribuer à ces risques, ainsi que les risques systémiques découlant de mauvaises utilisations éventuelles. Ces fournisseurs sont également tenus de prendre les mesures d’atténuation appropriées pour assurer le respect des droits fondamentaux.

(119)

Compte tenu du rythme rapide de l’innovation et de l’évolution technologique des services numériques relevant du champ d’application de différents instruments du droit de l’Union, en particulier à la lumière de l’utilisation et de la perception de leurs destinataires, les systèmes d’IA régis par le présent règlement pourraient être fournis en tant que services intermédiaires ou parties de ceux-ci au sens du règlement (UE) 2022/2065, qui devrait être interprété de manière neutre sur le plan technologique. Par exemple, les systèmes d’IA pourraient être utilisés pour fournir des moteurs de recherche en ligne, en particulier, dans la mesure où un système d’IA tel qu’un dialogueur réalise des recherches sur, en principe, tous les sites web, puis en intègre les résultats dans ses connaissances existantes et utilise les connaissances mises à jour pour générer une sortie unique qui combine différentes sources d’information.

(120)

En outre, les obligations imposées aux fournisseurs et aux déployeurs de certains systèmes d’IA au titre du présent règlement afin de permettre la détection et la mention du fait que les sorties produites par ces systèmes sont générées ou manipulées par une IA revêtent une importance particulière pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela vaut en particulier pour les obligations incombant aux fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne consistant à recenser et à atténuer les risques systémiques susceptibles de découler de la diffusion de contenus qui ont été générés ou manipulés par une IA, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat public et les processus électoraux, notamment par le biais de la désinformation.

(121)

La normalisation devrait jouer un rôle essentiel pour fournir des solutions techniques aux fournisseurs afin de garantir la conformité avec le présent règlement, suivant les technologies les plus récentes, et de promouvoir l’innovation ainsi que la compétitivité et la croissance dans le marché unique. Le respect des normes harmonisées telles que définies à l’article 2, point 1) c), du règlement (UE) no 1025/2012 du Parlement européen et du Conseil (41), qui doivent normalement tenir compte des évolutions technologiques les plus récentes, devrait être un moyen pour les fournisseurs de démontrer la conformité avec les exigences du présent règlement. Il convient donc d’encourager une représentation équilibrée des intérêts en associant toutes les parties prenantes concernées à l’élaboration des normes, en particulier les PME, les organisations de consommateurs et les acteurs environnementaux et sociaux, conformément aux articles 5 et 6 du règlement (UE) no 1025/2012. Afin de faciliter le respect de la législation, les demandes de normalisation devraient être formulées par la Commission sans retard injustifié. Lorsqu’elle élabore les demandes de normalisation, la Commission devrait consulter le forum consultatif et le Comité IA afin de recueillir l’expertise pertinente. Toutefois, en l’absence de références pertinentes à des normes harmonisées, la Commission devrait être en mesure d’établir, au moyen d’actes d’exécution, et après consultation du forum consultatif, des spécifications communes pour certaines exigences au titre du présent règlement. Les spécifications communes devraient être une solution de repli exceptionnelle pour faciliter l’obligation du fournisseur de se conformer aux exigences du présent règlement, lorsque la demande de normalisation n’a été acceptée par aucune des organisations européennes de normalisation, ou lorsque les normes harmonisées pertinentes ne répondent pas suffisamment aux préoccupations en matière de droits fondamentaux, ou lorsque les normes harmonisées ne sont pas conformes à la demande, ou lorsque l’adoption d’une norme harmonisée appropriée accuse des retards. Lorsqu’un tel retard dans l’adoption d’une norme harmonisée est dû à la complexité technique de ladite norme, la Commission devrait en tenir compte avant d’envisager l’établissement de spécifications communes. Lorsqu’elle élabore des spécifications communes, la Commission est encouragée à coopérer avec des partenaires internationaux et des organismes internationaux de normalisation.

(122)

Il convient que, sans préjudice de l’utilisation de normes harmonisées et de spécifications communes, les fournisseurs d’un système d’IA à haut risque qui a été entraîné et testé avec des données reflétant le cadre géographique, comportemental, contextuel ou fonctionnel spécifique dans lequel il est destiné à être utilisé soient présumés comme se conformant à la mesure pertinente prévue au titre de l’exigence en matière de gouvernance des données énoncée dans le présent règlement. Sans préjudice des exigences liées à la robustesse et à l’exactitude énoncées dans le présent règlement, conformément à l’article 54, paragraphe 3, du règlement (UE) 2019/881, les systèmes d’IA à haut risque qui ont été certifiés ou pour lesquels une déclaration de conformité a été délivrée dans le cadre d’un schéma de cybersécurité en vertu dudit règlement et dont les références ont été publiées au Journal officiel de l’Union européenne devraient être présumés conformes aux exigences de cybersécurité du présent règlement dans la mesure où le certificat de cybersécurité ou la déclaration de conformité, ou des parties de ceux-ci, couvrent l’exigence de cybersécurité du présent règlement. Cet aspect demeure sans préjudice du caractère volontaire dudit schéma de cybersécurité.

(123)

Afin de garantir un niveau élevé de fiabilité des systèmes d’IA à haut risque, ces systèmes devraient être soumis à une évaluation de la conformité avant leur mise sur le marché ou leur mise en service.

(124)

Afin de réduire au minimum la charge pesant sur les opérateurs et d’éviter les éventuels doubles emplois, la conformité avec les exigences du présent règlement des systèmes d’IA à haut risque liés à des produits couverts par la législation d’harmonisation existante de l’Union fondée sur le nouveau cadre législatif devrait être évaluée dans le cadre de l’évaluation de la conformité déjà prévue en vertu de cette législation. L’applicabilité des exigences du présent règlement ne devrait donc pas avoir d’incidence sur la logique, la méthode ou la structure générale propres à l’évaluation de la conformité au titre de la législation d’harmonisation de l’Union pertinente.

(125)

Compte tenu de la complexité des systèmes d’IA à haut risque et des risques qui y sont associés, il importe d’élaborer une procédure d’évaluation de la conformité adéquat faisant intervenir les organismes notifiés pour ces systèmes, dite «évaluation de conformité par un tiers». Toutefois, étant donné l’expérience actuelle des organismes professionnels de certification avant mise sur le marché dans le domaine de la sécurité des produits et de la nature différente des risques encourus, il convient de limiter, au moins dans une phase initiale d’application du présent règlement, le champ d’application des évaluations de la conformité réalisées par un tiers aux systèmes d’IA à haut risque autres que ceux liés à des produits. Par conséquent, l’évaluation de la conformité de ces systèmes devrait en règle générale être réalisée par le fournisseur sous sa propre responsabilité, à la seule exception des systèmes d’IA destinés à être utilisés à des fins de biométrie.

(126)

Afin de procéder à des évaluations de la conformité par un tiers lorsque cela est nécessaire, les organismes notifiés devraient être notifiés en vertu du présent règlement par les autorités nationales compétentes, sous réserve qu’ils satisfassent à un ensemble d’exigences portant en particulier sur leur indépendance, leur compétence, l’absence de conflits d’intérêts et les exigences appropriées en matière de cybersécurité. La notification de ces organismes devrait être envoyée par les autorités nationales compétentes à la Commission et aux autres États membres à l’aide de l’outil de notification électronique mis au point et géré par la Commission, conformément à l’annexe I, article R23, de la décision no 768/2008/CE.

(127)

Conformément aux engagements pris par l’Union au titre de l’accord de l’Organisation mondiale du commerce sur les obstacles techniques au commerce, il convient de faciliter la reconnaissance mutuelle des résultats des évaluations de la conformité produits par les organismes d’évaluation de la conformité compétents, indépendamment du territoire sur lequel ils sont établis, à condition que ces organismes d’évaluation de la conformité établis en vertu du droit d’un pays tiers satisfassent aux exigences applicables en vertu du présent règlement et que l’Union ait conclu un accord en ce sens. Dans ce contexte, la Commission devrait étudier activement d’éventuels instruments internationaux à cette fin et, en particulier, œuvrer à la conclusion d’accords de reconnaissance mutuelle avec des pays tiers.

(128)

Conformément à la notion communément établie de modification substantielle pour les produits réglementés par la législation d’harmonisation de l’Union, chaque fois que survient une modification susceptible d’avoir une incidence sur la conformité d’un système d’IA à haut risque avec le présent règlement (par exemple, un changement de système d’exploitation ou d’architecture logicielle) ou que la destination du système change, il convient de considérer ledit système d’IA comme un nouveau système d’IA devant être soumis à nouvelle procédure d’évaluation de la conformité. Cependant, les changements intervenant sur l’algorithme et la performance de systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service, à savoir l’adaptation automatique de la façon dont les fonctions sont exécutées, ne devraient pas constituer une modification substantielle, à condition que ces changements aient été prédéterminés par le fournisseur et évalués au moment de l’évaluation de la conformité.

(129)

Le marquage «CE» devrait être apposé sur les systèmes d’IA à haut risque pour indiquer leur conformité avec le présent règlement afin qu’ils puissent circuler librement dans le marché intérieur. Pour les systèmes d’IA à haut risque intégrés à un produit, un marquage «CE» physique devrait être apposé, éventuellement complété par un marquage «CE» numérique. Pour les systèmes d’IA à haut risque fournis uniquement sous forme numérique, il convient d’utiliser un marquage «CE» numérique. Les États membres devraient s’abstenir de créer des entraves injustifiées à la mise sur le marché ou à la mise en service de systèmes d’IA à haut risque qui satisfont aux exigences fixées dans le présent règlement et portent le marquage «CE».

(130)

Dans certaines conditions, la disponibilité rapide de technologies innovantes peut être cruciale pour la santé et la sécurité des personnes, pour la protection de l’environnement et la lutte contre le changement climatique et pour la société dans son ensemble. Il convient donc que, pour des motifs exceptionnels liés à la sécurité publique ou à la protection de la vie et de la santé des personnes physiques, à la protection de l’environnement et à la protection d’actifs industriels et d’infrastructures d’importance majeure, les autorités de surveillance du marché puissent autoriser la mise sur le marché ou la mise en service de systèmes d’IA qui n’ont pas fait l’objet d’une évaluation de la conformité. Dans des situations dûment justifiées, prévues dans le présent règlement, les autorités répressives ou les autorités de protection civile peuvent mettre en service un système d’IA à haut risque spécifique sans avoir obtenu l’autorisation de l’autorité de surveillance du marché, à condition que cette autorisation soit demandée sans retard injustifié pendant ou après l’utilisation.

(131)

Afin de faciliter les travaux de la Commission et des États membres dans le domaine de l’IA et d’accroître la transparence à l’égard du public, les fournisseurs de systèmes d’IA à haut risque autres que ceux liés à des produits relevant du champ d’application de la législation d’harmonisation existante de l’Union en la matière, ainsi que les fournisseurs qui considèrent qu’un système d’IA inscrit sur la liste des cas d’utilisation à haut risque dans une annexe du présent règlement n’est pas à haut risque sur la base d’une dérogation, devraient être tenus de s’enregistrer eux-mêmes et d’enregistrer les informations relatives à leur système d’IA dans une base de données de l’UE, qui sera établie et gérée par la Commission. Avant d’utiliser un système d’IA inscrit sur la liste des cas d’utilisation à haut risque dans une annexe du présent règlement, les déployeurs de systèmes d’IA à haut risque qui sont des autorités, des agences ou des organismes publics devraient s’enregistrer dans une telle base de données et sélectionner le système qu’ils envisagent d’utiliser. Les autres déployeurs devraient être autorisés à le faire volontairement. Cette section de la base de données de l’UE devrait être accessible au public sans frais, et les informations qu’elle contient devraient être consultables grâce à une navigation aisée et être facilement compréhensibles et lisibles par machine. La base de données de l’UE devrait également être conviviale, par exemple en offrant des fonctionnalités de recherche, y compris par mots-clés, afin de permettre au grand public de trouver les informations pertinentes devant être transmises au moment de l’enregistrement des systèmes d’IA à haut risque et les informations sur le cas d’utilisation de systèmes d’IA à haut risque, énoncés dans une annexe du présent règlement, auquel les systèmes d’IA à haut risque correspondent. Toute modification substantielle de systèmes d’IA à haut risque devrait également être enregistrée dans la base de données de l’UE. En ce qui concerne les systèmes d’IA à haut risque dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, les obligations en matière d’enregistrement devraient être remplies dans une section non publique sécurisée de la base de données de l’UE. L’accès à la section non publique sécurisée devrait être strictement réservé à la Commission, ainsi qu’aux autorités de surveillance du marché pour ce qui est de la section nationale de cette base de données les concernant. Les systèmes d’IA à haut risque dans le domaine des infrastructures critiques ne devraient être enregistrés qu’au niveau national. La Commission devrait faire fonction de responsable du traitement pour la base de données de l’UE, conformément au règlement (UE) 2018/1725. Afin de garantir que la base de données de l’UE soit pleinement opérationnelle une fois déployée, la procédure de création de la base de données devrait prévoir le développement de spécifications fonctionnelles par la Commission et un rapport d’audit indépendant. La Commission devrait tenir compte des risques liés à la cybersécurité dans l’accomplissement de ses missions en tant que responsable du traitement des données dans la base de données de l’UE. Afin de maximiser la disponibilité et l’utilisation de la base de données de l’UE, y compris les informations mises à disposition par son intermédiaire, la base de données de l’UE devrait être conforme aux exigences prévues par la directive (UE) 2019/882.

(132)

Certains systèmes d’IA destinés à interagir avec des personnes physiques ou à générer du contenu peuvent présenter des risques spécifiques d’usurpation d’identité ou de tromperie, qu’ils soient ou non considérés comme étant à haut risque. Dans certaines circonstances, l’utilisation de ces systèmes devrait donc être soumise à des obligations de transparence spécifiques sans préjudice des exigences et obligations relatives aux systèmes d’IA à haut risque et sous réserve d’exemptions ciblées destinées à tenir compte des besoins spécifiques des activités répressives. En particulier, les personnes physiques devraient être avisées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement du point de vue d’une personne physique normalement informée et raisonnablement attentive et avisée, compte tenu des circonstances et du contexte d’utilisation. Lors de la mise en œuvre de cette obligation, les caractéristiques des personnes physiques appartenant à des groupes vulnérables en raison de leur âge ou d’un handicap devraient être prises en compte dans la mesure où le système d’IA est destiné à interagir également avec ces groupes. En outre, les personnes physiques devraient être mises au courant lorsqu’elles sont exposées à des systèmes d’IA qui, en traitant leurs données biométriques, peuvent identifier ou déduire les émotions ou intentions de ces personnes ou les affecter à des catégories spécifiques. Ces catégories spécifiques peuvent avoir trait à des aspects tels que le sexe, l’âge, la couleur des cheveux, la couleur des yeux, les tatouages, les traits personnels, l’origine ethnique, les préférences et les intérêts personnels. Ces informations et notifications devraient être fournies dans des formats accessibles aux personnes handicapées.

(133)

Divers systèmes d’IA peuvent générer de grandes quantités de contenu de synthèse qu’il devient de plus en plus difficile pour les êtres humains de distinguer du contenu authentique généré par des humains. La large disponibilité et les capacités croissantes de ces systèmes ont des conséquences importantes sur l’intégrité de l’écosystème informationnel et la confiance en celui-ci, ce qui pose de nouveaux risques de désinformation et de manipulation à grande échelle, de fraude, d’usurpation d’identité et de tromperie des consommateurs. Compte tenu de ces effets, du rythme rapide de l’évolution technologique et de la nécessité de nouvelles méthodes et techniques pour déterminer l’origine des informations, il convient d’exiger que les fournisseurs de ces systèmes intègrent des solutions techniques permettant le marquage dans un format lisible par machine et la détection du fait que les sorties ont été générées ou manipulées par un système d’IA, et non par un être humain. De telles techniques et méthodes devraient être aussi fiables, interopérables, efficaces et solides que la technologie le permet, et tenir compte des techniques disponibles ou d’une combinaison de ces techniques, telles que les filigranes, les identifications de métadonnées, les méthodes cryptographiques permettant de prouver la provenance et l’authenticité du contenu, les méthodes d’enregistrement, les empreintes digitales ou d’autres techniques, selon qu’il convient. Lorsqu’ils mettent en œuvre cette obligation, les fournisseurs devraient également tenir compte des spécificités et des limites des différents types de contenu, ainsi que des évolutions technologiques et du marché pertinentes dans le domaine, tels qu’elles ressortent de l’état de la technique généralement reconnu. Ces techniques et méthodes peuvent être mises en œuvre au niveau du système d’IA ou au niveau du modèle d’IA, y compris pour les modèles d’IA à usage général qui génèrent du contenu, ce qui facilitera l’accomplissement de cette obligation par le fournisseur en aval du système d’IA. Dans un souci de proportionnalité, il convient d’envisager que cette obligation de marquage ne s’applique pas aux systèmes d’IA qui remplissent une fonction d’assistance pour la mise en forme standard ou les systèmes d’IA qui ne modifient pas de manière substantielle les données d’entrée fournies par le déployeur ou leur sémantique.

(134)

Outre les solutions techniques utilisées par les fournisseurs du système, les déployeurs qui se servent d’un système d’IA pour générer ou manipuler des images ou des contenus audio ou vidéo présentant une ressemblance sensible avec des personnes, des objets, des lieux, des entités ou des événements existants et pouvant être perçu à tort par une personne comme authentiques ou véridiques (hypertrucages), devraient aussi déclarer de manière claire et reconnaissable que le contenu a été créé ou manipulé par une IA en étiquetant les sorties d’IA en conséquence et en mentionnant son origine artificielle. Le respect de cette obligation de transparence ne devrait pas être interprété comme indiquant que l’utilisation du système d’IA ou des sorties qu’il génère entrave le droit à la liberté d’expression et le droit à la liberté des arts et des sciences garantis par la Charte, en particulier lorsque le contenu fait partie d’un travail ou d’un programme manifestement créatif, satirique, artistique; de fiction ou analogue, sous réserve de garanties appropriées pour les droits et libertés de tiers. Dans ces cas, l’obligation de transparence s’appliquant aux hypertrucages au titre du présent règlement se limite à la divulgation de l’existence de tels contenus générés ou manipulés, d’une manière appropriée qui n’entrave pas l’affichage ou la jouissance de l’œuvre, y compris son exploitation et son utilisation normales, tout en préservant l’utilité et la qualité de l’œuvre. En outre, il convient d’envisager une obligation d’information similaire en ce qui concerne le texte généré ou manipulé par l’IA dans la mesure où celui-ci est publié dans le but d’informer le public sur des questions d’intérêt public, à moins que le contenu généré par l’IA n’ait fait l’objet d’un processus d’examen humain ou de contrôle éditorial et qu’une personne physique ou morale assume la responsabilité éditoriale pour la publication du contenu.

(135)

Sans préjudice de la nature obligatoire et de la pleine applicabilité des obligations de transparence, la Commission peut également encourager et faciliter l’élaboration de codes de bonne pratique au niveau de l’Union afin de faciliter la mise en œuvre effective des obligations relatives à la détection et à l’étiquetage des contenus générés ou manipulés par une IA, y compris pour favoriser des modalités pratiques visant, selon qu’il convient, à rendre les mécanismes de détection accessibles et à faciliter la coopération avec d’autres acteurs tout au long de la chaîne de valeur, à diffuser les contenus ou à vérifier leur authenticité et leur provenance pour permettre au public de reconnaître efficacement les contenus générés par l’IA.

(136)

Les obligations incombant aux fournisseurs et aux déployeurs de certains systèmes d’IA au titre du présent règlement afin de permettre la détection et la mention du fait que les sorties de ces systèmes sont générées ou manipulées par une IA revêtent une importance particulière pour faciliter la mise en œuvre effective du règlement (UE) 2022/2065. Cela vaut en particulier pour les obligations incombant aux fournisseurs de très grandes plateformes en ligne ou de très grands moteurs de recherche en ligne consistant à recenser et à atténuer les risques systémiques susceptibles de découler de la diffusion de contenus qui ont été générés ou manipulés par une IA, en particulier le risque d’effets négatifs réels ou prévisibles sur les processus démocratiques, le débat public et les processus électoraux, notamment par le biais de la désinformation. L’exigence relative à l’étiquetage des contenus générés par des systèmes d’IA au titre du présent règlement est sans préjudice de l’obligation prévue à l’article 16, paragraphe 6, du règlement (UE) 2022/2065 imposant aux fournisseurs de services d’hébergement de traiter les signalements de contenus illégaux qu’ils reçoivent au titre de l’article 16, paragraphe 1, dudit règlement, et elle ne devrait pas influencer l’évaluation et la décision quant à l’illégalité du contenu en question. Cette évaluation ne devrait être effectuée qu’au regard des règles régissant la légalité du contenu.

(137)

Le respect des obligations de transparence applicables aux systèmes d’IA relevant du présent règlement ne devrait pas être interprété comme indiquant que l’utilisation du système d’IA ou de ses sorties est licite en vertu du présent règlement ou d’autres actes législatifs de l’Union et des États membres et devrait être sans préjudice d’autres obligations de transparence pour les déployeurs de systèmes d’IA prévues par le droit de l’Union ou le droit national.

(138)

L’IA est une famille de technologies en évolution rapide qui nécessite la mise en place d’un contrôle réglementaire et d’un espace sûr et contrôlé pour l’expérimentation, garantissant également une innovation responsable et l’intégration de garanties et de mesures d’atténuation des risques appropriées. Pour garantir un cadre juridique favorable à l’innovation, à l’épreuve du temps et résilient face aux perturbations, les États membres devraient veiller à ce que leurs autorités nationales compétentes mettent en place au moins un bac à sable réglementaire de l’IA au niveau national pour faciliter le développement et la mise à l’essai de systèmes d’IA innovants sous un contrôle réglementaire strict avant que ces systèmes ne soient mis sur le marché ou mis en service d’une autre manière. Les États membres pourraient également satisfaire à cette obligation en participant à des bacs à sable réglementaires déjà existants ou en établissant conjointement un bac à sable avec les autorités compétentes d’un ou de plusieurs États membres, pour autant que cette participation offre un niveau de couverture nationale équivalent pour les États membres participants. Les bacs à sable réglementaires de l’IA pourraient être mis en place sous forme physique, numérique ou hybride et admettre des produits tant physiques que numériques. Les autorités chargées de les mettre en place devraient également veiller à ce que les bacs à sable réglementaires de l’IA disposent des ressources appropriées pour assurer leur fonctionnement, y compris les ressources financières et humaines.

(139)

Les bacs à sable réglementaires de l’IA devraient avoir pour objectif de favoriser l’innovation dans le domaine de l’IA en créant un environnement contrôlé d’expérimentation et d’essai au stade du développement et de la précommercialisation afin de garantir la conformité des systèmes d’IA innovants avec le présent règlement et d’autres dispositions pertinentes du droit de l’Union et du droit national. De plus, les bacs à sable réglementaires de l’IA devraient viser à renforcer la sécurité juridique pour les innovateurs ainsi que le contrôle et la compréhension, par les autorités compétentes, des possibilités, des risques émergents et des conséquences de l’utilisation de l’IA, de faciliter l’apprentissage réglementaire pour les autorités et les entreprises, y compris en vue d’ajustements futurs du cadre juridique, de soutenir la coopération et l’échange de bonnes pratiques avec les autorités participant au bac à sable réglementaire de l’IA, et d’accélérer l’accès aux marchés, notamment en supprimant les obstacles pour les PME, y compris les jeunes pousses. Les bacs à sable réglementaires de l’IA devraient être largement disponibles dans toute l’Union, et il convient de prêter une attention particulière à leur accessibilité pour les PME, y compris les jeunes pousses. La participation au bac à sable réglementaire de l’IA devrait se concentrer sur les questions qui créent une insécurité juridique pour les fournisseurs et les fournisseurs potentiels avant d’innover, d’expérimenter l’IA dans l’Union et de contribuer à un apprentissage réglementaire fondé sur des données probantes. La surveillance des systèmes d’IA dans le bac à sable réglementaire de l’IA devrait donc porter sur leur développement, leur entraînement, leur mise à l’essai et leur validation avant que les systèmes ne soient mis sur le marché ou mis en service, ainsi que sur la notion et la survenance de modifications substantielles susceptibles de nécessiter une nouvelle procédure d’évaluation de la conformité. Tout risque important recensé lors du développement et de la mise à l’essai de ces systèmes d’IA devrait donner lieu à des mesures d’atténuation adéquates et, à défaut, à la suspension du processus de développement et d’essai. Au besoin, les autorités nationales compétentes mettant en place des bacs à sable réglementaires de l’IA devraient coopérer avec d’autres autorités concernées, y compris celles qui supervisent la protection des droits fondamentaux, et pourraient permettre la participation d’autres acteurs de l’écosystème de l’IA, tels que les organisations nationales ou européennes de normalisation, les organismes notifiés, les installations d’essai et d’expérimentation, les laboratoires de recherche et d’expérimentation, les pôles européens d’innovation numérique, ainsi que les parties prenantes et les organisations de la société civile concernées. Pour assurer une mise en œuvre uniforme dans toute l’Union et des économies d’échelle, il convient d’établir des règles communes pour la mise en place des bacs à sable réglementaires de l’IA ainsi qu’un cadre de coopération entre les autorités compétentes intervenant dans la surveillance des bacs à sable. Les bacs à sable réglementaires de l’IA établis en vertu du présent règlement devraient être sans préjudice d’autres actes législatifs autorisant la création d’autres bacs à sable en vue de garantir le respect de dispositions de droit autres que le présent règlement. Le cas échéant, les autorités compétentes concernées chargées de ces autres bacs à sable réglementaires devraient prendre en considération les avantages de l’utilisation de ces bacs à sable également aux fins d’assurer la conformité des systèmes d’IA avec le présent règlement. Sous réserve d’un accord entre les autorités nationales compétentes et les participants au bac à sable réglementaire de l’IA, il peut également être procédé à des essais en conditions réelles supervisés dans le cadre du bac à sable réglementaire de l’IA.

(140)

Le présent règlement devrait constituer la base juridique pour l’utilisation, par les fournisseurs et fournisseurs potentiels du bac à sable réglementaire de l’IA, des données à caractère personnel collectées à d’autres fins pour le développement de certains systèmes d’IA d’intérêt public dans le cadre du bac à sable réglementaire de l’IA, uniquement dans des conditions déterminées, conformément à l’article 6, paragraphe 4, et à l’article 9, paragraphe 2, point g), du règlement (UE) 2016/679 et aux articles 5, 6 et 10 du règlement (UE) 2018/1725, et sans préjudice de l’article 4, paragraphe 2, et de l’article 10 de la directive (UE) 2016/680. Toutes les autres obligations des responsables du traitement et tous les autres droits des personnes concernées en vertu des règlements (UE) 2016/679 et (UE) 2018/1725 et de la directive (UE) 2016/680 restent applicables. En particulier, le présent règlement ne devrait pas constituer une base juridique au sens de l’article 22, paragraphe 2, point b), du règlement (UE) 2016/679 et de l’article 24, paragraphe 2, point b), du règlement (UE) 2018/1725. Les fournisseurs et fournisseurs potentiels participant au bac à sable réglementaire de l’IA devraient prévoir des garanties appropriées et coopérer avec les autorités compétentes, notamment en suivant leurs orientations et en agissant rapidement et de bonne foi pour atténuer adéquatement tout risque important recensé pour la sécurité, la santé et les droits fondamentaux susceptible de survenir au cours du développement, de la mise à l’essai et de l’expérimentation dans ledit bac à sable.

(141)

Afin d’accélérer le processus de développement et la mise sur le marché des systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, il importe que les fournisseurs ou fournisseurs potentiels de ces systèmes puissent également bénéficier d’un régime particulier pour soumettre ces systèmes à des essais en conditions réelles sans participer à un bac à sable réglementaire de l’IA. Toutefois, dans de tels cas, compte tenu des conséquences possibles de ces essais sur des personnes physiques, il convient de veiller à ce que le présent règlement introduise des garanties et des conditions appropriées et suffisantes pour les fournisseurs ou fournisseurs potentiels. Ces garanties devraient comprendre, entre autres, une demande de consentement éclairé de la part des personnes physiques pour participer à des essais en conditions réelles, sauf en ce qui concerne les services répressifs lorsque la recherche d’un consentement éclairé empêcherait que le système d’IA ne soit mis à l’essai. Le consentement des participants à la participation à ces essais au titre du présent règlement est distinct et sans préjudice du consentement des personnes concernées au traitement de leurs données à caractère personnel en vertu de la législation applicable en matière de protection des données. Il importe également important de réduire les risques au minimum et de permettre aux autorités compétentes d’exercer un contrôle et, par conséquent, d’exiger des fournisseurs potentiels qu’ils disposent d’un plan d’essais en conditions réelles présenté à l’autorité de surveillance du marché compétente, d’enregistrer les essais dans des sections spécifiques de la base de données de l’UE, sous réserve de quelques exceptions limitées, de fixer des limitations de la période pendant laquelle les essais peuvent être menés et d’exiger des garanties supplémentaires pour les personnes appartenant à certains groupes vulnérables, ainsi qu’un accord écrit définissant les rôles et les responsabilités des fournisseurs potentiels et des déployeurs et établissant un contrôle effectif par le personnel compétent participant aux essais en conditions réelles. En outre, il convient d’envisager des garanties supplémentaires pour veiller à ce que les prédictions, recommandations ou décisions d’un système d’IA puissent être infirmées et ignorées de manière effective et à ce que les données à caractère personnel soient protégées et supprimées lorsque les personnes concernées ont retiré leur consentement à participer aux essais, sans qu’il soit porté atteinte aux droits dont elles disposent en tant que personnes concernées en vertu du droit de l’Union en matière de protection des données. En ce qui concerne le transfert de données, il convient en outre d’envisager que les données collectées et traitées aux fins des essais en conditions réelles ne soient transférées vers des pays tiers que lorsque des garanties appropriées et applicables en vertu du droit de l’Union sont en place, en particulier conformément aux bases pour le transfert de données à caractère personnel prévues par le droit de l’Union en matière de protection des données, et que des garanties appropriées soient mises en place pour les données à caractère non personnel conformément au droit de l’Union, notamment les règlements (UE) 2022/868 (42) et (UE) 2023/2854 (43) du Parlement européen et du Conseil.

(142)

Afin de veiller à ce que l’IA engendre des résultats bénéfiques sur le plan social et environnemental, les États membres sont encouragés à soutenir et à promouvoir la recherche et le développement de solutions d’IA propices à tels résultats, telles que des solutions fondées sur l’IA destinées à renforcer l’accessibilité pour les personnes handicapées, à réduire les inégalités socio-économiques ou à atteindre les objectifs environnementaux, en y affectant des ressources suffisantes, y compris des financements publics et de l’Union, et, lorsqu’il convient et pour autant que les critères d’éligibilité et de sélection soient remplis, en envisageant des projets spécifiques qui poursuivent ces objectifs. Ces projets devraient être fondés sur le principe d’une coopération interdisciplinaire entre les développeurs d’IA, les experts en matière d’inégalité et de non-discrimination, d’accessibilité, de droits des consommateurs, de droits environnementaux et numériques, ainsi que les universitaires.

(143)

Afin de promouvoir et de protéger l’innovation, il est important que les intérêts des PME, y compris les jeunes pousses, qui sont des fournisseurs ou des déployeurs de systèmes d’IA bénéficient d’une attention particulière. À cette fin, les États membres devraient prendre des initiatives à l’intention de ces opérateurs, notamment en matière de sensibilisation et de communication d’informations. Les États membres devraient fournir aux PME, y compris les jeunes pousses, qui ont leur siège social ou une succursale dans l’Union un accès prioritaire aux bacs à sable réglementaires de l’IA, à condition qu’elles remplissent les conditions d’éligibilité et les critères de sélection et sans exclure que d’autres fournisseurs et fournisseurs potentiels accèdent aux bacs à sable pour autant que les mêmes conditions et critères soient remplis. Les États membres devraient utiliser les canaux de communication existants, et en établissent de nouveaux s’il y a lieu, avec les PME, y compris les jeunes pousses, les déployeurs, d’autres innovateurs et, le cas échéant, les autorités publiques locales afin de soutenir les PME tout au long de leur trajectoire de développement en leur fournissant des orientations et en répondant à leurs questions concernant la mise en œuvre du présent règlement. Le cas échéant, ces canaux devraient collaborer pour créer des synergies et assurer la cohérence des orientations fournies aux PME, y compris les jeunes pousses, et aux déployeurs. En outre, les États membres devraient faciliter la participation des PME et d’autres parties concernées aux processus d’élaboration de la normalisation. Par ailleurs, les intérêts et les besoins spécifiques des fournisseurs qui sont des PME, y compris des jeunes pousses, devraient être pris en considération lorsque les organismes notifiés fixent les redevances d’évaluation de la conformité. La Commission devrait évaluer régulièrement les coûts de certification et de mise en conformité pour les PME, y compris les jeunes pousses, en menant des consultations transparentes, et devrait collaborer avec les États membres pour réduire ces coûts. Par exemple, les frais de traduction liés à la documentation obligatoire et à la communication avec les autorités peuvent représenter un coût important pour les fournisseurs et d’autres opérateurs, en particulier pour ceux de plus petite envergure. Les États membres devraient éventuellement veiller à ce qu’une des langues qu’ils choisissent et acceptent pour la documentation pertinente des fournisseurs et pour la communication avec les opérateurs soit une langue comprise par le plus grand nombre possible de déployeurs transfrontières. Afin de répondre aux besoins spécifiques des PME, y compris les jeunes pousses, la Commission devrait fournir des modèles normalisés pour les domaines qui relèvent du présent règlement, sur demande du Comité IA. En outre, la Commission devrait compléter les efforts déployés par les États membres en mettant en place une plateforme d’information unique présentant des informations facilement exploitables concernant le présent règlement à l’intention de tous les fournisseurs et déployeurs, en organisant des campagnes de communication appropriées pour faire connaître les obligations découlant du présent règlement, et en évaluant et en promouvant la convergence des bonnes pratiques dans les procédures de passation de marchés publics relatifs aux systèmes d’IA. Les entreprises qui jusqu’à récemment relevaient des «petites entreprises» au sens de l’annexe à la recommandation 2003/361/CE de la Commission (44) devraient avoir accès à ces mesures de soutien, étant donné que ces nouvelles moyennes entreprises peuvent parfois manquer des ressources juridiques et de la formation nécessaires pour avoir une bonne compréhension du présent règlement et en respecter les dispositions.

(144)

Afin de promouvoir et de protéger l’innovation, la plateforme d’IA à la demande, ainsi que l’ensemble des programmes et projets de financement pertinents de l’Union, tels que le programme pour une Europe numérique et Horizon Europe, mis en œuvre par la Commission et les États membres au niveau national ou de l’Union, selon qu’il convient, devraient contribuer à la réalisation des objectifs du présent règlement.

(145)

Afin de réduire au minimum les risques pour la mise en œuvre résultant du manque de connaissances et d’expertise sur le marché, ainsi que de faciliter la mise en conformité des fournisseurs, en particulier des PME, y compris les jeunes pousses, et des organismes notifiés avec les obligations qui leur incombent au titre du présent règlement, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai mis en place par la Commission et les États membres au niveau de l’Union ou au niveau national devraient contribuer à la mise en œuvre du présent règlement. Dans le cadre de leurs missions et domaines de compétence respectifs, la plateforme d’IA à la demande, les pôles européens d’innovation numérique et les installations d’expérimentation et d’essai sont notamment en mesure d’apporter un soutien technique et scientifique aux fournisseurs et aux organismes notifiés.

(146)

En outre, au vu de la très petite taille de certains opérateurs et afin d’assurer la proportionnalité en ce qui concerne les coûts de l’innovation, il convient de permettre aux microentreprises de satisfaire à l’une des obligations les plus coûteuses, à savoir celle de mettre en place un système de gestion de la qualité, d’une manière simplifiée qui réduirait la charge administrative et les coûts pour ces entreprises sans affecter le niveau de protection et la nécessité de se conformer aux exigences applicables aux systèmes d’IA à haut risque. La Commission devrait élaborer des lignes directrices pour préciser quels éléments du système de gestion de la qualité les microentreprises doivent respecter dans le système simplifié.

(147)

Il convient que la Commission facilite, dans la mesure du possible, l’accès aux installations d’expérimentation et d’essai pour les organismes, groupes ou laboratoires qui ont été créés ou accrédités en vertu d’une législation d’harmonisation de l’Union pertinente et qui accomplissent des tâches dans le cadre de l’évaluation de la conformité des produits ou dispositifs couverts par la législation d’harmonisation de l’Union en question. C’est en particulier le cas en ce qui concerne les groupes d’experts, les laboratoires spécialisés et les laboratoires de référence dans le domaine des dispositifs médicaux conformément aux règlements (UE) 2017/745 et (UE) 2017/746.

(148)

Le présent règlement devrait établir un cadre de gouvernance qui permette à la fois de coordonner et de soutenir l’application du présent règlement au niveau national, ainsi que de renforcer les capacités au niveau de l’Union et d’intégrer les parties prenantes dans le domaine de l’IA. La mise en œuvre et le contrôle de l’application effectifs du présent règlement requièrent un cadre de gouvernance qui permette de coordonner et de renforcer l’expertise centrale au niveau de l’Union. Le Bureau de l’IA a été créé par voie d’une décision de la Commission (45) et a pour mission d’approfondir l’expertise et de renforcer les capacités de l’Union dans le domaine de l’IA ainsi que de contribuer à la mise en œuvre de la législation de l’Union sur l’IA. Les États membres devraient faciliter l’accomplissement des missions du Bureau de l’IA en vue de soutenir le développement de l’expertise de l’Union et des capacités au niveau de l’Union et de renforcer le fonctionnement du marché unique numérique. En outre, il convient d’établir un Comité IA composé de représentants des États membres, un groupe scientifique visant à intégrer la communauté scientifique et un forum consultatif visant à recueillir les contributions des parties concernées en vue de la mise en œuvre du présent règlement, au niveau de l’Union et au niveau national. Le développement de l’expertise et des capacités de l’Union devrait également consister à utiliser les ressources et l’expertise existantes, en particulier grâce à des synergies avec les structures établies dans le contexte de l’application au niveau de l’Union d’autres dispositions législatives et à des synergies avec des initiatives connexes au niveau de l’Union, telles que l’entreprise commune EuroHPC et les installations de mise à l’essai de l’IA et d’expérimentations relevant du programme pour une Europe numérique.

(149)

Afin de faciliter une mise en œuvre aisée, efficace et harmonisée du présent règlement, il convient de créer un Comité IA. Ce Comité IA devrait tenir compte des différents intérêts de l’écosystème de l’IA et être composé de représentants des États membres. Le Comité IA devrait être chargé d’un certain nombre de tâches consultatives, parmi lesquelles la formulation d’avis, de recommandations, de conseils ou la contribution à des orientations sur des questions liées à la mise en œuvre du présent règlement, y compris sur les questions relatives à l’exécution, les spécifications techniques ou les normes existantes concernant les exigences établies dans le présent règlement, et la fourniture de conseils à la Commission et aux États membres ainsi qu’à leurs autorités nationales compétentes sur des questions spécifiques liées à l’IA. Afin d’offrir une certaine souplesse aux États membres dans la désignation de leurs représentants au sein du Comité IA, ces représentants peuvent être toute personne appartenant à des entités publiques qui devraient avoir les compétences et les pouvoirs nécessaires pour faciliter la coordination au niveau national et contribuer à l’accomplissement des tâches du Comité IA. Le Comité IA devrait établir deux sous-groupes permanents chargés de fournir une plateforme de coopération et d’échange entre les autorités de surveillance du marché et les autorités notifiantes sur des questions liées respectivement à la surveillance du marché et aux organismes notifiés. Le sous-groupe permanent pour la surveillance du marché devrait agir au titre de groupe de coopération administrative (ADCO) pour le présent règlement au sens de l’article 30 du règlement (UE) 2019/1020. Conformément à l’article 33 dudit règlement, la Commission devrait apporter son soutien aux activités du sous-groupe permanent en procédant à des évaluations ou à des études du marché, en particulier en vue de recenser les aspects du présent règlement appelant une coordination particulière urgente entre les autorités de surveillance du marché. Le Comité IA peut créer d’autres sous-groupes permanents ou temporaires, s’il y a lieu, afin d’examiner des questions spécifiques. Le Comité IA devrait également coopérer, lorsqu’il y a lieu, avec les organes, groupes d’experts et réseaux compétents de l’Union actifs dans le contexte de dispositions législatives pertinentes de l’Union, notamment ceux qui agissent au titre de la législation applicable de l’Union en matière de données, et de produits et services numériques.

(150)

En vue d’assurer la participation des parties prenantes à la mise en œuvre et à l’application du présent règlement, il convient d’établir un forum consultatif chargé de conseiller le Comité IA et la Commission et de leur fournir une expertise technique. Afin d’assurer une représentation diversifiée et équilibrée des parties prenantes tenant compte des différents intérêts commerciaux et non commerciaux et, au sein de la catégorie des intérêts commerciaux, eu égard aux PME et autres entreprises, le forum consultatif devrait être composé, entre autres, de représentants du secteur, des jeunes pousses, des PME, du milieu universitaire, de la société civile, y compris les partenaires sociaux, ainsi que de l’Agence des droits fondamentaux, de l’ENISA, du Comité européen de normalisation (CEN), du Comité européen de normalisation électrotechnique (CENELEC) et de l’Institut européen de normalisation des télécommunications (ETSI).

(151)

Afin de soutenir la mise en œuvre et le contrôle du respect du présent règlement, en particulier les activités de suivi du Bureau de l’IA concernant les modèles d’IA à usage général, il convient d’établir un groupe scientifique composé d’experts indépendants. Les experts indépendants constituant le groupe scientifique devraient être choisis en fonction de leur expertise à la pointe des connaissances scientifiques ou techniques dans le domaine de l’IA. Ils devraient s’acquitter de leurs tâches avec impartialité et objectivité et veiller à la confidentialité des informations et des données obtenues dans l’exercice de leurs tâches et activités. Afin de permettre le renforcement des capacités nationales nécessaires au contrôle effectif du respect du présent règlement, les États membres devraient être en mesure de solliciter l’aide de la réserve d’experts constituant le groupe scientifique pour leurs activités répressives.

(152)

Afin de soutenir un contrôle de l’application adéquat en ce qui concerne les systèmes d’IA et de renforcer les capacités des États membres, il convient de créer et de mettre à la disposition des États membres des structures de soutien de l’Union pour les essais en matière d’IA.

(153)

Les États membres jouent un rôle clé dans l’application et le contrôle du respect du présent règlement. À cet égard, chaque État membre devrait désigner au moins une autorité notifiante et au moins une autorité de surveillance du marché en tant qu’autorités nationales compétentes chargées de contrôler l’application et la mise en œuvre du présent règlement. Les États membres peuvent décider de désigner une entité publique, quel qu’en soit le type, qui soit chargée d’exécuter les tâches des autorités nationales compétentes au sens du présent règlement, en fonction de leurs caractéristiques et besoins organisationnels nationaux spécifiques. Afin d’accroître l’efficacité de l’organisation du côté des États membres et de définir un point de contact unique avec le public et les homologues au niveau des États membres et de l’Union, chaque État membre devrait désigner une autorité de surveillance du marché pour tenir le rôle de point de contact unique.

(154)

Les autorités nationales compétentes devraient exercer leurs pouvoirs de manière indépendante, impartiale et sans parti pris, afin de préserver les principes d’objectivité de leurs activités et de leurs tâches et d’assurer l’application et la mise en œuvre du présent règlement. Les membres de ces autorités devraient s’abstenir de toute action incompatible avec leurs fonctions et devraient être soumis aux règles de confidentialité prévues par le présent règlement.

(155)

Afin de veiller à ce que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Le cas échéant, la surveillance après commercialisation devrait comprendre une analyse de l’interaction avec d’autres systèmes d’IA, y compris d’autres dispositifs et logiciels. La surveillance après commercialisation ne devrait pas couvrir les données opérationnelles sensibles des utilisateurs de systèmes d’IA qui sont des autorités répressives. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave résultant de l’utilisation de leurs systèmes d’IA, à savoir un incident ou un dysfonctionnement entraînant la mort ou une atteinte grave à la santé, une perturbation grave et irréversible de la gestion et de l’exploitation des infrastructures critiques, des infractions aux obligations découlant du droit de l’Union visant à protéger les droits fondamentaux ou une atteinte grave aux biens ou à l’environnement.

(156)

Afin de garantir un contrôle approprié et efficace du respect des exigences et obligations énoncées par le présent règlement, qui fait partie de la législation d’harmonisation de l’Union, le système de surveillance du marché et de mise en conformité des produits établi par le règlement (UE) 2019/1020 devrait s’appliquer dans son intégralité. Les autorités de surveillance du marché désignées en vertu du présent règlement devraient disposer de tous les pouvoirs d’exécution prévus par le présent règlement et par le règlement (UE) 2019/1020, et elles devraient exercer leurs pouvoirs et s’acquitter de leurs tâches de manière indépendante, impartiale et sans parti pris. Bien que la majorité des systèmes d’IA ne fassent pas l’objet d’exigences et obligations particulières au titre du présent règlement, les autorités de surveillance du marché peuvent prendre des mesures à l’égard de tous les systèmes d’IA lorsqu’ils présentent un risque conformément au présent règlement. En raison de la nature spécifique des institutions, agences et organes de l’Union relevant du champ d’application du présent règlement, il convient de désigner le Contrôleur européen de la protection des données comme autorité compétente pour la surveillance du marché en ce qui les concerne. Cela devrait être sans préjudice de la désignation des autorités nationales compétentes par les États membres. Les activités de surveillance du marché ne devraient pas affecter la capacité des entités surveillées à s’acquitter de leurs tâches de manière indépendante, lorsque cette indépendance constitue une exigence du droit de l’Union.

(157)

Le présent règlement est sans préjudice des compétences, des tâches, des pouvoirs et de l’indépendance des autorités ou organismes publics nationaux compétents qui contrôlent l’application du droit de l’Union en matière de protection des droits fondamentaux, y compris les organismes chargés des questions d’égalité et les autorités de protection des données. Lorsque leur mandat l’exige, ces autorités ou organismes publics nationaux devraient également avoir accès à toute documentation créée en vertu du présent règlement. Une procédure de sauvegarde spécifique devrait être mise en place pour garantir une application adéquate et en temps utile opposable aux systèmes d’IA présentant un risque pour la santé, la sécurité et les droits fondamentaux. La procédure applicable à ces systèmes d’IA présentant un risque devrait être appliquée aux systèmes d’IA à haut risque présentant un risque, aux systèmes interdits qui ont été mis sur le marché, mis en service ou utilisés en violation des interdictions concernant des pratiques définies par le présent règlement, et aux systèmes d’IA qui ont été mis à disposition en violation des exigences de transparence énoncées dans le présent règlement et qui présentent un risque.

(158)

Le droit de l’Union en matière de services financiers comprend des règles et des exigences en matière de gouvernance interne et de gestion des risques qui sont applicables aux établissements financiers réglementés dans le cadre de la fourniture de ces services, y compris lorsqu’ils font usage de systèmes d’IA. Afin d’assurer la cohérence de l’application et du contrôle du respect des obligations découlant du présent règlement et des règles et exigences pertinentes prévues par les actes juridiques de l’Union sur les services financiers, les autorités compétentes chargées de la surveillance et du contrôle de l’application de ces actes juridiques, en particulier les autorités compétentes au sens du règlement (UE) no 575/2013 du Parlement européen et du Conseil (46) et des directives 2008/48/CE (47), 2009/138/CE (48), 2013/36/UE (49), 2014/17/UE (50) et (UE) 2016/97 (51) du Parlement européen et du Conseil, devraient être désignées, dans les limites de leurs compétences respectives, comme les autorités compétentes aux fins de la surveillance de la mise en œuvre du présent règlement, y compris pour les activités de surveillance du marché, en ce qui concerne les systèmes d’IA fournis ou utilisés par des établissements financiers réglementés et surveillés, à moins que les États membres ne décident de désigner une autre autorité pour remplir ces tâches de surveillance du marché. Ces autorités compétentes devraient disposer, en vertu du présent règlement et du règlement (UE) 2019/1020, de tous les pouvoirs nécessaires pour faire respecter les exigences et obligations du présent règlement, y compris le pouvoir d’effectuer des activités de surveillance du marché ex post qui peuvent être intégrées, le cas échéant, dans leurs mécanismes et procédures de surveillance existants au titre du droit de l’Union en matière de services financiers. Il convient d’envisager que, lorsqu’elles agissent en tant qu’autorités de surveillance du marché au titre du présent règlement, les autorités nationales responsables de la surveillance des établissements de crédit réglementés régis par la directive 2013/36/UE, qui participent au mécanisme de surveillance unique institué par le règlement (UE) no 1024/2013 du Conseil (52), doivent communiquer sans délai à la Banque centrale européenne toute information identifiée dans le cadre de leurs activités de surveillance du marché qui pourrait présenter un intérêt pour les missions de surveillance prudentielle de la Banque centrale européenne telles qu’elles sont définies dans ledit règlement. Pour renforcer encore la cohérence entre le présent règlement et les règles applicables aux établissements de crédit régis par la directive 2013/36/UE, il convient aussi d’intégrer certaines des obligations procédurales des fournisseurs en ce qui concerne la gestion des risques, la surveillance après commercialisation et la documentation dans les obligations et procédures existantes au titre de la directive 2013/36/UE. Afin d’éviter les chevauchements, des dérogations limitées devraient aussi être envisagées en ce qui concerne le système de gestion de la qualité des fournisseurs et l’obligation de suivi imposée aux déployeurs de systèmes d’IA à haut risque dans la mesure où les dispositions y afférentes s’appliquent aux établissements de crédit régis par la directive 2013/36/UE. Le même régime devrait s’appliquer aux entreprises d’assurance et de réassurance et aux sociétés holding d’assurance relevant de la directive 2009/138/CE, aux intermédiaires d’assurance relevant de la directive (UE) 2016/97, ainsi qu’aux autres types d’établissements financiers soumis à des exigences en matière de gouvernance, de dispositifs ou de processus internes établis en vertu des dispositions pertinentes du droit de l’Union en matière de services financiers afin d’assurer la cohérence et l’égalité de traitement dans le secteur financier.

(159)

Chaque autorité de surveillance du marché chargée des systèmes d’IA à haut risque dans le domaine de la biométrie énumérés dans une annexe du présent règlement, dans la mesure où ces systèmes sont utilisés à des fins liées aux activités répressives, à la migration, à l’asile et à la gestion des contrôles aux frontières ou à l’administration de la justice et aux processus démocratiques, devrait disposer de pouvoirs effectifs en matière d’enquête et de mesures correctives, y compris au minimum le pouvoir d’obtenir l’accès à toutes les données à caractère personnel traitées et à toutes les informations nécessaires à l’accomplissement de ses tâches. Les autorités de surveillance du marché devraient être en mesure d’exercer leurs pouvoirs en toute indépendance. Toute restriction de leur accès à des données opérationnelles sensibles au titre du présent règlement devrait être sans préjudice des pouvoirs qui leur sont conférés par la directive (UE) 2016/680. Aucune exclusion concernant la divulgation de données aux autorités nationales chargées de la protection des données au titre du présent règlement ne devrait avoir d’incidence sur les pouvoirs actuels ou futurs de ces autorités au-delà du champ d’application du présent règlement.

(160)

Les autorités de surveillance du marché et la Commission devraient être en mesure de proposer des activités conjointes, y compris des enquêtes conjointes, à mener par les autorités de surveillance du marché ou par les autorités de surveillance du marché conjointement avec la Commission, visant à promouvoir le respect de la législation, de déceler la non-conformité, de sensibiliser et de fournir des orientations au regard du présent règlement en ce qui concerne des catégories spécifiques de systèmes d’IA à haut risque qui sont recensés comme présentant un risque grave dans au moins deux États membres. Les activités conjointes visant à promouvoir le respect de la législation devraient être menées conformément à l’article 9 du règlement (UE) 2019/1020. Le Bureau de l’IA devrait assurer la coordination centrale des enquêtes conjointes.

(161)

Il est nécessaire de clarifier les responsabilités et les compétences au niveau de l’Union et au niveau national en ce qui concerne les systèmes d’IA qui reposent sur des modèles d’IA à usage général. Afin d’éviter les chevauchements de compétences, lorsqu’un système est fondé sur un modèle d’IA à usage général et que le modèle et le système sont fournis par le même fournisseur, la surveillance devrait avoir lieu au niveau de l’Union par l’intermédiaire du Bureau de l’IA, qui devrait disposer à cette fin des pouvoirs d’une autorité de surveillance du marché au sens du règlement (UE) 2019/1020. Dans tous les autres cas, les autorités nationales de surveillance du marché demeurent chargées de la surveillance des systèmes d’IA. Toutefois, pour les systèmes d’IA à usage général qui peuvent être utilisés directement par les déployeurs pour au moins un usage classé comme étant à haut risque, les autorités de surveillance du marché devraient coopérer avec le Bureau de l’IA pour mener les évaluations de la conformité, et informer le Comité IA et les autres autorités de surveillance du marché en conséquence. En outre, toute autorité de surveillance du marché devrait être en mesure de solliciter l’assistance du Bureau de l’IA lorsqu’elle n’est pas en mesure de conclure une enquête sur un système d’IA à haut risque parce qu’elle ne peut accéder à certaines informations liées au modèle d’IA à usage général sur lequel repose ce système. Dans de tels cas, la procédure relative à l’assistance mutuelle pour les cas transfrontières prévue au chapitre VI du règlement (UE) 2019/1020 devrait s’appliquer mutatis mutandis.

(162)

Afin de tirer le meilleur parti de l’expertise centralisée de l’Union et des synergies au niveau de l’Union, les pouvoirs de surveillance et de contrôle du respect des obligations incombant aux fournisseurs de modèles d’IA à usage général devraient relever de la compétence de la Commission. Le Bureau de l’IA devrait être en mesure de prendre toutes les mesures nécessaires pour contrôler la mise en œuvre effective du présent règlement en ce qui concerne les modèles d’IA à usage général. Il devrait être en mesure d’enquêter sur d’éventuelles infractions aux règles incombant aux fournisseurs de modèles d’IA à usage général, aussi bien de sa propre initiative, selon les résultats de ses activités de surveillance, ou sur demande des autorités de surveillance du marché conformément aux conditions prévues par le présent règlement. Afin de contribuer à une surveillance effective par le Bureau de l’IA, celui-ci devrait donner la possibilité aux fournisseurs en aval d’introduire des réclamations concernant d’éventuelles infractions aux règles relatives aux fournisseurs de modèles et systèmes d’IA à usage général.

(163)

En vue de compléter les systèmes de gouvernance des modèles d’IA à usage général, le groupe scientifique devrait soutenir les activités de surveillance du Bureau de l’IA et pourrait, dans certains cas, soumettre au Bureau de l’IA des alertes qualifiées qui déclenchent des mesures de suivi telles que des enquêtes. Cela devrait être le cas lorsque le groupe scientifique a des raisons de soupçonner qu’un modèle d’IA à usage général présente un risque concret et identifiable au niveau de l’Union. Cela devrait aussi être le cas lorsque le groupe scientifique a des raisons de soupçonner qu’un modèle d’IA à usage général remplit les critères qui conduiraient à une classification en tant que modèle d’IA à usage général présentant un risque systémique. Afin que le groupe scientifique dispose des informations nécessaires à l’exécution de ces tâches, il devrait exister un mécanisme permettant au groupe scientifique de demander à la Commission d’exiger du fournisseur qu’il fournisse des documents ou des informations.

(164)

Le Bureau de l’IA devrait être en mesure de prendre les mesures nécessaires pour contrôler la mise en œuvre effective et le respect des obligations incombant aux fournisseurs de modèles d’IA à usage général énoncées dans le présent règlement. Le Bureau de l’IA devrait être en mesure d’enquêter sur d’éventuelles infractions conformément aux pouvoirs qui lui sont conférés au titre du présent règlement, y compris en exigeant des documents et des informations, en réalisant des évaluations, ainsi qu’en exigeant que des mesures soient prises par les fournisseurs de modèles d’IA à usage général. Lors de la réalisation des évaluations, afin de tirer parti d’une expertise indépendante, le Bureau de l’IA devrait pouvoir faire appel à des experts indépendants pour réaliser les évaluations en son nom. Le respect des obligations devrait pouvoir être imposé, entre autres, par des demandes de prendre des mesures appropriées, y compris des mesures d’atténuation des risques dans le cas de risques systémiques recensés, ainsi qu’en restreignant la mise à disposition du modèle sur le marché, en le retirant ou en le rappelant. À titre de garantie, lorsque cela est nécessaire en sus des droits procéduraux prévus par le présent règlement, les fournisseurs de modèles d’IA à usage général devraient jouir des droits procéduraux prévus à l’article 18 du règlement (UE) 2019/1020, qui devraient s’appliquer mutatis mutandis, sans préjudice des droits procéduraux plus spécifiques prévus par le présent règlement.

(165)

Le développement de systèmes d’IA autres que les systèmes d’IA à haut risque dans le respect des exigences du présent règlement peut conduire à une plus large adoption d’une IA éthique et digne de confiance dans l’Union. Les fournisseurs de systèmes d’IA qui ne sont pas à haut risque devraient être encouragés à établir des codes de conduite, accompagnés de mécanismes de gouvernance connexes, destinés à favoriser l’application volontaire de tout ou partie des exigences obligatoires applicables aux systèmes d’IA à haut risque, adaptés en fonction de la destination des systèmes et des risques plus faibles encourus et tenant compte des solutions techniques disponibles et des bonnes pratiques du secteur, tels que les cartes modèles et les fiches de données. Les fournisseurs et, le cas échéant, les déployeurs de tous les systèmes d’IA, à haut risque ou non, et modèles d’IA devraient aussi être encouragés à appliquer sur une base volontaire des exigences supplémentaires liées, par exemple, aux éléments des lignes directrices de l’Union en matière d’éthique pour une IA digne de confiance, à la durabilité environnementale, aux mesures relatives à la maîtrise de l’IA, à la conception et au développement inclusifs et diversifiés des systèmes d’IA, y compris en prêtant attention aux personnes vulnérables et à l’accessibilité pour les personnes handicapées, à la participation des parties prenantes avec la contribution, le cas échéant, de parties prenantes concernées telles que les organisations d’entreprises et de la société civile, le milieu universitaire, les organismes de recherche, les syndicats et les organisations de protection des consommateurs à la conception et au développement des systèmes d’IA, ainsi qu’à la diversité des équipes de développement, y compris l’équilibre hommes-femmes. Afin que les codes de conduite volontaires portent leurs effets, ils devraient s’appuyer sur des objectifs clairs et des indicateurs de performance clés permettant de mesurer la réalisation de ces objectifs. Ils devraient également être élaborés de manière inclusive, selon qu’il convient, avec la participation des parties prenantes concernées telles que les organisations d’entreprises et de la société civile, le milieu universitaire, les organismes de recherche, les syndicats et les organisations de protection des consommateurs. La Commission peut élaborer des initiatives, y compris de nature sectorielle, pour faciliter la suppression des obstacles techniques entravant l’échange transfrontière de données pour le développement de l’IA, notamment en ce qui concerne l’infrastructure d’accès aux données et l’interopérabilité sémantique et technique des différents types de données.

(166)

Il importe que les systèmes d’IA liés à des produits qui ne sont pas à haut risque au titre du présent règlement et qui ne sont donc pas tenus d’être conformes aux exigences énoncées pour les systèmes d’IA à haut risque soient néanmoins sûrs lorsqu’ils sont mis sur le marché ou mis en service. Pour contribuer à cet objectif, l’application du règlement (UE) 2023/988 du Parlement européen et du Conseil (53) constituerait un filet de sécurité.

(167)

Afin d’assurer une coopération constructive et en toute confiance entre les autorités compétentes au niveau de l’Union et au niveau national, toutes les parties intervenant dans l’application du présent règlement devraient respecter la confidentialité des informations et des données obtenues dans le cadre de l’exécution de leurs tâches, conformément au droit de l’Union et au droit national. Elles devraient s’acquitter de leurs tâches et activités de manière à protéger, en particulier, les droits de propriété intellectuelle, les informations commerciales confidentielles et les secrets d’affaires, la mise en œuvre effective du présent règlement, les intérêts en matière de sécurité nationale et publique, l’intégrité des procédures pénales et administratives et l’intégrité des informations classifiées.

(168)

Le respect des dispositions du présent règlement devrait pouvoir être imposé au moyen de sanctions et d’autres mesures d’exécution. Les États membres devraient prendre toutes les mesures nécessaires pour que les dispositions du présent règlement soient mises en œuvre et, notamment, prévoir des sanctions effectives, proportionnées et dissuasives en cas de violation de ces dispositions, et dans le respect du principe non bis in idem. Afin de renforcer et d’harmoniser les sanctions administratives applicables en cas de violation du présent règlement, il convient d’établir le montant maximal pour la fixation des amendes administratives pour certaines infractions spécifiques. Pour évaluer le montant des amendes, les États membres devraient, dans chaque cas d’espèce, tenir compte de toutes les caractéristiques propres à la situation spécifique, en prenant notamment en considération la nature, la gravité et la durée de l’infraction et ses conséquences, ainsi que la taille du fournisseur, en particulier s’il s’agit d’une PME, y compris les jeunes pousses. Le Contrôleur européen de la protection des données devrait avoir le pouvoir d’infliger des amendes aux institutions, agences et organes de l’Union relevant du présent règlement.

(169)

Le respect des obligations incombant aux fournisseurs de modèles d’IA à usage général au titre du présent règlement devrait pouvoir être imposé, entre autres, au moyen d’amendes. À cette fin, des niveaux appropriés d’amendes devraient également être fixés pour les infractions à ces obligations, y compris le non-respect de mesures demandées par la Commission en vertu au présent règlement, sous réserve de délais de prescription appropriés conformément du principe de proportionnalité. Toutes les décisions prises par la Commission au titre du présent règlement sont soumises au contrôle de la Cour de justice de l’Union européenne conformément au traité sur le fonctionnement de l’Union européenne, y compris la compétence de pleine juridiction de la Cour de justice en ce qui concerne les sanctions en application de l’article 261 du traité sur le fonctionnement de l’Union européenne.

(170)

Le droit de l’Union et le droit national prévoient déjà des voies de recours effectives pour les personnes physiques et morales qui subissent une atteinte à leurs droits et libertés en raison de l’utilisation de systèmes d’IA. Sans préjudice de ces recours, toute personne physique ou morale ayant des motifs de considérer qu’il y a eu violation des dispositions du présent règlement devrait avoir le droit d’introduire une réclamation auprès de l’autorité de surveillance du marché concernée.

(171)

Les personnes concernées devraient avoir le droit d’obtenir une explication lorsque la décision d’un déployeur est principalement fondée sur les sorties de certains systèmes d’IA à haut risque qui relèvent du champ d’application du présent règlement et lorsque cette décision produit des effets juridiques ou cause un préjudice important de façon similaire à ces personnes d’une manière qu’elles considèrent comme ayant une incidence négative sur leur santé, leur sécurité ou leurs droits fondamentaux. Cette explication devrait être claire et pertinente, et constituer une base à partir de laquelle les personnes concernées peuvent exercer leurs droits. Le droit d’obtenir une explication ne devrait pas s’appliquer à l’utilisation de systèmes d’IA pour lesquels des exceptions ou des restrictions découlent du droit de l’Union ou du droit national et ne devrait s’appliquer que dans la mesure où ce droit n’est pas déjà prévu par le droit de l’Union.

(172)

Les personnes agissant en tant que lanceurs d’alerte eu égard à des infractions au présent règlement devraient être protégées en vertu du droit de l’Union. La directive (UE) 2019/1937 du Parlement européen et du Conseil (54) devrait donc s’appliquer aux signalements d’infractions au présent règlement et à la protection des personnes signalant ces infractions.

(173)

Afin de garantir que le cadre réglementaire puisse être adapté si nécessaire, le pouvoir d’adopter des actes conformément à l’article 290 du traité sur le fonctionnement de l’Union européenne devrait être délégué à la Commission pour lui permettre de modifier les conditions dans lesquelles un système d’IA ne doit pas être considéré comme étant à haut risque, la liste des systèmes d’IA à haut risque, les dispositions relatives à la documentation technique, le contenu de la déclaration «UE» de conformité, les dispositions relatives aux procédures d’évaluation de la conformité, les dispositions établissant les systèmes d’IA à haut risque auxquels devrait s’appliquer la procédure d’évaluation de la conformité fondée sur l’évaluation du système de gestion de la qualité et l’évaluation de la documentation technique, le seuil, les critères de référence et les indicateurs, y compris en complétant ces critères de référence et indicateurs, dans les règles de classification des modèles d’IA à usage général présentant un risque systémique, les critères de désignation des modèles d’IA à usage général présentant un risque systémique, la documentation technique destinée aux fournisseurs de modèles d’IA à usage général et les informations relatives à la transparence pour les fournisseurs de modèles d’IA à usage général. Il importe particulièrement que la Commission procède aux consultations appropriées durant son travail préparatoire, y compris au niveau des experts, et que ces consultations soient menées conformément aux principes définis dans l’accord interinstitutionnel du 13 avril 2016«Mieux légiférer» (55). En particulier, afin d’assurer une participation égale à la préparation des actes délégués, le Parlement européen et le Conseil reçoivent tous les documents en même temps que les experts des États membres, et leurs experts ont systématiquement accès aux réunions des groupes d’experts de la Commission participant à la préparation des actes délégués.

(174)

Compte tenu de l’évolution rapide des technologies et de l’expertise technique requise aux fins de la bonne application du présent règlement, la Commission devrait évaluer et réexaminer le présent règlement au plus tard le 2 août 2029 et tous les quatre ans par la suite, et faire rapport au Parlement européen et au Conseil. En outre, en tenant compte des conséquences sur le champ d’application du présent règlement, la Commission devrait procéder à une évaluation de la nécessité de modifier une fois par an la liste des systèmes d’IA à haut risque et la liste des pratiques interdites. En outre, au plus tard le 2 août 2028 et tous les quatre ans par la suite, la Commission devrait évaluer la nécessité de modifier les rubriques de la liste des domaines à haut risque figurant à l’annexe du présent règlement, les systèmes d’IA relevant des obligations de transparence, l’efficacité du système de surveillance et de gouvernance ainsi que l’état d’avancement des travaux de normalisation concernant le développement économe en énergie de modèles d’IA à usage général, y compris la nécessité de mesures ou d’actions supplémentaires, et faire rapport au Parlement européen et au Conseil. Enfin, au plus tard le 2 août 2028 et tous les trois ans par la suite, la Commission devrait évaluer l’impact et l’efficacité des codes de conduite volontaires destinés à favoriser l’application des exigences énoncées pour les systèmes d’IA à haut risque dans le cas des systèmes d’IA autres que les systèmes d’IA à haut risque, et éventuellement d’autres exigences supplémentaires pour de tels systèmes d’IA.

(175)

Afin de garantir des conditions uniformes de mise en œuvre du présent règlement, il convient de conférer des compétences d’exécution à la Commission. Ces compétences devraient être exercées en conformité avec le règlement (UE) no 182/2011 du Parlement européen et du Conseil (56).

(176)

Étant donné que l’objectif du présent règlement, à savoir améliorer le fonctionnement du marché intérieur et promouvoir l’adoption d’une IA axée sur l’humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte, y compris la démocratie, l’état de droit et la protection de l’environnement, contre les effets néfastes des systèmes d’IA dans l’Union, et en soutenant l’innovation, ne peut pas être atteint de manière suffisante par les États membres mais peut, en raison des dimensions et des effets de l’action, l’être mieux au niveau de l’Union, celle-ci peut prendre des mesures conformément au principe de subsidiarité consacré à l’article 5 du traité sur l’Union européenne. Conformément au principe de proportionnalité énoncé audit article, le présent règlement n’excède pas ce qui est nécessaire pour atteindre cet objectif.

(177)

Afin d’assurer la sécurité juridique, de veiller à ce que les opérateurs disposent d’une période d’adaptation appropriée et d’éviter toute perturbation du marché, y compris en assurant la continuité de l’utilisation des systèmes d’IA, il convient que le présent règlement s’applique aux systèmes d’IA à haut risque qui ont été mis sur le marché ou mis en service avant la date générale d’application de celui-ci, uniquement si, à compter de cette date, ces systèmes subissent d’importantes modifications de leur conception ou de leur destination. Il convient de préciser qu’à cet égard, la notion d’importante modification devrait être comprise comme équivalente sur le fond à celle de modification substantielle, qui est utilisée uniquement en ce qui concerne les systèmes d’IA à haut risque au titre du présent règlement. À titre exceptionnel et compte tenu de l’obligation de rendre des comptes au public, les exploitants de systèmes d’IA qui sont des composants des systèmes d’information à grande échelle établis par les actes juridiques énumérés à l’annexe du présent règlement et les exploitants de systèmes d’IA à haut risque destinés à être utilisés par des autorités publiques devraient prendre les mesures nécessaires pour se conformer aux exigences du présent règlement, respectivement, d’ici à la fin de 2030 et au plus tard le 2 août 2030.

(178)

Les fournisseurs de systèmes d’IA à haut risque sont encouragés à commencer à se conformer, sur une base volontaire, aux obligations pertinentes du présent règlement dès la période transitoire.

(179)

Le présent règlement devrait s’appliquer à partir du 2 août 2026. Toutefois, compte tenu du risque inacceptable associé à certaines utilisations de l’IA, les interdictions ainsi que les dispositions générales du présent règlement devraient déjà s’appliquer à compter du 2 février 2025. Si le plein effet de ces interdictions découle de la mise en place de la gouvernance et du contrôle du respect du présent règlement, il importe d’anticiper l’application des interdictions afin de tenir compte des risques inacceptables et d’avoir un effet sur d’autres procédures, par exemple en droit civil. En outre, l’infrastructure liée à la gouvernance et au système d’évaluation de la conformité devrait être opérationnelle avant le 2 août 2026, et les dispositions relatives aux organismes notifiés et à la structure de gouvernance devraient donc s’appliquer à compter du 2 août 2025. Compte tenu du rythme rapide des avancées technologiques et de l’adoption des modèles d’IA à usage général, les obligations incombant aux fournisseurs de modèles d’IA à usage général devraient s’appliquer à compter du 2 août 2025. Les codes de bonne pratique devraient être prêts au plus tard le 2 mai 2025 afin de permettre aux fournisseurs de démontrer leur conformité à temps. Le Bureau de l’IA devrait veiller à ce que les règles et procédures de classification soient à jour des évolutions technologiques. En outre, les États membres devraient définir et notifier à la Commission les règles relatives aux sanctions, y compris les amendes administratives, et veiller à ce qu’elles soient correctement et efficacement mises en œuvre à la date d’application du présent règlement. Par conséquent, les dispositions relatives aux sanctions devraient s’appliquer à compter du 2 août 2025.

(180)

Le Contrôleur européen de la protection des données et le comité européen de la protection des données ont été consultés conformément à l’article 42, paragraphes 1 et 2, du règlement (UE) 2018/1725 et ont rendu leur avis conjoint le 18 juin 2021,