(1)

El objetivo del presente Reglamento es mejorar el funcionamiento del mercado interno mediante el establecimiento de un marco jurídico uniforme, en particular en lo que respecta al desarrollo , la comercialización y la utilización de la inteligencia artificial de conformidad con los valores de la Unión. El presente Reglamento persigue varios fines imperiosos de interés general , tales como asegurar un nivel elevado de protección de la salud, la seguridad y los derechos humanos, y garantiza la libre circulación transfronteriza de bienes y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que el presente Reglamento lo autorice expresamente.

(1)

El objetivo del presente Reglamento es promover en la Unión la adopción de una inteligencia artificial fiable y centrada en el ser humano y garantizar un elevado nivel de protección de la salud, la seguridad, los derechos fundamentales , la democracia y el Estado de Derecho y del medio ambiente frente a los efectos nocivos de los sistemas de inteligencia artificial, apoyando al mismo tiempo la innovación y mejorando el funcionamiento del mercado interno. El presente Reglamento establece un marco jurídico uniforme, en particular en lo que respecta al desarrollo , la introducción en el mercado, la puesta en servicio y la utilización de la inteligencia artificial de conformidad con los valores de la Unión y garantiza la libre circulación transfronteriza de bienes y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de inteligencia artificial (sistemas de IA), a menos que el presente Reglamento lo autorice expresamente. Algunos sistemas de AI pueden afectar asimismo a la democracia, el Estado de Derecho y el medio ambiente. Esas preocupaciones se abordan específicamente en los sectores y los casos de uso críticos enumerados en los anexos del presente Reglamento.

(1 bis)

El presente Reglamento debe preservar los valores de la Unión, facilitando la distribución de los beneficios de la inteligencia artificial para toda la sociedad y protegiendo a las personas, las empresas, la democracia y el Estado de Derecho y el medio ambiente frente a diversos riesgos, al tiempo que se impulsa la innovación y el empleo y se convierte a la Unión en un líder en este ámbito de actividad.

(2)

Los sistemas de inteligencia artificial («sistemas de IA») pueden emplearse con facilidad en múltiples sectores de la economía y la sociedad, también a escala transfronteriza, y circular por toda la Unión. Algunos Estados miembros ya han estudiado la posibilidad de adoptar normas nacionales destinadas a garantizar que la inteligencia artificial sea segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales. La existencia de distintas normas nacionales puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan o utilizan sistemas de IA. Por lo tanto, es preciso garantizar un nivel elevado y coherente de protección en toda la Unión y evitar las divergencias que obstaculizan la libre circulación en el mercado interior de los sistemas de IA y los productos y servicios conexos mediante el establecimiento de obligaciones uniformes para todos los operadores y la garantía de una protección uniforme de los fines imperiosos de interés general y de los derechos de las personas en todo el mercado interior, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE). En la medida en que el presente Reglamento contiene normas específicas para la protección de las personas en relación con el tratamiento de datos personales que restringen el uso de sistemas de IA para la identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley, resulta adecuado basar este Reglamento, en lo que atañe a dichas normas específicas, en el artículo 16 del TFUE. A la luz de dichas normas específicas y de la invocación del artículo 16 del TFUE, conviene consultar al Comité Europeo de Protección de Datos.

(2)

Los sistemas de IA pueden emplearse con facilidad en múltiples sectores de la economía y la sociedad, también a escala transfronteriza, y circular por toda la Unión. Algunos Estados miembros ya han estudiado la posibilidad de adoptar normas nacionales destinadas a garantizar que la inteligencia artificial sea fiable y segura y se desarrolle y utilice de conformidad con las obligaciones relativas a los derechos fundamentales. La existencia de distintas normas nacionales puede dar lugar a la fragmentación del mercado interior y reducir la seguridad jurídica de los operadores que desarrollan o utilizan sistemas de IA. Por lo tanto, es preciso garantizar un nivel elevado y coherente de protección en toda la Unión , a fin de lograr una IA fiable, y evitar las divergencias que obstaculizan la libre circulación , la innovación, la implementación y la adopción en el mercado interior de los sistemas de IA y los productos y servicios conexos mediante el establecimiento de obligaciones uniformes para todos los operadores y la garantía de una protección uniforme de los fines imperiosos de interés general y de los derechos de las personas en todo el mercado interior, sobre la base del artículo 114 del Tratado de Funcionamiento de la Unión Europea (TFUE).

(2 bis)

Habida cuenta de que la inteligencia artificial a menudo se basa en el tratamiento de grandes volúmenes de datos y los muchos sistemas y aplicaciones de IA para el tratamiento de datos personales, conviene que el presente Reglamento se fundamente en el artículo 16 del TFUE, que consagra el derecho de toda persona física a la protección respecto al tratamiento de los datos de carácter personal y prevé la adopción de normas para la protección de las personas en relación con el tratamiento de datos personales.

(2 ter)

El derecho fundamental a la protección de los datos personales está garantizado, en particular, por los Reglamentos (UE) 2016/679 y (UE) 2018/1725 y la Directiva 2016/680. La Directiva 2002/58/CE protege, además, la vida privada y la confidencialidad de las comunicaciones, también estableciendo condiciones para la conservación de los datos personales y no personales en los equipos terminales y el acceso desde estos a los datos. Estos actos jurídicos constituyen la base para un tratamiento de datos sostenible y responsable, incluso cuando los conjuntos de datos incluyan una combinación de datos personales y no personales. El presente Reglamento no pretende afectar a la aplicación del Derecho de la Unión vigente que regula el tratamiento de datos personales, incluidas las funciones y competencias de las autoridades de supervisión independientes competentes para vigilar el cumplimiento de dichos instrumentos. El presente Reglamento no afecta a los derechos fundamentales a la vida privada y a la protección de datos personales tal como han sido establecidos en el Derecho de la Unión en materia de protección de datos y privacidad y consagrados en la Carta de los Derechos Fundamentales de la Unión Europea (en lo sucesivo, «Carta»).

(2 quater)

Los sistemas de inteligencia artificial de la Unión están sujetos a la legislación pertinente en materia de seguridad de los productos que proporciona un marco de protección de los consumidores frente a los productos peligrosos en general, y dicha legislación debe seguir aplicándose. El presente Reglamento se entiende asimismo sin perjuicio de las normas establecidas en otros actos jurídicos de la Unión relativos a la protección de los consumidores y a la seguridad de los productos, como el Reglamento (UE) 2017/2394, el Reglamento (UE) 2019/1020, la Directiva 2001/95/CE relativa a la seguridad general de los productos y la Directiva 2013/11/UE.

(2 quinquies)

De conformidad con el artículo 114, apartado 2, del TFUE, el presente Reglamento complementa y no debe menoscabar los derechos e intereses de los trabajadores por cuenta ajena. El presente Reglamento no debe afectar al Derecho de la Unión en materia de política social ni a la legislación y las prácticas laborales nacionales, es decir, a cualquier disposición legal y contractual relativa a las condiciones de empleo, las condiciones de trabajo, incluidas la salud y la seguridad en el trabajo y las relaciones entre empresarios y trabajadores, en particular la información, la consulta y la participación. El presente Reglamento no debe afectar en modo alguno al ejercicio de los derechos fundamentales reconocidos en los Estados miembros y a escala de la Unión, incluido el derecho o la libertad de huelga o de emprender otras acciones contempladas en los sistemas de relaciones laborales específicos de los Estados miembros, de conformidad con la legislación o las prácticas nacionales. Tampoco debe afectar a las prácticas concertadas, al derecho a negociar, concluir y hacer cumplir convenios colectivos o llevar a cabo acciones colectivas conforme a la legislación o las prácticas nacionales. En ningún caso debe impedir que la Comisión proponga una legislación específica sobre los derechos y libertades de los trabajadores afectados por los sistemas de IA.

(2 sexies)

El presente Reglamento no debe afectar a las disposiciones destinadas a mejorar las condiciones de trabajo en las plataformas de trabajo establecidas en la Directiva … [COD 2021/414/CE].

(2 septies)

El presente Reglamento debe contribuir a apoyar la investigación y la innovación, no perjudicar las actividades de investigación y desarrollo y respetar la libertad de investigación científica. Por consiguiente, es necesario excluir de su ámbito de aplicación los sistemas de IA desarrollados específicamente con el fin exclusivo de la investigación y el desarrollo científicos y garantizar que el presente Reglamento no afecte a la actividad de investigación y desarrollo científicos sobre los sistemas de IA. En cualquier circunstancia, toda actividad de investigación y desarrollo debe llevarse a cabo de conformidad con la Carta, el Derecho de la Unión y el Derecho nacional.

(3)

La inteligencia artificial es un conjunto de tecnologías de rápida evolución que puede generar un amplio abanico de beneficios económicos y sociales en todos los sectores y actividades sociales. El uso de la inteligencia artificial puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la educación y la formación, la administración de infraestructuras, la energía, el transporte y la logística, los servicios públicos, la seguridad, la justicia, la eficiencia de los recursos y la energía , y la mitigación del cambio climático y la adaptación a él, entre otros, al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, y personalizar las soluciones digitales que se encuentran a  disposición de la población y las organizaciones .

(3)

La inteligencia artificial es un conjunto de tecnologías de rápida evolución que puede aportar, y de hecho ya aporta, un amplio abanico de beneficios económicos , medioambientales y sociales en todos los sectores y actividades sociales , si se desarrolla de conformidad con los principios generales pertinentes con arreglo a la Carta y los valores en los que está fundada la Unión . El uso de la inteligencia artificial , al mejorar la predicción, optimizar las operaciones y la asignación de los recursos, y personalizar las soluciones digitales que se encuentran a disposición de la población y de las organizaciones, puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental en los ámbitos de la asistencia sanitaria, la agricultura, la seguridad alimentaria, la educación y la formación, los medios de comunicación, los deportes, la cultura, la administración de infraestructuras, la energía, el transporte y la logística, la gestión de crisis, los servicios públicos, la seguridad, la justicia, la eficiencia energética y de los recursos, la supervisión medioambiental, la conservación y restauración de la biodiversidad y los ecosistemas y la mitigación del cambio climático y la adaptación a  él, entre otros .

(3 bis)

Para contribuir a alcanzar los objetivos de neutralidad en carbono, las empresas europeas deben tratar de utilizar todos los avances tecnológicos disponibles que puedan ayudarles a lograr este objetivo. La inteligencia artificial es una tecnología que puede ser utilizada para procesar la cantidad cada vez mayor de datos creados durante los procesos industriales, medioambientales, sanitarios, etc. A fin de facilitar las inversiones en herramientas de optimización y análisis basados en la IA, el presente Reglamento debe proporcionar un entorno predecible y proporcionado para las soluciones industriales de bajo riesgo.

(4)

Al mismo tiempo, dependiendo de las circunstancias de su aplicación y utilización concretas, la inteligencia artificial puede generar riesgos y menoscabar los intereses públicos y los derechos que protege el Derecho de la Unión, de manera tangible o intangible.

(4)

Al mismo tiempo, dependiendo de las circunstancias de su aplicación y utilización concretas, así como del nivel de desarrollo tecnológico, la inteligencia artificial puede generar riesgos y menoscabar los intereses públicos o privados y los derechos fundamentales de las personas físicas que protege el Derecho de la Unión, de manera tangible o intangible , incluidos daños físicos, psíquicos, sociales y económicos .

(4 bis)

Dado el gran impacto que la inteligencia artificial puede tener en la sociedad y la necesidad de generar confianza, es fundamental que la inteligencia artificial y su marco reglamentario se desarrollen de conformidad con los valores de la Unión consagrados en el artículo 2 del TUE, los derechos y libertades fundamentales consagrados en los Tratados, la Carta y el Derecho internacional de los derechos humanos. Como requisito previo, la inteligencia artificial debe ser una tecnología centrada en el ser humano. No debe sustituir a la autonomía humana ni asumir la pérdida de la libertad individual y ha de atender principalmente a las necesidades de la sociedad y el bien común. Deben establecerse salvaguardias para garantizar el desarrollo y la utilización de una inteligencia artificial integrada de forma ética que respete los valores de la Unión y la Carta.

(5)

Por este motivo, se necesita un marco jurídico de la Unión que defina unas normas armonizadas en materia de inteligencia artificial orientadas a impulsar el desarrollo, la utilización y la adopción en el mercado interior de la inteligencia artificial y que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, como la salud y la seguridad, y de los derechos fundamentales reconocidos y protegidos por el Derecho de la Unión. Para alcanzar dicho objetivo, conviene establecer normas que regulen la introducción en el mercado y la puesta en servicio de determinados sistemas de IA, lo que garantizará el buen funcionamiento del mercado interior y permitirá que dichos sistemas se beneficien del principio de la libre circulación de bienes y servicios. Al establecer tales normas, el presente Reglamento respalda el objetivo de la Unión de ser un líder mundial en el desarrollo de inteligencia artificial segura, digna de confianza y ética, como indicó el Consejo Europeo (33), y garantiza la protección de los principios éticos, como solicitó específicamente el Parlamento Europeo (34).

(5)

Por este motivo, se necesita un marco jurídico de la Unión que defina unas normas armonizadas en materia de inteligencia artificial orientadas a impulsar el desarrollo, la utilización y la adopción en el mercado interior de la inteligencia artificial y que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, como la salud y la seguridad, la protección de los derechos fundamentales , la democracia y el Estado de Derecho y el medio ambiente, reconocidos y protegidos por el Derecho de la Unión. Para alcanzar dicho objetivo, conviene establecer normas que regulen la introducción en el mercado, la puesta en servicio y la utilización de determinados sistemas de IA, lo que garantizará el buen funcionamiento del mercado interior y permitirá que dichos sistemas se beneficien del principio de la libre circulación de bienes y servicios. Estas normas deben ser claras y firmes a la hora de proteger los derechos fundamentales, apoyar nuevas soluciones innovadoras y posibilitar un ecosistema europeo de agentes públicos y privados que creen sistemas de IA en consonancia con los valores de la Unión. Al establecer tales normas, así como medidas de fomento de la innovación, haciendo especial hincapié en las pymes y las empresas emergentes, el presente Reglamento respalda el objetivo de la Unión de promover la IA creada en Europa, ser un líder mundial en el desarrollo de inteligencia artificial segura, digna de confianza y ética, como indicó el Consejo Europeo (33), y garantiza la protección de los principios éticos, como solicitó específicamente el Parlamento Europeo (34).

(5 bis)

Además, con el fin de fomentar el desarrollo de los sistemas de IA en consonancia con los valores de la Unión, esta debe abordar las principales lagunas y barreras que bloquean el potencial de la transformación digital, incluida la escasez de trabajadores con competencias digitales, las preocupaciones en materia de ciberseguridad, la falta de inversión y de acceso a la inversión, y las lagunas existentes y potenciales entre las grandes empresas, las pymes y las empresas emergentes. Debe prestarse especial atención para garantizar que los beneficios de la IA y la innovación en las nuevas tecnologías se dejen sentir en todas las regiones de la Unión y que se proporcionen inversiones y recursos suficientes, especialmente a aquellas regiones que puedan estar rezagadas en algunos indicadores digitales.

(6)

Resulta necesario definir con claridad la noción de sistema de IA para ofrecer seguridad jurídica, al mismo tiempo que se proporciona la flexibilidad necesaria para adaptarse a los futuros avances tecnológicos . La definición debe basarse en las principales características funcionales del software, y en particular en su capacidad para generar , en relación con un conjunto concreto de objetivos definidos por seres humanos , contenidos, predicciones, recomendaciones, decisiones u otra información de salida que influyan en el entorno con el que interactúa el sistema , ya sea en una dimensión física o  digital. Los sistemas de IA pueden diseñarse para operar con distintos niveles de autonomía y utilizarse de manera independiente o  como componentes de un producto, con independencia de si el sistema forma parte físicamente de él (integrado) o tiene una funcionalidad en el producto sin formar parte de él (no integrado). La definición de «sistema de IA» debe complementarse con una lista de las técnicas y estrategias concretas que se usan en su desarrollo. Dicha lista debe estar actualizada atendiendo a los avances tecnológicos y del mercado , para lo cual la Comisión debe adoptar actos delegados que la modifiquen .

(6)

Resulta necesario definir con claridad la noción de sistema de IA en el presente Reglamento y armonizarla estrechamente con el trabajo de las organizaciones internacionales que trabajan en el ámbito de la inteligencia artificial para ofrecer seguridad jurídica, armonización y una amplia aceptación, al mismo tiempo que se proporciona la flexibilidad necesaria para adaptarse a los rápidos avances tecnológicos en este campo. Además, debe basarse en las principales características de la inteligencia artificial, como su capacidad de aprendizaje, de razonamiento o de modelización, diferenciándola así de otros sistemas de software y planteamientos de programación más sencillos. Los sistemas de IA están diseñados para operar con distintos niveles de autonomía , lo que significa que tienen al menos cierto grado de independencia de las acciones de los controles humanos y ciertas capacidades para operar sin intervención humana. El término «basado en máquinas» se refiere al hecho de que todo sistema de IA funciona con máquinas. La referencia a objetivos explícitos o implícitos subraya que los sistemas de IA pueden operar con arreglo a objetivos explícitos definidos por el ser humano o a objetivos implícitos. Los objetivos del sistema de IA pueden ser diferentes de la finalidad prevista del sistema de IA en un contexto específico. La referencia a las predicciones incluye el contenido, que en el presente Reglamento se considera una forma de predicción en tanto una posible información de salida producida por un sistema de IA. A efectos del presente Reglamento, los entornos deben entenderse como los contextos en los que operan los sistemas de IA, mientras que la información de salida generada por el sistema de IA, es decir, las predicciones, recomendaciones o decisiones, responden a los objetivos del sistema , sobre la base de las entradas de dicho entorno. Dicha información de salida influye a su vez en el entorno, por el simple hecho de introducir nueva información en él.

(6 bis)

Los sistemas de IA suelen incorporar capacidades de aprendizaje automático, que les permite adaptarse y realizar nuevas funciones de manera autónoma. El aprendizaje automático se refiere al proceso informático de optimizar los parámetros del modelo a partir de los datos, que es un constructo matemático que genera una información de salida a partir de los datos de entrada. Entre las estrategias de aprendizaje automático se encuentran, entre otras, el aprendizaje supervisado, el no supervisado y el realizado por refuerzo, que emplean diversos métodos, entre ellos, el aprendizaje profundo con redes neuronales. El presente Reglamento tiene por objeto abordar los nuevos riesgos potenciales que puedan surgir al delegar el control en los sistemas de IA, en particular en aquellos capaces de evolucionar tras su implantación. La función y la información de salida de muchos de estos sistemas de IA se basan en relaciones matemáticas abstractas que para los seres humanos son difíciles de comprender, supervisar y rastrear hasta los datos de entrada concretos. Estas complejas y opacas características (elemento de caja negra) repercuten en la rendición de cuentas y la explicabilidad. Técnicas comparativamente más sencillas, como los enfoques basados en el conocimiento, la estimación bayesiana o los árboles de decisión, también pueden dar lugar a lagunas jurídicas que deben abordarse en el presente Reglamento, en particular cuando se utilizan en combinación con enfoques de aprendizaje automático en sistemas híbridos.

(6 ter)

Los sistemas de IA pueden utilizarse en un sistema de software de manera independiente, formar parte de un producto físico (integrado), utilizarse para cumplir la funcionalidad de un producto físico sin formar parte de él (no integrado) o como un componente de IA de un sistema mayor. Si ese sistema más amplio no funciona sin el componente de IA en cuestión, todo el sistema de mayor tamaño debe considerarse un único sistema de IA con arreglo al presente Reglamento.

(7)

La noción de «datos biométricos» empleada en el presente Reglamento coincide con la noción de «datos biométricos» definida en el artículo 4, punto 14, del Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo (35); en el artículo 3, punto 18, del Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo  (36) ; y en el artículo 3 , punto 13 , de la Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo  (37) , y debe interpretarse en consonancia con ella .

(7)

La noción de «datos biométricos» empleada en el presente Reglamento está en consonancia y debe ser interpretada de acuerdo con la noción de datos biométricos definida en el artículo 4, punto 14, del Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo (35) . Los datos basados en técnicas biométricas son nuevos datos resultantes de un procesamiento técnico específico relativo a señales físicas, fisiológicas o conductuales de una persona física , como las expresiones faciales , los movimientos, la frecuencia cardíaca, la voz, las pulsaciones de tecla o el modo de andar , que pueden, en algunos casos, permitir identificar o confirmar la identificación unívoca de una persona física .

(7 bis)

La noción de «identificación biométrica» tal como se utiliza en el presente Reglamento debe definirse como el reconocimiento automatizado de rasgos físicos, fisiológicos, conductuales y psicológicos humanos, como la cara, el movimiento ocular, las expresiones faciales, la forma del cuerpo, la voz, el habla, el modo de andar, la postura, la frecuencia cardíaca, la presión arterial, el olor, las pulsaciones de tecla, las reacciones psicológicas (ira, angustia, dolor, etc.) a efectos del establecimiento de la identidad de una persona mediante la comparación de los datos biométricos de esa persona con datos biométricos de personas almacenados en una base de datos (identificación mediante comparación «uno respecto a muchos»).

(7 ter)

La noción de «categorización biométrica» según se utiliza en el presente Reglamento debe definirse como la asignación de personas físicas a categorías concretas o la inferencia de sus características y atributos, como género, sexo, edad, color de pelo, color de ojos, tatuajes, origen étnico o social, estado de salud, capacidad mental o física, rasgos conductuales o de personalidad, lengua, religión o pertenencia a una minoría nacional, u orientación sexual o política, en función de sus datos biométricos o de datos basados en técnicas biométricas, o que puedan deducirse razonablemente de dichos datos.

(8)

La noción de «sistema de identificación biométrica remota» que se utiliza en este Reglamento debe definirse de manera funcional, como un sistema de IA destinado a identificar a distancia a personas físicas comparando sus datos biométricos con los que figuren en una base de datos de referencia, sin saber de antemano si la persona en cuestión se encontrará en dicha base de datos y podrá ser identificada, con independencia de la tecnología, los procesos o los tipos de datos biométricos concretos que se usen. Es preciso distinguir entre los sistemas de identificación biométrica remota «en tiempo real» y «en diferido», dado que tienen características distintas, se utilizan de manera diferente y entrañan riesgos distintos. En el caso de los sistemas «en tiempo real», la recogida de los datos biométricos, la comparación y la identificación se producen de manera instantánea, casi instantánea o, en cualquier caso, sin una demora significativa. En este sentido, no debe existir la posibilidad de eludir las normas contempladas en el presente Reglamento en relación con el uso «en tiempo real» de los sistemas de IA en cuestión generando demoras mínimas. Los sistemas «en tiempo real» implican el uso de material «en directo» o «casi en directo», como grabaciones de vídeo generadas por una cámara u otro dispositivo con funciones similares. En cambio, en los sistemas «en diferido» los datos ya se han recabado y la comparación e identificación se producen con una demora significativa. A tal fin se utilizan materiales, como imágenes o grabaciones de vídeo captadas por cámaras de televisión en circuito cerrado o dispositivos privados, que se han generado antes de aplicar el sistema a las personas físicas en cuestión.

(8)

La noción de «sistema de identificación biométrica remota» que se utiliza en este Reglamento debe definirse de manera funcional, como un sistema de IA destinado a identificar a distancia a personas físicas comparando sus datos biométricos con los que figuren en una base de datos de referencia, sin saber de antemano si la persona en cuestión se encontrará en dicha base de datos y podrá ser identificada, con independencia de la tecnología, los procesos o los tipos de datos biométricos concretos que se usen , excluyendo los sistemas de verificación que se limitan a comparar los datos biométricos de una persona con sus datos biométricos facilitados previamente («uno respecto a uno») . Es preciso distinguir entre los sistemas de identificación biométrica remota «en tiempo real» y «en diferido», dado que tienen características distintas, se utilizan de manera diferente y entrañan riesgos distintos. En el caso de los sistemas «en tiempo real», la recogida de los datos biométricos, la comparación y la identificación se producen de manera instantánea, casi instantánea o, en cualquier caso, sin una demora significativa. En este sentido, no debe existir la posibilidad de eludir las normas contempladas en el presente Reglamento en relación con el uso «en tiempo real» de los sistemas de IA en cuestión generando demoras mínimas. Los sistemas «en tiempo real» implican el uso de material «en directo» o «casi en directo», como grabaciones de vídeo generadas por una cámara u otro dispositivo con funciones similares. En cambio, en los sistemas «en diferido» los datos ya se han recabado y la comparación e identificación se producen con una demora significativa. A tal fin se utilizan materiales, como imágenes o grabaciones de vídeo captadas por cámaras de televisión en circuito cerrado o dispositivos privados, que se han generado antes de aplicar el sistema a las personas físicas en cuestión. Habida cuenta de que la noción de identificación biométrica es independiente del consentimiento individual, esta definición se aplica incluso cuando se colocan avisos de advertencia en el lugar sujeto a la vigilancia del sistema de identificación biométrica remota, y no queda anulada de facto por un registro previo.

(8 bis)

Se entiende que la identificación a distancia de personas físicas distingue entre los sistemas de identificación biométrica remota de los sistemas de verificación individual de cerca que utilizan medios de identificación biométrica, cuya única finalidad es confirmar si una persona física concreta que se presenta para su identificación está autorizada, por ejemplo, a acceder a un servicio, dispositivo o local.

(9)

A los efectos del presente Reglamento, se entenderá que «espacio de acceso público» se refiere a cualquier lugar físico al que tenga acceso el público, con independencia de si es de propiedad privada o pública. Por consiguiente, esta noción no abarca aquellos lugares de carácter privado a los que, por lo general, no pueden acceder libremente terceros, incluidas las fuerzas o cuerpos de seguridad, a menos que hayan sido invitados o autorizados específicamente, como viviendas, clubes privados, oficinas, almacenes y fábricas. Tampoco cubre los espacios en línea, ya que no son espacios físicos. No obstante, el simple hecho de que deban cumplirse determinadas condiciones para acceder a un espacio concreto, como la adquisición de entradas o las restricciones en relación con la edad, no significa que este no sea de acceso público en el sentido del presente Reglamento. En consecuencia, además de espacios públicos como las calles, las zonas pertinentes de edificios gubernamentales y la mayoría de las infraestructuras de transporte, normalmente también se consideran de acceso público espacios como cines, teatros, tiendas y centros comerciales. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.

(9)

A los efectos del presente Reglamento, se entenderá que «espacio de acceso público» se refiere a cualquier lugar físico al que tenga acceso el público, con independencia de si es de propiedad privada o pública y de las posibles limitaciones de capacidad . Por consiguiente, esta noción no abarca aquellos lugares de carácter privado a los que, por lo general, no pueden acceder libremente terceros, incluidas las fuerzas o cuerpos de seguridad, a menos que hayan sido invitados o autorizados específicamente, como viviendas, clubes privados, oficinas, almacenes y fábricas. Tampoco cubre los espacios en línea, ya que no son espacios físicos. No obstante, el simple hecho de que deban cumplirse determinadas condiciones para acceder a un espacio concreto, como la adquisición de entradas o las restricciones en relación con la edad, no significa que este no sea de acceso público en el sentido del presente Reglamento. En consecuencia, además de espacios públicos, como las calles, las zonas pertinentes de edificios gubernamentales y la mayoría de las infraestructuras de transporte, normalmente también se consideran de acceso público espacios como cines, teatros, recintos deportivos, escuelas, universidades, las zonas pertinentes de los hospitales y los bancos, parques de atracciones, festivales, tiendas y centros comerciales. No obstante, se debe determinar caso por caso si un espacio es de acceso público o no teniendo en cuenta las particularidades de la situación concreta.

(9 bis)

Es importante señalar que los sistemas de IA deben hacer todo lo posible para respetar los principios generales que establecen un marco de alto nivel que promueva un enfoque coherente centrado en el ser humano con respecto a una IA ética y fiable, en consonancia con la Carta de los Derechos Fundamentales de la Unión Europea y los valores en los que se fundamenta la Unión, como la protección de los derechos fundamentales, la intervención y vigilancia humanas, la solidez técnica y la seguridad, la privacidad y la gobernanza de datos, la transparencia, la no discriminación y la equidad y el bienestar social y medioambiental.

(9 ter)

La alfabetización en materia de IA se refiere a las capacidades, los conocimientos y la comprensión que permiten a los proveedores, usuarios y demás personas afectadas, teniendo en cuenta sus respectivos derechos y obligaciones en el contexto del presente Reglamento, realizar un despliegue informado de los sistemas de IA y comprender las oportunidades y los riesgos que la inteligencia artificial plantea, así como el daño que puede causar, y de este modo promover su control democrático. La alfabetización en materia de IA no debe limitarse al aprendizaje sobre herramientas y tecnologías, sino que también debe aspirar a dotar a los proveedores y usuarios de los conceptos y capacidades necesarios para garantizar el cumplimiento y la aplicación del presente Reglamento. Por consiguiente, es necesario que la Comisión y los Estados miembros, así como los proveedores y los usuarios de sistemas de IA, en cooperación con todas las partes interesadas pertinentes, promuevan el desarrollo de un nivel suficiente de alfabetización en materia de IA en todos los sectores de la sociedad para los ciudadanos de todas las edades, incluidas las mujeres y las niñas, y que se lleve a cabo un estrecho seguimiento de los avances en este ámbito.

(10)

Con el objetivo de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas en toda la Unión, las normas establecidas en el presente Reglamento deben aplicarse a los proveedores de sistemas de IA sin discriminación, con independencia de si están establecidos en la Unión o en un tercer país, y a los usuarios de sistemas de IA establecidos en la Unión.

(10)

Con el objetivo de garantizar la igualdad de condiciones y la protección efectiva de los derechos y libertades de las personas en toda la Unión y a nivel internacional , las normas establecidas en el presente Reglamento deben aplicarse a los proveedores de sistemas de IA sin discriminación, con independencia de si están establecidos en la Unión o en un tercer país, y a los implementadores de sistemas de IA establecidos en la Unión. Con vistas a que la Unión permanezca fiel a sus valores fundamentales, los sistemas de IA destinados a utilizarse para prácticas consideradas inaceptables por el presente Reglamento también deben considerarse inaceptables fuera de la Unión debido a su efecto especialmente perjudicial para los derechos fundamentales consagrados en la Carta. Procede, por tanto, prohibir a los proveedores residentes en la Unión que exporten tales sistemas de IA a terceros países.

(11)

Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Tal es el caso, por ejemplo, de un operador establecido en la Unión que contrate determinados servicios a otro operador establecido fuera de la Unión en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo y que tiene repercusiones para las personas físicas ubicadas en la Unión. En dichas circunstancias, el sistema de IA usado por el operador de fuera de la Unión podría tratar datos recabados legalmente en la UE y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión la información de salida generada por dicho sistema de IA a raíz de su tratamiento, sin que el sistema de IA en cuestión se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y asegurar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y usuarios de sistemas de IA establecidos en un tercer país, en la medida en que la información de salida generada por dichos sistemas se utilice en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a las organizaciones internacionales cuando actúen en el marco de acuerdos internacionales celebrados a escala nacional o europea con fines de cooperación policial y judicial con la Unión o sus Estados miembros. Dichos acuerdos se han celebrado bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otras agencias de la UE y terceros países y organizaciones internacionales.

(11)

Debido a su carácter digital, algunos sistemas de IA deben entrar en el ámbito de aplicación del presente Reglamento aunque no se introduzcan en el mercado, se pongan en servicio ni se utilicen en la Unión. Tal es el caso, por ejemplo, de un operador establecido en la Unión que contrate determinados servicios a otro operador establecido fuera de la Unión en relación con una actividad que llevará a cabo un sistema de IA que se consideraría de alto riesgo y que tiene repercusiones para las personas físicas ubicadas en la Unión. En dichas circunstancias, el sistema de IA usado por el operador de fuera de la Unión podría tratar datos recabados legalmente en la UE y transferidos desde su territorio, y proporcionar al operador contratante ubicado en la Unión la información de salida generada por dicho sistema de IA a raíz de su tratamiento, sin que el sistema de IA en cuestión se introduzca en el mercado, se ponga en servicio o se utilice en la Unión. Para evitar la elusión de este Reglamento y asegurar la protección efectiva de las personas físicas ubicadas en la Unión, el presente Reglamento también debe aplicarse a los proveedores y usuarios implementadores de sistemas de IA establecidos en un tercer país, en la medida en que la información de salida generada por dichos sistemas esté destinada a ser utilizada en la Unión. No obstante, con el objetivo de tener en cuenta los acuerdos existentes y las necesidades especiales de cooperación con socios extranjeros con los que se intercambian información y pruebas, el presente Reglamento no debe aplicarse a las autoridades públicas de un tercer país ni a las organizaciones internacionales cuando actúen en el marco de acuerdos internacionales celebrados a escala nacional o europea con fines de cooperación policial y judicial con la Unión o sus Estados miembros. Dichos acuerdos se han celebrado bilateralmente entre los Estados miembros y terceros países o entre la Unión Europea, Europol y otras agencias de la UE y terceros países y organizaciones internacionales. No obstante, esta excepción debe limitarse a los países y organizaciones internacionales de confianza que comparten los valores de la Unión.

(12)

El presente Reglamento debe aplicarse igualmente a las instituciones, las oficinas, los organismos y las agencias de la Unión cuando actúen como proveedores o  usuarios de un sistema de IA. Los sistemas de IA desarrollados o utilizados exclusivamente con fines militares deben quedar excluidos del ámbito de aplicación del presente Reglamento cuando su uso sea competencia exclusiva de la política exterior y de seguridad común regulada en el título V del Tratado de la Unión Europea (TUE). El presente Reglamento debe interpretarse sin perjuicio de las disposiciones de la Directiva 2000/31/CE del Parlamento Europeo y el Consejo (en su versión modificada por la Ley de Servicios Digitales) relativas a la responsabilidad de los prestadores de servicios intermediarios.

(12)

El presente Reglamento debe aplicarse igualmente a las instituciones, las oficinas, los organismos y las agencias de la Unión cuando actúen como proveedores o  implementadores de un sistema de IA. Los sistemas de IA desarrollados o utilizados exclusivamente con fines militares deben quedar excluidos del ámbito de aplicación del presente Reglamento cuando su uso sea competencia exclusiva de la política exterior y de seguridad común regulada en el título V del Tratado de la Unión Europea (TUE). El presente Reglamento debe interpretarse sin perjuicio de las disposiciones de la Directiva 2000/31/CE del Parlamento Europeo y el Consejo (en su versión modificada por la Ley de Servicios Digitales) relativas a la responsabilidad de los prestadores de servicios intermediarios.

(12 bis)

Los programas informáticos y los datos que se comparten abiertamente, en los casos en los que los usuarios, libremente, pueden acceder a los mismos, o utilizarlos, modificarlos o redistribuirlos, pueden contribuir a la investigación y la innovación en el mercado. Los estudios llevados a cabo por la Comisión también ponen de relieve que los programas informáticos libres y de código abierto pueden aportar al PIB de la Unión entre 65 000 y 95 000  millones de euros, y que pueden proporcionar oportunidades de crecimiento significativas a la economía europea. A los usuarios se les permite ejecutar, copiar, distribuir, estudiar, modificar y mejorar programas informáticos y datos, incluidos modelos, mediante licencias libres y de código abierto. A fin de impulsar el desarrollo y el despliegue de la inteligencia artificial, especialmente entre las pymes, las empresas emergentes y la investigación académica, pero también entre los particulares, el presente Reglamento no se aplicará a los componentes de IA proporcionados en el marco de licencias libres y de código abierto, salvo en la medida en que sean comercializados o puestos en servicio por un proveedor como parte de un sistema de IA de alto riesgo o de un sistema de IA incluido en el ámbito de aplicación de los títulos II o IV.

(12 ter)

Ni el desarrollo colaborativo de componentes de inteligencia artificial libres y de código abierto ni su puesta a disposición en repositorios abiertos deben constituir actividades de comercialización o puesta en servicio. No obstante, una actividad comercial, en el sentido de una introducción en el mercado, podría caracterizarse por la aplicación de un precio, con la excepción de las transacciones entre microempresas por un componente de inteligencia artificial libre y de código abierto, así como por la aplicación de un precio a los servicios de asistencia técnica, por el suministro de una plataforma de programas informáticos a través de la cual el proveedor monetiza otros servicios, o por el uso de datos personales por razones distintas de las relacionadas exclusivamente con la mejora de la seguridad, la compatibilidad o la interoperabilidad del programa informático.

(12 quater)

A los desarrolladores de componentes de inteligencia artificial libres y de código abierto no se les debe obligar con arreglo al presente Reglamento a cumplir requisitos relativos a las cadenas de valor de la inteligencia artificial y, en particular, que no se dirigen al proveedor que haya utilizado componentes de inteligencia artificial libres y de código abierto. No obstante, debe alentarse a los desarrolladores de componentes de inteligencia artificial libres y de código abierto a que apliquen prácticas de documentación ampliamente adoptadas, como modelos y tarjetas de datos, como una forma de acelerar el intercambio de información a lo largo de la cadena de valor de la inteligencia artificial, permitiendo la promoción de sistemas de IA fiables en la Unión.

(13)

Conviene establecer normas comunes para todos los sistemas de IA de alto riesgo al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales. Dichas normas deben ser coherentes con la Carta de los Derechos Fundamentales de la Unión Europea («la Carta» ), no deben ser discriminatorias y deben estar en consonancia con los compromisos de la Unión en materia de comercio internacional.

(13)

Conviene establecer normas comunes para todos los sistemas de IA de alto riesgo al objeto de garantizar un nivel elevado y coherente de protección de los intereses públicos en lo que respecta a la salud, la seguridad y los derechos fundamentales , así como a la democracia y el Estado de Derecho y el medio ambiente . Dichas normas deben ser coherentes con la Carta , el Pacto Verde Europeo, la Declaración Conjunta sobre los Derechos Digitales de la Unión y las Directrices éticas para una inteligencia artificial (IA ) fiable del grupo de expertos de alto nivel sobre inteligencia artificial , no deben ser discriminatorias y deben estar en consonancia con los compromisos de la Unión en materia de comercio internacional.

(14)

Con el fin de introducir un conjunto proporcionado y eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoque basado en los riesgos claramente definido, que adapte el tipo de las normas y su contenido a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA en cuestión. Por consiguiente, es necesario prohibir determinadas prácticas de inteligencia artificial, definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, e imponer obligaciones de transparencia a determinados sistemas de IA.

(14)

Con el fin de introducir un conjunto proporcionado y eficaz de normas vinculantes para los sistemas de IA, es preciso aplicar un enfoque basado en los riesgos claramente definido, que adapte el tipo de las normas y su contenido a la intensidad y el alcance de los riesgos que puedan generar los sistemas de IA en cuestión. Por consiguiente, es necesario prohibir determinadas prácticas de inteligencia artificial inaceptables , definir los requisitos que deben cumplir los sistemas de IA de alto riesgo y las obligaciones aplicables a los operadores pertinentes, e imponer obligaciones de transparencia a determinados sistemas de IA.

(15)

Al margen de los múltiples usos beneficiosos de la inteligencia artificial, dicha tecnología también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social. Dichas prácticas son sumamente perjudiciales y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, libertad, igualdad, democracia y Estado de Derecho y de los derechos fundamentales que reconoce la UE, como el derecho a la no discriminación, la protección de datos y la privacidad, y los derechos del niño.

(15)

Al margen de los múltiples usos beneficiosos de la inteligencia artificial, dicha tecnología también puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social. Dichas prácticas son sumamente perjudiciales y abusivas y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, libertad, igualdad, democracia y Estado de Derecho y de los derechos fundamentales que reconoce la UE, como el derecho a la no discriminación, la protección de datos y la privacidad, y los derechos del niño.

(16)

Debe prohibirse la introducción en el mercado, la puesta en servicio o el uso de determinados sistemas de IA destinados a alterar la conducta humana que es probable que provoquen perjuicios físicos o psicológicos. Dichos sistemas de IA despliegan componentes subliminales imperceptibles para el ser humano o se aprovechan de las vulnerabilidades de los menores y las personas por razones de edad o incapacidad física o mental. Lo hacen con la intención de alterar sustancialmente el comportamiento de una persona y de un modo que perjudique o es probable que perjudique a esa misma persona o a otra. Dicha intención no puede darse por supuesta si la alteración del comportamiento humano es el resultado de factores externos al sistema de IA que escapan al control del proveedor o el usuario. Su prohibición no debe impedir la investigación relacionada con esos sistemas de IA con fines legítimos, siempre que tal investigación no implique usar el sistema de IA en cuestión en relaciones entre seres humanos y máquinas que expongan a personas físicas a perjuicios, y siempre que se lleve a cabo con arreglo a las normas éticas reconocidas para la investigación científica.

(16)

Debe prohibirse la introducción en el mercado, la puesta en servicio o el uso de determinados sistemas de IA que tengan por finalidad o efecto provocar alteraciones sustanciales de la conducta humana que es bastante probable que provoquen perjuicios físicos o psicológicos. Debe entenderse que esta limitación comprende las neurotecnologías asistidas mediante sistemas de IA que se utilizan para supervisar, utilizar o influir en los datos neuronales recopilados a través de interfaces cerebro-ordenador, en la medida en que alteren sustancialmente el comportamiento de una persona física de una manera que cause o pueda probablemente causar un perjuicio significativo a esa misma persona o a otra. Dichos sistemas de IA despliegan componentes subliminales imperceptibles para el ser humano o se aprovechan de las vulnerabilidades de las personas y de grupos específicos de personas por razones de sus rasgos conocidos o  previstos de personalidad, edad, incapacidad física o mental , situación social o económica . Actúan así con la finalidad o el efecto de alterar sustancialmente el comportamiento de una persona y de un modo que perjudique o es probable que perjudique de forma significativa a nivel físico o psicológico a esa misma persona o a otra , o a grupos de personas, incluyendo perjuicios que pueden acumularse con el tiempo . La intención de alterar el comportamiento no puede darse por supuesta si la alteración es el resultado de factores externos al sistema de IA que escapan al control del proveedor o el usuario , factores que el proveedor o el implementador del sistema de IA no puedan prever ni mitigar razonablemente. En cualquier caso, no es necesario que el proveedor o el implementador tengan la intención de causar perjuicios significativos, siempre y cuando el perjuicio se derive de las prácticas de manipulación o explotación que permite la inteligencia artificial. Las prohibiciones de tales prácticas de inteligencia artificial son complementarias de las disposiciones de la Directiva 2005/29/CE, según las cuales se prohíben las prácticas comerciales desleales, con independencia de si han recurrido o no a sistemas de IA. En ese contexto, por ejemplo, no debe considerarse que las prácticas comerciales legítimas con arreglo al Derecho de la Unión en el ámbito de la publicidad infringen la prohibición. Su prohibición no debe impedir la investigación relacionada con esos sistemas de IA con fines legítimos, siempre que tal investigación no implique usar el sistema de IA en cuestión en relaciones entre seres humanos y máquinas que expongan a personas físicas a perjuicios, y siempre que se lleve a cabo con arreglo a las normas éticas reconocidas para la investigación científica y sobre la base del consentimiento informado específico de las personas que estén expuestas a ellos o, en su caso, de su tutor legal .

(16 bis)

Los sistemas de IA que clasifican a las personas físicas asignándolas a categorías específicas, en función de ciertas características sensibles o protegidas, ya sean conocidas o inferidas, son especialmente intrusivos, vulneran la dignidad humana y presentan un gran riesgo de discriminación. Dichas características comprenden el género y la identidad de género, la raza, el origen étnico, la condición de migrante o ciudadanía, la orientación política, la orientación sexual, la religión, la discapacidad o cualquier otro motivo por el que la discriminación esté prohibida en virtud del artículo 21 de la Carta de los Derechos Fundamentales de la UE, así como en virtud del artículo 9 del Reglamento (UE) 2016/769. Por lo tanto, dichos sistemas deben prohibirse.

(17)

Los sistemas de IA que proporcionan calificaciones sociales de personas físicas para su uso con fines generales por parte de las autoridades públicas o en representación de estas pueden tener resultados discriminatorios y abocar a la exclusión a determinados grupos. Pueden menoscabar el derecho a la dignidad y la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican la fiabilidad de las personas físicas en función de su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas o predichas. La calificación social resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, dichos sistemas de IA deben prohibirse.

(17)

Los sistemas de IA que proporcionan calificaciones sociales de personas físicas para su uso con fines generales pueden tener resultados discriminatorios y abocar a la exclusión a determinados grupos. Menoscaban el derecho a la dignidad y la no discriminación y los valores de igualdad y justicia. Dichos sistemas de IA evalúan o clasifican a las personas físicas o grupos en función de varios puntos de datos y sucesos temporales relacionados con su comportamiento social en múltiples contextos o de características personales o de su personalidad conocidas , inferidas o predichas. La calificación social resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de personas físicas o colectivos enteros en contextos sociales que no guardan relación con el contexto donde se generaron o recabaron los datos originalmente, o a un trato perjudicial desproporcionado o injustificado en relación con la gravedad de su comportamiento social. Por lo tanto, dichos sistemas de IA deben prohibirse.

(18)

Se considera que el uso de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de aplicación de la ley invade especialmente los derechos y las libertades de las personas afectadas, en la medida en que puede afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales. Además, la inmediatez de las consecuencias y las escasas oportunidades para realizar comprobaciones o correcciones adicionales en relación con el uso de sistemas que operan «en tiempo real» acrecientan el riesgo para los derechos y las libertades de las personas afectadas por las actividades de aplicación de la ley.

(18)

El uso de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público invade especialmente los derechos y las libertades de las personas afectadas, y puede en última instancia afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante , otorgar a las partes que implementan los sistemas de identificación biométrica en espacios de acceso público una posición de poder incontrolable y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales esenciales para el Estado de Derecho. Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener consecuencias discriminatorias. Esto es especialmente importante en lo que respecta a la edad, la etnia, el sexo o la discapacidad . Además, la inmediatez de las consecuencias y las escasas oportunidades para realizar comprobaciones o correcciones adicionales en relación con el uso de sistemas que operan «en tiempo real» acrecientan el riesgo para los derechos y las libertades de las personas afectadas por las actividades de aplicación de la ley. En consecuencia, debe prohibirse el uso de dichos sistemas en los espacios de acceso público. Del mismo modo, los sistemas de IA utilizados para el análisis de las imágenes grabadas de espacios de acceso público a través de sistemas de identificación biométrica remota «en diferido» también deben prohibirse, a menos que exista una autorización judicial previa para su uso en el contexto de la aplicación de la ley, cuando sea estrictamente necesario para la investigación específica de un delito grave que ya haya tenido lugar, y solo previa autorización judicial.

(19)

En consecuencia, debe prohibirse el uso de dichos sistemas con fines de aplicación de la ley, salvo en tres situaciones enumeradas de manera limitativa y definidas con precisión en las que su utilización es estrictamente necesaria para lograr un interés público esencial cuya importancia es superior a los riesgos. Estas situaciones son la búsqueda de posibles víctimas de un delito, incluidos menores desaparecidos; determinadas amenazas para la vida o la seguridad física de las personas físicas o amenazas de atentado terrorista; y la detección, la localización, la identificación o el enjuiciamiento de los autores o sospechosos de los delitos mencionados en la Decisión Marco 2002/584/JAI del Consejo  (38) , si la normativa del Estado miembro implicado señala una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos de tres años, tal como se definan en el Derecho de dicho Estado miembro. Fijar ese umbral para la pena o la medida de seguridad privativas de libertad con arreglo al Derecho nacional contribuye a garantizar que el delito sea lo suficientemente grave como para llegar a justificar el uso de sistemas de identificación biométrica remota «en tiempo real». Por otro lado, en la práctica, algunos de los treinta y dos delitos enumerados en la Decisión Marco 2002/584/JAI del Consejo son probablemente más relevantes que otros en el sentido de que, previsiblemente, recurrir a la identificación biométrica remota «en tiempo real» se considerará necesario y proporcionado en grados muy distintos para llevar a cabo la detección, la localización, la identificación o el enjuiciamiento de los autores o sospechosos de tales delitos, como también habrá enormes diferencias en la gravedad, la probabilidad y la magnitud de los perjuicios o las posibles consecuencias negativas que se deriven de ellos.

(20)

Para velar por que dichos sistemas se utilicen de manera responsable y proporcionada, también es importante establecer que, en esas tres situaciones enumeradas de manera limitativa y definidas con precisión, deben tenerse en cuenta determinados elementos, en particular en lo que se refiere a la naturaleza de la situación que dé lugar a la solicitud, a las consecuencias que su uso puede tener sobre los derechos y las libertades de todas las personas implicadas, y a las salvaguardias y condiciones que acompañen a su uso. Además, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley debe estar sujeto a límites temporales y espaciales adecuados que tengan en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores. La base de datos de personas de referencia debe ser adecuada para cada caso de uso en cada una de las tres situaciones antes mencionadas.

(21)

Todo uso de un sistema de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley debe estar autorizado de manera expresa y específica por una autoridad judicial o por una autoridad administrativa independiente de un Estado miembro. En principio, dicha autorización debe obtenerse con anterioridad al uso, excepto en situaciones de urgencia debidamente justificadas, es decir, aquellas en las que la necesidad de utilizar los sistemas en cuestión sea tan imperiosa que imposibilite, de manera efectiva y objetiva, obtener una autorización antes de iniciar el uso. En tales situaciones de urgencia, el uso debe limitarse al mínimo imprescindible y cumplir las salvaguardias y las condiciones oportunas, conforme a lo estipulado en el Derecho interno y según corresponda en cada caso concreto de uso urgente por parte de las fuerzas o cuerpos de seguridad. Además, en esas situaciones las fuerzas o cuerpos de seguridad deben tratar de obtener una autorización lo antes posible e indicar los motivos por los que no han podido hacerlo antes.

(22)

Por otro lado, conviene estipular, en el marco exhaustivo que establece este Reglamento, que dicho uso en el territorio de un Estado miembro conforme a lo dispuesto en el presente Reglamento solo debe ser posible cuando el Estado miembro en cuestión haya decidido contemplar expresamente la posibilidad de autorizarlo en las normas detalladas de su Derecho interno, y en la medida en que lo haya contemplado. En consecuencia, con el presente Reglamento los Estados miembros siguen siendo libres de no ofrecer esta posibilidad en absoluto o de ofrecerla únicamente en relación con algunos de los objetivos que pueden justificar un uso autorizado conforme al presente Reglamento.

(23)

La utilización de sistemas de IA para la identificación biométrica remota «en tiempo real» de personas físicas en espacios de acceso público con fines de aplicación de la ley implica, necesariamente, el tratamiento de datos biométricos. Las normas del presente Reglamento que prohíben, con algunas excepciones, ese uso, basadas en el artículo 16 del TFUE, deben aplicarse como lex specialis con respecto a las normas sobre el tratamiento de datos biométricos que figuran en el artículo 10 de la Directiva (UE) 2016/680, con lo que se regula de manera exhaustiva dicho uso y el tratamiento de los datos biométricos conexos. Por lo tanto, ese uso y tratamiento solo deben ser posibles en la medida en que sean compatibles con el marco establecido por el presente Reglamento, sin que exista un margen, fuera de dicho marco, para que las autoridades competentes, cuando actúen con fines de aplicación de la ley, utilicen tales sistemas y traten los datos conexos en los supuestos previstos en el artículo 10 de la Directiva (UE) 2016/680. En este contexto, el presente Reglamento no pretende sentar la base jurídica para el tratamiento de datos personales en virtud del artículo 8 de la Directiva (UE) 2016/680. Sin embargo, el uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines distintos de la aplicación de la ley, incluso por parte de las autoridades competentes, no debe estar cubierto por el marco específico establecido por el presente Reglamento en lo que respecta al uso de dichos sistemas con fines de aplicación de la ley. Por consiguiente, su uso con fines distintos de la aplicación de la ley no debe supeditarse al requisito de obtener una autorización previsto en este Reglamento ni a las normas detalladas del Derecho interno aplicables que pudieran hacerlo efectivo.

(24)

Todo tratamiento de datos biométricos y datos personales de otra índole asociado al uso de sistemas de IA con fines de identificación biométrica distinto del uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público con fines de aplicación de la ley regulado por el presente Reglamento debe seguir cumpliendo todos los requisitos derivados del artículo 9, apartado 1, del Reglamento (UE) 2016/679; el artículo 10, apartado 1, del Reglamento (UE) 2018/1725, y el artículo 10 de la Directiva (UE) 2016/680, según corresponda , incluso cuando las autoridades competentes sean quienes usen dichos sistemas en espacios de acceso público con fines distintos de la aplicación de la ley .

(24)

Todo tratamiento de datos biométricos o datos personales de otra índole asociado al uso de sistemas de IA con fines de identificación biométrica distinto del uso de sistemas de identificación biométrica remota «en tiempo real» en espacios de acceso público regulado por el presente Reglamento debe seguir cumpliendo todos los requisitos derivados del artículo 9, apartado 1, del Reglamento (UE) 2016/679; el artículo 10, apartado 1, del Reglamento (UE) 2018/1725, y el artículo 10 de la Directiva (UE) 2016/680, según corresponda.

(25)

De conformidad con el artículo 6 bis del Protocolo n.o 21 sobre la posición del Reino Unido y de Irlanda respecto del espacio de libertad, seguridad y justicia, anejo al TUE y al TFUE, Irlanda no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), y el artículo 5, apartados 2 y 3, del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se refieren al tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, en la medida en que no Irlanda no quede obligada por las normas que regulen formas de cooperación judicial en materia penal o de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas sobre la base del artículo 16 del TFUE.

(25)

De conformidad con el artículo 6 bis del Protocolo n.o 21 sobre la posición del Reino Unido y de Irlanda respecto del espacio de libertad, seguridad y justicia, anejo al TUE y al TFUE, Irlanda no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se refieren al tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, en la medida en que no Irlanda no quede obligada por las normas que regulen formas de cooperación judicial en materia penal o de cooperación policial en cuyo marco deban respetarse las disposiciones establecidas sobre la base del artículo 16 del TFUE.

(26)

De conformidad con lo dispuesto en los artículos 2 y 2 bis del Protocolo n.o 22 sobre la posición de Dinamarca, anejo al TUE y al TFUE, Dinamarca no queda obligada las normas establecidas en el artículo 5, apartado 1, letra d) , y el artículo 5, apartados 2 y 3 , del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se relacionen con el tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, ni está sujeta a su aplicación.

(26)

De conformidad con lo dispuesto en los artículos 2 y 2 bis del Protocolo n.o 22 sobre la posición de Dinamarca, anejo al TUE y al TFUE, Dinamarca no queda obligada por las normas establecidas en el artículo 5, apartado 1, letra d), del presente Reglamento, adoptadas sobre la base del artículo 16 del TFUE, que se relacionen con el tratamiento de datos personales por parte de los Estados miembros en el ejercicio de las actividades comprendidas en el ámbito de aplicación del capítulo 4 o el capítulo 5 del título V de la tercera parte del TFUE, ni está sujeta a su aplicación.

(26 bis)

Los sistemas de IA utilizados por las autoridades encargadas de la aplicación de la ley o en nombre de estas para realizar predicciones, perfiles o evaluaciones de riesgo a partir de la elaboración de perfiles de personas físicas o del análisis de datos basados en rasgos y características de la personalidad, incluida la ubicación de la persona, o en comportamientos delictivos pasados de personas físicas o grupos de personas con el fin de predecir la comisión o reiteración de uno o varios delitos reales o potenciales u otro tipo de comportamientos sociales criminalizados o infracciones administrativas, incluidos los sistemas de predicción del fraude, entrañan un riesgo particular de discriminación contra determinadas personas o grupos de personas, ya que vulneran la dignidad humana, así como el principio jurídico clave de presunción de inocencia. Por lo tanto, dichos sistemas de IA deben prohibirse.

(26 ter)

La extracción indiscriminada y no selectiva de datos biométricos procedentes de las redes sociales o de las imágenes captadas por cámaras de televisión en circuito cerrado para crear o ampliar bases de datos de reconocimiento facial agrava el sentimiento de vigilancia masiva y puede dar lugar a graves violaciones de los derechos fundamentales, incluido el derecho a la intimidad. En consecuencia, debe prohibirse el uso de los sistemas de IA con dicho propósito.

(26 quater)

Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar las emociones, los rasgos físicos o psicológicos, como las expresiones faciales, los movimientos, la frecuencia cardíaca o la voz. Las emociones o sus formas de expresión y su percepción varían de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estas tecnologías son la fiabilidad limitada (las categorías de emociones no se expresan de forma coherente a través de un conjunto común de movimientos físicos o psicológicos ni se asocian de forma inequívoca a estos), la falta de especificidad (las expresiones físicas o psicológicas no se corresponden totalmente con las categorías de emociones) y la limitada posibilidad de generalizar (los efectos del contexto y la cultura no se tienen debidamente en cuenta). Los problemas de fiabilidad y, por consiguiente, los principales riesgos de abuso, pueden surgir especialmente cuando se implanta el sistema en situaciones de la vida real relacionadas con la aplicación de la ley, la gestión de fronteras, el lugar de trabajo y las instituciones educativas. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA diseñados para utilizarse en dichos contextos a fin de detectar el estado emocional de las personas físicas.

(26 quinquies)

El presente Reglamento no debe afectar a las prácticas prohibidas por el Derecho de la Unión, incluida la legislación en materia de protección de datos, de no discriminación, de protección de los consumidores y sobre competencia.

(27)

La introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo en la Unión debe supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuya información de salida se utilice en la Unión no entrañen riesgos inaceptables para intereses públicos importantes de la UE, reconocidos y protegidos por el Derecho de la Unión. La calificación «de alto riesgo» debe limitarse a aquellos sistemas de IA que tengan consecuencias perjudiciales importantes para la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación reduce al mínimo cualquier posible restricción del comercio internacional, si la hubiera.

(27)

La introducción en el mercado o la puesta en servicio o utilización de sistemas de IA de alto riesgo en la Unión debe supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuya información de salida se utilice en la Unión no entrañen riesgos inaceptables para intereses públicos importantes de la UE, reconocidos y protegidos por el Derecho de la Unión , incluidos los derechos fundamentales, la democracia, el Estado de Derecho y el medio ambiente. A fin de garantizar la coherencia con la legislación sectorial y evitar duplicaciones, los requisitos para los sistemas de IA de alto riesgo deben tener en cuenta la legislación sectorial que establece los requisitos para los sistemas de IA de alto riesgo que entran en el ámbito de aplicación del presente Reglamento, como el Reglamento (UE) 2017/745 sobre los productos sanitarios y el Reglamento (UE) 2017/746 sobre los productos sanitarios para diagnóstico in vitro o la Directiva 2006/42/CE relativa a las máquinas . La calificación «de alto riesgo» debe limitarse a aquellos sistemas de IA que tengan consecuencias perjudiciales importantes para la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación reduce al mínimo cualquier posible restricción del comercio internacional, si la hubiera. Habida cuenta del rápido ritmo del desarrollo tecnológico, así como de los posibles cambios en el uso de los sistemas de IA, la lista de ámbitos y casos de uso de alto riesgo que figura en el anexo III debe someterse, no obstante, a una revisión permanente mediante el ejercicio de evaluaciones periódicas.

(28)

Los sistemas de IA pueden tener efectos adversos para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y reducir debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y cuidado personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde los riesgos para la vida y la salud son especialmente elevados, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos. La magnitud de las consecuencias adversas de un sistema de IA para los derechos fundamentales protegidos por la Carta es particularmente pertinente cuando este es clasificado como de alto riesgo. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta de la UE y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan en mayor profundidad en la observación general n.o 25 del Comité de los Derechos del Niño relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, en particular en lo que respecta a la salud y la seguridad de las personas, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.

(28)

Los sistemas de IA pueden tener un efecto adverso para la salud y la seguridad de las personas, en particular cuando funcionan como componentes de seguridad de productos. En consonancia con los objetivos de la legislación de armonización de la Unión de facilitar la libre circulación de productos en el mercado interior y velar por que solo lleguen al mercado aquellos productos que sean seguros y conformes, es importante prevenir y reducir debidamente los riesgos de seguridad que pueda generar un producto en su conjunto debido a sus componentes digitales, entre los que pueden figurar los sistemas de IA. Por ejemplo, los robots cada vez más autónomos que se utilizan en las fábricas o con fines de asistencia y cuidado personal deben poder funcionar y desempeñar sus funciones de manera segura en entornos complejos. Del mismo modo, en el sector sanitario, donde los riesgos para la vida y la salud son especialmente elevados, los sistemas de diagnóstico y de apoyo a las decisiones humanas, cuya sofisticación es cada vez mayor, deben ser fiables y precisos.

(28 bis)

A la hora de clasificar un sistema de IA como de alto riesgo resulta particularmente pertinente atender a la magnitud de las consecuencias adversas de dicho sistema de IA para los derechos fundamentales protegidos por la Carta. Entre dichos derechos se incluyen el derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la libertad de expresión y de información, la libertad de reunión y de asociación, la no discriminación, el derecho a la educación, la protección de los consumidores, los derechos de los trabajadores, los derechos de las personas discapacitadas, la igualdad entre hombres y mujeres, los derechos de propiedad intelectual, el derecho a la tutela judicial efectiva y a un juez imparcial, los derechos de la defensa y la presunción de inocencia, y el derecho a una buena administración. Además de esos derechos, conviene poner de relieve que los menores poseen unos derechos específicos consagrados en el artículo 24 de la Carta de la UE y en la Convención sobre los Derechos del Niño de las Naciones Unidas, que se desarrollan en mayor profundidad en la observación general n.o 25 del Comité de los Derechos del Niño relativa a los derechos de los niños en relación con el entorno digital. Ambos instrumentos exigen que se tengan en consideración las vulnerabilidades de los menores y que se les brinde la protección y la asistencia necesarias para su bienestar. Cuando se evalúe la gravedad del perjuicio que puede ocasionar un sistema de IA, en particular en lo que respecta a la salud y la seguridad de las personas o al medio ambiente, también se debe tener en cuenta el derecho fundamental a un nivel elevado de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión.

(29)

En cuanto a los sistemas de IA de alto riesgo que son componentes de seguridad de productos o sistemas, o que son en sí mismos productos o sistemas que entran en el ámbito de aplicación del Reglamento (CE) n.o 300/2008 del Parlamento Europeo y del Consejo (39), el Reglamento (UE) n.o 167/2013 del Parlamento Europeo y del Consejo (40), el Reglamento (UE) n.o 168/2013 del Parlamento Europeo y del Consejo (41), la Directiva 2014/90/UE del Parlamento Europeo y del Consejo (42), la Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo (43), el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo (44), el Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo (45), y el Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo (46), procede modificar dichos actos para garantizar que, cuando la Comisión adopte en el futuro adopte actos delegados o de ejecución pertinentes en la materia basándose en ellos, tenga en cuenta los requisitos obligatorios para los sistemas de IA de alto riesgo previstos en el presente Reglamento, atendiendo a las particularidades técnicas y reglamentarias de los distintos sectores y sin interferir con la gobernanza, los mecanismos de evaluación de la conformidad y supervisión, y las autoridades existentes en cada uno de ellos.

(29)

En cuanto a los sistemas de IA de alto riesgo que son componentes de seguridad de productos o sistemas, o que son en sí mismos productos o sistemas que entran en el ámbito de aplicación del Reglamento (CE) n.o 300/2008 del Parlamento Europeo y del Consejo (39), el Reglamento (UE) n.o 167/2013 del Parlamento Europeo y del Consejo (40), el Reglamento (UE) n.o 168/2013 del Parlamento Europeo y del Consejo (41), la Directiva 2014/90/UE del Parlamento Europeo y del Consejo (42), la Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo (43), el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo (44), el Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo (45), y el Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo (46), procede modificar dichos actos para garantizar que, cuando la Comisión adopte en el futuro actos delegados o de ejecución pertinentes en la materia basándose en ellos, tenga en cuenta los requisitos obligatorios para los sistemas de IA de alto riesgo previstos en el presente Reglamento, atendiendo a las particularidades técnicas y reglamentarias de los distintos sectores y sin interferir con la gobernanza, los mecanismos de evaluación de la conformidad , vigilancia del mercado y supervisión, y las autoridades existentes en cada uno de ellos.

(30)

En cuanto a los sistemas de IA que son componentes de seguridad de productos, o que son productos en sí mismos, y entran dentro del ámbito de aplicación de determinada legislación de armonización de la Unión, procede considerarlos de alto riesgo en virtud del presente Reglamento si el producto en cuestión es sometido al procedimiento de evaluación de la conformidad con un organismo de evaluación de la conformidad externo de acuerdo con dicha legislación de armonización pertinente de la Unión. Esos productos son, en concreto, máquinas, juguetes, ascensores, equipo y sistemas de protección para uso en atmósferas potencialmente explosivas, equipos radioeléctricos, equipos a presión, equipo de embarcaciones de recreo, instalaciones de transporte por cable, aparatos que queman combustibles gaseosos, productos sanitarios y productos sanitarios para diagnóstico in vitro.

(30)

En cuanto a los sistemas de IA que son componentes de seguridad de productos, o que son productos en sí mismos, y entran dentro del ámbito de aplicación de determinada legislación de armonización de la Unión enumerada en la lista del Anexo II , procede considerarlos de alto riesgo en virtud del presente Reglamento si el producto en cuestión es sometido al procedimiento de evaluación de la conformidad a fin de garantizar el cumplimiento de los requisitos de seguridad esenciales con un organismo de evaluación de la conformidad externo de acuerdo con dicha legislación de armonización pertinente de la Unión. Esos productos son, en concreto, máquinas, juguetes, ascensores, equipo y sistemas de protección para uso en atmósferas potencialmente explosivas, equipos radioeléctricos, equipos a presión, equipo de embarcaciones de recreo, instalaciones de transporte por cable, aparatos que queman combustibles gaseosos, productos sanitarios y productos sanitarios para diagnóstico in vitro.

(31)

Que un sistema de IA se considere de alto riesgo en virtud del presente Reglamento no significa necesariamente que el producto del que sea componente de seguridad, o el sistema de IA en sí mismo como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la legislación de armonización de la Unión pertinente que se aplique al producto. Tal es el caso, en particular, del Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo (47) y del Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo (48), que prevén que un organismo independiente realice una evaluación de la conformidad de los productos de riesgo medio y alto.

(31)

Que un sistema de IA se considere de alto riesgo en virtud del presente Reglamento no significa que el producto del que sea componente de seguridad, o el sistema de IA en sí mismo como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la legislación de armonización de la Unión pertinente que se aplique al producto. Tal es el caso, en particular, del Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo (47) y del Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo (48), que prevén que un organismo independiente realice una evaluación de la conformidad de los productos de riesgo medio y alto.

(32)

En cuanto a los sistemas de IA independientes, es decir, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos o no son productos en sí mismos, hay que considerarlos de alto riesgo si, a la luz de su finalidad prevista, presentan un alto riesgo de menoscabar la salud y la seguridad o los derechos fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible perjuicio como la probabilidad de que se produzca, y se utilizan en varias esferas predefinidas especificadas en el presente Reglamento . Para identificar dichos sistemas se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo.

(32)

En cuanto a los sistemas de IA independientes, es decir, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos o no son productos en sí mismos y que están recogidos en uno de los ámbitos y casos de uso del Anexo III , hay que considerarlos de alto riesgo si, a la luz de su finalidad prevista, presentan un riesgo significativo de menoscabar la salud y la seguridad o los derechos fundamentales de las personas y , cuando el sistema de IA se utiliza como componente de seguridad de una infraestructura crítica, el medio ambiente. Este riesgo significativo de perjuicio debe identificarse mediante la evaluación, por una parte, del efecto de dicho riesgo con respecto a su nivel de gravedad, intensidad, probabilidad de que se produzca y duración combinadas y , por otra, de si el riesgo puede afectar a una persona, a una pluralidad de ellas o a un grupo particular de personas. Dicha combinación podría dar lugar, por ejemplo, a una elevada gravedad, pero baja probabilidad, de afectar a una persona física, o a una alta probabilidad de afectar a un grupo de personas con baja intensidad durante un largo período de tiempo, dependiendo del contexto . Para identificar dichos sistemas se emplean la misma metodología y los mismos criterios previstos para la posible modificación futura de la lista de sistemas de IA de alto riesgo.

(32 bis)

Los proveedores cuyos sistemas de IA entren en uno de los ámbitos y casos de uso enumerados en el anexo III que consideren que su sistema no plantea un riesgo significativo de perjuicio para la salud, la seguridad, los derechos fundamentales o el medio ambiente deben informar a las autoridades nacionales de supervisión mediante la presentación de una notificación motivada, que podría adoptar la forma de un resumen de una página en el que se recoja la información pertinente sobre el sistema de IA en cuestión, incluida su finalidad prevista y las razones por las que no supondría un riesgo significativo de perjuicio para la salud, la seguridad, los derechos fundamentales o el medio ambiente. La Comisión debe especificar los criterios que permitan a las empresas evaluar si su sistema plantearía tales riesgos, así como desarrollar un modelo de notificación de uso sencillo y normalizado. Los proveedores deben presentar la notificación lo antes posible y, en todo caso, antes de la introducción del sistema de IA en el mercado o de su puesta en servicio, idealmente en la fase de desarrollo, y deben poder introducirlo en el mercado en cualquier momento después de la notificación. No obstante, si la autoridad considera que el sistema de IA en cuestión ha sido clasificado incorrectamente, debe oponerse a la notificación en un plazo de tres meses. La objeción debe ser motivada y explicar debidamente por qué el sistema de IA ha sido clasificado incorrectamente. El proveedor debe conservar el derecho de recurso mediante la alegación de nuevos argumentos. Las autoridades nacionales de supervisión conservan la posibilidad de intervenir si, transcurrido el plazo de tres meses sin objeciones a la notificación, el sistema de IA presenta un riesgo a nivel nacional, como en el caso de cualquier otro sistema de IA presente en el mercado. Las autoridades nacionales de supervisión deben presentar informes anuales a la Oficina de IA en los que detallen las notificaciones recibidas y las decisiones adoptadas.

(33)

Las imprecisiones técnicas de los sistemas de IA destinados a la identificación biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y tener consecuencias discriminatorias. Esto es especialmente importante en lo que respecta a la edad, la etnia, el sexo o la discapacidad. Por este motivo, debe considerarse que los sistemas de identificación biométrica remota «en tiempo real» y «en diferido» conllevan un alto riesgo. Debido a los riesgos que entrañan, deben aplicarse requisitos específicos referentes a las capacidades de registro y la vigilancia humana a ambos tipos de sistemas de identificación biométrica remota.

(33 bis)

Dado que los datos biométricos constituyen una categoría especial de datos personales sensibles de conformidad con el Reglamento 2016/679, procede clasificar como de alto riesgo varios casos de uso críticos de sistemas biométricos y basados en la biometría. Por lo tanto, los sistemas de IA destinados a utilizarse para la identificación biométrica de personas físicas y los sistemas de IA destinados a ser utilizados para extraer conclusiones sobre las características personales de las personas físicas a partir de datos biométricos o basados en la biometría, incluidos los sistemas de reconocimiento de emociones, a excepción de los prohibidos en virtud del presente Reglamento, deben clasificarse como de alto riesgo. Esto no debe comprender los sistemas de IA destinados a utilizarse en la verificación biométrica, lo que incluye la autenticación, cuya única finalidad es confirmar que una persona física concreta es la persona que dice ser y confirmar la identidad de una persona física con el único fin de tener acceso a un servicio, un dispositivo o un local (verificación de uno respecto a uno). No debe considerarse que los sistemas biométricos y basados en la biometría previstos en el Derecho de la Unión para posibilitar la ciberseguridad y las medidas de protección de los datos personales supongan un riesgo significativo de perjuicio para la salud, la seguridad y los derechos fundamentales.

(34)

En el caso de la gestión y el funcionamiento de infraestructuras críticas, conviene considerar de alto riesgo a los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento del tráfico rodado y el suministro de agua, gas, calefacción y electricidad, pues su fallo o defecto de funcionamiento puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera apreciable el desarrollo habitual de las actividades sociales y económicas.

(34)

En el caso de la gestión y el funcionamiento de infraestructuras críticas, conviene considerar de alto riesgo a los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento del suministro de agua, gas, calefacción, electricidad e infraestructuras digitales críticas , pues su fallo o defecto de funcionamiento puede vulnerar la seguridad y la integridad de dichas infraestructuras críticas o poner en peligro la vida y la salud de las personas a gran escala y alterar de manera apreciable el desarrollo habitual de las actividades sociales y económicas. Los componentes de seguridad de las infraestructuras críticas, también de las infraestructuras digitales críticas, son sistemas utilizados para proteger directamente la integridad física de la infraestructura crítica o la salud y la seguridad de las personas y los bienes. Un fallo o un defecto de funcionamiento de esos componentes podría dar lugar directamente a riesgos para la integridad física de las infraestructuras críticas y, por tanto, a riesgos para la salud y la seguridad de las personas y los bienes. Los componentes destinados a ser utilizados exclusivamente con fines de ciberseguridad no deben considerarse componentes de seguridad. Entre dichos componentes de seguridad cabe señalar, por ejemplo, los sistemas de control de la presión del agua o los sistemas de control de las alarmas contraincendios en los centros de computación en nube.

(35)

Deben considerarse de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en especial aquellos que determinan el acceso o distribuyen a las personas entre distintas instituciones educativas y de formación profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el marco de su educación o como condición necesaria para acceder a ella, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación.

(35)

La implementación de sistemas de IA en la educación es importante para ayudar a modernizar completamente los sistemas educativos, aumentar la calidad de la educación, tanto en línea como fuera de línea, y acelerar la educación digital, poniéndola así también a disposición de un público más amplio. Deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en especial aquellos que determinan el acceso o  influyen sustancialmente en las decisiones sobre admisión o distribuyen a las personas entre distintas instituciones educativas y de formación profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el marco de su educación o como condición necesaria para acceder a ella o para evaluar el nivel apropiado de educación de una persona e influir sustancialmente en el nivel de educación y formación que las personas recibirán o al que podrán acceder o supervisar y detectar comportamientos prohibidos de los estudiantes durante las pruebas , ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan correctamente, estos sistemas pueden invadir especialmente y violar el derecho a la educación y la formación, y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de discriminación , por ejemplo contra las mujeres, los grupos de una edad determinada, las personas con discapacidad o las personas de cierto origen racial o étnico o con una determinada orientación sexual .

(36)

También deben considerarse de alto riesgo los sistemas de IA que se utilizan en el empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo para la contratación y la selección de personal; para la toma de decisiones relativas a la promoción y la rescisión de contratos; y para la asignación de tareas y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de dichas personas. Las relaciones contractuales de índole laboral deben implicar a los empleados y las personas que prestan servicios a través de plataformas, como indica el Programa de trabajo de la Comisión para 2021. En principio, esas personas no deben ser consideradas usuarios en el sentido del presente Reglamento. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, ciertos grupos de edad, personas con discapacidad o personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, la promoción o la retención de personas en relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden afectar a sus derechos a la protección de los datos personales y a la privacidad.

(36)

También deben considerarse de alto riesgo los sistemas de IA que se utilizan en el empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo para la contratación y la selección de personal, para la toma de decisiones o que influyen sustancialmente en las decisiones relativas a la iniciación, la promoción y la rescisión de contratos y para la asignación personalizada de tareas basada en el comportamiento individual, los rasgos personales o los datos biométricos y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de dichas personas y a los derechos laborales . Las relaciones contractuales de índole laboral deben implicar de manera significativa a los empleados y las personas que prestan servicios a través de plataformas, como indica el Programa de trabajo de la Comisión para 2021. Dichos sistemas pueden perpetuar patrones históricos de discriminación, por ejemplo contra las mujeres, ciertos grupos de edad, personas con discapacidad o personas de orígenes raciales o étnicos concretos o con una orientación sexual determinada, durante todo el proceso de contratación y en la evaluación, la promoción o la retención de personas en relaciones contractuales de índole laboral. Los sistemas de IA empleados para controlar el rendimiento y el comportamiento de estas personas también pueden socavar la esencia de sus derechos fundamentales a la protección de los datos personales y a la privacidad. El presente Reglamento se aplica sin perjuicio de las competencias de la Unión y de los Estados miembros para proporcionar normas más específicas para el uso de sistemas de IA en el contexto laboral.

(37)

El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter público y privado necesarios para que las personas participen en la sociedad o cuenten con unas condiciones de vida mejores es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En concreto, deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios. Habida cuenta del alcance sumamente limitado de su impacto y de las escasas alternativas disponibles en el mercado, conviene dejar exentos a los sistemas de IA destinados a  evaluar la solvencia y la calificación crediticia cuando los pongan en servicio proveedores a pequeña escala para su propio uso . Las personas físicas que solicitan o reciben ayudas y servicios de autoridades públicas suelen depender de ellos y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. Si se utilizan sistemas de IA para decidir si las autoridades deben denegar, reducir, revocar o reclamar dichas ayudas y servicios, estos sistemas pueden afectar de un modo considerable a los medios de subsistencia de las personas y podrían infringir sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a una tutela judicial efectiva. Por lo tanto, esos sistemas deben considerarse de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración pública, que se beneficiarían de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las personas jurídicas y físicas. Por último, los sistemas de IA empleados para el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.

(37)

El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter público y privado , incluidos los servicios de asistencia sanitaria y los servicios esenciales, como, entre otros, la vivienda, la electricidad, la calefacción y refrigeración, e internet, necesarios para que las personas participen en la sociedad o cuenten con unas condiciones de vida mejores es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En concreto, deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, género, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios. No obstante, los sistemas de IA previstos por el Derecho de la Unión con vistas a detectar fraudes en la oferta de servicios financieros no deben considerarse de alto riesgo en virtud del presente Reglamento. Las personas físicas que solicitan o reciben ayudas y servicios de autoridades públicas , también servicios de asistencia sanitaria y servicios esenciales, como, entre otros, la vivienda, la electricidad, la calefacción y refrigeración e internet, suelen depender de ellos y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. Si se utilizan sistemas de IA para decidir si las autoridades deben denegar, reducir, revocar o reclamar dichas ayudas y servicios, estos sistemas pueden afectar de un modo considerable a los medios de subsistencia de las personas y podrían infringir sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a una tutela judicial efectiva. Del mismo modo, los sistemas de IA destinados a utilizarse para tomar decisiones o influir sustancialmente en decisiones sobre la elegibilidad de las personas físicas para acogerse al seguro de enfermedad y de vida también pueden tener un impacto significativo en los medios de subsistencia de las personas y pueden vulnerar sus derechos fundamentales, por ejemplo, al limitar el acceso a la asistencia sanitaria o perpetuar la discriminación basada en las características personales. Por lo tanto, esos sistemas deben considerarse de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración pública, que se beneficiarían de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las personas jurídicas y físicas. Por último, los sistemas de IA empleados para evaluar y clasificar llamadas de emergencia de personas físicas o el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.

(37 bis)

Habida cuenta del papel y la responsabilidad de las autoridades policiales y judiciales y del impacto de las decisiones que adoptan con fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, algunos casos de uso específico de aplicaciones de IA en la aplicación de la ley deben clasificarse como de alto riesgo, en particular en los casos en que tienen potencial para afectar significativamente a la vida o a los derechos fundamentales de las personas.

(38)

Las actuaciones de las autoridades encargadas de la aplicación de la ley que implican determinados usos de sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como a otros efectos negativos sobre los derechos fundamentales que garantiza la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos oportunos en términos de precisión o solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, puede señalar a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén bien documentados. Por consiguiente, procede considerar de alto riesgo a múltiples sistemas de IA diseñados para usarse con fines de aplicación de la ley cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y una compensación efectiva. En vista de la naturaleza de las actividades en cuestión y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA que las autoridades encargadas de la aplicación de la ley utilicen para realizar evaluaciones del riesgo individuales , los polígrafos y herramientas similares, o los sistemas utilizados para detectar el estado emocional de una persona física; para detectar ultrafalsificaciones; para evaluar la fiabilidad de las pruebas en un proceso penal; para predecir la comisión o reiteración de un delito real o potencial mediante la elaboración de perfiles de personas físicas; para evaluar rasgos y características de la personalidad o conductas delictivas pasadas de personas físicas o grupos ; para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de infracciones penales, y para realizar análisis penales en relación con personas físicas. No debe considerarse que los sistemas de IA destinados específicamente a que las autoridades fiscales y aduaneras los utilicen en procesos administrativos forman parte de los sistemas de IA de alto riesgo usados por las autoridades encargadas de la aplicación de la ley con el fin de prevenir, detectar, investigar y enjuiciar infracciones penales.

(38)

Las actuaciones de las autoridades encargadas de la aplicación de la ley que implican determinados usos de sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como a otros efectos negativos sobre los derechos fundamentales que garantiza la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos oportunos en términos de rendimiento, precisión o solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, puede señalar a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén bien documentados. Por consiguiente, procede considerar de alto riesgo a múltiples sistemas de IA diseñados para usarse con fines de aplicación de la ley cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y una compensación efectiva. En vista de la naturaleza de las actividades en cuestión y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA que se utilicen por o en nombre de las autoridades encargadas de la aplicación de la ley o por las agencias , órganos u organismos de la Unión en apoyo de las primeras, como los polígrafos y herramientas similares, en la medida en que su uso esté permitido conforme a la legislación de la Unión y nacional pertinente, para evaluar la fiabilidad de las pruebas en un proceso penal ; para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de infracciones penales, y para realizar análisis penales en relación con personas físicas. Los sistemas de IA destinados específicamente a que las autoridades fiscales y aduaneras los utilicen en procesos administrativos no deben clasificarse como parte de los sistemas de IA de alto riesgo usados por las autoridades encargadas de la aplicación de la ley con el fin de prevenir, detectar, investigar y enjuiciar infracciones penales. El uso de herramientas de IA por parte de las autoridades encargadas de la aplicación de la ley y judiciales no debe convertirse en un factor de desigualdad, fractura social o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en especial la dificultad para obtener información significativa sobre su funcionamiento y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas investigadas.

(39)

Los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, sus derechos a la libre circulación, la no discriminación, la intimidad personal y la protección de los datos personales, la protección internacional y la buena administración. Por lo tanto, procede considerar de alto riesgo a aquellos sistemas de IA destinados a  que las autoridades públicas competentes que realizan tareas en el ámbito de la gestión de la migración, el asilo y el control fronterizo los utilicen como polígrafos y herramientas similares o para detectar el estado emocional de una persona física; para evaluar determinados riesgos que presenten personas físicas que entren en el territorio de un Estado miembro o soliciten un visado o asilo; para verificar la autenticidad de los documentos pertinentes de personas físicas; para ayudar a las autoridades públicas competentes a examinar las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes de un estatuto reúnen los requisitos necesarios para su obtención. Los sistemas de IA en el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por el presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por la Directiva 2013/32/UE del Parlamento Europeo y del Consejo (49), el Reglamento (UE) n.o 810/2009 del Parlamento Europeo y el Consejo (50), y otra legislación en la materia.

(39)

Los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo afectan a personas que con frecuencia se encuentran en una situación especialmente vulnerable y dependen del resultado de las actuaciones de las autoridades públicas competentes. Por este motivo, es sumamente importante que los sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y transparentes, a fin de garantizar que se respeten los derechos fundamentales de las personas afectadas y, en particular, sus derechos a la libre circulación, la no discriminación, la intimidad personal y la protección de los datos personales, la protección internacional y la buena administración. Por lo tanto, procede considerar de alto riesgo a aquellos sistemas de IA destinados a  ser utilizados por o en nombre de las autoridades públicas competentes o por las agencias, órganos u organismos de la Unión que realizan tareas en el ámbito de la gestión de la migración, el asilo y el control fronterizo, como polígrafos y herramientas similares , en la medida en que su uso esté permitido en virtud de la legislación de la Unión o nacional pertinente, para evaluar determinados riesgos que presenten personas físicas que entren en el territorio de un Estado miembro o soliciten un visado o asilo; para verificar la autenticidad de los documentos pertinentes de personas físicas; para ayudar a las autoridades públicas competentes a examinar y evaluar la veracidad de las pruebas en relación con las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes de un estatuto reúnen los requisitos necesarios para su obtención ; para realizar el seguimiento, la vigilancia o el tratamiento de datos personales en el contexto de actividades de gestión de fronteras, con el fin de detectar, reconocer o identificar a personas físicas; para la previsión o predicción de las tendencias relacionadas con los movimientos migratorios y los cruces de fronteras . Los sistemas de IA en el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por el presente Reglamento deben cumplir los requisitos procedimentales pertinentes establecidos por la Directiva 2013/32/UE del Parlamento Europeo y del Consejo (49), el Reglamento (UE) n.o 810/2009 del Parlamento Europeo y el Consejo (50), y otra legislación en la materia. Los Estados miembros o las instituciones, órganos y organismos de la Unión no deben en ningún caso utilizar los sistemas de IA empleados en la gestión de la migración, el asilo y el control fronterizo como medio para eludir sus obligaciones internacionales en virtud de la Convención de Ginebra sobre el Estatuto de los Refugiados de 28 de julio de 1951, modificada por el Protocolo de 31 de enero de 1967, ni para infringir de cualquier modo el principio de no devolución o negar unas vías jurídicas seguras y efectivas de acceso al territorio de la Unión, incluido el derecho a la protección internacional.

(40)

Deben considerarse de alto riesgo ciertos sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de evitar el riesgo de posibles sesgos, errores y opacidades, procede considerar de alto riesgo aquellos sistemas de IA cuyo objetivo es ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. No obstante, dicha clasificación no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia en casos concretos, como la anonimización o seudonimización de las resoluciones judiciales, documentos o datos; la comunicación entre los miembros del personal; tareas administrativas, o la asignación de recursos.

(40)

Deben considerarse de alto riesgo ciertos sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de evitar el riesgo de posibles sesgos, errores y opacidades, procede considerar de alto riesgo aquellos sistemas de IA cuyo objetivo es ser utilizados por una autoridad judicial o administrativa, o en su nombre, para ayudar a las autoridades judiciales u órganos administrativos a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos o ser utilizados de forma similar en la resolución alternativa de controversias. La utilización de herramientas de inteligencia artificial puede apoyar la toma de decisiones, pero no debe substituir el poder de toma de decisiones de los jueces o la independencia judicial, puesto que la toma de decisiones finales debe seguir siendo una actividad y una decisión de origen humano . No obstante, dicha clasificación no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia en casos concretos, como la anonimización o seudonimización de las resoluciones judiciales, documentos o datos; la comunicación entre los miembros del personal; tareas administrativas, o la asignación de recursos.

(40 bis)

A fin de evitar los riesgos de injerencia externa indebida en el derecho de voto consagrado en el artículo 39 de la Carta, y de efectos desproporcionados sobre los procesos democráticos, la democracia y el Estado de Derecho, los sistemas de IA destinados a utilizarse para influir en el resultado de una elección o un referendo o en el comportamiento electoral de las personas físicas en el ejercicio de su voto en las elecciones o los referendos deben clasificarse como sistemas de IA de alto riesgo, a excepción de los sistemas de IA a cuya información de salida las personas físicas no están directamente expuestas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políticas desde un punto de vista administrativo y logístico.

(40 ter)

Habida cuenta del volumen de personas físicas que utilizan los servicios prestados por las plataformas de las redes sociales designadas como plataformas en línea de muy gran tamaño, dichas plataformas en línea pueden emplearse de manera que influyan considerablemente en la seguridad en línea, en la configuración de la opinión y el discurso públicos, en los procesos electorales y democráticos y en las preocupaciones sociales. Procede, por tanto, que los sistemas de IA utilizados por dichas plataformas en línea en sus sistemas de recomendación estén sujetos al presente Reglamento, a fin de garantizar que dichos sistemas cumplan los requisitos establecidos en el presente Reglamento, incluidos los requisitos técnicos sobre la gobernanza de datos, la documentación técnica y la trazabilidad, la transparencia, la supervisión humana, la exactitud y la solidez. El cumplimiento del presente Reglamento debe permitir a las plataformas en línea de muy gran tamaño cumplir sus obligaciones más generales en materia de evaluación y reducción del riesgo conforme a los artículos 34 y 35 del Reglamento (UE) 2022/2065. Las obligaciones del presente Reglamento se entienden sin perjuicio del Reglamento (UE) 2022/2065 y deben complementar las obligaciones que este último impone cuando la plataforma de redes sociales haya sido designada como plataforma en línea de muy gran tamaño. Dado el impacto a escala europea de las plataformas de redes sociales designadas como plataformas en línea de muy gran tamaño, las autoridades designadas en virtud del Reglamento (UE) 2022/2065 deben actuar como autoridades encargadas de la aplicación de la ley a los efectos de hacer cumplir la presente disposición.

(41)

El hecho de que un sistema de IA sea considerado de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea legal con arreglo a otros actos del Derecho de la Unión o del Derecho interno compatible con el Derecho de la Unión relativo a la protección de los datos personales o a la utilización de polígrafos y herramientas similares u otros sistemas para detectar el estado emocional de las personas físicas . Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho interno. No debe entenderse que el presente Reglamento constituye el fundamento jurídico para el tratamiento de datos personales, incluidas categorías especiales de datos personales, cuando sea pertinente.

(41)

El hecho de que un sistema de IA sea clasificado como un sistema de IA de alto riesgo en virtud del presente Reglamento no debe interpretarse como indicador de que su uso sea necesariamente legal o ilegal con arreglo a otros actos del Derecho de la Unión o del Derecho interno compatible con el Derecho de la Unión relativo a la protección de los datos personales. Todo uso de ese tipo debe seguir realizándose exclusivamente en consonancia con los requisitos oportunos derivados de la Carta y de los actos aplicables del Derecho derivado de la Unión y del Derecho interno.

(41 bis)

Diversas normas jurídicamente vinculantes a nivel europeo, nacional e internacional ya son aplicables o pertinentes respecto a los sistemas de IA hoy día, como, entre otros, el Derecho primario de la Unión (los Tratados de la Unión Europea y su Carta de los Derechos Fundamentales), el Derecho derivado de la Unión (como el Reglamento General de Protección de Datos, la Directiva sobre responsabilidad por los daños causados por productos defectuosos, el Reglamento sobre la libre circulación de datos no personales, las Directivas contra la discriminación, la legislación en materia de consumidores y las Directivas en materia de seguridad y salud en el trabajo), los tratados de las Naciones Unidas en materia de derechos humanos y los convenios del Consejo de Europa (por ejemplo, el Convenio Europeo de Derechos Humanos), así como el derecho nacional. Además de las normas de aplicación horizontal, existen diversas normas de carácter sectorial aplicables a determinados usos de la IA (por ejemplo, el Reglamento sobre productos sanitarios en el caso del sector sanitario).

(42)

Con el objetivo de mitigar los riesgos que presentan para los usuarios y las personas afectadas los sistemas de IA de alto riesgo que se introducen en el mercado o ponen en servicio en la Unión, es preciso aplicar ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista del uso del sistema y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor.

(42)

Con el objetivo de mitigar los riesgos que presentan para los implementadores y las personas afectadas los sistemas de IA de alto riesgo que se introducen en el mercado o ponen en servicio en la Unión, es preciso aplicar ciertos requisitos obligatorios que tengan en cuenta la finalidad prevista o los usos indebidos razonablemente previsibles del sistema y estén en consonancia con el sistema de gestión de riesgos que debe establecer el proveedor. Estos requisitos deben estar orientados a objetivos y ser adecuados para su finalidad, razonables y eficaces, sin añadir cargas normativas o costes indebidos para los operadores.

(43)

Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la calidad de los conjuntos de datos utilizados, la documentación técnica y el registro, la transparencia y la comunicación de información a los usuarios , la vigilancia humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales, según corresponda en función de la finalidad prevista del sistema, y no se dispone razonablemente de otras medidas menos restrictivas del comercio, con lo que se evitan restricciones injustificadas de este.

(43)

Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la calidad y la pertinencia de los conjuntos de datos utilizados, la documentación técnica y el registro, la transparencia y la comunicación de información a los implementadores , la vigilancia humana, la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos fundamentales, así como para el medio ambiente, la democracia y el Estado de Derecho, según corresponda en función de la finalidad prevista o el uso indebido razonablemente previsible del sistema, y no se dispone razonablemente de otras medidas menos restrictivas del comercio, con lo que se evitan restricciones injustificadas de este.

(44)

Muchos sistemas de IA necesitan datos de alta calidad para funcionar correctamente, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto y en condiciones de seguridad y no se convierte en la fuente de alguno de los tipos de discriminación prohibidos por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos de entrenamiento, validación y prueba sean de buena calidad. Los conjuntos de datos de entrenamiento, validación y prueba deben ser lo suficientemente pertinentes y representativos, carecer de errores y ser completos en vista de la finalidad prevista del sistema. Asimismo, deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en las que en un principio se usará el sistema de IA de alto riesgo. En concreto, los conjuntos de datos de entrenamiento, validación y prueba deben tener en cuenta, en la medida necesaria en función de su finalidad prevista, los rasgos, características o elementos particulares del entorno o contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA. Con el fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, los proveedores deben ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial, para garantizar que el sesgo de los sistemas de IA de alto riesgo se vigile , detecte y corrija .

(44)

El acceso a datos de alta calidad es esencial a la hora de proporcionar una estructura y garantizar el funcionamiento de muchos sistemas de IA, en especial cuando se emplean técnicas que implican el entrenamiento de modelos, con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto y en condiciones de seguridad y no se convierte en una fuente de alguno de los tipos de discriminación prohibidos por el Derecho de la Unión. Es preciso instaurar prácticas adecuadas de gestión y gobernanza de datos para lograr que los conjuntos de datos de entrenamiento, validación y prueba sean de buena calidad. Los conjuntos de datos de entrenamiento y , en su caso, de validación y prueba , incluidas las etiquetas, deben ser lo suficientemente pertinentes y representativos, adecuadamente examinados en busca de errores y tan completos como sea posible en vista de la finalidad prevista del sistema. Asimismo, deben tener las propiedades estadísticas adecuadas, también en lo que respecta a las personas o los grupos de personas en relación con las que en un principio se usará el sistema de IA de alto riesgo , prestando especial atención a la mitigación de los posibles sesgos en los conjuntos de datos, que podrían poner en riesgo los derechos fundamentales o dar lugar a resultados discriminatorios para las personas afectadas por el sistema de IA de alto riesgo. Los sesgos, por ejemplo, pueden ser inherentes a los conjuntos de datos subyacentes, especialmente cuando se utilizan datos históricos, introducidos por los desarrolladores de los algoritmos o generados cuando los sistemas se aplican en entornos del mundo real. Los resultados de los sistemas de IA dependen de los sesgos inherentes que tienden a aumentar gradualmente y, por tanto, perpetúan y amplifican la discriminación existente, en particular con respecto a las personas pertenecientes a determinados grupos vulnerables o étnicos o comunidades racializadas. En concreto, los conjuntos de datos de entrenamiento, validación y prueba deben tener en cuenta, en la medida necesaria en función de su finalidad prevista, los rasgos, características o elementos particulares del entorno o contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA. Con el fin de proteger los derechos de terceros frente a la discriminación que podría provocar el sesgo de los sistemas de IA, con carácter excepcional y tras la aplicación de todas las condiciones aplicables establecidas en el presente Reglamento y en el Reglamento (UE) 2016/679; la Directiva (UE) 2016/680 y el Reglamento (UE) 2018/1725, los proveedores deben ser capaces de tratar también categorías especiales de datos personales, como cuestión de interés público esencial, para garantizar que el sesgo negativo de los sistemas de IA de alto riesgo se detecte y corrija. Por sesgo negativo debe entenderse un sesgo que crea un efecto discriminatorio directo o indirecto contra una persona física. Los requisitos relacionados con la gobernanza de los datos pueden cumplirse recurriendo a terceros que ofrezcan servicios certificados de cumplimiento, incluida la verificación de la gobernanza de los datos, la integridad de los conjuntos de datos y las prácticas de entrenamiento, validación y ensayo de datos.

(45)

Para poder desarrollar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros de innovación digital, centros de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus respectivos campos de actividad relacionados con el presente Reglamento y poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en aras del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de inteligencia artificial de una manera segura, oportuna, transparente y fiable que respete la privacidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden contribuir al suministro de datos de alta calidad orientados a entrenar, validar y probar sistemas de IA.

(45)

Para poder desarrollar y evaluar sistemas de IA de alto riesgo, determinados agentes, tales como proveedores, organismos notificados y otras entidades pertinentes, como centros de innovación digital, centros de ensayo y experimentación e investigadores, deben tener acceso a conjuntos de datos de alta calidad en sus respectivos campos de actividad relacionados con el presente Reglamento y poder utilizarlos. Los espacios comunes europeos de datos establecidos por la Comisión y la facilitación del intercambio de datos entre empresas y con los Gobiernos en aras del interés público serán esenciales para brindar un acceso fiable, responsable y no discriminatorio a datos de alta calidad con los que entrenar, validar y probar los sistemas de IA. Por ejemplo, en el ámbito de la salud, el espacio europeo de datos sanitarios facilitará el acceso no discriminatorio a datos sanitarios y el entrenamiento, a partir de esos conjuntos de datos, de algoritmos de inteligencia artificial de una manera segura, oportuna, transparente y fiable que respete la privacidad, y contando con la debida gobernanza institucional. Las autoridades competentes pertinentes, incluidas las sectoriales, que proporcionan acceso a datos o lo facilitan también pueden contribuir al suministro de datos de alta calidad orientados a entrenar, validar y probar sistemas de IA.

(45 bis)

El derecho a la privacidad y a la protección de datos personales debe garantizarse a lo largo de todo el ciclo de vida del sistema de IA. A este respecto, los principios de minimización de datos y de protección de datos desde el diseño y por defecto, tal como se establecen en la legislación de la Unión en materia de protección de datos, son esenciales cuando el tratamiento de datos entraña riesgos significativos para los derechos fundamentales de las personas. Los proveedores y los usuarios de sistemas de IA deben aplicar medidas técnicas y organizativas conforme al estado de la técnica al objeto de proteger esos derechos. Dichas medidas deben incluir no solo la anonimización y el cifrado, sino también el uso de una tecnología cada vez más disponible que permite introducir algoritmos en los datos y obtener información valiosa sin la transmisión entre las partes ni la copia innecesaria de los propios datos en bruto o estructurados.

(46)

Para verificar si los sistemas de IA de alto riesgo cumplen los requisitos previstos en el presente Reglamento, resulta esencial disponer de información sobre el modo en que se han desarrollado y sobre su funcionamiento durante todo su ciclo de vida. A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA en cuestión cumple los requisitos pertinentes. Dicha información debe incluir, en particular, las características, capacidades y limitaciones generales del sistema; los algoritmos; los datos; los procesos de entrenamiento, pruebo y validación empleados, y documentación sobre el sistema de gestión de riesgos pertinente. La documentación técnica debe mantenerse actualizada.

(46)

Para verificar si los sistemas de IA de alto riesgo cumplen los requisitos previstos en el presente Reglamento, resulta esencial disponer de información comprensible sobre el modo en que se han desarrollado y sobre su funcionamiento durante toda su vida útil . A tal fin, es preciso llevar registros y disponer de documentación técnica que contenga la información necesaria para evaluar si el sistema de IA en cuestión cumple los requisitos pertinentes. Dicha información debe incluir, en particular, las características, capacidades y limitaciones generales del sistema; los algoritmos; los datos; los procesos de entrenamiento, pruebo y validación empleados, y documentación sobre el sistema de gestión de riesgos pertinente. La documentación técnica debe mantenerse adecuadamente actualizada a lo largo de todo el ciclo de vida del sistema de IA . Los sistemas de IA pueden tener un gran impacto medioambiental y un elevado consumo de energía durante su ciclo de vida. Con el fin de comprender mejor el impacto de los sistemas de IA en el medio ambiente, la documentación técnica elaborada por los proveedores debe incluir información sobre el consumo de energía del sistema de IA, también el consumo durante su desarrollo y el consumo previsto durante el uso. Dicha información debe tener en cuenta la legislación de la Unión y nacional pertinente. La información comunicada debe ser comprensible, comparable y verificable y, a tal fin, la Comisión debe elaborar directrices sobre una metodología armonizada para el cálculo y la notificación de esta información. Para garantizar que sea posible una única documentación, deberán armonizarse en la medida de lo posible los términos y definiciones relacionados con la documentación requerida y cualquier documentación exigida en la legislación sectorial pertinente de la Unión.

(46 bis)

Los sistemas de IA deben tener en cuenta los métodos correspondientes al estado de la técnica y las normas aplicables pertinentes para reducir el consumo de energía, el uso de recursos y la generación de residuos, así como para aumentar la eficiencia energética, y la eficiencia general del sistema. Los aspectos medioambientales de los sistemas de IA que son significativos a efectos del presente Reglamento son el consumo de energía del sistema de IA en la fase de desarrollo, entrenamiento e implantación, así como el registro y la notificación y la conservación de estos datos. El diseño de los sistemas de IA debe permitir medir y registrar el consumo energético y de recursos en cada fase de desarrollo, entrenamiento y despliegue. El control y la notificación de las emisiones de los sistemas de IA deben ser sólidos, transparentes, coherentes y precisos. La Comisión, a fin de garantizar la aplicación uniforme del presente Reglamento y un ecosistema jurídico estable para los proveedores e implementadores en el mercado único, debe elaborar una especificación común de la metodología para cumplir el requisito de notificación y documentación sobre el consumo energético y de recursos durante el desarrollo, el entrenamiento y el despliegue. Esas especificaciones comunes sobre la metodología de medición pueden desarrollar una base de referencia sobre la que la Comisión pueda decidir mejor si son necesarias futuras intervenciones reguladoras, tras realizar una evaluación de impacto que tenga en cuenta la legislación vigente.

(46 ter)

Con vistas a alcanzar los objetivos del presente Reglamento y contribuir a los objetivos medioambientales de la Unión, garantizando al mismo tiempo el buen funcionamiento del mercado interior, puede ser necesario establecer recomendaciones y directrices y, en su caso, objetivos de sostenibilidad. A tal fin, la Comisión tiene derecho a desarrollar una metodología para contribuir a la adopción de indicadores clave de rendimiento (ICR) y una referencia para los Objetivos de Desarrollo Sostenible (ODS). El objetivo debe ser, en primer lugar, permitir una comparación equitativa entre las diferentes opciones de aplicación de la IA, ofreciendo incentivos para promover el uso de tecnologías de IA más eficientes que aborden las preocupaciones en materia de energía y recursos. Para alcanzar dicho objetivo, el presente Reglamento debe proporcionar los medios para establecer una recopilación de referencia de los datos notificados sobre las emisiones procedentes del desarrollo y el entrenamiento, así como para el despliegue;

(47 bis)

Dichos requisitos en materia de transparencia y de explicabilidad de la toma de decisiones por la IA también deben ayudar a contrarrestar los efectos disuasorios de la asimetría digital y los llamados «patrones oscuros», dirigidos contra las personas y su consentimiento informado.

(49)

Los sistemas de IA de alto riesgo deben funcionar de manera consistente durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad con arreglo al estado de la técnica generalmente reconocido. En este sentido, debe comunicarse a los usuarios el nivel de precisión y los parámetros empleados para medirla .

(49)

Los sistemas de IA de alto riesgo deben funcionar de manera consistente durante todo su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad con arreglo al estado de la técnica generalmente reconocido. Deben definirse los parámetros de rendimiento y el nivel esperado con el objetivo primordial de mitigar los riesgos y las repercusiones negativas del sistema de IA. Debe comunicarse a los implementadores los parámetros empleados para medir el nivel de rendimiento esperado de manera clara, transparente, fácilmente comprensible e inteligible. La declaración de los parámetros de rendimiento no puede considerarse prueba de los niveles futuros, pero deben aplicarse métodos pertinentes para garantizar niveles coherentes durante su uso. Aunque existen organizaciones de normalización para establecer normas, es necesario coordinar la evaluación comparativa para establecer cómo deben medirse estos requisitos y características normalizados de los sistemas de IA. La Oficina Europea de Inteligencia Artificial debe reunir a las autoridades nacionales e internacionales de metrología y de evaluación comparativa y proporcionar orientaciones no vinculantes para abordar los aspectos técnicos de cómo medir los niveles adecuados de rendimiento y solidez.

(50)

La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes a los riesgos asociados a las limitaciones del sistema (p. ej., errores, fallos, incoherencias o situaciones inesperadas), así como a acciones maliciosas que pueden poner en peligro su seguridad y dar lugar a conductas perjudiciales o indeseables por otros motivos. La incapacidad de protegerlos frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a la adopción de decisiones equivocadas o a que el sistema de IA en cuestión genere una información de salida errónea o sesgada.

(50)

La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes a los riesgos asociados a las limitaciones del sistema (p. ej., errores, fallos, incoherencias o situaciones inesperadas), así como a acciones maliciosas que pueden poner en peligro su seguridad y dar lugar a conductas perjudiciales o indeseables por otros motivos. La incapacidad de protegerlos frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a la adopción de decisiones equivocadas o a que el sistema de IA en cuestión genere una información de salida errónea o sesgada. Los usuarios del sistema de IA deben tomar medidas para garantizar que la posible compensación entre solidez y precisión no conduzca a resultados discriminatorios o negativos para subgrupos minoritarios.

(51)

La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, conducta o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra elementos específicos de la IA, como los conjuntos de datos de entrenamiento (p. ej., contaminación de datos) o los modelos entrenados (p. ej., ataques adversarios), o aprovechar las vulnerabilidades de los elementos digitales del sistema de IA o la infraestructura de TIC subyacente. Por lo tanto, para asegurar un nivel de ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto riesgo deben adoptar medidas adecuadas teniendo también en cuenta, cuando proceda, la infraestructura de TIC subyacente.

(51)

La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema, traten de alterar su uso, conducta o funcionamiento o de poner en peligro sus propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse contra elementos específicos de la IA, como los conjuntos de datos de entrenamiento (p. ej., contaminación de datos) o los modelos entrenados (p. ej., ataques adversarios o contra la confidencialidad ), o aprovechar las vulnerabilidades de los elementos digitales del sistema de IA o la infraestructura de TIC subyacente. Por lo tanto, para asegurar un nivel de ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto riesgo , así como los organismos notificados, las autoridades nacionales competentes y las autoridades de vigilancia del mercado, deben adoptar medidas adecuadas teniendo también en cuenta, cuando proceda, la infraestructura de TIC subyacente. La IA de alto riesgo debe ir acompañada de parches y soluciones de seguridad durante la vida útil del producto o, en caso de ausencia de dependencia de un producto específico, durante un período de tiempo que deberá establecer el fabricante.

(53 bis)

Como signatarios de la Convención sobre los Derechos de las Personas con Discapacidad (CDPD), la Unión y todos los Estados miembros están legalmente obligados a proteger a las personas con discapacidad contra la discriminación y a promover su igualdad, a garantizar que las personas con discapacidad tengan acceso, en igualdad de condiciones con las demás, a las tecnologías y sistemas de la información y las comunicaciones, y a garantizar el respeto a la privacidad de las personas con discapacidad. Habida cuenta de la importancia y el uso crecientes de los sistemas de IA, la aplicación de los principios de diseño universal a todas las nuevas tecnologías y servicios debe garantizar un acceso pleno, igualitario y sin restricciones para todas las personas potencialmente afectadas por las tecnologías de IA o que las utilicen, incluidas las personas con discapacidad, de forma que se tenga plenamente en cuenta su dignidad y diversidad inherentes. Por tanto, es esencial que los proveedores garanticen el pleno cumplimiento de los requisitos de accesibilidad, incluidas la Directiva (UE) 2016/2102 y la Directiva (UE) 2019/882. Los proveedores deben garantizar el cumplimiento de estos requisitos desde el diseño. Por consiguiente, las medidas necesarias deben integrarse en la medida de lo posible en el diseño del sistema de IA de alto riesgo.

(54)

El proveedor debe instaurar un sistema de gestión de la calidad sólido, velar por que se siga el procedimiento de evaluación de la conformidad necesario, elaborar la documentación pertinente y establecer un sistema sólido de seguimiento posterior a la comercialización. Las autoridades públicas que pongan en servicio sistemas de IA de alto riesgo para su propio uso pueden aprobar y aplicar las normas que regulen el sistema de gestión de la calidad en el marco del sistema de gestión de la calidad adoptado a escala nacional o regional, según proceda, teniendo en cuenta las particularidades del sector y las competencias y la organización de la autoridad pública en cuestión.

(54)

El proveedor debe instaurar un sistema de gestión de la calidad sólido, velar por que se siga el procedimiento de evaluación de la conformidad necesario, elaborar la documentación pertinente y establecer un sistema sólido de seguimiento posterior a la comercialización. En el caso de los proveedores que ya dispongan de sistemas de gestión de la calidad basados en normas como la norma ISO 9001 u otras normas pertinentes, no debe esperarse un sistema de gestión de la calidad duplicado por completo, sino más bien una adaptación de sus sistemas existentes a determinados aspectos relacionados con el cumplimiento de los requisitos específicos del presente Reglamento. Esto también debe reflejarse en las futuras actividades de normalización o en las orientaciones adoptadas por la Comisión a este respecto. Las autoridades públicas que pongan en servicio sistemas de IA de alto riesgo para su propio uso pueden aprobar y aplicar las normas que regulen el sistema de gestión de la calidad en el marco del sistema de gestión de la calidad adoptado a escala nacional o regional, según proceda, teniendo en cuenta las particularidades del sector y las competencias y la organización de la autoridad pública en cuestión.

(56)

Para facilitar la aplicación del presente Reglamento y ofrecer igualdad de condiciones a los operadores, es importante velar por que una persona establecida en la Unión pueda, en cualquier circunstancia, facilitar a las autoridades toda la información necesaria sobre el cumplimiento de un sistema de IA, teniendo en cuenta las distintas formas en que se pueden proporcionar productos digitales. Por lo tanto, cuando no se pueda identificar a un importador, antes de ofrecer sus sistemas de IA en la Unión los proveedores establecidos fuera de su territorio tendrán que designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión.

(56)

Para facilitar la aplicación del presente Reglamento y ofrecer igualdad de condiciones a los operadores, es importante velar por que una persona establecida en la Unión pueda, en cualquier circunstancia, facilitar a las autoridades toda la información necesaria sobre el cumplimiento de un sistema de IA, teniendo en cuenta las distintas formas en que se pueden proporcionar productos digitales. Por lo tanto, antes de ofrecer sus sistemas de IA en la Unión los proveedores establecidos fuera de su territorio tendrán que designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión.

(58)

Habida cuenta de las características de los sistemas de IA y de los riesgos que su uso puede conllevar para la seguridad y los derechos fundamentales, también en lo que respecta a la necesidad de garantizar la correcta vigilancia del funcionamiento de un sistema de IA en un contexto real, conviene definir las responsabilidades específicas de los usuarios . En particular, los usuarios deben utilizar los sistemas de IA de alto riesgo conforme a las instrucciones de uso. Además, es preciso definir otras obligaciones en relación con la vigilancia del funcionamiento de los sistemas de IA y con el registro, según proceda.

(58)

Habida cuenta de las características de los sistemas de IA y de los riesgos que su uso puede conllevar para la seguridad y los derechos fundamentales, también en lo que respecta a la necesidad de garantizar la correcta vigilancia del funcionamiento de un sistema de IA en un contexto real, conviene definir las responsabilidades específicas de los implementadores . En particular, los implementadores deben utilizar los sistemas de IA de alto riesgo conforme a las instrucciones de uso. Además, es preciso definir otras obligaciones en relación con la vigilancia del funcionamiento de los sistemas de IA y con el registro, según proceda.

(58 bis)

Aunque los riesgos relacionados con los sistemas de IA pueden resultar de su diseño, también pueden derivarse del uso que se hace de ellos. Por consiguiente, los implementadores de un sistema de IA de alto riesgo desempeñan un papel crítico a la hora de garantizar que se protegen los derechos fundamentales, complementando las obligaciones del proveedor al desarrollar el sistema de IA. Los implementadores son los más indicados para comprender cómo se utilizará concretamente el sistema de IA de alto riesgo y pueden, por lo tanto, identificar potenciales riesgos significativos que no se previeron en la fase de desarrollo, debido a un conocimiento más preciso del contexto de uso y de las personas o los grupos de personas que podrían verse afectados, incluidos grupos marginados y vulnerables. Los implementadores deben identificar estructuras de gobernanza adecuadas en ese contexto específico de uso, como las disposiciones para la supervisión humana, los procedimientos de tramitación de reclamaciones y los procedimientos de recurso, ya que las opciones en las estructuras de gobernanza pueden ser decisivas para mitigar los riesgos para los derechos fundamentales en casos de uso concretos. Por lo tanto, a fin de garantizar de forma eficiente que se protegen los derechos fundamentales, el implementador de sistemas de IA de alto riesgo debe llevar a cabo una evaluación de su impacto en los derechos fundamentales antes de su puesta en funcionamiento. La evaluación de impacto debe acompañarse de un plan detallado que describa las medidas o herramientas que ayudarán a mitigar los riesgos detectados para los derechos fundamentales a más tardar desde el momento de su puesta en funcionamiento. Si no se puede identificar dicho plan, el implementador debe abstenerse de poner en funcionamiento el sistema. Al realizar la evaluación de impacto, el implementador debe notificarlo a la autoridad nacional de supervisión y, en la medida de lo posible, a las partes interesadas pertinentes, así como a los representantes de grupos de personas que puedan verse afectados por el sistema de IA, a fin de recabar la información pertinente que se considere necesaria para llevar a cabo la evaluación de impacto y se le anima a publicar en su sitio web en línea el resumen de su evaluación de impacto en materia de derechos fundamentales. Estas obligaciones no deben aplicarse a las pymes, que, dada la falta de recursos, podrían tener dificultades para llevar a cabo dicha consulta. No obstante, también deben esforzarse por hacer participar a dichos representantes cuando realicen su evaluación de impacto en los derechos fundamentales. Además, dado el impacto potencial y la necesidad de supervisión y control democráticos, los implementadores de sistemas de IA de alto riesgo que sean autoridades públicas o instituciones, órganos y organismos de la Unión, así como los implementadores que sean empresas designadas como guardianes de acceso en virtud del Reglamento (UE) 2022/1925, deben estar obligados a registrar el uso de cualquier sistema de IA de alto riesgo en una base de datos pública. Otros implementadores podrán registrarse voluntariamente.

(59)

Conviene prever que el usuario del sistema de IA debe ser la persona física o jurídica, la autoridad pública, la agencia o el organismo de otra índole bajo cuya autoridad se utilice el sistema de IA, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.

(59)

Conviene prever que el implementador del sistema de IA debe ser la persona física o jurídica, la autoridad pública, la agencia o el organismo de otra índole bajo cuya autoridad se utilice el sistema de IA, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.

(60)

En vista de la complejidad de la cadena de valor de la inteligencia artificial, los terceros pertinentes, y en especial los involucrados en la venta y el suministro de software, herramientas y componentes de software, modelos preentrenados y datos, o los proveedores de servicios de red, deben cooperar, según corresponda, con los proveedores y usuarios para que estos cumplan las obligaciones estipuladas en el presente Reglamento y con las autoridades competentes que se mencionan en él.

(60)

Dentro de la cadena de valor de la IA, numerosas entidades suministran a menudo herramientas y servicios, pero también componentes o procesos que el proveedor incorpora posteriormente al sistema de IA, en particular en relación con la recogida y pretratamiento de datos, el entrenamiento de modelos, el reentrenamiento de modelos, la prueba y evaluación de modelos, la integración en el software u otros aspectos del desarrollo de modelos. Las entidades en cuestión pueden comercializar su oferta directa o indirectamente, a través de interfaces como las API (interfaces de programación de aplicaciones) y distribuirla en el marco de licencias libres y de código abierto, pero también, y cada vez más, a través de plataformas para trabajadores de IA, reventa de parámetros entrenados, kits «hágalo usted mismo» para crear modelos o acceso de pago a una arquitectura de servicio de modelos para desarrollar y entrenar modelos. En vista de esta complejidad de la cadena de valor de la IA, todos los terceros pertinentes, y en particular los involucrados en el desarrollo, la venta y el suministro comercial de herramientas de software, componentes, modelos preentrenados o datos incorporados al sistema de IA , o los proveedores de servicios de red, deben —sin comprometer sus propios derechos de propiedad intelectual e industrial o secretos comerciales— facilitar la información, la formación o los conocimientos especializados requeridos y cooperar, según corresponda, con los proveedores para que estos tengan el control de todos los aspectos del sistema de IA sujeto al presente Reglamento que sean pertinentes para el cumplimiento de la normativa. A fin de permitir que la gobernanza de la cadena de valor de la IA sea eficiente en cuanto a los costes, todo tercero que suministre al proveedor una herramienta, un servicio, un componente o un proceso que el proveedor incorpore posteriormente al sistema de IA comunicará expresamente el nivel del control.

(60 bis)

Cuando una de las partes contratantes esté en una posición negociadora más fuerte, existe el riesgo de que se aproveche de ella en detrimento de la otra parte a la hora de negociar el suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas. Estos desequilibrios contractuales perjudican especialmente a las microempresas y pymes, así como a las empresas emergentes (salvo que sean propiedad de una empresa capaz de compensar adecuadamente al subcontratista, o sean subcontratadas por una empresa así), ya que carecen de capacidad significativa para negociar las condiciones del acuerdo contractual y pueden no tener otra elección que la de aceptar determinadas cláusulas contractuales sin posibilidad de cambiarlas. Por consiguiente, las cláusulas contractuales abusivas que regulen el suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas, no deben ser vinculantes para estas microempresas, pymes y empresas emergentes cuando se les hayan impuesto unilateralmente.

(60 ter)

Las normas sobre cláusulas contractuales deben tener en cuenta el principio de libertad contractual como concepto esencial en las relaciones entre empresas. Por lo tanto, no todas las cláusulas contractuales deben someterse a un control de su carácter abusivo, sino únicamente las impuestas unilateralmente a las microempresas, pymes y empresas emergentes. Se trata de situaciones del tipo «lo tomas o lo dejas» en las que una parte presenta una determinada cláusula contractual y la microempresa, pyme o empresa emergente no puede influir en el contenido de dicha cláusula pese a haber intentado negociarla. Una cláusula contractual que, simplemente, sea planteada por una de las partes y aceptada por la microempresa, la pyme o la empresa emergente, o una cláusula que se negocie y posteriormente se acuerde en forma modificada entre las partes contratantes, no debe considerarse impuesta unilateralmente.

(60 quater)

Además, las normas sobre cláusulas contractuales abusivas solo deben aplicarse a los elementos del contrato relacionados con el suministro de herramientas, servicios, componentes o procesos que se utilicen o integren en un sistema de IA de alto riesgo, o con las vías de recurso en caso de incumplimiento o rescisión de las obligaciones conexas. Las demás secciones del mismo contrato que no guarden relación con dichos elementos no deben estar sujetas al control del carácter abusivo establecido en el presente Reglamento.

(60 quinquies)

Los criterios para determinar las cláusulas contractuales abusivas solo deben aplicarse a cláusulas contractuales excesivas cuando se abuse de una posición negociadora más fuerte. La gran mayoría de las cláusulas contractuales que son comercialmente más favorables para una parte que para la otra, incluidas aquellas que son habituales en los contratos entre empresas, constituyen una expresión normal del principio de libertad contractual y siguen siendo aplicables. Si una cláusula contractual no figura en la lista de cláusulas que siempre se consideran abusivas, se aplicará la disposición general relativa al carácter abusivo. A este respecto, las cláusulas que figuran como abusivas deben servir como referencia para interpretar la disposición general relativa al carácter abusivo.

(60 sexies)

Los modelos fundacionales son un avance reciente en el que se desarrollan modelos de IA a partir de algoritmos diseñados para optimizar la generalidad y versatilidad de la información de salida. A menudo, estos modelos se entrenan con un amplio abanico de fuentes de datos y grandes volúmenes de datos a fin de llevar a cabo una extensa gama de tareas posteriores, incluidas algunas para las que no han sido desarrollados y entrenados específicamente. El modelo fundacional puede ser unimodal o multimodal, y entrenarse con diferentes métodos como el aprendizaje supervisado o el aprendizaje reforzado. Los sistemas de IA con una finalidad prevista específica o los sistemas de IA de uso general pueden constituir aplicaciones concretas de un modelo fundacional, lo que significa que cada modelo fundacional puede reutilizarse en innumerables sistemas de IA de etapas posteriores o sistemas de IA de uso general. Estos modelos tienen una importancia cada vez mayor para numerosas aplicaciones y sistemas de etapas posteriores.

(60 septies)

En el caso de los modelos fundacionales proporcionados como servicio, por ejemplo a través del acceso a una API, la cooperación con los proveedores de etapas posteriores debe extenderse a lo largo de todo el período durante el que se presta dicho servicio y se proporciona asistencia para este a fin de permitir una mitigación adecuada de los riesgos, salvo que el proveedor del modelo fundacional transfiera el modelo de entrenamiento, así como información amplia y adecuada sobre los conjuntos de datos y el proceso de desarrollo del sistema, o restrinja el servicio, como el acceso a la API, de modo que el proveedor situado en una etapa posterior pueda cumplir plenamente el presente Reglamento sin asistencia adicional del proveedor original del modelo fundacional.

(60 octies)

A la vista de la naturaleza y la complejidad de la cadena de valor para los sistemas de IA, resulta esencial aclarar el papel de los agentes que contribuyen al desarrollo de dichos sistemas. Existe una incertidumbre significativa sobre el modo en que evolucionarán los modelos fundacionales, tanto en lo que se refiere a la tipología de los modelos como a su autogobernanza. Por ello resulta esencial aclarar la situación jurídica de los proveedores de modelos fundacionales. Teniendo en cuenta la complejidad de dichos modelos y su impacto imprevisible, así como la falta de control del proveedor de IA de etapas posteriores sobre el desarrollo del modelo fundacional y el consiguiente desequilibrio de poder, y con el fin de garantizar un reparto equitativo de las responsabilidades a lo largo de la cadena de valor de la IA, estos modelos deben estar sujetos a requisitos y obligaciones proporcionados y más específicos en el marco del presente Reglamento; concretamente, los modelos fundacionales deben evaluar y mitigar los posibles riesgos y perjuicios mediante un diseño, unas pruebas y un análisis adecuados, aplicar medidas de gobernanza de datos —en particular, una evaluación de los sesgos— y cumplir requisitos de diseño técnico que garanticen niveles adecuados de rendimiento, previsibilidad, interpretabilidad, corregibilidad, seguridad y ciberseguridad, así como cumplir las normas medioambientales. Estas obligaciones deben ir acompañadas de normas. Además, los modelos fundacionales deben estar sujetos a obligaciones en materia de información y elaborar toda la documentación técnica necesaria para que los posibles proveedores de etapas posteriores puedan cumplir con sus obligaciones derivadas del presente Reglamento. Los modelos fundacionales generativos deben garantizar la transparencia sobre el hecho de que el contenido ha sido generado por un sistema de IA y no por seres humanos. Estos requisitos y obligaciones específicas no implican considerar los modelos fundacionales como sistemas de IA de alto riesgo, pero deben garantizar que se logren los objetivos del presente Reglamento de asegurar un elevado nivel de protección de los derechos fundamentales, la salud y la seguridad, el medio ambiente, la democracia y el Estado de Derecho. Los modelos preentrenados desarrollados para un conjunto de aplicaciones más restringido, menos general y más limitado, que no pueden adaptarse para una amplia gama de tareas como los sistemas de IA simples para usos múltiples, no deben considerarse modelos fundacionales a efectos del presente Reglamento debido a su mayor interpretabilidad, que hace que su comportamiento sea menos imprevisible.

(60 nonies)

Debido a la naturaleza de los modelos fundacionales, faltan conocimientos especializados en la evaluación de la conformidad, y los métodos de auditoría por terceros aún están en desarrollo. Por ello, el propio sector está desarrollando nuevas formas de evaluar los modelos fundacionales que cumplen en parte el objetivo de las auditorías; algunos ejemplos son la evaluación del modelo, los ataques simulados («equipos rojos») o las técnicas de verificación y validación del aprendizaje automático. Estas evaluaciones internas para los modelos fundacionales deben ser ampliamente aplicables (por ejemplo, independientemente de los canales de distribución, la modalidad y los métodos de desarrollo) para abordar los riesgos específicos de dichos modelos teniendo en cuenta las prácticas más avanzadas del sector, y centrarse en obtener una comprensión técnica y un control suficientes del modelo, gestionar los riesgos razonablemente previsibles, y realizar amplios análisis y pruebas del modelo empleando medidas adecuadas, por ejemplo recurriendo a evaluadores independientes. Dado que los modelos fundacionales son un avance nuevo en el campo de la inteligencia artificial y evolucionan con rapidez, conviene que la Comisión y la Oficina de IA lleven a cabo un seguimiento y una evaluación periódica del marco legislativo y de gobernanza de dichos modelos, y en particular de los sistemas de IA generativos basados en ellos, que plantean cuestiones de gran calado en relación con la generación de contenidos que vulneren la legislación de la Unión o la normativa sobre derechos de autor, así como con un posible uso indebido. Ha de aclararse que el presente Reglamento debe entenderse sin perjuicio de la legislación de la Unión en materia de derechos de autor y derechos conexos, en particular las Directivas 2001/29/CE, 2004/48/CE y (UE) 2019/790 del Parlamento Europeo y del Consejo.

(61)

La normalización debe desempeñar un papel fundamental para proporcionar soluciones técnicas a los proveedores, a fin de garantizar el cumplimiento del presente Reglamento. Los proveedores deben cumplir las normas armonizadas definidas en el Reglamento (UE) n.o 1025/2012 del Parlamento Europeo y del Consejo (54) para demostrar su conformidad con los requisitos previstos en el presente Reglamento. No obstante, la Comisión podría adoptar especificaciones técnicas comunes en aquellos ámbitos en los que no existan normas armonizadas o estas sean insuficientes .

(61)

La normalización debe desempeñar un papel fundamental para proporcionar soluciones técnicas a los proveedores, a fin de garantizar el cumplimiento del presente Reglamento. Los proveedores deben cumplir las normas armonizadas definidas en el Reglamento (UE) n.o 1025/2012 del Parlamento Europeo y del Consejo (54) para demostrar su conformidad con los requisitos previstos en el presente Reglamento. A fin de velar por la eficacia de las normas como instrumento político para la Unión, y teniendo en cuenta la importancia de estas para garantizar la conformidad con los requisitos del presente Reglamento y para la competitividad de las empresas, es necesario asegurar una representación equilibrada de los intereses fomentando la participación de todas las partes interesadas pertinentes en la elaboración de normas . El proceso de normalización debe ser transparente en cuanto a las personas jurídicas y físicas que participan en las actividades de normalización.

(61 bis)

Para facilitar el cumplimiento normativo, la Comisión debe emitir las primeras peticiones de normalización a más tardar dos meses después de la entrada en vigor del presente Reglamento. Esto debe servir para mejorar la seguridad jurídica y así promover la inversión y la innovación en IA, así como la competitividad y el crecimiento del mercado de la Unión, a la vez que se fomenta una gobernanza multiparte en la que estén representadas todas las partes interesadas europeas pertinentes, como la Oficina de IA, las organizaciones y organismos europeos de normalización o los grupos de expertos creados en virtud de la correspondiente legislación sectorial de la Unión, así como la industria, las pymes, las empresas emergentes, la sociedad civil, los investigadores y los interlocutores sociales, y en último término debe facilitar la cooperación mundial en materia de normalización en el ámbito de la IA de un modo coherente con los valores de la Unión. Al preparar la petición de normalización, la Comisión debe consultar a la Oficina de IA y al foro consultivo sobre IA para recabar los conocimientos especializados pertinentes.

(61 ter)

Cuando los sistemas de IA estén destinados a su uso en el lugar de trabajo, las normas armonizadas deben limitarse a las especificaciones y los procedimientos técnicos.

(61 quater)

La Comisión debe estar facultada para adoptar especificaciones comunes en determinadas condiciones cuando no exista una norma armonizada pertinente o para responder a preocupaciones específicas relativas a los derechos fundamentales. A lo largo de todo el proceso de redacción, la Comisión debe consultar periódicamente a la Oficina de IA y a su foro consultivo, a las organizaciones y organismos europeos de normalización o a los grupos de expertos creados en virtud de la correspondiente legislación sectorial de la Unión, así como a la industria, las pymes, las empresas emergentes, la sociedad civil, los investigadores y los interlocutores sociales.

(61 quinquies)

Al adoptar especificaciones comunes, la Comisión debe buscar una armonización de la regulación de la IA con socios mundiales afines, lo que resulta fundamental para fomentar la innovación y las asociaciones transfronterizas en el ámbito de la IA, ya que la coordinación con socios afines en los organismos internacionales de normalización reviste gran importancia.

(62)

Antes de su introducción en el mercado o puesta en servicio, los sistemas de IA de alto riesgo deben someterse a una evaluación de la conformidad que garantice que son altamente fiables.

(62)

Antes de su introducción en el mercado o puesta en servicio, los sistemas de IA de alto riesgo deben someterse a una evaluación de la conformidad que garantice que son altamente fiables. Con el fin de fomentar la confianza en la cadena de valor y de ofrecer certidumbre a las empresas respecto al rendimiento de sus sistemas, los terceros que suministren componentes de IA podrán solicitar voluntariamente una evaluación externa de la conformidad.

(64)

Puesto que los profesionales que realizan la certificación previa a la comercialización tienen una experiencia más amplia en el campo de la seguridad de los productos, y habida cuenta de la diferente naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones de la conformidad realizadas por terceros a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la identificación biométrica remota de personas. En el caso de estos últimos, y en la medida en que no estén prohibidos, debe preverse que un organismo notificado participe en la evaluación de la conformidad.

(64)

Ante la complejidad de los sistemas de IA de alto riesgo y los riesgos asociados a ellos, resulta esencial desarrollar una capacidad más adecuada para someterlos a evaluaciones externas de la conformidad. No obstante, dada la experiencia actual de los profesionales que realizan la certificación previa a la comercialización en el campo de la seguridad de los productos, y habida cuenta de la diferente naturaleza de los riesgos implicados, procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones de la conformidad realizadas por terceros a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la identificación biométrica remota de personas o para la inferencia de características personales de personas físicas a partir de datos biométricos o datos de base biométrica, incluidos los sistemas de reconocimiento de las emociones . En el caso de estos últimos, y en la medida en que no estén prohibidos, debe preverse que un organismo notificado participe en la evaluación de la conformidad.

(65)

En virtud del presente Reglamento, las autoridades nacionales competentes deben designar a los organismos notificados que realizarán la evaluación externa de la conformidad de los sistemas de IA destinados a utilizarse para la identificación biométrica remota de personas , siempre y cuando cumplan una serie de requisitos, fundamentalmente en lo que respecta a su independencia, sus competencias y la ausencia de conflictos de intereses.

(65)

En virtud del presente Reglamento, las autoridades nacionales competentes deben designar a los organismos notificados que realizarán las evaluaciones externas de la conformidad, cuando así se les exija , siempre y cuando cumplan una serie de requisitos, fundamentalmente en lo que respecta a su independencia, sus competencias y la ausencia de conflictos de intereses , así como a requisitos mínimos de ciberseguridad . Los Estados miembros deben fomentar la designación de un número suficiente de organismos de evaluación de la conformidad para permitir que la certificación sea factible en unos plazos adecuados. Los procedimientos de evaluación, designación, notificación y seguimiento de los organismos de evaluación de la conformidad deben llevarse a cabo de la manera más uniforme posible en los distintos Estados miembros con el fin de eliminar las barreras fronterizas administrativas y garantizar que se aproveche el potencial del mercado interior.

(65 bis)

En consonancia con los compromisos de la Unión en el marco del Acuerdo sobre Obstáculos Técnicos al Comercio de la Organización Mundial del Comercio, conviene maximizar la aceptación de los resultados de pruebas generados por los organismos de evaluación de la conformidad competentes, con independencia del territorio en el que estén establecidos, cuando resulte necesario para demostrar la conformidad con los requisitos aplicables del presente Reglamento. La Comisión debe estudiar activamente posibles instrumentos internacionales para ese fin, y en particular impulsar la posibilidad de establecer acuerdos de reconocimiento mutuo con países que presenten un grado de desarrollo técnico comparable y tengan un planteamiento compatible en relación con la IA y con la evaluación de la conformidad.

(66)

En consonancia con la noción comúnmente establecida de «modificación sustancial» de los productos regulados por la legislación de armonización de la Unión, conviene que un sistema de IA se someta a una nueva evaluación de la conformidad cada vez que se produzca un cambio que pueda afectar al cumplimiento por su parte del presente Reglamento o cuando la finalidad prevista del sistema cambie. Por otro lado, en el caso de los sistemas de IA que siguen «aprendiendo» después de su introducción en el mercado o puesta en servicio (es decir, aquellos que adaptan automáticamente el modo en que desempeñan sus funciones), es necesario establecer normas que indiquen que no deben considerarse modificaciones sustanciales los cambios en el algoritmo y en su funcionamiento que hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad.

(66)

En consonancia con la noción comúnmente establecida de «modificación sustancial» de los productos regulados por la legislación de armonización de la Unión, conviene que un sistema de IA de alto riesgo se someta a una nueva evaluación de la conformidad cada vez que se produzca un cambio no planificado que vaya más allá de cambios controlados o predeterminados realizados por el proveedor, incluido el aprendizaje continuado, y que pueda crear un riesgo nuevo inaceptable y afectar de forma significativa al cumplimiento del presente Reglamento por parte del sistema de IA de alto riesgo, o cuando la finalidad prevista del sistema cambie. Por otro lado, en el caso de los sistemas de IA que siguen «aprendiendo» después de su introducción en el mercado o puesta en servicio (es decir, aquellos que adaptan automáticamente el modo en que desempeñan sus funciones), es necesario establecer normas que indiquen que no deben considerarse modificaciones sustanciales los cambios en el algoritmo y en su funcionamiento que hayan sido predeterminados por el proveedor y se hayan evaluado en el momento de la evaluación de la conformidad. Lo mismo debe aplicarse a las actualizaciones del sistema de IA por motivos generales de seguridad y para protegerse frente a nuevas amenazas de manipulación del sistema, siempre que dichas actualizaciones no supongan una modificación sustancial.

(67)

Los sistemas de IA de alto riesgo deben llevar el marcado CE para acreditar su conformidad con el presente Reglamento y así poder circular libremente por el mercado interno. Los Estados miembros no deben crear obstáculos injustificados a la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo que cumplan los requisitos establecidos en el presente Reglamento y lleven el marcado CE.

(67)

Los sistemas de IA de alto riesgo deben llevar el marcado CE para acreditar su conformidad con el presente Reglamento y así poder circular libremente por el mercado interno. En el caso de los sistemas de IA de alto riesgo físicos, se debe colocar un marcado CE físico, que puede complementarse con un marcado CE digital. En el caso de los sistemas de IA de alto riesgo exclusivamente digitales, se debe utilizar un marcado CE digital. Los Estados miembros no deben crear obstáculos injustificados a la introducción en el mercado o la puesta en servicio de sistemas de IA de alto riesgo que cumplan los requisitos establecidos en el presente Reglamento y lleven el marcado CE.

(68)

En determinadas condiciones, la rápida disponibilidad de tecnologías innovadoras puede ser crucial para la salud y la seguridad de las personas y para la sociedad en su conjunto. Por consiguiente, resulta oportuno que los Estados miembros puedan autorizar, por motivos excepcionales de seguridad pública o con vistas a proteger la vida y la salud de personas físicas y la propiedad industrial y mercantil , la introducción en el mercado o la puesta en servicio de sistemas de IA que no hayan sido sometidos a una evaluación de la conformidad.

(68)

En determinadas condiciones, la rápida disponibilidad de tecnologías innovadoras puede ser crucial para la salud y la seguridad de las personas , para el medio ambiente y el cambio climático y para la sociedad en su conjunto. Por consiguiente, resulta oportuno que los Estados miembros puedan autorizar, por motivos excepcionales ligados a la protección de la vida y la salud de personas físicas , el medio ambiente y las infraestructuras críticas , la introducción en el mercado o la puesta en servicio de sistemas de IA que no hayan sido sometidos a una evaluación de la conformidad.

(69)

Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la inteligencia artificial, así como de incrementar la transparencia de cara al público, debe exigirse a los proveedores de sistemas de IA de alto riesgo que no están asociados a productos que entran dentro del ámbito de aplicación de la legislación de armonización vigente en la Unión que registren dichos sistemas en una base de datos de la UE, de cuya creación y gestión se encargará la Comisión. La Comisión debe ser la responsable del tratamiento de dicha base de datos, de conformidad con el Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo (55). Con vistas a garantizar la funcionalidad plena de la base de datos una vez que esté en funcionamiento, el procedimiento para su establecimiento debe incluir la elaboración de especificaciones funcionales por parte de la Comisión y la redacción de un informe de auditoría independiente.

(69)

Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la inteligencia artificial, así como de incrementar la transparencia de cara al público, debe exigirse a los proveedores de sistemas de IA de alto riesgo que no están asociados a productos que entran dentro del ámbito de aplicación de la legislación de armonización vigente en la Unión que registren dichos sistemas , así como sus modelos fundacionales, en una base de datos de la UE, de cuya creación y gestión se encargará la Comisión. Esta base de datos debe ser de acceso público y gratuito, ser fácil de comprender y ser legible electrónicamente. Además, debe ser sencilla en cuanto al manejo y la navegación, con funciones de búsqueda que, como mínimo, permitan al público general buscar específicamente en la base de datos un determinado sistema de alto riesgo, ubicación, categoría de riesgo con arreglo al anexo IV o palabra clave. Los implementadores que sean autoridades públicas o instituciones, órganos y organismos de la Unión, actúen en nombre de estos o sean empresas designadas como guardianes de acceso con arreglo al Reglamento (UE) 2022/1925 también deben registrarse en la base de datos de la UE antes de poner en servicio o utilizar un sistema de IA de alto riesgo por primera vez y después de cualquier modificación sustancial. Los demás implementadores deben poder efectuar dicho registro con carácter voluntario. Cualquier modificación sustancial de un sistema de IA de alto riesgo también debe registrarse en la base de datos de la UE. La Comisión debe ser la responsable del tratamiento de dicha base de datos, de conformidad con el Reglamento (UE) 2018/1725 del Parlamento Europeo y del Consejo (55). Con vistas a garantizar la funcionalidad plena de la base de datos una vez que esté en funcionamiento, el procedimiento para su establecimiento debe incluir la elaboración de especificaciones funcionales por parte de la Comisión y la redacción de un informe de auditoría independiente. Al ejercer sus funciones como responsable del tratamiento de la base de datos de la UE, la Comisión debe tener en cuenta los riesgos de ciberseguridad y los riesgos vinculados a peligros. Con el fin de maximizar la disponibilidad y el uso de la base de datos por parte del público, la base de datos y la información que se pone a disposición a través de ella deben cumplir los requisitos establecidos en la Directiva 2019/882.

(71)

La inteligencia artificial es una familia de tecnologías de rápida evolución que requiere nuevas formas de vigilancia regulatoria y un espacio seguro para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias y medidas de reducción del riesgo adecuadas. Para conseguir un marco jurídico que favorezca la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, conviene animar a las autoridades nacionales competentes de uno o varios Estados miembros a que establezcan espacios controlados de pruebas para la inteligencia artificial que faciliten el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio.

(71)

La inteligencia artificial es una familia de tecnologías de rápida evolución que requiere vigilancia regulatoria y un espacio seguro y controlado para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias éticas y medidas de reducción del riesgo adecuadas. Para conseguir un marco jurídico que promueva la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, los Estados miembros deben establecer al menos un espacio controlado de pruebas para la inteligencia artificial que facilite el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio. Resulta en efecto deseable que la creación de espacios controlados de pruebas, que actualmente se deja a la voluntad de los Estados miembros, se convierta en una próxima etapa en una obligación con criterios definidos. El espacio controlado de pruebas también podría crearse conjuntamente con otro u otros Estados miembros, siempre que abarque el nivel nacional respectivo de los Estados miembros participantes. También pueden crearse espacios controlados de pruebas adicionales en distintos niveles, inclusive entre varios Estados miembros, para facilitar la cooperación y las sinergias transfronterizas. Salvo en el caso del espacio controlado de pruebas de nivel nacional, los Estados miembros también deben estar facultados para crear espacios controlados de pruebas virtuales o híbridos. Todos los espacios controlados de pruebas deben ser capaces de albergar productos tanto físicos como virtuales. Las autoridades que los creen deben también garantizar que los espacios controlados de pruebas dispongan de recursos financieros y humanos adecuados para su funcionamiento.

(72)

Los espacios controlados de pruebas deben tener los objetivos de impulsar la innovación en el ámbito de la IA estableciendo un entorno de experimentación y prueba controlado en la fase de desarrollo y previa a la comercialización, con vistas a garantizar que los sistemas de IA innovadores cumplan lo dispuesto en el presente Reglamento y en otra legislación pertinente de la Unión y los Estados miembros; de redoblar la seguridad jurídica de que gozan los innovadores y favorecer la vigilancia de las autoridades competentes y su entendimiento de las oportunidades, los riesgos emergentes y las consecuencias del uso de la IA; y de acelerar el acceso a los mercados eliminando las barreras para las pequeñas y medianas empresas (pymes) y las empresas emergentes, entre otras medidas . Para garantizar una aplicación uniforme en toda la Unión y conseguir economías de escala, resulta oportuno establecer normas comunes para la creación de espacios controlados de pruebas, así como un marco para la cooperación entre las autoridades pertinentes implicadas en la supervisión de dichos espacios. El presente Reglamento debe sentar la base jurídica para utilizar los datos personales recabados para otros fines en el desarrollo de determinados sistemas de IA en aras del interés público en el espacio controlado de pruebas para la IA, con arreglo al artículo 6, apartado 4, del Reglamento (UE) 2016/679 y al artículo 6 del Reglamento (UE) 2018/1725, y sin perjuicio de lo dispuesto en el artículo 4, apartado 2, de la Directiva (UE) 2016/680. Los participantes en el espacio de pruebas deben proporcionar las salvaguardias adecuadas y cooperar con las autoridades competentes, entre otras cosas, siguiendo sus indicaciones y actuando con rapidez y de buena fe para mitigar cualquier posible alto riesgo para la seguridad y los derechos fundamentales que pueda surgir durante el desarrollo y la experimentación en dicho espacio. Cuando decidan si imponen o no una multa administrativa en virtud del artículo 83, apartado 2, del Reglamento 2016/679 y del artículo 57 de la Directiva 2016/680, las autoridades competentes deben tener en cuenta la conducta de los participantes en el espacio de pruebas.

(72)

Los espacios controlados de pruebas deben tener los objetivos siguientes: que las autoridades que creen dichos espacios adquieran una mayor comprensión de los avances técnicos, mejoren los métodos de supervisión y proporcionen orientaciones a los desarrolladores y proveedores de sistemas de IA para lograr el cumplimiento del presente Reglamento o, cuando sea pertinente, de otra legislación aplicable de la Unión y los Estados miembros , así como de la Carta de los Derechos Fundamentales ; que los proveedores potenciales permitan y faciliten las pruebas y el desarrollo de soluciones innovadoras relacionadas con sistemas de IA en la fase previa a la comercialización a fin de redoblar la seguridad jurídica , permitir que las autoridades creadoras de los espacios de pruebas mejoren su aprendizaje reglamentario en un entorno controlado para elaborar mejores orientaciones, y determinar posibles mejoras futuras del marco jurídico mediante el procedimiento legislativo ordinario . Cualquier riesgo significativo detectado durante el proceso de desarrollo y prueba de estos sistemas de IA debe dar lugar ala adopción inmediata de medidas de mitigación y, en su defecto, a la suspensión del proceso de desarrollo y prueba hasta que se adopten dichas medidas. Para garantizar una aplicación uniforme en toda la Unión y conseguir economías de escala, resulta oportuno establecer normas comunes para la creación de espacios controlados de pruebas, así como un marco para la cooperación entre las autoridades pertinentes implicadas en la supervisión de dichos espacios. Los Estados miembros deben velar por que exista una amplia disponibilidad de espacios controlados de pruebas en toda la Unión, aunque la participación debe ser voluntaria. Es especialmente importante garantizar que las pymes y las empresas emergentes puedan acceder fácilmente a estos espacios controlados de pruebas, que se las involucre de forma activa y que participen en el desarrollo y las pruebas de sistemas innovadores de IA para poder aportar sus conocimientos y experiencia.

(72 bis)

El presente Reglamento debe sentar la base jurídica para utilizar los datos personales recabados para otros fines en el desarrollo de determinados sistemas de IA en aras del interés público en el espacio controlado de pruebas para la IA únicamente en determinadas condiciones, con arreglo al artículo 6, apartado 4, del Reglamento (UE) 2016/679 y al artículo 6 del Reglamento (UE) 2018/1725, y sin perjuicio de lo dispuesto en el artículo 4, apartado 2, de la Directiva (UE) 2016/680. Los proveedores potenciales que participen en el espacio de pruebas deben proporcionar las salvaguardias adecuadas y cooperar con las autoridades competentes, en particular siguiendo sus orientaciones y actuando con rapidez y de buena fe para mitigar cualquier alto riesgo para la seguridad, la salud, el medio ambiente y los derechos fundamentales que pueda surgir durante el desarrollo y la experimentación en dicho espacio. A la hora de decidir si suspenden de manera temporal o permanente la participación de un proveedor potencial en el espacio controlado de pruebas o si le imponen o no una multa administrativa en virtud del artículo 83, apartado 2, del Reglamento 2016/679 y del artículo 57 de la Directiva 2016/680, las autoridades competentes deben tener en cuenta la conducta de dicho proveedor potencial en el espacio controlado de pruebas.

(72 ter)

A fin de garantizar que la IA conduzca a resultados positivos desde el punto de vista social y medioambiental, los Estados miembros deben respaldar y promover la investigación y el desarrollo de IA en apoyo a tales resultados asignando recursos suficientes, incluidos fondos públicos y de la Unión, y concediendo acceso prioritario a los espacios controlados de pruebas a los proyectos dirigidos por la sociedad civil. Dichos proyectos deben basarse en el principio de cooperación interdisciplinaria entre desarrolladores de IA, expertos en desigualdad y no discriminación, en accesibilidad y en derechos del consumidor, medioambientales y digitales, y representantes del mundo académico.

(73)

Para promover y proteger la innovación, es importante tener en particular consideración los intereses de los proveedores y los usuarios de sistemas de IA a pequeña escala. A tal fin, los Estados miembros deben desarrollar iniciativas en materia de concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores. Asimismo, los organismos notificados deben tener en cuenta las necesidades y los intereses específicos de los proveedores a pequeña escala cuando establezcan las tasas aplicables a las evaluaciones de la conformidad. Los costes de traducción ligados a la documentación obligatoria y a la comunicación con las autoridades pueden ser considerables para los proveedores y otros operadores, en especial para los de menor tamaño. En la medida de lo posible, los Estados miembros deben procurar que una de las lenguas en las que acepten que los proveedores presenten la documentación pertinente y que pueda usarse para la comunicación con los operadores sea ampliamente conocida por el mayor número posible de usuarios transfronterizos.

(73)

Para promover y proteger la innovación, es importante tener en particular consideración los intereses de los proveedores y los usuarios de sistemas de IA a pequeña escala. A tal fin, los Estados miembros deben desarrollar iniciativas sobre alfabetización en materia de IA, concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores. Los Estados miembros deben utilizar los canales existentes y establecer, cuando proceda, nuevos canales específicos para la comunicación con las pymes, las empresas emergentes, los usuarios y otros agentes innovadores con objeto de formular orientaciones y responder a las dudas planteadas acerca de la aplicación del presente Reglamento. Estos canales existentes podrían incluir, entre otros, los equipos de respuesta a incidentes de seguridad informática de ENISA, las agencias nacionales de protección de datos, la plataforma de IA a la carta, los centros europeos de innovación digital y otros instrumentos pertinentes financiados a través de los programas de la Unión, así como las instalaciones de ensayo y experimentación establecidas por la Comisión y los Estados miembros a escala nacional o de la Unión. Cuando proceda, estos canales deben colaborar entre sí para generar sinergias y garantizar la homogeneidad de sus orientaciones para las empresas emergentes, las pymes y los usuarios. Asimismo, los organismos notificados deben tener en cuenta las necesidades y los intereses específicos de los proveedores a pequeña escala cuando establezcan las tasas aplicables a las evaluaciones de la conformidad. La Comisión evaluará periódicamente los costes de certificación y cumplimiento para las pymes y las empresas emergentes, en particular mediante consultas transparentes con las pymes, las empresas emergentes y los usuarios, y colaborará con los Estados miembros para reducir dichos costes en la medida de lo posible. Por ejemplo, los costes de traducción ligados a la documentación obligatoria y a la comunicación con las autoridades pueden ser considerables para los proveedores y otros operadores, en especial para los de menor tamaño. En la medida de lo posible, los Estados miembros deben procurar que una de las lenguas en las que acepten que los proveedores presenten la documentación pertinente y que pueda usarse para la comunicación con los operadores sea ampliamente conocida por el mayor número posible de usuarios transfronterizos. Las medianas empresas que hayan pasado recientemente de la categoría de pequeña a mediana en el sentido del anexo de la Recomendación 2003/361/CE (artículo 16) deben tener acceso a estas iniciativas y orientaciones durante el período que los Estados miembros consideren adecuado, ya que estas nuevas medianas empresas pueden a veces carecer de los recursos jurídicos y de la formación necesarios para garantizar la comprensión y el cumplimiento adecuados de las disposiciones.

(74)

Con vistas a reducir al mínimo los riesgos para la aplicación derivados de la falta de conocimientos y experiencia en el mercado, y con el objetivo de facilitar que los proveedores y los organismos notificados cumplan las obligaciones que les impone el presente Reglamento, la plataforma de IA a la carta, los centros de innovación digital europeos y los centros de ensayo y experimentación establecidos por la Comisión y los Estados miembros a escala nacional o de la UE deben , en la medida de lo posible, contribuir a la aplicación de este Reglamento. En concreto, pueden proporcionar asistencia técnica y científica a los proveedores y organismos notificados en sus respectivas misiones y esferas de competencia.

(74)

Con vistas a reducir al mínimo los riesgos para la aplicación derivados de la falta de conocimientos y experiencia en el mercado, y con el objetivo de facilitar que los proveedores y los organismos notificados cumplan las obligaciones que les impone el presente Reglamento, la plataforma de IA a la carta, los centros de innovación digital europeos y los centros de ensayo y experimentación establecidos por la Comisión y los Estados miembros a escala nacional o de la UE deben contribuir a la aplicación de este Reglamento. En concreto, pueden proporcionar asistencia técnica y científica a los proveedores y organismos notificados en sus respectivas misiones y esferas de competencia.

(76)

Debe establecerse un Comité Europeo de Inteligencia Artificial que facilite la aplicación fluida, efectiva y armonizada del presente Reglamento. Dicho Comité debe encargarse de diversas tareas de asesoramiento . Entre otras cosas, debe emitir dictámenes, recomendaciones, informes de asesoramiento u orientaciones sobre asuntos relacionados con la aplicación de este Reglamento , en particular en lo que respecta a las especificaciones técnicas o las normas existentes en relación con los requisitos previstos en el presente Reglamento, y asesorar y apoyar a la Comisión en cuestiones específicas vinculadas a la inteligencia artificial .

(76)

Con el fin de evitar la fragmentación, de garantizar el funcionamiento óptimo del mercado único y la aplicación efectiva y armonizada del presente Reglamento , de lograr un alto nivel de fiabilidad y de protección de la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de Derecho en toda la Unión en lo que se refiere a los sistemas de IA, de apoyar activamente a las autoridades nacionales de supervisión y las instituciones, órganos y organismos de la Unión en asuntos relacionados con el presente Reglamento y de aumentar la aceptación de la inteligencia artificial en toda la Unión, debe crearse una Oficina de IA de la Unión Europea . La Oficina de IA debe tener personalidad jurídica, actuar con plena independencia y encargarse de diversas tareas de asesoramiento y coordinación, en particular la emisión de dictámenes, recomendaciones, informes de asesoramiento u orientaciones sobre asuntos relacionados con la aplicación de este Reglamento. Además, debe contar con una financiación y una dotación de personal adecuadas. Los Estados miembros deben proporcionar la dirección estratégica y el control de la Oficina de IA a través del comité de administración de la Oficina de IA, junto con la Comisión, el SEPD, la FRA y la ENISA. Un director ejecutivo debe encargarse de gestionar las actividades de la Oficina de IA y representarla. Las partes interesadas deben participar formalmente en la labor de la Oficina de IA a través de un foro consultivo, que debe garantizar una representación variada y equilibrada de las partes interesadas y asesorar a la Oficina de IA sobre cuestiones relacionadas con el presente Reglamento. En caso de que la creación de la Oficina de IA no sea suficiente para garantizar una aplicación plenamente coherente del presente Reglamento en toda la Unión, así como medidas de ejecución transfronterizas eficientes, debe considerarse la posibilidad de crear una Agencia de IA.

(77)

Los Estados miembros desempeñan un papel clave en la aplicación y ejecución de este Reglamento. En este sentido, cada Estado miembro debe designar a una o varias autoridades nacionales competentes que se encarguen de supervisar su aplicación y ejecución. Con el fin de incrementar la eficiencia en términos de organización en los Estados miembros y establecer un punto de contacto oficial con el público y otros homólogos en los Estados miembros y la Unión , una autoridad nacional de cada Estado miembro debe ser designada autoridad nacional de supervisión.

(77)

Cada Estado miembro debe designar a una autoridad nacional de supervisión que se encargue de supervisar la aplicación y ejecución del presente Reglamento y de representar a su Estado miembro en el consejo de administración de la Oficina de IA, con el fin de incrementar la eficiencia en términos de organización en los Estados miembros y establecer un punto de contacto oficial con el público y otros homólogos en los Estados miembros y la Unión. Cada autoridad nacional de supervisión debe actuar con total independencia en el desempeño de sus funciones y en el ejercicio de sus poderes de conformidad con el presente Reglamento .

(77 bis)

Las autoridades nacionales de supervisión deben supervisar la aplicación de lo dispuesto en el presente Reglamento y contribuir a su aplicación coherente en toda la Unión. A tal fin, deben cooperar entre sí, con las autoridades nacionales competentes pertinentes, con la Comisión y con la Oficina de IA.

(77 ter)

Los miembros y el personal de cada autoridad nacional de supervisión deben estar sujetos, de conformidad con el Derecho de la Unión o de los Estados miembros, al deber de secreto profesional, tanto durante su mandato como después del mismo, con relación a toda información confidencial de la que hayan tenido conocimiento en el desempeño de sus funciones o el ejercicio de sus poderes. Durante su mandato, dicho deber de secreto profesional ha de aplicarse en particular a los secretos comerciales y a la información recibida de personas físicas en relación con infracciones del presente Reglamento.

(78)

Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de seguimiento posterior a la comercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o de que puedan adoptar las medidas correctoras necesarias en el momento oportuno. Este sistema es también fundamental para asegurar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, también procede exigir a los proveedores que cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave o incumplimiento del Derecho interno y de la Unión que proteja los derechos fundamentales asociado al uso de sus sistemas de IA.

(78)

Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de seguimiento posterior a la comercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o de que puedan adoptar las medidas correctoras necesarias en el momento oportuno. Este sistema es también fundamental para asegurar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» o evolucionando tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, también procede exigir a los proveedores que cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave o incumplimiento del Derecho interno y de la Unión —en particular, de la legislación que protege los derechos fundamentales y los derechos del consumidor— asociado al uso de sus sistemas de IA y adoptar las medidas correctoras adecuadas . Los implementadores también deben informar a las autoridades pertinentes de cualquier incidente grave o vulneración del Derecho interno y de la Unión derivado del uso de sus sistemas de IA cuando tengan conocimiento de tales incidentes graves o vulneraciones.

(79)

Con el objetivo de garantizar el cumplimiento adecuado y efectivo de los requisitos y obligaciones previstos en el presente Reglamento, que constituye legislación armonizada de la Unión, debe aplicarse en su totalidad el sistema relativo a la vigilancia del mercado y la conformidad de los productos establecido por el Reglamento (UE) 2019/1020. Cuando sea necesario para el cumplimiento de su mandato, las autoridades o los organismos públicos nacionales que supervisen la aplicación del Derecho de la Unión que protege los derechos fundamentales, incluidos los organismos de igualdad, también deben tener acceso a la documentación que se cree en virtud del presente Reglamento.

(79)

Con el objetivo de garantizar el cumplimiento adecuado y efectivo de los requisitos y obligaciones previstos en el presente Reglamento, que constituye legislación armonizada de la Unión, debe aplicarse en su totalidad el sistema relativo a la vigilancia del mercado y la conformidad de los productos establecido por el Reglamento (UE) 2019/1020. A efectos del presente Reglamento, las autoridades nacionales de supervisión deben actuar como autoridades de vigilancia del mercado para los sistemas de IA cubiertos por el presente Reglamento, salvo en el caso de los sistemas de IA cubiertos por el anexo II del presente Reglamento. En el caso de los sistemas de IA cubiertos por alguno de los actos jurídicos enumerados en el anexo II, las autoridades competentes en virtud de dichos actos deben seguir siendo la autoridad principal. Las autoridades nacionales de supervisión y las autoridades competentes en virtud de los actos jurídicos enumerados en el anexo II deben colaborar mutuamente siempre que resulte necesario. Cuando proceda, las autoridades competentes en virtud de los actos jurídicos enumerados en el anexo II deben enviar personal capacitado a la autoridad nacional de supervisión para ayudarla en el desempeño de sus tareas. A efectos del presente Reglamento, las autoridades nacionales de supervisión deben tener las mismas competencias y obligaciones que las autoridades de vigilancia del mercado con arreglo al Reglamento (UE) 2019/1020. Cuando sea necesario para el cumplimiento de su mandato, las autoridades o los organismos públicos nacionales que supervisen la aplicación del Derecho de la Unión que protege los derechos fundamentales, incluidos los organismos de igualdad, también deben tener acceso a la documentación que se cree en virtud del presente Reglamento. Una vez agotadas todas las demás formas razonables de evaluar o verificar la conformidad, y previa solicitud motivada, deberá darse acceso a la autoridad nacional de supervisión a los conjuntos de datos de entrenamiento, validación y prueba, así como al modelo entrenado y el modelo de entrenamiento del sistema de IA de alto riesgo, incluidos los correspondientes parámetros de modelo y su entorno de ejecución o funcionamiento. En casos de sistemas de software más sencillos a los que se aplique el presente Reglamento y que no estén basados en modelos entrenados, y cuando se hayan agotado todas las demás formas de verificar la conformidad, la autoridad nacional de supervisión podrá excepcionalmente tener acceso al código fuente previa solicitud motivada. Cuando se haya concedido a la autoridad nacional de supervisión acceso a los conjuntos de datos de entrenamiento, validación y prueba con arreglo al presente Reglamento, dicho acceso deberá llevarse a cabo con las herramientas y medios técnicos adecuados, en particular mediante acceso in situ y, en circunstancias excepcionales, acceso remoto. La autoridad nacional de supervisión debe tratar como confidencial toda la información obtenida —en particular, en su caso, el código fuente, el software y los datos— y respetar la legislación pertinente de la Unión en materia de protección de la propiedad intelectual e industrial y los secretos comerciales. Una vez concluida la investigación, la autoridad nacional de supervisión debe eliminar toda la información obtenida.

(80)

La legislación de la Unión relativa a los servicios financieros contiene normas y requisitos en materia de gobernanza interna y gestión de riesgos que las entidades financieras reguladas deben cumplir durante la prestación de dichos servicios, y también cuando utilicen sistemas de IA. Para garantizar la aplicación y ejecución coherentes de las obligaciones previstas en el presente Reglamento, así como de las normas y los requisitos oportunos de la legislación de la Unión relativa a los servicios financieros, se ha de designar a las autoridades encargadas de supervisar y ejecutar dicha legislación , y en particular, cuando proceda, al Banco Central Europeo, como las autoridades competentes encargadas de supervisar la aplicación del presente Reglamento, también de cara a las actividades de vigilancia del mercado, en relación con los sistemas de IA proporcionados o usados por entidades financieras reguladas y supervisadas. Con vistas a aumentar la coherencia entre el presente Reglamento y las normas aplicables a las entidades de crédito reguladas por la Directiva 2013/36/UE del Parlamento Europeo y del Consejo (56), conviene igualmente integrar el procedimiento de evaluación de la conformidad y algunas de las obligaciones procedimentales de los proveedores relativas a la gestión de riesgos, el seguimiento posterior a la comercialización y la documentación en las obligaciones y los procedimientos vigentes con arreglo a la Directiva 2013/36/UE. Para evitar solapamientos, también se deben contemplar excepciones limitadas en relación con el sistema de gestión de la calidad de los proveedores y la obligación de seguimiento impuesta a los usuarios de sistemas de IA de alto riesgo, en la medida en que estas se apliquen a las entidades de crédito reguladas por la Directiva 2013/36/UE.

(80)

El Derecho de la Unión relativo a los servicios financieros contiene normas y requisitos en materia de gobernanza interna y gestión de riesgos que las entidades financieras reguladas deben cumplir durante la prestación de dichos servicios, y también cuando utilicen sistemas de IA. Para garantizar la aplicación y ejecución coherentes de las obligaciones previstas en el presente Reglamento, así como de las normas y los requisitos oportunos del Derecho de la Unión relativo a los servicios financieros, se ha de designar a las autoridades competentes encargadas de supervisar y ejecutar dicho Derecho , y en particular, cuando proceda, al Banco Central Europeo, como las autoridades competentes encargadas de supervisar la aplicación del presente Reglamento, también de cara a las actividades de vigilancia del mercado, en relación con los sistemas de IA proporcionados o usados por entidades financieras reguladas y supervisadas. Con vistas a aumentar la coherencia entre el presente Reglamento y las normas aplicables a las entidades de crédito reguladas por la Directiva 2013/36/UE del Parlamento Europeo y del Consejo (56), conviene igualmente integrar el procedimiento de evaluación de la conformidad y algunas de las obligaciones procedimentales de los proveedores relativas a la gestión de riesgos, el seguimiento posterior a la comercialización y la documentación en las obligaciones y los procedimientos vigentes con arreglo a la Directiva 2013/36/UE. Para evitar solapamientos, también se deben contemplar excepciones limitadas en relación con el sistema de gestión de la calidad de los proveedores y la obligación de seguimiento impuesta a los implementadores de sistemas de IA de alto riesgo, en la medida en que estas se apliquen a las entidades de crédito reguladas por la Directiva 2013/36/UE.

(80 bis)

Habida cuenta de los objetivos del presente Reglamento —a saber, garantizar un nivel equivalente de protección de la salud, la seguridad y los derechos fundamentales de las personas físicas y garantizar la protección del Estado de Derecho y la democracia— y teniendo en cuenta que la mitigación de los riesgos de un sistema de IA para tales derechos puede no lograrse de manera suficiente a nivel nacional o estar sujeta a interpretaciones divergentes que, en última instancia, podrían dar lugar a un nivel desigual de protección de las personas físicas y provocar la fragmentación del mercado, las autoridades nacionales de supervisión deben estar facultadas para llevar a cabo investigaciones conjuntas o recurrir al procedimiento de salvaguardia de la Unión previsto en el presente Reglamento para su ejecución eficaz. Deben iniciarse investigaciones conjuntas cuando una autoridad nacional de supervisión tenga motivos suficientes para considerar que una infracción del presente Reglamento constituye una infracción generalizada o una infracción generalizada con dimensión en la Unión, o cuando el sistema de IA o el modelo fundacional presente un riesgo que afecte o pueda afectar a al menos 45 millones de personas en más de un Estado miembro.

(82)

Es importante que los sistemas de IA asociados a productos que el presente Reglamento no considera de alto riesgo y que, por lo tanto, no están obligados a cumplir los requisitos establecidos en él sean, no obstante, seguros una vez introducidos en el mercado o puestos en servicio. Para contribuir a este objetivo, se aplicaría, como red de seguridad, la Directiva 2001/95/CE del Parlamento Europeo y del Consejo (57).

(82)

Es importante que los sistemas de IA asociados a productos que el presente Reglamento no considera de alto riesgo y que, por lo tanto, no están obligados a cumplir los requisitos establecidos para los sistemas de IA de alto riesgo sean, no obstante, seguros una vez introducidos en el mercado o puestos en servicio. Para contribuir a este objetivo, se aplicaría, como red de seguridad, la Directiva 2001/95/CE del Parlamento Europeo y del Consejo (57).

(83)

Todas las partes implicadas en la aplicación del presente Reglamento deben respetar la confidencialidad de la información y los datos que obtengan en el ejercicio de sus funciones , con vistas a garantizar la cooperación fiable y constructiva de las autoridades competentes en la Unión y a escala nacional .

(83)

Con vistas a garantizar la cooperación fiable y constructiva de las autoridades competentes en la Unión y a escala nacional, todas las partes implicadas en la aplicación del presente Reglamento deben perseguir la transparencia y la apertura, respetando al mismo tiempo la confidencialidad de la información y los datos que obtengan en el ejercicio de sus funciones , mediante el establecimiento de medidas técnicas y organizativas para proteger la seguridad y confidencialidad de la información obtenida durante el desempeño de sus actividades, en particular cuando afecte a derechos de la propiedad intelectual e industrial o a intereses públicos y de seguridad nacional . Cuando las actividades de la Comisión, las autoridades nacionales competentes y los organismos notificados con arreglo al presente Reglamento den lugar a la infracción de derechos de propiedad intelectual e industrial, los Estados miembros preverán las medidas y vías de recurso necesarias para garantizar la observancia de dichos derechos en aplicación de la Directiva 2004/48/CE.

(84)

Los Estados miembros deben tomar todas las medidas necesarias para asegurarse de que se apliquen las disposiciones del presente Reglamento, incluso estableciendo sanciones efectivas, proporcionadas y disuasorias para las infracciones que se cometan. En el caso de ciertas infracciones concretas, los Estados miembros deben tener en cuenta los márgenes y criterios establecidos en el presente Reglamento . El Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas administrativas a las instituciones, las agencias y los organismos de la Unión comprendidos en el ámbito de aplicación del presente Reglamento.

(84)

El cumplimiento del presente Reglamento debe garantizarse mediante la imposición de multas por parte de la autoridad nacional de supervisión en el marco de los procedimientos establecidos en el presente Reglamento. Los Estados miembros deben tomar todas las medidas necesarias para asegurarse de que se apliquen las disposiciones del presente Reglamento, incluso estableciendo sanciones efectivas, proporcionadas y disuasorias para las infracciones que se cometan. A fin de reforzar y armonizar las sanciones administrativas por infracción del presente Reglamento, deben establecerse los límites máximos para el establecimiento de las multas administrativas en el caso de ciertas infracciones concretas . A la hora de determinar la cuantía de las multas, las autoridades competentes nacionales deben tener en cuenta en cada caso concreto todas las circunstancias de la situación específica, considerando especialmente la naturaleza, gravedad y duración de la infracción, las consecuencias de esta y el tamaño del proveedor, en particular si este último es una pyme o una empresa emergente . El Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas administrativas a las instituciones, las agencias y los organismos de la Unión comprendidos en el ámbito de aplicación del presente Reglamento. Las sanciones y las costas judiciales con arreglo al presente Reglamento no deben estar sujetos a cláusulas contractuales o cualquier otro convenio.

(84 bis)

Dado que los sistemas de IA pueden menoscabar gravemente los derechos y libertades de personas físicas y jurídicas y de grupos de personas físicas, es esencial que las personas físicas y jurídicas y los grupos de personas físicas tengan acceso significativo a mecanismos de denuncia y reparación y tengan derecho a acceder a vías de recurso proporcionadas y efectivas. Deben poder denunciar infracciones del presente Reglamento a su autoridad nacional de supervisión y tener el derecho a presentar reclamaciones contra los proveedores o implementadores de los sistemas de IA. En su caso, los implementadores deben proporcionar mecanismos de reclamación internos que puedan utilizar las personas físicas y jurídicas o los grupos de personas físicas. Sin perjuicio de cualquier otro recurso administrativo o extrajudicial, las personas físicas y jurídicas y los grupos de personas físicas también deben tener derecho a la tutela judicial efectiva en relación con una decisión jurídicamente vinculante de una autoridad nacional de supervisión que les afecte o cuando la autoridad nacional de supervisión no tramite una reclamación, no informe al reclamante de los avances o del resultado preliminar de la reclamación presentada o no cumpla su obligación de adoptar una decisión definitiva sobre la reclamación.

(84 ter)

Cuando los implementadores utilicen un sistema de IA de alto riesgo para asistir en la toma de decisiones o tomar decisiones relativas a personas físicas, siempre se deberá informar a las personas afectadas de su exposición a un sistema de IA de alto riesgo. Esta información puede proporcionar una base para que las personas afectadas ejerzan su derecho a recibir una explicación con arreglo al presente Reglamento. Cuando los implementadores proporcionen una explicación a las personas afectadas con arreglo al presente Reglamento, deben tener en cuenta el grado de conocimientos y especialización del consumidor o la persona medios.

(84 quater)

La legislación de la Unión en materia de protección de los denunciantes de irregularidades (Directiva (UE) 2019/1937) es de plena aplicación a los académicos, diseñadores, desarrolladores, contribuidores a proyectos, auditores, gestores de productos, ingenieros y operadores económicos que obtengan información sobre infracciones del Derecho de la Unión por parte de un proveedor de un sistema de IA o de su sistema de IA.

(85)

Con el objetivo de garantizar que el marco reglamentario pueda adaptarse cuando sea necesario, debe delegarse en la Comisión el poder para adoptar actos previsto en el artículo 290 del TFUE, de modo que pueda modificar las técnicas y estrategias para definir sistemas de IA mencionadas en el anexo I, la legislación de armonización de la Unión indicada en el anexo II, la lista de sistemas de IA de alto riesgo del anexo III, las disposiciones relativas a la documentación técnica que figuran en el anexo IV, el contenido de la declaración UE de conformidad del anexo V, las disposiciones referentes a los procedimientos de evaluación de la conformidad que figuran en los anexos VI y VII, y las disposiciones que estipulan a qué sistemas de IA de alto riesgo debe aplicarse el procedimiento de evaluación de la conformidad basado en la evaluación del sistema de gestión de la calidad y en la evaluación de la documentación técnica. Reviste especial importancia que la Comisión lleve a cabo las consultas oportunas durante la fase preparatoria, en particular con expertos, y que esas consultas se realicen de conformidad con los principios establecidos en el Acuerdo interinstitucional sobre la mejora de la legislación de 13 de abril de 2016 (58). En particular, a fin de garantizar una participación equitativa en la preparación de los actos delegados, el Parlamento Europeo y el Consejo reciben toda la documentación al mismo tiempo que los expertos de los Estados miembros, y sus expertos tienen acceso sistemáticamente a las reuniones de los grupos de expertos de la Comisión que se ocupen de la preparación de actos delegados.

(85)

Con el objetivo de garantizar que el marco reglamentario pueda adaptarse cuando sea necesario, debe delegarse en la Comisión el poder para adoptar actos previsto en el artículo 290 del TFUE, de modo que pueda modificar la legislación de armonización de la Unión indicada en el anexo II, la lista de sistemas de IA de alto riesgo del anexo III, las disposiciones relativas a la documentación técnica que figuran en el anexo IV, el contenido de la declaración UE de conformidad del anexo V, las disposiciones referentes a los procedimientos de evaluación de la conformidad que figuran en los anexos VI y VII, y las disposiciones que estipulan a qué sistemas de IA de alto riesgo debe aplicarse el procedimiento de evaluación de la conformidad basado en la evaluación del sistema de gestión de la calidad y en la evaluación de la documentación técnica. Reviste especial importancia que la Comisión lleve a cabo las consultas oportunas durante la fase preparatoria, en particular con expertos, y que esas consultas se realicen de conformidad con los principios establecidos en el Acuerdo interinstitucional sobre la mejora de la legislación de 13 de abril de 2016 (58). Dichas consultas deben incluir la participación de una selección equilibrada de partes interesadas, en particular organizaciones de consumidores, la sociedad civil, asociaciones que representen a las personas afectadas y representantes de empresas de distintos sectores y tamaños, así como investigadores y científicos. En particular, a fin de garantizar una participación equitativa en la preparación de los actos delegados, el Parlamento Europeo y el Consejo reciben toda la documentación al mismo tiempo que los expertos de los Estados miembros, y sus expertos tienen acceso sistemáticamente a las reuniones de los grupos de expertos de la Comisión que se ocupen de la preparación de actos delegados.

(85 bis)

Habida cuenta de la rapidez de los avances tecnológicos y de los conocimientos técnicos especializados que se requieren para evaluar los sistemas de IA de alto riesgo, la Comisión debe revisar periódicamente la aplicación del presente Reglamento, en particular los sistemas de IA prohibidos, las obligaciones de transparencia y la lista de ámbitos y casos de uso de alto riesgo, al menos una vez al año y consultando a la Oficina de IA y a las partes interesadas pertinentes.

(87 bis)

Dado que la información fiable sobre el uso de recursos y energía, la producción de residuos y otros efectos medioambientales de los sistemas de IA y las tecnologías de TIC conexas —incluidos los programas informáticos, el hardware y, en particular, los centros de datos— es limitada, la Comisión debe introducir una metodología adecuada para medir el impacto medioambiental y la eficacia del presente Reglamento a la luz de los objetivos medioambientales y climáticos de la Unión.

(89)

El Supervisor Europeo de Protección de Datos y el Comité Europeo de Protección de Datos fueron consultados de conformidad con el artículo 42, apartado 2, del Reglamento (UE) 2018/1725, y emitieron un dictamen sobre […] .

(89)

El Supervisor Europeo de Protección de Datos y el Comité Europeo de Protección de Datos fueron consultados de conformidad con el artículo 42, apartado 2, del Reglamento (UE) 2018/1725, y emitieron un dictamen el 18 de junio de 2021 .

1.

d)

normas armonizadas de transparencia aplicables a  los sistemas de IA destinados a interactuar con personas físicas, los sistemas de reconocimiento de emociones y los sistemas de categorización biométrica, así como a los sistemas de IA usados para generar o manipular imágenes, archivos de audio o vídeos ;

d)

normas armonizadas de transparencia aplicables a  determinados sistemas de IA;

e)

normas sobre el control y la vigilancia del mercado.

e)

normas sobre el control del mercado, la vigilancia del mercado , la gobernanza y la ejecución;

e bis)

medidas para apoyar a la innovación, con especial atención a las pymes y las empresas emergentes, en particular por lo que se refiere a la creación de espacios controlados de pruebas y a medidas específicas para reducir la carga normativa que pesa sobre las pymes y las empresas emergentes;

e ter)

normas sobre la creación y el funcionamiento de la Oficina de Inteligencia Artificial (Oficina de IA) de la Unión.

b)

los usuarios de sistemas de IA que se encuentren en la Unión;

b)

los implementadores de sistemas de IA que estén establecidos o se encuentren en la Unión;

c)

los proveedores y usuarios de sistemas de IA que se encuentren en un tercer país, cuando la información de salida generada por el sistema se utilice en la Unión.

c)

los proveedores e implementadores de sistemas de IA que estén establecidos o se encuentren en un tercer país, cuando se aplique la legislación de un Estado miembro en virtud de un acto de Derecho internacional público o cuando esté previsto que la información de salida generada por el sistema se utilice en la Unión.

c bis)

los proveedores que introduzcan en el mercado o pongan en servicio fuera de la Unión un sistema de IA contemplado en el artículo 5 cuando el proveedor o distribuidor de dicho sistema esté situado dentro de la Unión;

c ter)

los importadores y distribuidores de sistemas de IA, así como los representantes autorizados de los proveedores de sistemas de IA, cuando dichos importadores, distribuidores o representantes autorizados estén establecidos o se encuentren en la Unión;

c quater)

las personas afectadas, tal como se definen en el artículo 3, apartado 8 bis, que se encuentren en la Unión y cuya salud, seguridad o derechos fundamentales se vean perjudicados por el uso de un sistema de IA comercializado o puesto en servicio en la Unión.

a)

el Reglamento (CE) n.o 300/2008;

b)

el Reglamento (UE) n.o 167/2013;

c)

el Reglamento (UE) n.o 168/2013;

d)

la Directiva 2014/90/UE;

e)

la Directiva (UE) 2016/797;

f)

el Reglamento (UE) 2018/858;

g)

el Reglamento (UE) 2018/1139;

h)

el Reglamento (UE) 2019/2144.

1)

«Sistema de inteligencia artificial (sistema de IA)»: el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa .

1)

«Sistema de inteligencia artificial (sistema de IA)»: un sistema basado en máquinas diseñado para funcionar con diversos niveles de autonomía y capaz, para objetivos explícitos o implícitos, de generar información de salida —como predicciones, recomendaciones o decisiones— que influya en entornos reales o virtuales .

1 bis)

1 ter)

1 quater)

1 quinquies)

1 sexies)

3)

4)

« Usuario »: toda persona física o jurídica, autoridad pública, agencia u organismo de otra índole que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.

4)

« Implementador »: toda persona física o jurídica, autoridad pública, agencia u organismo de otra índole que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesional.

8)

«Operador»: el proveedor, el usuario , el representante autorizado, el importador y el distribuidor.

8)

«Operador»: el proveedor, el implementador , el representante autorizado, el importador y el distribuidor.

8 bis)

11)

«Puesta en servicio»: el suministro de un sistema de IA para su primer uso directamente al usuario o para uso propio en el mercado de la Unión de acuerdo con su finalidad prevista.

11)

«Puesta en servicio»: el suministro de un sistema de IA para su primer uso directamente al implementador o para uso propio en el mercado de la Unión de acuerdo con su finalidad prevista.

13)

«Uso indebido razonablemente previsible»: la utilización de un sistema de IA de un modo que no corresponde a su finalidad prevista, pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas razonablemente previsible.

13)

«Uso indebido razonablemente previsible»: la utilización de un sistema de IA de un modo que no corresponde a su finalidad prevista indicada en las instrucciones de uso establecidas por el proveedor , pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas (incluidos otros sistemas de IA) razonablemente previsible.

14)

«Componente de seguridad de un producto o sistema»: un componente de un producto o un sistema que cumple una función de seguridad para dicho producto o sistema, o cuyo fallo o defecto de funcionamiento pone en peligro la salud y la seguridad de las personas o los bienes .

14)

«Componente de seguridad de un producto o sistema»: de conformidad con la legislación de armonización de la Unión que figura en el anexo II, un componente de un producto o un sistema que cumple una función de seguridad para dicho producto o sistema, o cuyo fallo o defecto de funcionamiento pone en peligro la salud y la seguridad de las personas.