Normas para una inteligencia artificial fiable en la Unión Europea

PUNTOS CLAVE

¿Qué es un sistema de IA?

Un sistema de IA es un sistema basado en máquinas diseñado para funcionar con cierto nivel de autonomía que puede:

• adaptarse tras su despliegue, y
• generar resultados como predicciones, contenidos, recomendaciones o decisiones a partir de la información que recibe (para lograr objetivos explícitos o implícitos).

Un enfoque basado en el riesgo

La legislación sigue un planteamiento basado en el riesgo, lo cual significa que cuanto mayor sea el riesgo de causar daños a la sociedad, más estrictas serán las normas. El Reglamento define el uso de la IA en los siguientes ámbitos como de alto riesgo, debido al impacto potencial sobre los derechos fundamentales, la seguridad y el bienestar:

• los componentes de seguridad en productos sujetos a la legislación de armonización de la UE (o como productos independientes) que deben someterse a una evaluación de conformidad por terceros en virtud de la misma legislación de armonización de la UE;
• la biometría, cuando se utiliza para la identificación a distancia, la categorización de personas por atributos sensibles (como la raza o la religión) o el reconocimiento de emociones, excepto cuando se utiliza simplemente para verificar la identidad;
• las infraestructuras críticas, cuando la IA es un componente de seguridad en ámbitos como las infraestructuras digitales, el tráfico, el agua, el gas, la calefacción y la electricidad;
• la educación y formación profesional, incluidos los problemas de acceso a la educación, la evaluación de los resultados del aprendizaje, la evaluación de los niveles de educación o la supervisión del comportamiento durante las pruebas;
• el empleo, incluida la contratación, la selección de candidatos, la toma de decisiones sobre las condiciones de empleo (ascensos, despidos), la asignación de tareas o la supervisión del rendimiento;
• los servicios esenciales — sistemas de IA utilizados por las autoridades públicas para evaluar la elegibilidad para los servicios públicos (asistencia sanitaria, prestaciones), la calificación crediticia, la evaluación del riesgo de los seguros y la priorización de las respuestas de emergencia;
• las fuerzas y cuerpos de seguridad — sistemas de IA utilizados para evaluar los riesgos de delincuencia, los polígrafos, la fiabilidad de las pruebas, la predicción de la reincidencia o la elaboración de perfiles de personas para investigaciones criminales;
• la migración y el control de fronteras — sistemas de IA utilizados para evaluar los riesgos relacionados con la migración, el asilo y las solicitudes de visado, o para detectar e identificar a personas en contextos de migración;
• la administración de justicia y los procesos democráticos — sistemas de IA utilizados por las autoridades judiciales para la investigación y la interpretación jurídicas o sistemas que podrían influir en los resultados de las elecciones.

El Reglamento prohíbe las siguientes prácticas de IA con un nivel de riesgo inaceptable

• Técnicas subliminales o engañosas para manipular el comportamiento de individuos o grupos, mermando su capacidad para tomar decisiones con conocimiento de causa y causando un daño potencial.
• Explotación de vulnerabilidades basadas en la edad, la discapacidad o las situaciones socioeconómicas para manipular a individuos o grupos, con el consiguiente perjuicio potencial.
• Puntuación social, evaluando o clasificando a las personas en función de su comportamiento o características, lo que da lugar a un trato injusto no relacionado con el contexto en el que se recogieron los datos o de manera desproporcionada a la gravedad del comportamiento.
• Evaluación del riesgo criminal, predicción de la probabilidad de cometer un delito basándose únicamente en perfiles o rasgos de personalidad, excepto en investigaciones criminales objetivas y basadas en hechos.
• Obtención de bases de datos de reconocimiento facial a partir de Internet o de cámaras de seguridad sin un objetivo específico.
• Inferencia de emociones en áreas sensibles, como lugares de trabajo o instituciones educativas, a menos que se utilice con fines médicos o de seguridad.
• Categorización biométrica basada en datos para inferir atributos sensibles como raza, religión u opiniones políticas, excepto para su uso legal en el cumplimiento de la ley.
• Identificación biométrica en tiempo real en público por parte de las fuerzas de seguridad, a menos que sea estrictamente necesario para situaciones concretas (por ejemplo, encontrar a personas desaparecidas, prevenir amenazas inminentes o identificar a sospechosos de delitos graves). Esto debe seguir procedimientos legales estrictos, incluida la autorización previa, un alcance limitado y salvaguardias para proteger los derechos y libertades.

El Reglamento introduce obligaciones de información cuando pueda surgir un riesgo por falta de transparencia en torno al uso de la IA:

• la IA diseñada para hacerse pasar por humanos (por ejemplo, un «chatbot») debe informar al humano con el que está interactuando;
• el resultado de la IA generativa debe marcarse como generado por IA de forma legible por máquina;
• en algunos casos, el resultado de la IA generativa debe estar visiblemente etiquetado, como en el caso de los «deepfakes» y los textos destinados a informar al público sobre asuntos de interés público.

Se considera que todos los demás sistemas de IA presentan un riesgo limitado, por lo que el Reglamento no introduce más normas.

Uso fiable de grandes modelos de IA

• Los modelos de IA de propósito general son modelos de IA que se entrenan con grandes cantidades de datos y pueden realizar una amplia gama de tareas. Pueden ser componentes de sistemas de IA.
• El Reglamento introduce obligaciones de transparencia para los proveedores de tales modelos de IA de propósito general, a saber, documentación técnica, suministro de información a los desarrolladores posteriores de sistemas de IA y divulgación de los datos utilizados en el entrenamiento del modelo.
• Los modelos de IA de propósito general más potentes pueden plantear riesgos sistémicos. Si un modelo alcanza un determinado umbral de capacidad, el proveedor de ese modelo debe cumplir obligaciones adicionales de gestión de riesgos y ciberseguridad.

Gobernanza

• El Reglamento establece varios órganos de gobierno activos a partir del 2 de agosto de 2025:
  • las autoridades nacionales competentes que supervisarán y aplicarán las normas para los sistemas de IA;
  • una Oficina de IA dentro de la Comisión Europea que coordinará la aplicación coherente de las normas comunes en toda la UE y actuará como regulador de los modelos de IA de uso general.
• Los Estados miembros de la UE y la Oficina de IA cooperarán estrechamente en un Consejo de IA, compuesto por representantes de los Estados miembros, para garantizar la aplicación coherente y eficaz del Reglamento.
• El Reglamento establece dos órganos consultivos para la Oficina y el Consejo de IA:
  • un grupo científico de expertos independientes para proporcionar asesoramiento científico;
  • un foro consultivo de partes interesadas para proporcionar conocimientos técnicos al Consejo de IA y a la Comisión.

Sanciones

Las multas por infracción se fijan en un porcentaje del volumen de negocios anual de la empresa infractora o en una cantidad predeterminada, la que sea mayor. Las pequeñas y medianas empresas y las empresas de nueva creación están sujetas a multas administrativas proporcionales.

Transparencia y protección de los derechos fundamentales

El aumento de la transparencia se aplica al desarrollo y uso de sistemas de IA de alto riesgo:

• antes de que un sistema de IA de alto riesgo sea desplegado por entidades que prestan servicios públicos, debe evaluarse su impacto sobre los derechos fundamentales;
• los sistemas de IA de alto riesgo y las entidades que los utilicen deben registrarse en una base de datos de la UE.

Innovación

El Reglamento establece un marco jurídico favorable a la innovación y pretende fomentar el aprendizaje normativo basado en pruebas. Prevé la creación de espacios controlados de pruebas para la para la IA, que permitan un entorno controlado en el que puedan desarrollarse, probarse y validarse sistemas innovadores de IA, incluso en condiciones reales. Además, el Reglamento permite probar en condiciones reales los sistemas de IA de alto riesgo.

Evaluación y revisión

La Comisión evalúa cada año la necesidad de modificar la lista de usos de alto riesgo de la IA y la lista de prácticas prohibidas. Antes del 2 de agosto de 2028, y cada cuatro años a partir de entonces, la Comisión evaluará e informará sobre lo siguiente:

• la adición o ampliación de la lista de categorías de alto riesgo;
• las modificaciones de la lista de sistemas de IA que requieren medidas de transparencia adicional;
• las modificaciones para mejorar la supervisión y la gobernanza.