Vorschriften für künstliche Intelligenz in der EU

WICHTIGE ECKPUNKTE

Was ist ein KI-System?

Ein KI-System ist ein maschinengestütztes System, das für einen in gewissem Grade autonomen Betrieb ausgelegt ist und:

• nach seiner Betriebsaufnahme anpassungsfähig ist und
• aus erhaltenen Eingaben (für explizite oder implizite Ziele) Ausgaben erstellt, darunter Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen.

Ein risikobasierter Ansatz

Die Verordnung beruht auf einem risikobasierten Ansatz. Die Vorschriften sind also strenger, je größer das Risiko ist, dass die Gesellschaft zu Schaden kommt. In der Verordnung wird aufgrund der möglichen Auswirkungen auf die Grundrechte, Sicherheit und das Wohlergehen der Einsatz von KI in den folgenden Bereichen als hochriskant eingestuft:

• Sicherheitsbauteile von Produkten, die in den Anwendungsbereich von EU-Harmonisierungsrechtsvorschriften fallen (oder als eigenständige Produkte in diesen fallen), wenn diese nach dieser EU-Harmonisierungsrechtsvorschrift einer Konformitätsbewertung durch Dritte unterzogen werden;
• Biometrie, wenn diese zur Fernidentifizierung, zur Kategorisierung Einzelner nach sensiblen Merkmal (wie ethnischer Zugehörigkeit oder Religion) oder zur Emotionserkennung eingesetzt werden, sofern der Einsatz nicht ausschließlich zur Identitätsbestätigung dient;
• kritische Infrastruktur, wenn die KI als Sicherheitsbauteil in Bereichen wie digitale Infrastruktur, Straßenverkehr oder Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden soll;
• allgemeine und berufliche Bildung, darunter Zugang zur Bildung, Bewertung von Lernergebnissen, Bewertung des Bildungsniveaus oder Überwachung von Verhalten bei Prüfungen;
• Beschäftigung, darunter Einstellung, Auswahl von Kandidaten, Entscheidungen über Bedingungen von Arbeitsverhältnissen (Beförderungen, Kündigungen), Zuweisung von Aufgaben oder Bewertung der Leistung;
• grundlegende Dienste – KI-Systeme, die von Behörden verwendet werden, um den Anspruch auf öffentliche Leistungen (Gesundheit, Unterstützung), Kreditwürdigkeit oder das Versicherungsrisiko zu bewerten oder den Einsatzes von Not- und Rettungsdiensten zu priorisieren;
• Strafverfolgung – KI-Systeme, die zur Bewertung des Risikos einer Straftet, für Lügendetektoren, zur Bewertung der Verlässlichkeit von Beweismitteln, zur Abschätzung einer erneuten Straftet oder zur Erstellung von Profilen natürlicher Personen im Zuge von Ermittlungen eingesetzt werden;
• Migration und Grenzkontrolle – KI-Systeme, mit denen Risiken in Bezug auf Migration, Asyl und Visumanträgen geprüft werden oder mit denen natürliche Personen im Migrationszusammenhang aufgedeckt und identifiziert werden;
• Rechtspflege und demokratische Prozesse – KI-Systeme, die von Justizbehörden bei der Ermittlung und Auslegung eingesetzt werden, oder Systeme, die das Ergebnis einer Wahl beeinflussen könnten.

Mit der Verordnung werden folgende Praktiken im KI-Bereich mit einem unannehmbaren Risiko verboten

• unterschwellige oder täuschende Techniken, um das Verhalten einer Person oder einer Gruppe von Personen zu verändern, indem ihre Fähigkeiten, eine fundierte Entscheidung zu treffen, beeinträchtigt wird in einer Weise, die Schaden verursachen kann.
• Ausnutzung von Vulnerabilitäten aufgrund des Alters, einer Behinderung oder der sozioökonomischen Situation mit dem Ziel, das Verhalten von Personen oder Gruppen zu verändern in einer Weise, die Schaden verursachen kann.
• soziale Bewertung, die Bewertung oder Einstufung von natürlichen Personen auf der Grundlage ihres Verhaltens oder von Eigenschaften, durch die es zur Benachteiligung ohne Zusammenhang zu den Umständen kommt, unter denen die Daten erhoben wurden, oder in einer Weise, die im Hinblick auf das Verhalten unverhältnismäßig ist.
• strafrechtliche Risikobewertung, Vorhersage des Risikos, dass eine Straftat begangen wird, ausschließlich auf der Grundlage des Profiling oder persönlicher Merkmale, außer bei objektiven, faktengestützten Ermittlungen.
• Auslesen von Datenbanken zur Gesichtserkennung aus dem Internet oder von Überwachungsaufnahmen ohne konkretes Ziel.
• Ableitung von Emotionen in geschützten Bereichen, zum Beispiel am Arbeitsplatz und in Bildungsreinrichtungen, außer aus medizinischen oder Sicherheitsgründen.
• Biometrische Kategorisierung auf der Grundlage von Daten, um vertrauliche Merkmale wie Rasse, Religion oder politische Einstellung abzuleiten, außer zum rechtmäßigen Einsatz in der Strafverfolgung.
• Biometrische Echtzeit-Identifizierung in öffentlichen Räumen zu Strafverfolgungszwecken, außer wenn dies in bestimmten Situationen notwendig ist (z. B. Suche nach vermissten Personen, Abwenden unmittelbarer Gefahr oder Identifizierung einer Person, die der Begehung einer schweren Straftat verdächtigt wird). Hierbei sind strenge Verfahren zu befolgen, darunter die vorherige Autorisierung, ein begrenzter Umfang und Garantien zum Schutz von Rechten und Freiheiten.

Mit der Verordnung werden Offenlegungspflichten eingeführt, wenn aus einem Mangel an Transparenz zur Nutzung von KI ein Risiko entstehen kann:

• KI zur Nachahmung von Menschen (z. B. Chatbots) müssen dies bei Interaktionen angeben;
• Ausgaben von generativer KI müssen in einem maschinenlesbaren Format als KI-generiert gekennzeichnet werden;
• in einigen Fällen muss die Ausgabe generativer KI sichtbar gekennzeichnet werden, nämlich bei Deepfakes und Texten, mit denen die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse informiert wird.

Alle weiteren KI-Systeme wurden als beschränktes Risiko eingestuft und es wurden keine weiteren Vorschriften eingeführt.

Vertrauenswürdige Nutzung großer KI-Modelle

• KI-Modelle mit allgemeinem Verwendungszweck sind KI-Modelle, die mit einer großen Datenmenge trainiert werden und ein breites Spektrum unterschiedlicher Aufgaben erfüllen können. Sie können Bauteile von KI-Systemen sein.
• Mit der Verordnung werden Transparenzpflichten für Anbieter solcher KI-Modelle mit allgemeinem Verwendungszweck eingeführt, nämlich technische Dokumentation, die Bereitstellung von Informationen an nachgelagerte Entwickler von KI-Systemen und die Offenlegung der für das Training des Modells verwendeten Daten.
• Die leistungsstärksten KI-Modelle mit allgemeinem Verwendungszweck können ein systemisches Risiko darstellen. Wenn ein Modell bestimmte Schwellenwerte der Fähigkeiten erreicht, muss der Anbieter dieses Modells weitere Pflichten zu Risikomanagement und Cybersicherheit erfüllen.

Governance

• Mit der Verordnung werden mehrere Verwaltungsorgane eingerichtet, die ab 2. August 2025 aktiv werden:
  • zuständige nationale Behörden werden die Vorschriften für KI-Systeme beaufsichtigen und durchsetzen;
  • Ein Büro für künstliche Intelligenz innerhalb der Europäischen Kommission wird die kohärente Anwendung der gemeinsamen Vorschriften in der EU koordinieren und als Regulator für KI-Modelle mit allgemeinem Verwendungszweck dienen.
• Die Mitgliedstaaten der EU und das Büro für künstliche Intelligenz werden in einem KI-Gremium eng zusammenarbeiten. Das Gremium besteht aus Vertretungen der Mitgliedstaaten, um die einheitliche und wirksame Anwendung der Verordnung sicherzustellen.
• Mit der Verordnung werden zwei Beratungsorgane für das Büro für künstliche Intelligenz und das KI-Gremium eingerichtet:
  • ein wissenschaftliches Gremium mit unabhängigen Sachverständigen für wissenschaftliche Beratung;
  • ein Beratungsforum für Interessengruppen für technische Beiträge für das KI-Gremium und die Kommission.

Sanktionen

Die Geldbußen bei Verstößen sind als Prozent des Jahresumsatzes des Unternehmens oder als festgesetzter Betrag festgelegt, je nachdem, welcher Betrag höher ist. Kleine und mittlere Unternehmen sowie Start-up-Unternehmen unterliegen verhältnismäßigen Geldbußen.

Transparenz und Schutz der Grundrechte

Die erhöhte Transparenz gilt für die Entwicklung und Nutzung von Hochrisiko-KI-Systemen:

• von der Inbetriebnahme von Hochrisiko-KI-Systemen durch Einrichtungen, die öffentliche Dienste bereitstellen, muss eine Grundrechte-Folgenabschätzung erfolgen;
• Hochrisiko-KI-Systeme und Einrichtungen, die sie nutzen, müssen in einer EU-Datenbank registriert werden.

Innovation

Die Verordnung stellt einen innovationsfördernden Rahmen dar mit dem Ziel, evidenzbasiertes regulatorisches Lernen zu ermöglichen. Dabei sind KI-Reallabore vorgesehen, die eine kontrollierte Umgebung darstellen, in denen innovative KI-Systeme entwickelt, getestet und validiert werden können, auch unter realen Bedingungen. Unter bestimmten Bedingungen sind ferner Tests unter Realbedingungen von Hochrisiko-KI-Systemen möglich.

Bewertung und Überprüfung

Die Kommission prüft jährlich die Notwendigkeit, die Liste von Hochrisikonutzungen von KI und die Liste verbotener Praktiken zu aktualisieren. Bis zum 2. August 2028 und nachfolgend alle vier Jahre bewertet die Kommission Folgendes und reicht dazu einen Bericht ein:

• Ergänzung oder Ausweitung der Liste von Hochrisiko-Kategorien;
• Änderung der Liste von KI-Systemen, für die erweiterte Transparenz notwendig ist;
• Änderungen für mehr Aufsicht und Governance.