(1)

Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern , indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird . Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird.

(1)

Zweck dieser Verordnung ist es, die Einführung von menschenzentrierter und vertrauenswürdiger künstlicher Intelligenz zu fördern und ein hohes Maß an Schutz der Gesundheit, der Sicherheit, der Grundrechte, der Demokratie und der Rechtsstaatlichkeit sowie der Umwelt vor schädlichen Auswirkungen von Systemen der künstlichen Intelligenz in der Union sicherzustellen und gleichzeitig die Innovation zu fördern und das Funktionieren des Binnenmarktes zu verbessern . Diese Verordnung legt einen einheitlichen Rechtsrahmen insbesondere für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union fest und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von Systemen künstlicher Intelligenz ( KI-Systemen) beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird. Bestimmte KI-Systeme können auch Auswirkungen auf die Demokratie und Rechtsstaatlichkeit sowie die Umwelt haben. Diese Bedenken werden in den kritischen Sektoren speziell angegangen und in den Anhängen dieser Verordnung sind Anwendungsfälle aufgeführt.

(1a)

Diese Verordnung soll die Werte der Union wahren, dazu beitragen, dass die mit der KI verbundenen Vorteile der gesamten Gesellschaft zugutekommen, Einzelpersonen, Unternehmen, Demokratie und Rechtsstaatlichkeit sowie die Umwelt vor Risiken schützen und zugleich Innovation und Beschäftigung fördern und der Union eine Führungsrolle in diesem Bereich verschaffen.

(2)

Systeme der künstlichen Intelligenz ( KI-Systeme) können problemlos in verschiedenen Bereichen der Wirtschaft und Gesellschaft, auch grenzüberschreitend, eingesetzt werden und in der gesamten Union verkehren. Einige Mitgliedstaaten haben bereits die Verabschiedung nationaler Vorschriften in Erwägung gezogen, damit künstliche Intelligenz sicher ist und unter Einhaltung der Grundrechte entwickelt und verwendet wird. Unterschiedliche nationale Vorschriften können zu einer Fragmentierung des Binnenmarkts führen und würden die Rechtssicherheit für Akteure, die KI-Systeme entwickeln oder verwenden, beeinträchtigen. Daher sollte in der gesamten Union ein einheitlich hohes Schutzniveau sichergestellt werden, wobei Unterschiede, die den freien Verkehr von KI-Systemen und damit zusammenhängenden Produkten und Dienstleistungen im Binnenmarkt behindern, vermieden werden sollten, indem den Akteuren einheitliche Verpflichtungen auferlegt werden und der gleiche Schutz der zwingenden Gründe des Allgemeininteresses und der Rechte von Personen im gesamten Binnenmarkt auf der Grundlage des Artikels 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) gewährleistet wird. Soweit diese Verordnung konkrete Vorschriften zum Schutz von Privatpersonen im Hinblick auf die Verarbeitung personenbezogener Daten enthält, mit denen vor allem die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken eingeschränkt wird, sollte sich diese Verordnung in Bezug auf diese konkreten Vorschriften auch auf Artikel 16 AEUV stützen. Angesichts dieser konkreten Vorschriften und des Rückgriffs auf Artikel 16 AEUV ist es angezeigt, den Europäischen Datenschutzausschuss zu konsultieren.

(2)

KI-Systeme können problemlos in verschiedenen Bereichen der Wirtschaft und Gesellschaft, auch grenzüberschreitend, eingesetzt werden und in der gesamten Union verkehren. Einige Mitgliedstaaten haben bereits die Verabschiedung nationaler Vorschriften in Erwägung gezogen, damit künstliche Intelligenz vertrauenswürdig und sicher ist und unter Einhaltung der Grundrechte entwickelt und verwendet wird. Unterschiedliche nationale Vorschriften können zu einer Fragmentierung des Binnenmarkts führen und würden die Rechtssicherheit für Akteure, die KI-Systeme entwickeln oder verwenden, beeinträchtigen. Daher sollte in der gesamten Union ein einheitlich hohes Schutzniveau sichergestellt werden , um eine vertrauenswürdige KI zu erreichen , wobei Unterschiede, die den freien Verkehr , Innovationen, den Einsatz und die Verbreitung von KI-Systemen und damit zusammenhängenden Produkten und Dienstleistungen im Binnenmarkt behindern, vermieden werden sollten, indem den Akteuren einheitliche Verpflichtungen auferlegt werden und der gleiche Schutz der zwingenden Gründe des Allgemeininteresses und der Rechte von Personen im gesamten Binnenmarkt auf der Grundlage des Artikels 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) gewährleistet wird.

(2a)

Da künstliche Intelligenz oft auf die Verarbeitung großer Datenmengen angewiesen ist und viele KI-Systeme und -Anwendungen auf der Verarbeitung personenbezogener Daten beruhen, sollte sich diese Verordnung auch auf Artikel 16 AEUV stützen, in dem das Recht auf den Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten verankert ist und der den Erlass von Vorschriften zum Schutz von Privatpersonen im Hinblick auf die Verarbeitung personenbezogener Daten vorsieht.

(2b)

Das Grundrecht auf Schutz personenbezogener Daten wird insbesondere durch die Verordnungen (EU) 2016/679 und (EU) 2018/1725 und die Richtlinie (EU) 2016/680 gewahrt. Die Richtlinie 2002/58/EG schützt darüber hinaus die Privatsphäre und die Vertraulichkeit der Kommunikation und enthält Bedingungen für die Speicherung personenbezogener und nicht personenbezogener Daten auf Endgeräten und den Zugang dazu. Diese Rechtsakte bieten die Grundlage für eine nachhaltige und verantwortungsvolle Datenverarbeitung, auch wenn Datensätze eine Mischung aus personenbezogenen und nicht personenbezogenen Daten enthalten. Die Verordnung soll die Anwendung des bestehenden Unionsrechts zur Verarbeitung personenbezogener Daten, einschließlich der Aufgaben und Befugnisse der unabhängigen Aufsichtsbehörden, die für die Überwachung der Einhaltung dieser Instrumente zuständig sind, nicht berühren. Die Grundrechte auf Privatleben und den Schutz personenbezogener Daten, wie sie im Unionsrecht zum Datenschutz und zur Privatsphäre vorgesehen und in der Charta der Grundrechte der Europäischen Union (die „Charta“) verankert sind, werden von der Verordnung nicht berührt.

(2c)

Systeme der künstlichen Intelligenz unterliegen in der Union den einschlägigen Rechtsvorschriften zur Produktsicherheit, durch die ein Rahmen bereitgestellt wird, durch den Verbraucher vor gefährlichen Produkten im Allgemeinen geschützt werden, wobei solche Rechtsvorschriften weiterhin gelten sollten. Diese Verordnung lässt die Vorschriften, die in anderen Rechtsakten der Union zur Regelung des Verbraucherschutzes und der Produktsicherheit festgelegt sind, insbesondere in der Verordnung (EU) 2017/2394, der Verordnung (EU) 2019/1020 und der Richtlinie 2001/95/EG über die allgemeine Produktsicherheit sowie der Richtlinie 2013/11/EU, unberührt.

(2d)

In Übereinstimmung mit Artikel 114 Absatz 2 AEUV dient diese Verordnung als Ergänzung und sollte nicht die Rechte und Interessen von Arbeitnehmern beeinträchtigen. Diese Verordnung sollte daher nicht das Unionsrecht im Bereich der Sozialpolitik und die nationalen Arbeitsrechtsvorschriften und -gepflogenheiten berühren, d. h. jegliche gesetzlichen und vertraglichen Vorschriften über Beschäftigungs- und Arbeitsbedingungen, einschließlich der Gesundheit und Sicherheit am Arbeitsplatz sowie der Beziehung zwischen Arbeitgeber und Arbeitnehmer, einschließlich Unterrichtung, Anhörung und Beteiligung. Diese Verordnung sollte die Ausübung der in den Mitgliedstaaten und auf Unionsebene anerkannten Grundrechte, einschließlich des Rechts oder der Freiheit zum Streik oder zur Durchführung anderer Maßnahmen, die im Rahmen der spezifischen Systeme der Mitgliedstaaten im Bereich der Arbeitsbeziehungen nach ihren nationalen Rechtsvorschriften und/oder Gepflogenheiten vorgesehen sind, nicht beeinträchtigen. Sie sollte auch nicht die Konzertierungspraktiken und das Recht berühren, im Einklang mit den nationalen Rechtsvorschriften und/oder Gepflogenheiten Tarifverträge auszuhandeln, abzuschließen und durchzusetzen oder kollektive Maßnahmen zu ergreifen. Keinesfalls sollte sie die Kommission daran hindern, spezifische Rechtsvorschriften zu den Rechten und Freiheiten der Beschäftigten, die von KI-Systemen betroffen sind, vorzuschlagen.

(2e)

Diese Verordnung sollte die in der Richtlinie … [COD 2021/414/EG] zur Verbesserung der Arbeitsbedingungen in der Plattformarbeit enthaltenen Bestimmungen nicht berühren.

(2f)

Diese Verordnung sollte dazu beitragen, Forschung und Innovation zu unterstützen, und sollte Forschungs- und Entwicklungstätigkeiten nicht beeinträchtigen und die Freiheit der wissenschaftlichen Forschung wahren. Daher müssen KI-Systeme, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt werden, vom Anwendungsbereich der Verordnung ausgenommen werden, und es muss sichergestellt werden, dass sich die Verordnung nicht anderweitig auf wissenschaftliche Aktivitäten zur Forschung und Entwicklung in Bezug auf KI-Systeme auswirkt. In jedem Fall sollten jegliche Forschungs- und Entwicklungsaktivitäten in Übereinstimmung mit der Charta der Menschenrechte, dem Unionsrecht sowie den nationalen Rechtsvorschriften ausgeführt werden.

(3)

Künstliche Intelligenz bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und zu vielfältigem Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg beitragen können. Durch die Verbesserung der Vorhersage, Optimierung der Abläufe, Ressourcenzuweisung und Personalisierung digitaler Lösungen, die Einzelpersonen und Organisationen zur Verfügung stehen, kann die Verwendung künstlicher Intelligenz den Unternehmen wesentliche Wettbewerbsvorteile verschaffen und zu guten Ergebnissen für Gesellschaft und Umwelt führen, beispielsweise in den Bereichen Gesundheitsversorgung, Landwirtschaft, allgemeine und berufliche Bildung, Infrastrukturmanagement, Energie, Verkehr und Logistik, öffentliche Dienstleistungen, Sicherheit, Justiz, Ressourcen- und Energieeffizienz sowie Klimaschutz und Anpassung an den Klimawandel.

(3)

Künstliche Intelligenz bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und zu vielfältigem Nutzen für Wirtschaft , Umwelt und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg beitragen können – und dies bereits tun –, wenn sie in Übereinstimmung mit den relevanten allgemeinen Grundsätzen entwickelt werden, die der Charta und den Werten, auf denen die Union beruht, entsprechen . Durch die Verbesserung der Vorhersage, Optimierung der Abläufe, Ressourcenzuweisung und Personalisierung digitaler Lösungen, die Einzelpersonen und Organisationen zur Verfügung stehen, kann die Verwendung künstlicher Intelligenz den Unternehmen wesentliche Wettbewerbsvorteile verschaffen und zu guten Ergebnissen für Gesellschaft und Umwelt führen, beispielsweise in den Bereichen Gesundheitsversorgung, Landwirtschaft, Lebensmittelsicherheit, allgemeine und berufliche Bildung , Medien, Sport, Kultur, Infrastrukturmanagement, Energie, Verkehr und Logistik , Krisenmanagement , öffentliche Dienstleistungen, Sicherheit, Justiz, Ressourcen- und Energieeffizienz, Umweltüberwachung, die Bewahrung und Wiederherstellung der Biodiversität und der Ökosysteme sowie Klimaschutz und Anpassung an den Klimawandel.

(3a)

Um dazu beizutragen, die Klimaneutralitätsziele zu erreichen, sollten europäische Unternehmen versuchen, alle verfügbaren technologischen Fortschritte zu nutzen, die hierbei hilfreich sein können. Künstliche Intelligenz ist eine Technologie, die eingesetzt werden kann, um die stets wachsende Datenmenge zu verarbeiten, die bei den Abläufen in Bereichen wie Wirtschaft, Umwelt und Gesundheit entsteht. Um Investitionen in Analyse- und Optimierungsinstrumente auf KI-Basis zu erleichtern, sollte diese Verordnung eine vorhersagbare und angemessene Umgebung für industrielle Lösungen mit geringem Risiko bereitstellen.

(4)

Gleichzeitig kann künstliche Intelligenz je nach den Umständen ihrer konkreten Anwendung und Nutzung Risiken mit sich bringen und öffentliche Interessen und Rechte schädigen, die durch das Unionsrecht geschützt sind. Ein solcher Schaden kann materieller oder immaterieller Art sein.

(4)

Gleichzeitig kann künstliche Intelligenz je nach den Umständen ihrer konkreten Anwendung und Nutzung sowie der technologischen Entwicklungsstufe Risiken mit sich bringen und öffentliche oder private Interessen und grundlegende Rechte natürlicher Personen schädigen, die durch das Unionsrecht geschützt sind. Ein solcher Schaden kann materieller oder immaterieller Art sein , einschließlich physischer, psychischer, gesellschaftlicher oder wirtschaftlicher Schäden .

(4a)

Angesichts der großen Auswirkungen, die künstliche Intelligenz auf die Gesellschaft haben kann, und der Notwendigkeit, Vertrauen aufzubauen, ist es von entscheidender Bedeutung, dass die künstliche Intelligenz und ihr Regulierungsrahmen im Einklang mit den in Artikel 2 EUV verankerten Werten der Union und den in den Verträgen, der Charta und den internationalen Menschenrechtsnormen verankerten Grundrechten und -freiheiten entwickelt werden. Als Voraussetzung sollte künstliche Intelligenz eine menschenzentrierte Technologie sein. Sie soll weder die menschliche Autonomie ersetzen noch den Verlust individueller Freiheit voraussetzen und in erster Linie den Bedürfnissen der Gesellschaft und dem Gemeinwohl dienen. Um die Entwicklung und Nutzung ethisch eingebetteter künstlicher Intelligenz sicherzustellen, die die Werte der Union und die Charta achtet, sollten Garantien vorgesehen werden.

(5)

Daher ist ein Rechtsrahmen der Union mit harmonisierten Vorschriften für künstliche Intelligenz erforderlich, um die Entwicklung, Verwendung und Verbreitung künstlicher Intelligenz im Binnenmarkt zu fördern und gleichzeitig einen hohen Schutz öffentlicher Interessen wie Gesundheit und Sicherheit und den Schutz der durch das Unionsrecht anerkannten und geschützten Grundrechte zu gewährleisten. Zur Umsetzung dieses Ziels sollten Vorschriften für das Inverkehrbringen und die Inbetriebnahme bestimmter KI-Systeme festgelegt werden, um das reibungslose Funktionieren des Binnenmarkts zu gewährleisten, sodass diesen Systemen der Grundsatz des freien Waren- und Dienstleistungsverkehrs zugutekommen kann. Durch die Festlegung dieser Vorschriften unterstützt die Verordnung das vom Europäischen Rat (33) formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament (34) ausdrücklich geforderten Schutz von Ethikgrundsätzen.

(5)

Daher ist ein Rechtsrahmen der Union mit harmonisierten Vorschriften für künstliche Intelligenz erforderlich, um die Entwicklung, Verwendung und Verbreitung künstlicher Intelligenz im Binnenmarkt zu fördern und gleichzeitig einen hohen Schutz öffentlicher Interessen wie den Schutz der Grundrechte , der Demokratie, der Rechtsstaatlichkeit, der Umwelt, der Gesundheit und Sicherheit zu gewährleisten, wie sie durch das Unionsrecht anerkannt und geschützt werden. Zur Umsetzung dieses Ziels sollten Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung bestimmter KI-Systeme festgelegt werden, um das reibungslose Funktionieren des Binnenmarkts zu gewährleisten, sodass diesen Systemen der Grundsatz des freien Waren- und Dienstleistungsverkehrs zugutekommen kann. Diese Regeln sollten klar und robust sein, um die Grundrechte zu schützen, neue innovative Lösungen zu unterstützen und ein europäisches Ökosystem öffentlicher und privater Akteure zu ermöglichen, die KI-Systeme im Einklang mit den Werten der Union entwickeln. Durch die Festlegung dieser Vorschriften sowie durch Maßnahmen zur Unterstützung der Innovation mit besonderem Augenmerk auf KMU und Start-up-Unternehmen unterstützt die Verordnung das vom Europäischen Rat (33) formulierte Ziel der Union, in Europa hergestellte KI zu fördern und bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament (34) ausdrücklich geforderten Schutz von Ethikgrundsätzen.

(5a)

Darüber hinaus muss sich die Union — um die Entwicklung von KI-Systemen gemäß den Werten der Union zu fördern — den Hauptlücken und Hindernissen widmen, die das Potenzial des digitalen Wandels hemmen, wobei hier etwa der Mangel an in der Digitalisierung geschulten Arbeitskräften, Bedenken zur Internetsicherheit, zu wenige und zu geringer Zugang zu Investitionen sowie bestehende und potenzielle Lücken zwischen großen Unternehmen, KMU und Start-ups zu nennen sind. Dabei sollte besondere Aufmerksamkeit darauf gelegt werden, dass alle Regionen der Union von den Vorteilen der KI und von Innovationen in den neuen Technologien profitieren und dass ausreichende Investitionen und Ressourcen bereitgestellt werden, vor allem für Regionen, die in einigen Bereichen der Digitalisierung noch viel aufzuholen haben.

(6)

Der Begriff „KI-System“ sollte klar definiert werden, um Rechtssicherheit zu gewährleisten und gleichzeitig genügend Flexibilität zu bieten, um künftigen technologischen Entwicklungen Rechnung zu tragen. Die Begriffsbestimmung sollte auf den wesentlichen funktionalen Merkmalen der Software beruhen , insbesondere darauf, dass sie im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren, sei es physisch oder digital . KI-Systeme können so konzipiert sein, dass sie mit verschiedenen Graden der Autonomie arbeiten und eigenständig oder als Bestandteil eines Produkts verwendet werden können, unabhängig davon, ob das System physisch in das Produkt integriert ist (eingebettet) oder der Funktion des Produkts dient, ohne darin integriert zu sein (nicht eingebettet) . Die Bestimmung des Begriffs „KI-System“ sollte durch eine Liste spezifischer Techniken und Konzepte für seine Entwicklung ergänzt werden, die im Lichte der Marktentwicklungen und der technischen Entwicklungen auf dem neuesten Stand gehalten werden sollte, indem die Kommission delegierte Rechtsakte zur Änderung dieser Liste erlässt .

(6)

Der Begriff „KI-System“ in dieser Verordnung sollte klar definiert und eng mit der Tätigkeit internationaler Organisationen abgestimmt werden, die sich mit künstlicher Intelligenz befassen, um Rechtssicherheit , Harmonisierung und hohe Akzeptanz sicherzustellen und gleichzeitig genügend Flexibilität zu bieten, um künftigen , rapiden technologischen Entwicklungen in diesem Bereich Rechnung zu tragen. Darüber hinaus sollte die Begriffsbestimmung auf den wesentlichen Merkmalen der künstlichen Intelligenz wie ihren Lern-, Schlussfolgerungs- oder Modellierungsfähigkeiten beruhen und sie von einfacheren Softwaresystemen und Programmierungsansätzen abgrenzen . KI-Systeme sind mit verschiedenen Graden der Autonomie ausgestattet, was bedeutet, dass sie zumindest bis zu einem gewissen Grad unabhängig von menschlicher Kontrolle agieren und in der Lage sind, ohne menschliches Eingreifen zu arbeiten . Die Bezeichnung „maschinenbasiert“ bezieht sich auf die Tatsache, dass KI-Systeme von Maschinen betrieben werden. Durch die Bezugnahme auf explizite oder implizite Ziele wird betont, dass KI-Systeme gemäß expliziten — von Menschen festgelegten — Zielen oder gemäß impliziten Zielen arbeiten können. Die Ziele des KI-Systems können sich — unter bestimmten Umständen — von dem eigentlich vorgesehenen Verwendungszweck unterscheiden. Der Verweis auf Vorhersagen umfasst auch Inhalte, die in dieser Verordnung als eine Form von Vorhersage in Bezug auf eines der möglichen von einem KI-System generierten Ergebnisse hervorgebracht werden. Für die Zwecke dieser Verordnung sollten „Umgebungen“ als Kontexte verstanden werden, in denen KI-Systeme betrieben werden, während die von einem KI-System erzeugten Inhalte — also Vorhersagen, Empfehlungen oder Entscheidungen — auf der Grundlage von Eingaben aus dem genannten Umfeld als Reaktion auf die Ziele des Systems entstehen. Durch solche Ergebnisse wird das genannte Umfeld wiederum beeinflusst, auch dadurch, dass ihm neue Informationen zugeführt werden.

(6a)

KI-Systeme verfügen oft über Funktionen zum maschinellen Lernen, durch die es ihnen möglich ist, sich anzupassen und neue Aufgaben autonom auszuführen. Der Begriff „maschinelles Lernen“ bezieht sich auf den Rechenvorgang, bei dem die Parameter eines Modells auf der Grundlage von Daten optimiert werden, wobei es sich um ein mathematisches Konstrukt handelt, bei dem Ergebnisse auf der Grundlage von Eingabedaten erzeugt werden. Zu den Konzepten des maschinellen Lernens gehören z. B. beaufsichtigtes oder unbeaufsichtigtes und bestärkendes Lernen unter Verwendung einer Palette von Methoden, einschließlich des tiefen Lernens (Deep Learning) auf der Grundlage von neuronalen Netzwerken. Ziel dieser Verordnung ist es, bestimmte potenzielle Risiken anzugehen, die dadurch entstehen können, dass die Kontrolle über KI-Systeme übertragen wird, insbesondere wenn die Kontrolle auf KI-Systeme übertragen wird, die sich nach der Einführung des Systems entwickeln. Die Funktionen und Ergebnisse vieler dieser KI-Systeme beruhen auf abstrakten mathematischen Beziehungen, die für Menschen schwer zu verstehen und zu überwachen sind bzw. schwer auf spezifische Eingaben zurückzuführen sind. Diese komplexen und undurchsichtigen Merkmale („Black-Box-Elemente“) haben Auswirkungen auf die Zurechenbarkeit und Erklärbarkeit. Vergleichsweise einfachere Techniken, wie zum Beispiel wissensgestützte Konzepte, Bayessche Schätzungen oder Entscheidungsbäume können auch zu Rechtslücken führen, die durch diese Verordnung angegangen werden müssen, insbesondere, wenn sie in Verbindung mit Konzepten des maschinellen Lernens in hybriden Systemen verwendet werden.

(6b)

KI-Systeme können als eigenständige Softwaresysteme verwendet werden, in ein physisches Produkt integriert (eingebettet) werden, der Funktion eines physischen Produkts dienen, ohne darin integriert zu sein (nicht eingebettet), oder als KI-Komponente eines größeren Systems verwendet werden. Wenn dieses größere System ohne die genannte KI-Komponente nicht funktionsfähig wäre, dann sollte das gesamte größere System im Rahmen dieser Verordnung als ein einziges KI-System angesehen werden.

(7)

Der in dieser Verordnung verwendete Begriff „biometrische Daten“ steht im Einklang mit dem Begriff „biometrische Daten“ im Sinne von Artikel 4 Nummer 14 der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates (35) , Artikel 3 Nummer 18 der Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates  (36) und Artikel 3 Nummer 13 der Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates  (37) und sollte im Einklang damit ausgelegt werden .

(7)

Der in dieser Verordnung verwendete Begriff „biometrische Daten“ steht im Einklang mit dem Begriff „biometrische Daten“ im Sinne von Artikel 4 Nummer 14 der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates (35) . „Biometrische Daten“ sind zusätzliche Daten, die sich aus der spezifischen technischen Verarbeitung physischer, physiologischer oder verhaltensbezogener Signale einer natürlichen Person ergeben, wie Gesichtsausdruck, Bewegungen, Pulsfrequenz, Stimme, Tastenanschlag oder Gang, die die eindeutige Identifizierung einer natürlichen Person ermöglichen oder bestätigen können .

(7a)

Der Begriff „biometrische Identifizierung“ sollte gemäß dieser Verordnung als automatische Erkennung physischer, physiologischer, verhaltensbezogener und psychischer menschlicher Merkmale wie Gesicht, Augenbewegungen, Gesichtsausdruck, Körperform, Stimme, Sprache, Gang, Haltung, Herzfrequenz, Blutdruck, Geruch, Tastenanschläge, psychologische Reaktionen (Wut, Kummer, Trauer usw.) zum Zweck der Überprüfung der Identität einer Person durch Abgleich der biometrischen Daten der entsprechenden Person mit den in einer Datenbank gespeicherten biometrischen Daten (1:n-Identifizierung) definiert werden, unabhängig davon, ob die Einzelperson ihre Zustimmung dazu gegeben hat oder nicht.

(7b)

Der Begriff „biometrische Kategorisierung“ im Sinne dieser Verordnung sollte die Zuordnung natürlicher Personen zu bestimmten Kategorien oder die Ableitung ihrer Merkmale und Attribute wie soziales Geschlecht, Geschlecht, Alter, Haarfarbe, Augenfarbe, Tätowierung, ethnische oder soziale Herkunft, Gesundheit, mentale oder körperliche Fähigkeiten, Persönlichkeits- oder Charaktermerkmale, Sprache, Religion oder Zugehörigkeit zu einer nationalen Minderheit oder sexuelle oder politische Ausrichtung auf der Grundlage ihrer biometrischen oder biometriegestützten Daten oder von Daten, die aus diesen Daten abgeleitet werden können, bezeichnen.

(8)

Der in dieser Verordnung verwendete Begriff „biometrisches Fernidentifizierungssystem“ sollte funktional definiert werden als KI-System, das dem Zweck dient, natürliche Personen aus der Ferne durch Abgleich der biometrischen Daten einer Person mit den in einer Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren, ohne dass der Nutzer des KI-Systems vorher weiß, ob die Person anwesend sein wird und identifiziert werden kann, und unabhängig davon, welche Technik, Verfahren oder Arten biometrischer Daten dazu verwendet werden. Angesichts ihrer unterschiedlichen Merkmale und Einsatzformen sowie der unterschiedlichen Risiken, die mit ihnen verbunden sind, sollte zwischen biometrischen Echtzeit-Fernidentifizierungssystemen und Systemen zur nachträglichen biometrischen Fernidentifizierung unterschieden werden. Bei „Echtzeit-Systemen“ erfolgen die Erfassung der biometrischen Daten, der Abgleich und die Identifizierung unverzüglich, zeitnah oder auf jeden Fall ohne erhebliche Verzögerung. In diesem Zusammenhang sollte es keinen Spielraum für eine Umgehung der Bestimmungen dieser Verordnung über die „Echtzeit-Nutzung“ der betreffenden KI-Systeme geben, indem kleinere Verzögerungen vorgesehen werden. „Echtzeit-Systeme“ umfassen die Verwendung von „Live-Material“ oder „Near-live-Material“ wie Videoaufnahmen, die von einer Kamera oder einem anderen Gerät mit ähnlicher Funktion erzeugt werden. Bei Systemen zur nachträglichen Identifizierung hingegen wurden die biometrischen Daten schon zuvor erfasst und der Abgleich und die Identifizierung erfolgen erst mit erheblicher Verzögerung. Dabei handelt es sich um Material wie Bild- oder Videoaufnahmen, die von Video-Überwachungssystemen oder privaten Geräten vor der Anwendung des KI-Systems auf die betroffenen natürlichen Personen erzeugt wurden.

(8)

Der in dieser Verordnung verwendete Begriff „biometrisches Fernidentifizierungssystem“ sollte funktional definiert werden als KI-System, das dem Zweck dient, natürliche Personen aus der Ferne durch Abgleich der biometrischen Daten einer Person mit den in einer Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren, ohne dass der Nutzer des KI-Systems vorher weiß, ob die Person anwesend sein wird und identifiziert werden kann, und unabhängig davon, welche Technik, Verfahren oder Arten biometrischer Daten dazu verwendet werden , mit Ausnahme von Verifizierungssystemen, die nur die biometrischen Daten einer Person mit den in Bezug auf diese Person zuvor gewonnenen biometrischen Daten (eineindeutige Beziehung) vergleichen . Angesichts ihrer unterschiedlichen Merkmale und Einsatzformen sowie der unterschiedlichen Risiken, die mit ihnen verbunden sind, sollte zwischen biometrischen Echtzeit-Fernidentifizierungssystemen und Systemen zur nachträglichen biometrischen Fernidentifizierung unterschieden werden. Bei „Echtzeit-Systemen“ erfolgen die Erfassung der biometrischen Daten, der Abgleich und die Identifizierung unverzüglich, zeitnah oder auf jeden Fall ohne erhebliche Verzögerung. In diesem Zusammenhang sollte es keinen Spielraum für eine Umgehung der Bestimmungen dieser Verordnung über die „Echtzeit-Nutzung“ der betreffenden KI-Systeme geben, indem kleinere Verzögerungen vorgesehen werden. „Echtzeit-Systeme“ umfassen die Verwendung von „Live-Material“ oder „Near-live-Material“ wie Videoaufnahmen, die von einer Kamera oder einem anderen Gerät mit ähnlicher Funktion erzeugt werden. Bei Systemen zur nachträglichen Identifizierung hingegen wurden die biometrischen Daten schon zuvor erfasst und der Abgleich und die Identifizierung erfolgen erst mit erheblicher Verzögerung. Dabei handelt es sich um Material wie Bild- oder Videoaufnahmen, die von Video-Überwachungssystemen oder privaten Geräten vor der Anwendung des KI-Systems auf die betroffenen natürlichen Personen erzeugt wurden. Angesichts der Tatsache, dass das Konzept der biometrischen Identifizierung unabhängig von der Einwilligung einer Person ist, gilt diese Definition auch, wenn Warnmeldungen an dem Ort angebracht sind, der durch das biometrische Fernidentifizierungssystem überwacht wird, und ist durch die vorige Anmeldung nicht de facto ungültig.

(8a)

Bei der Identifizierung natürlicher Personen aus der Ferne wird zwischen biometrischen Fernidentifizierungssystemen und Systemen zur Überprüfung von Einzelpersonen aus der Nähe unterschieden, die biometrische Identifizierungsinstrumente verwenden und deren einziger Zweck darin besteht, zu bestätigen, ob eine bestimmte natürliche Person, die sich zur Identifizierung vorstellt, beispielsweise berechtigt ist oder nicht, Zugang zu einem Dienst, einem Gerät oder einem Gebäude zu erhalten.

(9)

Für die Zwecke dieser Verordnung sollte der Begriff „öffentlich zugänglicher Raum“ so verstanden werden, dass er sich auf einen der Öffentlichkeit zugänglichen physischen Ort bezieht, unabhängig davon, ob sich der betreffende Ort in privatem oder öffentlichem Eigentum befindet. Daher erfasst der Begriff keine privaten Orte, wie Privathäuser, private Clubs, Büros, Lager und Fabriken, die normalerweise für Dritte, einschließlich Strafverfolgungsbehörden, nicht frei zugänglich sind, es sei denn, diese wurden ausdrücklich eingeladen oder ihr Zugang ausdrücklich erlaubt. Auch Online-Räume werden nicht erfasst, da es sich nicht um physische Räume handelt. Die bloße Tatsache, dass bestimmte Bedingungen für den Zugang zu einem bestimmten Raum gelten können, wie Eintrittskarten oder Altersbeschränkungen, bedeutet jedoch nicht, dass der Raum im Sinne dieser Verordnung nicht öffentlich zugänglich ist. Folglich sind neben öffentlichen Räumen wie Straßen, relevanten Teilen von Regierungsgebäuden und den meisten Verkehrsinfrastrukturen auch Bereiche wie Kinos, Theater, Geschäfte und Einkaufszentren in der Regel öffentlich zugänglich. Ob ein bestimmter Raum öffentlich zugänglich ist, sollte jedoch von Fall zu Fall unter Berücksichtigung der Besonderheiten der jeweiligen individuellen Situation entschieden werden.

(9)

Für die Zwecke dieser Verordnung sollte der Begriff „öffentlich zugänglicher Raum“ so verstanden werden, dass er sich auf einen der Öffentlichkeit zugänglichen physischen Ort bezieht, unabhängig davon, ob sich der betreffende Ort in privatem oder öffentlichem Eigentum befindet , und unabhängig von möglichen Kapazitätseinschränkungen . Daher erfasst der Begriff keine privaten Orte, wie Privathäuser, private Clubs, Büros, Lager und Fabriken, die normalerweise für Dritte, einschließlich Strafverfolgungsbehörden, nicht frei zugänglich sind, es sei denn, diese wurden ausdrücklich eingeladen oder ihr Zugang ausdrücklich erlaubt. Auch Online-Räume werden nicht erfasst, da es sich nicht um physische Räume handelt. Die bloße Tatsache, dass bestimmte Bedingungen für den Zugang zu einem bestimmten Raum gelten können, wie Eintrittskarten oder Altersbeschränkungen, bedeutet jedoch nicht, dass der Raum im Sinne dieser Verordnung nicht öffentlich zugänglich ist. Folglich sind neben öffentlichen Räumen wie Straßen, relevanten Teilen von Regierungsgebäuden und den meisten Verkehrsinfrastrukturen auch Bereiche wie Kinos, Theater, Sportplätze, Schulen, Universitäten, relevante Gebäudebereiche von Krankenhäusern und Banken, Vergnügungsparks, Festivals, Geschäfte und Einkaufszentren in der Regel öffentlich zugänglich. Ob ein bestimmter Raum öffentlich zugänglich ist, sollte jedoch von Fall zu Fall unter Berücksichtigung der Besonderheiten der jeweiligen individuellen Situation entschieden werden.

(9a)

Es ist wichtig, festzustellen, dass KI-Systeme so konzipiert sind, dass es ihnen möglich ist, allgemeine Grundsätze einzuhalten, mit denen ein auf den Menschen ausgerichteter Rahmen auf hoher Ebene geschaffen wird, der einen kohärenten, auf den Menschen ausgerichteten Ansatz für ethische und vertrauenswürdige KI im Einklang mit der Charta der Grundrechte der Europäischen Union und den Werten, auf denen die Union beruht, fördert, einschließlich des Schutzes der Grundrechte, der Handlungs- und Kontrollfähigkeit des Menschen, der technischen Robustheit und Sicherheit, des Schutzes der Privatsphäre und der Datenverwaltung, der Transparenz, der Nichtdiskriminierung und Fairness sowie des gesellschaftlichen und ökologischen Wohlergehens.

(9b)

Der Begriff „KI-Kompetenz“ bezieht sich auf Fähigkeiten, Kenntnisse und das Verständnis, die es Anbietern, Nutzern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme in Kenntnis der Sachlage einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden und dadurch ihre demokratische Kontrolle zu fördern. KI-Kompetenz sollte sich nicht auf das Lernen über Werkzeuge und Technologien beschränken, sondern auch darauf abzielen, Anbieter und Nutzer mit den Begriffen und Kompetenzen auszustatten, die erforderlich sind, um die Einhaltung und Durchsetzung dieser Verordnung sicherzustellen. Daher ist es notwendig, dass die Kommission, die Mitgliedstaaten sowie die Anbieter und Nutzer von KI-Systemen in Zusammenarbeit mit allen einschlägigen Interessenträgern die Entwicklung ausreichender KI-Kompetenzen bei Menschen aller Altersgruppen, einschließlich Frauen und Mädchen, in allen Bereichen der Gesellschaft fördern und dass die diesbezüglichen Fortschritte aufmerksam verfolgt werden.

(10)

Um gleiche Wettbewerbsbedingungen und einen wirksamen Schutz der Rechte und Freiheiten natürlicher Personen in der gesamten Union zu gewährleisten, sollten die in dieser Verordnung festgelegten Vorschriften in nichtdiskriminierender Weise für Anbieter von KI-Systemen — unabhängig davon, ob sie in der Union oder in einem Drittland niedergelassen sind — und für Nutzer von KI-Systemen, die in der Union ansässig oder niedergelassen sind, gelten.

(10)

Um gleiche Wettbewerbsbedingungen und einen wirksamen Schutz der Rechte und Freiheiten natürlicher Personen in der gesamten Union und auf internationaler Ebene zu gewährleisten, sollten die in dieser Verordnung festgelegten Vorschriften in nichtdiskriminierender Weise für Anbieter von KI-Systemen — unabhängig davon, ob sie in der Union oder in einem Drittland niedergelassen sind — und für Betreiber von KI-Systemen, die in der Union ansässig oder niedergelassen sind, gelten. Damit die Union ihren Grundwerten treu bleibt, sollten KI-Systeme, die für Verfahren eingesetzt werden, die im Rahmen dieser Verordnung als unannehmbar angesehen werden, aufgrund ihrer besonders schädigenden Auswirkungen auf die in der Charta verankerten Grundrechte auch außerhalb der Union als unannehmbar gelten. Es ist daher angemessen, die Ausfuhr solcher KI-Systeme in Drittländer durch in der Union ansässige Betreiber zu verbieten.

(11)

Angesichts ihres digitalen Charakters sollten bestimmte KI-Systeme in den Anwendungsbereich dieser Verordnung fallen, selbst wenn sie in der Union weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dies ist beispielsweise der Fall, wenn ein in der Union ansässiger oder niedergelassener Akteur bestimmte Dienstleistungen an einen außerhalb der Union ansässigen oder niedergelassenen Akteur im Zusammenhang mit einer Tätigkeit vergibt, die von einem KI-System ausgeübt werden soll, das als hochriskant einzustufen wäre und sich auf in der Union ansässige natürliche Personen auswirken würde. Unter diesen Umständen könnte das von dem Akteur außerhalb der Union betriebene KI-System Daten verarbeiten, die rechtmäßig in der Union erhoben und aus der Union übertragen wurden, und sodann dem vertraglichen Akteur in der Union die aus dieser Verarbeitung resultierenden Ergebnisse dieses KI-Systems liefern, ohne dass dieses KI-System dabei in der Union in Verkehr gebracht, in Betrieb genommen oder verwendet wird. Um die Umgehung dieser Verordnung zu verhindern und einen wirksamen Schutz in der Union ansässiger natürlicher Personen zu gewährleisten, sollte diese Verordnung auch für Anbieter und Nutzer von KI-Systemen gelten, die in einem Drittland ansässig oder niedergelassen sind, soweit die von diesen Systemen erzeugten Ergebnisse in der Union verwendet werden . Um jedoch bestehenden Vereinbarungen und besonderen Erfordernissen für die Zusammenarbeit mit ausländischen Partnern, mit denen Informationen und Beweismittel ausgetauscht werden, Rechnung zu tragen, sollte diese Verordnung nicht für Behörden eines Drittlands und internationale Organisationen gelten, wenn sie im Rahmen internationaler Übereinkünfte tätig werden, die auf nationaler oder europäischer Ebene für die Zusammenarbeit mit der Union oder ihren Mitgliedstaaten im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit geschlossen wurden. Solche Übereinkünfte wurden bilateral zwischen Mitgliedstaaten und Drittstaaten oder zwischen der Europäischen Union, Europol und anderen EU-Agenturen einerseits und Drittstaaten und internationalen Organisationen andererseits geschlossen.

(11)

Angesichts ihres digitalen Charakters sollten bestimmte KI-Systeme in den Anwendungsbereich dieser Verordnung fallen, selbst wenn sie in der Union weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dies ist beispielsweise der Fall, wenn ein in der Union ansässiger oder niedergelassener Akteur bestimmte Dienstleistungen an einen außerhalb der Union ansässigen oder niedergelassenen Akteur im Zusammenhang mit einer Tätigkeit vergibt, die von einem KI-System ausgeübt werden soll, das als hochriskant einzustufen wäre und sich auf in der Union ansässige natürliche Personen auswirken würde. Unter diesen Umständen könnte das von dem Akteur außerhalb der Union betriebene KI-System Daten verarbeiten, die rechtmäßig in der Union erhoben und aus der Union übertragen wurden, und sodann dem vertraglichen Akteur in der Union die aus dieser Verarbeitung resultierenden Ergebnisse dieses KI-Systems liefern, ohne dass dieses KI-System dabei in der Union in Verkehr gebracht, in Betrieb genommen oder verwendet wird. Um die Umgehung dieser Verordnung zu verhindern und einen wirksamen Schutz in der Union ansässiger natürlicher Personen zu gewährleisten, sollte diese Verordnung auch für Anbieter, Nutzer und Betreiber von KI-Systemen gelten, die in einem Drittland ansässig oder niedergelassen sind, soweit die von diesen Systemen erzeugten Ergebnisse für die Nutzung in der Union vorgesehen sind . Um jedoch bestehenden Vereinbarungen und besonderen Erfordernissen für die Zusammenarbeit mit ausländischen Partnern, mit denen Informationen und Beweismittel ausgetauscht werden, Rechnung zu tragen, sollte diese Verordnung nicht für Behörden eines Drittlands und internationale Organisationen gelten, wenn sie im Rahmen internationaler Übereinkünfte tätig werden, die auf nationaler oder europäischer Ebene für die Zusammenarbeit mit der Union oder ihren Mitgliedstaaten im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit geschlossen wurden. Solche Übereinkünfte wurden bilateral zwischen Mitgliedstaaten und Drittstaaten oder zwischen der Europäischen Union, Europol und anderen EU-Agenturen einerseits und Drittstaaten und internationalen Organisationen andererseits geschlossen. Diese Ausnahme sollte jedoch auf vertrauenswürdige Länder und internationale Organisationen beschränkt werden, die die Werte der Union teilen.

(12)

Diese Verordnung sollte auch für Organe, Einrichtungen und sonstige Stellen der Union gelten, wenn sie als Anbieter oder Nutzer eines KI-Systems auftreten. KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden, sollten vom Anwendungsbereich dieser Verordnung ausgenommen werden, wenn diese Verwendung in den ausschließlichen Zuständigkeitsbereich der Gemeinsamen Außen- und Sicherheitspolitik fällt, der in Titel V des Vertrags über die Europäische Union (EUV) geregelt ist. Diese Verordnung sollte die Bestimmungen über die Verantwortlichkeit der Vermittler in der Richtlinie 2000/31/EG des Europäischen Parlaments und des Rates [in der durch das Gesetz über digitale Dienste geänderten Fassung] unberührt lassen.

(12)

Diese Verordnung sollte auch für Organe, Einrichtungen und sonstige Stellen der Union gelten, wenn sie als Anbieter oder Betreiber eines KI-Systems auftreten. KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden, sollten vom Anwendungsbereich dieser Verordnung ausgenommen werden, wenn diese Verwendung in den ausschließlichen Zuständigkeitsbereich der Gemeinsamen Außen- und Sicherheitspolitik fällt, der in Titel V des Vertrags über die Europäische Union (EUV) geregelt ist. Diese Verordnung sollte die Bestimmungen über die Verantwortlichkeit der Vermittler in der Richtlinie 2000/31/EG des Europäischen Parlaments und des Rates [in der durch das Gesetz über digitale Dienste geänderten Fassung] unberührt lassen.

(12a)

Software und Daten, die offen geteilt werden und die Nutzer kostenlos abrufen, nutzen, verändern und weiter verteilen können, auch in veränderter Form, können zu Forschung und Innovation auf dem Markt beitragen. Durch Forschungsprojekte der Kommission wurde auch gezeigt, dass freie und quelloffene Software im Umfang von 65 Mrd. bis 95 Mrd. EUR zum Bruttoinlandsprodukt der Europäischen Union beitragen kann und dass durch sie wesentliche Wachstumsmöglichkeiten für die europäische Wirtschaft geschaffen werden. Nutzer haben die Möglichkeit, Software und Daten zu nutzen, zu kopieren, zu verbreiten, Studien zu ihr/ihnen durchzuführen, sie zu ändern und zu verbessern, einschließlich Modellen im Rahmen von freien und quelloffenen Lizenzen. Um die Entwicklung und den Einsatz von KI zu fördern — insbesondere durch KMU, Start-ups, die wissenschaftliche Forschung und auch durch Einzelpersonen –, sollte diese Verordnung nicht für solche freien und quelloffenen KI-Komponenten gelten, es sei denn, sie werden von einem Anbieter als Teil eines Hochrisiko-KI-Systems oder eines KI-Systems, das unter Titel II oder IV dieser Verordnung fällt, in Verkehr gebracht oder in Betrieb genommen.

(12b)

Weder die gemeinsame Entwicklung von freien oder quelloffenen Softwarekomponenten noch ihr Verfügbarmachen auf offenen Portalen sollte ein Inverkehrbringen oder eine Inbetriebnahme darstellen. Eine gewerbliche Tätigkeit im Sinne der Bereitstellung auf dem Markt ist möglicherweise nicht nur dadurch gekennzeichnet, dass ein Entgelt verlangt wird, mit Ausnahme von Transaktionen zwischen Kleinstunternehmen für eine freie und quelloffene AI, sondern auch dadurch, dass für technische Unterstützungsleistungen ein Entgelt verlangt wird, dass eine Softwareplattform bereitgestellt wird, über die der Anbieter andere Dienste monetarisiert, oder dass personenbezogene Daten zu anderen Zwecken als der alleinigen Verbesserung der Sicherheit, Kompatibilität oder der Software verwendet werden.

(12c)

Die Entwickler von freien und quelloffenen KI-Komponenten sollten im Rahmen dieser Verordnung nicht verpflichtet werden, Anforderungen zu erfüllen, die auf die Produktwertschöpfungskette der KI und insbesondere auf den Anbieter abzielen, der freie und quelloffene KI-Softwarekomponenten verwendet hat. Die Entwickler von freien und quelloffenen KI-Komponenten sollten jedoch dazu angehalten werden, weit verbreitete Dokumentationsverfahren, wie z. B. Modell- und Datenkarten, als Mittel dazu einzusetzen, den Informationsaustausch entlang der KI-Wertschöpfungskette zu beschleunigen, sodass vertrauenswürdige KI-Systeme in der Union gefördert werden können.

(13)

Um einen einheitlichen und hohen Schutz öffentlicher Interessen im Hinblick auf die Gesundheit und Sicherheit sowie die Grundrechte zu gewährleisten, werden für alle Hochrisiko-KI-Systeme gemeinsame Normen vorgeschlagen. Diese Normen sollten mit der Charta der Grundrechte der Europäischen Union (im Folgenden die „Charta“) im Einklang stehen, nichtdiskriminierend sein und mit den internationalen Handelsverpflichtungen der Union vereinbar sein.

(13)

Um einen einheitlichen und hohen Schutz öffentlicher Interessen im Hinblick auf die Gesundheit und Sicherheit sowie die Grundrechte , Demokratie, Rechtsstaatlichkeit und die Umwelt zu gewährleisten, werden für alle Hochrisiko-KI-Systeme gemeinsame Normen vorgeschlagen. Diese Normen sollten mit der Charta , dem europäischen Grünen Deal, der Gemeinsamen Erklärung zu den digitalen Rechten der Union und den Ethik-Leitlinien für vertrauenswürdige künstliche Intelligenz (KI) der hochrangigen Expertengruppe für künstliche Intelligenz im Einklang stehen, nichtdiskriminierend sein und mit den internationalen Handelsverpflichtungen der Union vereinbar sein.

(14)

Um ein verhältnismäßiges und wirksames verbindliches Regelwerk für KI-Systeme einzuführen, sollte ein klar definierter risikobasierter Ansatz verfolgt werden. Bei diesem Ansatz sollten Art und Inhalt solcher Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten werden, die von KI-Systemen ausgehen können. Es ist daher notwendig, bestimmte Praktiken im Bereich der künstlichen Intelligenz zu verbieten und Anforderungen an Hochrisiko-KI-Systeme und Verpflichtungen für die betreffenden Akteure sowie Transparenzpflichten für bestimmte KI-Systeme festzulegen.

(14)

Um ein verhältnismäßiges und wirksames verbindliches Regelwerk für KI-Systeme einzuführen, sollte ein klar definierter risikobasierter Ansatz verfolgt werden. Bei diesem Ansatz sollten Art und Inhalt solcher Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten werden, die von KI-Systemen ausgehen können. Es ist daher notwendig, bestimmte unannehmbare Praktiken im Bereich der künstlichen Intelligenz zu verbieten und Anforderungen an Hochrisiko-KI-Systeme und Verpflichtungen für die betreffenden Akteure sowie Transparenzpflichten für bestimmte KI-Systeme festzulegen.

(15)

Abgesehen von den zahlreichen nutzbringenden Verwendungsmöglichkeiten künstlicher Intelligenz kann diese Technik auch missbraucht werden und neue und wirkungsvolle Instrumente für manipulative, ausbeuterische und soziale Kontrollpraktiken bieten. Solche Praktiken sind besonders schädlich und sollten verboten werden, weil sie im Widerspruch zu den Werten der Union stehen, nämlich der Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und Rechtsstaatlichkeit sowie der Grundrechte in der Union, einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre sowie der Rechte des Kindes.

(15)

Abgesehen von den zahlreichen nutzbringenden Verwendungsmöglichkeiten künstlicher Intelligenz kann diese Technik auch missbraucht werden und neue und wirkungsvolle Instrumente für manipulative, ausbeuterische und soziale Kontrollpraktiken bieten. Solche Praktiken sind besonders schädlich und missbräuchlich und sollten verboten werden, weil sie im Widerspruch zu den Werten der Union stehen, nämlich der Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und Rechtsstaatlichkeit sowie der Grundrechte in der Union, einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre sowie der Rechte des Kindes.

(16)

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, die dazu bestimmt sind , menschliches Verhalten nachteilig zu beeinflussen, und die zu physischen oder psychischen Schäden führen dürften, sollte verboten werden. Solche KI-Systeme setzen auf eine vom Einzelnen nicht zu erkennende unterschwellige Beeinflussung oder sollen die Schutzbedürftigkeit von Kindern und anderen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung beeinträchtigten Personen ausnutzen. Dies geschieht mit der Absicht, das Verhalten einer Person wesentlich zu beeinflussen, und zwar in einer Weise, die dieser oder einer anderen Person Schaden zufügt oder zufügen kann. Diese Absicht kann nicht vermutet werden, wenn die nachteilige Beeinflussung des menschlichen Verhaltens auf Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der Kontrolle des Anbieters oder Nutzers liegen. Forschung zu legitimen Zwecken im Zusammenhang mit solchen KI-Systemen sollte durch das Verbot nicht unterdrückt werden, wenn diese Forschung nicht auf eine Verwendung des KI-Systems in Beziehungen zwischen Mensch und Maschine hinausläuft, durch die natürliche Personen geschädigt werden, und wenn diese Forschung im Einklang mit anerkannten ethischen Standards für die wissenschaftliche Forschung durchgeführt wird.

(16)

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, die das Ziel oder die Auswirkung haben , menschliches Verhalten maßgeblich nachteilig zu beeinflussen, und die zu physischen oder psychischen Schäden führen dürften, sollte verboten werden. Diese Einschränkung sollte so verstanden werden, dass sie Neurotechnologien einschließt, die von KI-Systemen unterstützt werden, die zur Überwachung, Nutzung oder Beeinflussung neuronaler Daten eingesetzt werden, die über Schnittstellen zwischen Gehirn und Computer gesammelt werden, da sie das Verhalten einer natürlichen Person auf eine Art maßgeblich beeinflussen, durch die wahrscheinlich dieser Person oder einer anderen Person wesentlicher Schaden zugefügt wird. Solche KI-Systeme setzen auf eine vom Einzelnen nicht zu erkennende unterschwellige Beeinflussung oder sollen die Schutzbedürftigkeit von Einzelpersonen und spezifischen Gruppen von Personen aufgrund ihrer bekannten oder vorhergesagten Persönlichkeitsmerkmale , ihres Alters oder ihrer körperlichen oder geistigen Behinderung oder ihrer sozialen oder wirtschaftlichen Situation ausnutzen. Dies geschieht mit der Absicht oder der Auswirkung , das Verhalten einer Person wesentlich zu beeinflussen, und zwar in einer Weise, die dieser oder einer anderen Person oder Gruppen von Personen wesentlichen Schaden zufügt oder zufügen kann , einschließlich Schäden, die sich im Laufe der Zeit akkumulieren . Diese Absicht , das Verhalten zu beeinflussen, kann nicht vermutet werden, wenn die nachteilige Beeinflussung des menschlichen Verhaltens auf Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der Kontrolle des Anbieters oder Nutzers liegen , wie Faktoren, die nicht vernünftigerweise vorgesehen und vom Anbieter oder Betreiber des KI-Systems abgeschwächt werden können . In jedem Fall ist es nicht erforderlich, dass der Anbieter oder der Betreiber die Absicht haben, signifikanten Schaden zuzufügen, wenn dieser Schaden aufgrund von manipulativen oder ausbeuterischen KI-gestützten Praktiken entsteht. Die Verbote für solche KI-Praktiken ergänzen die Bestimmungen, die in Richtlinie 2005/29/EG enthalten sind und denen zufolge unlautere Geschäftspraktiken verboten sind — unabhängig davon, ob sie mit Rückgriff auf KI-Systeme oder auf andere Weise durchgeführt werden. In solchen Kontexten sollten zulässige Geschäftsverfahren — beispielsweise im Bereich der Werbung –, die mit dem Unionsrecht im Einklang stehen, nicht an sich als Verfahren angesehen werden, die gegen das Verbot verstoßen. Forschung zu legitimen Zwecken im Zusammenhang mit solchen KI-Systemen sollte durch das Verbot nicht unterdrückt werden, wenn diese Forschung nicht auf eine Verwendung des KI-Systems in Beziehungen zwischen Mensch und Maschine hinausläuft, durch die natürliche Personen geschädigt werden, und wenn diese Forschung im Einklang mit anerkannten ethischen Standards für die wissenschaftliche Forschung und auf der Grundlage der ausdrücklichen Zustimmung der Personen durchgeführt wird , die ihnen ausgesetzt sind, oder gegebenenfalls ihres gesetzlichen Vertreters .

(16a)

KI-Systeme, die natürliche Personen kategorisieren, indem sie sie nach bekannten oder vermuteten sensiblen oder geschützten Merkmalen bestimmten Kategorien zuweisen, sind besonders intrusiv, verletzen die menschliche Würde und bringen ein großes Diskriminierungsrisiko mit sich. Zu solchen Merkmalen gehören Geschlecht und Geschlechtsidentität, Rasse, ethnische Herkunft, Migrations- oder Staatsbürgerschaftsstatus, politische Ausrichtung, sexuelle Ausrichtung, Religion, Behinderung oder jegliche anderen Gründe, die nach Artikel 21 der EU-Charta der Grundrechte und nach Artikel 9 der Verordnung (EU) 2016/769 keine Diskriminierung nach sich ziehen dürfen. Solche Systeme sollten daher verboten werden.

(17)

KI-Systeme, die von Behörden oder in deren Auftrag das soziale Verhalten natürlicher Personen für allgemeine Zwecke bewerten, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit verletzen . Solche KI-Systeme bewerten oder klassifizieren die Vertrauenswürdigkeit natürlicher Personen auf der Grundlage ihres sozialen Verhaltens in verschiedenen Zusammenhängen oder aufgrund bekannter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erfasst wurden, oder zu einer Schlechterstellung in einer Weise führen, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist. Solche KI-Systeme sollten daher verboten werden.

(17)

KI-Systeme, die das soziale Verhalten natürlicher Personen für allgemeine Zwecke bewerten, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie verletzen die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit. Solche KI-Systeme bewerten oder klassifizieren die Vertrauenswürdigkeit natürlicher Personen oder Gruppen auf der Grundlage zahlreicher Datenpunkte und des zeitlichen Auftretens bestimmter Aspekte ihres sozialen Verhaltens in verschiedenen Zusammenhängen oder aufgrund bekannter , vermuteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erfasst wurden, oder zu einer Schlechterstellung in einer Weise führen, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist. Solche KI-Systeme sollten daher verboten werden.

(18)

Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken gilt als besonders in die Rechte und Freiheiten der betroffenen Personen eingreifend, da sie die Privatsphäre eines großen Teils der Bevölkerung beeinträchtigt, ein Gefühl der ständigen Überwachung weckt und indirekt von der Ausübung der Versammlungsfreiheit und anderer Grundrechte abhalten kann . Darüber hinaus bergen die Unmittelbarkeit der Auswirkungen und die begrenzten Möglichkeiten weiterer Kontrollen oder Korrekturen im Zusammenhang mit der Verwendung solcher in Echtzeit betriebener Systeme erhöhte Risiken für die Rechte und Freiheiten der Personen, die von Strafverfolgungsmaßnahmen betroffen sind.

(18)

Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen greift besonders in die Rechte und Freiheiten der betroffenen Personen ein und kann letztendlich die Privatsphäre eines großen Teils der Bevölkerung beeinträchtigen , ein Gefühl der ständigen Überwachung wecken, Parteien, die biometrische Identifizierung in öffentlich zugänglichen Räumen einsetzen, in eine unkontrollierbare Machtposition bringen und indirekt von der Ausübung der Versammlungsfreiheit und anderer Grundrechte , die den Kern der Rechtsstaatlichkeit darstellen, abhalten. Technische Ungenauigkeiten von KI-Systemen, die für die biometrische Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten Ergebnissen führen und eine diskriminierende Wirkung haben. Dies ist von besonderer Bedeutung, wenn es um das Alter, die ethnische Herkunft, das Geschlecht oder Behinderungen geht . Darüber hinaus bergen die Unmittelbarkeit der Auswirkungen und die begrenzten Möglichkeiten weiterer Kontrollen oder Korrekturen im Zusammenhang mit der Verwendung solcher in Echtzeit betriebener Systeme erhöhte Risiken für die Rechte und Freiheiten der Personen, die von Strafverfolgungsmaßnahmen betroffen sind. Die Verwendung dieser Systeme in öffentlich zugänglichen Räumen sollte daher verboten werden. Gleichzeitig sollten KI-Systeme, die für die Analyse von aufgezeichnetem Filmmaterial von öffentlich zugänglichen Räumen durch Systeme zur nachträglichen biometrischen Fernidentifizierung verwendet werden, ebenfalls verboten werden, es sei denn, es liegt eine vorgerichtliche Genehmigung für die Verwendung im Rahmen der Strafverfolgung vor, wenn dies für die gezielte Durchsuchung im Zusammenhang mit einer bestimmten schweren Straftat, die bereits stattgefunden hat, unbedingt erforderlich ist, und dies nur mit einer vorgerichtlichen Genehmigung.

(19)

Die Verwendung solcher Systeme zu Strafverfolgungszwecken sollte daher untersagt werden, außer in drei erschöpfend aufgeführten und eng abgegrenzten Fällen, in denen die Verwendung unbedingt erforderlich ist, um einem erheblichen öffentlichen Interesse zu dienen, dessen Bedeutung die Risiken überwiegt. Zu diesen Fällen gehört die Suche nach potenziellen Opfern von Straftaten, einschließlich vermisster Kinder, bestimmte Gefahren für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder die Gefahr eines Terroranschlags sowie das Erkennen, Aufspüren, Identifizieren oder Verfolgen von Tätern oder Verdächtigen von Straftaten im Sinne des Rahmenbeschlusses 2002/584/JI des Rates  (38) , sofern diese Straftaten in dem betreffenden Mitgliedstaat nach dessen Recht mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens drei Jahren bedroht sind. Eine solche Schwelle für eine Freiheitsstrafe oder eine freiheitsentziehende Maßregel der Sicherung nach nationalem Recht trägt dazu bei sicherzustellen, dass die Straftat schwerwiegend genug ist, um den Einsatz biometrischer Echtzeit-Fernidentifizierungssysteme zu rechtfertigen. Darüber hinaus sind einige der 32 im Rahmenbeschluss 2002/584/JI des Rates aufgeführten Straftaten in der Praxis eher relevant als andere, da der Rückgriff auf die biometrische Echtzeit-Fernidentifizierung für die konkrete Erkennung, Aufspürung, Identifizierung oder Verfolgung eines Täters oder Verdächtigen einer der verschiedenen aufgeführten Straftaten voraussichtlich in äußerst unterschiedlichem Maße erforderlich und verhältnismäßig sein wird und da dabei die wahrscheinlichen Unterschiede in Schwere, Wahrscheinlichkeit und Ausmaß des Schadens oder möglicher negativer Folgen zu berücksichtigen sind.

(20)

Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser drei erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung angemessenen zeitlichen und räumlichen Beschränkungen unterliegen, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jeder der drei oben genannten Situationen geeignet sein.

(21)

Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats unterliegen. Eine solche Genehmigung sollte grundsätzlich vor der Verwendung eingeholt werden, außer in hinreichend begründeten dringenden Fällen, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung eine Genehmigung einzuholen. In solchen dringenden Fällen sollte die Verwendung auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind und im Zusammenhang mit jedem einzelnen dringenden Anwendungsfall von der Strafverfolgungsbehörde selbst präzisiert werden. Darüber hinaus sollte die Strafverfolgungsbehörde in solchen Situationen versuchen, so bald wie möglich eine Genehmigung einzuholen, wobei sie begründen sollte, warum sie diese nicht früher beantragen konnte.

(22)

Darüber hinaus sollte innerhalb des durch diese Verordnung vorgegebenen erschöpfenden Rahmens festgelegt werden, dass eine solche Verwendung im Hoheitsgebiet eines Mitgliedstaats im Einklang mit dieser Verordnung nur möglich sein sollte, sofern der betreffende Mitgliedstaat in seinen detaillierten nationalen Rechtsvorschriften ausdrücklich vorgesehen hat, dass eine solche Verwendung genehmigt werden kann. Folglich steht es den Mitgliedstaaten im Rahmen dieser Verordnung frei, eine solche Möglichkeit generell oder nur in Bezug auf einige der in dieser Verordnung genannten Ziele, für die eine genehmigte Verwendung gerechtfertigt sein kann, vorzusehen.

(23)

Die Verwendung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken erfordert zwangsläufig die Verarbeitung biometrischer Daten. Die Vorschriften dieser Verordnung, die vorbehaltlich bestimmter Ausnahmen eine solche Verwendung auf der Grundlage von Artikel 16 AEUV verbieten, sollten als Lex specialis in Bezug auf die in Artikel 10 der Richtlinie (EU) 2016/680 enthaltenen Vorschriften über die Verarbeitung biometrischer Daten gelten und somit die Verwendung und Verarbeitung der betreffenden biometrischen Daten umfassend regeln. Eine solche Verwendung und Verarbeitung sollte daher nur möglich sein, soweit sie mit dem in dieser Verordnung festgelegten Rahmen vereinbar ist, ohne dass es den zuständigen Behörden bei ihren Tätigkeiten zu Strafverfolgungszwecken Raum lässt, außerhalb dieses Rahmens solche Systeme zu verwenden und die damit verbundenen Daten aus den in Artikel 10 der Richtlinie (EU) 2016/680 aufgeführten Gründen zu verarbeiten. In diesem Zusammenhang soll diese Verordnung nicht als Rechtsgrundlage für die Verarbeitung personenbezogener Daten gemäß Artikel 8 der Richtlinie (EU) 2016/680 dienen. Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu anderen Zwecken als der Strafverfolgung, auch durch zuständige Behörden, sollte jedoch nicht unter den in dieser Verordnung festgelegten spezifischen Rahmen für diese Verwendung zu Strafverfolgungszwecken fallen. Eine solche Verwendung zu anderen Zwecken als der Strafverfolgung sollte daher nicht der Genehmigungspflicht gemäß dieser Verordnung und der zu ihrer Durchführung anwendbaren detaillierten nationalen Rechtsvorschriften unterliegen.

(24)

Jede Verarbeitung biometrischer Daten und anderer personenbezogener Daten im Zusammenhang mit der Verwendung von KI-Systemen für die biometrische Identifizierung, ausgenommen im Zusammenhang mit der Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken im Sinne dieser Verordnung , einschließlich der Fälle, in denen diese Systeme von den zuständigen Behörden in öffentlich zugänglichen Räumen zu anderen Zwecken als der Strafverfolgung genutzt werden , sollte weiterhin allen Anforderungen genügen, die sich gegebenenfalls aus Artikel 9 Absatz 1 der Verordnung (EU) 2016/679, Artikel 10 Absatz 1 der Verordnung (EU) 2018/1725 und Artikel 10 der Richtlinie (EU) 2016/680 ergeben.

(24)

Jede Verarbeitung biometrischer Daten und anderer personenbezogener Daten im Zusammenhang mit der Verwendung von KI-Systemen für die biometrische Identifizierung, ausgenommen im Zusammenhang mit der Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen im Sinne dieser Verordnung, sollte weiterhin allen Anforderungen genügen, die sich gegebenenfalls aus Artikel 9 Absatz 1 der Verordnung (EU) 2016/679, Artikel 10 Absatz 1 der Verordnung (EU) 2018/1725 und Artikel 10 der Richtlinie (EU) 2016/680 ergeben.

(25)

Nach Artikel 6a des dem EUV und dem AEUV beigefügten Protokolls Nr. 21 über die Position des Vereinigten Königreichs und Irlands hinsichtlich des Raums der Freiheit, der Sicherheit und des Rechts sind die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Buchstabe d und Artikel 5 Absätze 2 und 3 dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 und 5 AEUV fallen, für Irland nicht bindend, wenn Irland nicht durch die Vorschriften gebunden ist, die die Formen der justiziellen Zusammenarbeit in Strafsachen oder der polizeilichen Zusammenarbeit regeln, in deren Rahmen die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften eingehalten werden müssen.

(25)

Nach Artikel 6a des dem EUV und dem AEUV beigefügten Protokolls Nr. 21 über die Position des Vereinigten Königreichs und Irlands hinsichtlich des Raums der Freiheit, der Sicherheit und des Rechts sind die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Buchstabe d dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 und 5 AEUV fallen, für Irland nicht bindend, wenn Irland nicht durch die Vorschriften gebunden ist, die die Formen der justiziellen Zusammenarbeit in Strafsachen oder der polizeilichen Zusammenarbeit regeln, in deren Rahmen die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften eingehalten werden müssen.

(26)

Nach den Artikeln 2 und 2a des dem EUV und dem AEUV beigefügten Protokolls Nr. 22 über die Position Dänemarks ist Dänemark durch die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Buchstabe d und Artikel 5 Absätze 2 und 3 dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 und 5 AEUV fallen, weder gebunden noch zu ihrer Anwendung verpflichtet.

(26)

Nach den Artikeln 2 und 2a des dem EUV und dem AEUV beigefügten Protokolls Nr. 22 über die Position Dänemarks ist Dänemark durch die auf der Grundlage des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Buchstabe d dieser Verordnung in Bezug auf die Verarbeitung personenbezogener Daten durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 und 5 AEUV fallen, weder gebunden noch zu ihrer Anwendung verpflichtet.

(26a)

KI-Systeme, die von Strafverfolgungsbehörden oder in deren Auftrag eingesetzt werden, um Vorhersagen, Profile oder Risikobewertungen auf der Grundlage von Datenanalysen oder der Erstellung von Profilen von Gruppen natürlicher Personen oder Orten zu treffen bzw. zu erstellen oder um das Auftreten oder erneute Auftreten einer tatsächlichen oder potenziellen Straftat bzw. von anderem unter Strafe gestelltem Sozialverhalten vorherzusagen, bergen ein besonderes Risiko der Diskriminierung bestimmter Personen oder Personengruppen, da sie die Menschenwürde verletzen sowie gegen den zentralen Rechtsgrundsatz der Unschuldsvermutung verstoßen. Solche KI-Systeme sollten daher verboten werden.

(26b)

Das wahllose und ungezielte Auslesen biometrischer Daten aus sozialen Medien oder Überwachungsvideos, um Gesichtserkennungsdatenbanken zu schaffen oder zu erweitern, verstärkt das Gefühl der Massenüberwachung und kann zu schweren Verstößen gegen die Grundrechte führen, einschließlich des Rechts auf Privatsphäre. Die Verwendung von KI-Systemen zu diesem Zweck sollte daher verboten werden.

(26c)

Im Hinblick auf die wissenschaftliche Grundlage von KI-Systemen zur Erkennung von Emotionen, physischen oder physiologischen Merkmalen wie Gesichtsausdrücken, Bewegungen, der Pulsfrequenz oder der Stimme bestehen ernsthafte Bedenken. Emotionen oder Gefühlsausdrücke werden je nach Kultur und Situation anders wahrgenommen und selbst eine bestimmte Person zeigt in ähnlichen Situationen nicht immer dieselben Emotionen. Zu den größten Schwachstellen solcher Technologien gehören die begrenzte Zuverlässigkeit (Emotionskategorien werden weder zuverlässig durch einen gemeinsamen Satz von Gesichtsbewegungen ausgedrückt noch eindeutig damit in Verbindung gebracht), die mangelnde Spezifität (physische oder physiologische Ausdrücke stimmen nicht eins zu eins mit Emotionskategorien überein) und die begrenzte Verallgemeinerbarkeit (die Auswirkungen von Kontext und Kultur werden nicht ausreichend berücksichtigt). Probleme der Zuverlässigkeit und folglich größere Risiken für Missbrauch können insbesondere dann auftreten, wenn das System in realen Situationen in den Bereichen Strafverfolgung, Grenzverwaltung, Arbeitsplatz und Bildungseinrichtung eingesetzt wird. Daher sollte das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die in Kontexten verwendet werden sollen, um den emotionalen Zustand einer natürlichen Person auszumachen, verboten werden.

(26d)

Praktiken, die nach Unionsrecht, einschließlich Datenschutzrecht, Nichtdiskriminierungsrecht, Verbraucherschutzrecht und Wettbewerbsrecht, verboten sind, sollten von dieser Verordnung nicht betroffen sein.

(27)

Hochrisiko-KI-Systeme sollten nur dann auf dem Unionsmarkt in Verkehr gebracht oder in Betrieb genommen werden, wenn sie bestimmte verbindliche Anforderungen erfüllen. Mit diesen Anforderungen sollte sichergestellt werden, dass Hochrisiko-KI-Systeme, die in der Union verfügbar sind oder deren Ergebnisse anderweitig in der Union verwendet werden, keine unannehmbaren Risiken für wichtige öffentliche Interessen der Union bergen, wie sie im Unionsrecht anerkannt und geschützt sind. Als hochriskant sollten nur solche KI-Systeme eingestuft werden, die erhebliche schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die Grundrechte von Personen in der Union haben; etwaige mögliche Beschränkungen des internationalen Handels, die sich daraus ergeben, sollten so gering wie möglich bleiben.

(27)

Hochrisiko-KI-Systeme sollten nur dann auf dem Unionsmarkt in Verkehr gebracht, in Betrieb genommen oder verwendet werden, wenn sie bestimmte verbindliche Anforderungen erfüllen. Mit diesen Anforderungen sollte sichergestellt werden, dass Hochrisiko-KI-Systeme, die in der Union verfügbar sind oder deren Ergebnisse anderweitig in der Union verwendet werden, keine unannehmbaren Risiken für wichtige öffentliche Interessen der Union bergen, wie sie im Unionsrecht anerkannt und geschützt sind , einschließlich der Grundrechte, der Demokratie, der Rechtstaatlichkeit oder der Umwelt . Um die Angleichung an die sektorspezifischen Rechtsvorschriften sicherzustellen und um Dopplungen zu vermeiden, sollten hinsichtlich der Anforderungen für Hochrisiko-KI-Systeme die sektorspezifischen Rechtsvorschriften berücksichtigt werden, die im Rahmen dieser Verordnung enthalten sind, etwa die Verordnung (EU) 2017/745 über Medizinprodukte, die Verordnung (EU) 2017/746 über In-vitro-Diagnostika oder die Richtlinie 2006/42/EG über Maschinen. Als hochriskant sollten nur solche KI-Systeme eingestuft werden, die erhebliche schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die Grundrechte von Personen in der Union haben; etwaige mögliche Beschränkungen des internationalen Handels, die sich daraus ergeben, sollten so gering wie möglich bleiben. Angesichts der rasanten technologischen Entwicklung sowie der potenziellen Veränderungen bei der Nutzung von KI-Systemen sollten die Listen von Hochrisikobereichen und -anwendungsfällen in Anhang III jedoch durch die Durchführung regelmäßiger Bewertungen einer ständigen Überprüfung unterzogen werden.

(28)

KI-Systeme könnten negative Auswirkungen auf die Gesundheit und Sicherheit von Personen haben, insbesondere wenn solche Systeme als Komponenten von Produkten zum Einsatz kommen. Im Einklang mit den Zielen der Harmonisierungsrechtsvorschriften der Union, die den freien Verkehr von Produkten im Binnenmarkt erleichtern und gewährleisten sollen, dass nur sichere und anderweitig konforme Produkte auf den Markt gelangen, ist es wichtig, dass die Sicherheitsrisiken, die ein Produkt als Ganzes aufgrund seiner digitalen Komponenten, einschließlich KI-Systeme, mit sich bringen kann, angemessen vermieden und gemindert werden. So sollten beispielsweise zunehmend autonome Roboter — sei es in der Fertigung oder in der persönlichen Assistenz und Pflege — in der Lage sein, sicher zu arbeiten und ihre Funktionen in komplexen Umgebungen zu erfüllen. Desgleichen sollten die immer ausgefeilteren Diagnosesysteme und Systeme zur Unterstützung menschlicher Entscheidungen im Gesundheitssektor, in dem die Risiken für Leib und Leben besonders hoch sind, zuverlässig und genau sein. Das Ausmaß der negativen Auswirkungen des KI-Systems auf die durch die Charta geschützten Grundrechte ist bei der Einstufung eines KI-Systems als hochriskant von besonderer Bedeutung. Zu diesen Rechten gehören die Würde des Menschen, die Achtung des Privat- und Familienlebens, der Schutz personenbezogener Daten, die Freiheit der Meinungsäußerung und die Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, die Nichtdiskriminierung, der Verbraucherschutz, die Arbeitnehmerrechte, die Rechte von Menschen mit Behinderungen, das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht, die Unschuldsvermutung und das Verteidigungsrecht sowie das Recht auf eine gute Verwaltung. Es muss betont werden, dass Kinder — zusätzlich zu diesen Rechten — über spezifische Rechte verfügen, wie sie in Artikel 24 der EU-Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) (im Hinblick auf das digitale Umfeld weiter ausgeführt in der Allgemeinen Bemerkung Nr. 25 des UNCRC) verankert sind; in beiden wird die Berücksichtigung der Schutzbedürftigkeit der Kinder gefordert und ihr Anspruch auf den Schutz und die Fürsorge festgelegt, die für ihr Wohlergehen notwendig sind. Darüber hinaus sollte dem Grundrecht auf ein hohes Umweltschutzniveau, das in der Charta verankert ist und mit der Unionspolitik umgesetzt wird, bei der Bewertung der Schwere des Schadens, den ein KI-System u. a. in Bezug auf die Gesundheit und Sicherheit von Menschen verursachen kann, ebenfalls Rechnung getragen werden.

(28)

KI-Systeme könnten negative Auswirkungen auf die Gesundheit und Sicherheit von Personen haben, insbesondere wenn solche Systeme als Sicherheitskomponenten von Produkten zum Einsatz kommen. Im Einklang mit den Zielen der Harmonisierungsrechtsvorschriften der Union, die den freien Verkehr von Produkten im Binnenmarkt erleichtern und gewährleisten sollen, dass nur sichere und anderweitig konforme Produkte auf den Markt gelangen, ist es wichtig, dass die Sicherheitsrisiken, die ein Produkt als Ganzes aufgrund seiner digitalen Komponenten, einschließlich KI-Systeme, mit sich bringen kann, angemessen vermieden und gemindert werden. So sollten beispielsweise zunehmend autonome Roboter — sei es in der Fertigung oder in der persönlichen Assistenz und Pflege — in der Lage sein, sicher zu arbeiten und ihre Funktionen in komplexen Umgebungen zu erfüllen. Desgleichen sollten die immer ausgefeilteren Diagnosesysteme und Systeme zur Unterstützung menschlicher Entscheidungen im Gesundheitssektor, in dem die Risiken für Leib und Leben besonders hoch sind, zuverlässig und genau sein.

(28a)

Das Ausmaß der negativen Auswirkungen des KI-Systems auf die durch die Charta geschützten Grundrechte ist bei der Einstufung eines KI-Systems als hochriskant von besonderer Bedeutung. Zu diesen Rechten gehören die Würde des Menschen, die Achtung des Privat- und Familienlebens, der Schutz personenbezogener Daten, die Freiheit der Meinungsäußerung und die Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, die Nichtdiskriminierung, die Gleichstellung der Geschlechter, das Recht auf Bildung, der Verbraucherschutz, die Arbeitnehmerrechte, die Rechte von Menschen mit Behinderungen, Geschlechtergleichstellung, Rechte des geistigen Eigentums, das Recht auf einen wirksamen Rechtsbehelf und ein faires Gerichtsverfahren, die Unschuldsvermutung und das Verteidigungsrecht sowie das Recht auf eine gute Verwaltung. Es muss betont werden, dass Kinder — zusätzlich zu diesen Rechten — über spezifische Rechte verfügen, wie sie in Artikel 24 der EU-Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) (im Hinblick auf das digitale Umfeld weiter ausgeführt in der Allgemeinen Bemerkung Nr. 25 des UNCRC) verankert sind; in beiden wird die Berücksichtigung der Schutzbedürftigkeit der Kinder gefordert und ihr Anspruch auf den Schutz und die Fürsorge festgelegt, die für ihr Wohlergehen notwendig sind. Darüber hinaus sollte dem Grundrecht auf ein hohes Umweltschutzniveau, das in der Charta verankert ist und mit der Unionspolitik umgesetzt wird, bei der Bewertung der Schwere des Schadens, den ein KI-System u. a. in Bezug auf die Gesundheit und Sicherheit von Menschen oder die Umwelt verursachen kann, ebenfalls Rechnung getragen werden.

(29)

In Bezug auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten oder Systemen oder selbst um Produkte oder Systeme handelt, die in den Anwendungsbereich der Verordnung (EG) Nr. 300/2008 des Europäischen Parlaments und des Rates (39), der Verordnung (EU) Nr. 167/2013 des Europäischen Parlaments und des Rates (40), der Verordnung (EU) Nr. 168/2013 des Europäischen Parlaments und des Rates (41), der Richtlinie 2014/90/EU des Europäischen Parlaments und des Rates (42), der Richtlinie (EU) 2016/797 des Europäischen Parlaments und des Rates (43), der Verordnung (EU) 2018/858 des Europäischen Parlaments und des Rates (44), der Verordnung (EU) 2018/1139 des Europäischen Parlaments und des Rates (45) und der Verordnung (EU) 2019/2144 des Europäischen Parlaments und des Rates (46) fallen, ist es angezeigt, diese Rechtsakte zu ändern, damit die Kommission — aufbauend auf den technischen und regulatorischen Besonderheiten des jeweiligen Sektors und ohne Beeinträchtigung bestehender Governance-, Konformitätsbewertungs- und Durchsetzungsmechanismen sowie der darin eingerichteten Behörden — beim Erlass von etwaigen künftigen delegierten Rechtsakten oder Durchführungsrechtsakten auf der Grundlage der genannten Rechtsakte die in der vorliegenden Verordnung festgelegten verbindlichen Anforderungen an Hochrisiko-KI-Systeme berücksichtigt.

(29)

In Bezug auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten oder Systemen oder selbst um Produkte oder Systeme handelt, die in den Anwendungsbereich der Verordnung (EG) Nr. 300/2008 des Europäischen Parlaments und des Rates (39), der Verordnung (EU) Nr. 167/2013 des Europäischen Parlaments und des Rates (40), der Verordnung (EU) Nr. 168/2013 des Europäischen Parlaments und des Rates (41), der Richtlinie 2014/90/EU des Europäischen Parlaments und des Rates (42), der Richtlinie (EU) 2016/797 des Europäischen Parlaments und des Rates (43), der Verordnung (EU) 2018/858 des Europäischen Parlaments und des Rates (44), der Verordnung (EU) 2018/1139 des Europäischen Parlaments und des Rates (45) und der Verordnung (EU) 2019/2144 des Europäischen Parlaments und des Rates (46) fallen, ist es angezeigt, diese Rechtsakte zu ändern, damit die Kommission — aufbauend auf den technischen und regulatorischen Besonderheiten des jeweiligen Sektors und ohne Beeinträchtigung bestehender Governance-, Konformitätsbewertungs- , Marktüberwachungs- und Durchsetzungsmechanismen sowie der darin eingerichteten Behörden — beim Erlass von etwaigen künftigen delegierten Rechtsakten oder Durchführungsrechtsakten auf der Grundlage der genannten Rechtsakte die in der vorliegenden Verordnung festgelegten verbindlichen Anforderungen an Hochrisiko-KI-Systeme berücksichtigt.

(30)

In Bezug auf KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten oder selbst um Produkte handelt, die unter bestimmte Harmonisierungsrechtsvorschriften der Union fallen, ist es angezeigt, sie im Rahmen dieser Verordnung als hochriskant einzustufen, wenn das betreffende Produkt gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union dem Konformitätsbewertungsverfahren durch eine als unabhängige Dritte auftretende Konformitätsbewertungsstelle unterzogen wird. Dabei handelt es sich insbesondere um Produkte wie Maschinen, Spielzeuge, Aufzüge, Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Sportbootausrüstung, Seilbahnen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte und In-vitro-Diagnostika.

(30)

In Bezug auf KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten oder selbst um Produkte handelt, die unter bestimmte Harmonisierungsrechtsvorschriften der Union fallen , die in Anhang II aufgelistet sind , ist es angezeigt, sie im Rahmen dieser Verordnung als hochriskant einzustufen, wenn das betreffende Produkt gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union dem Konformitätsbewertungsverfahren durch eine als unabhängige Dritte auftretende Konformitätsbewertungsstelle unterzogen wird, um sicherzustellen , dass es die wesentlichen Sicherheitsanforderungen erfüllt . Dabei handelt es sich insbesondere um Produkte wie Maschinen, Spielzeuge, Aufzüge, Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Sportbootausrüstung, Seilbahnen, Geräte zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte und In-vitro-Diagnostika.

(31)

Die Einstufung eines KI-Systems als hochriskant gemäß dieser Verordnung sollte nicht zwangsläufig bedeuten, dass von dem Produkt, dessen Sicherheitskomponente das KI-System ist, oder dem KI-System als Produkt selbst nach den Kriterien der einschlägigen Harmonisierungsrechtsvorschriften der Union für das betreffende Produkt ein hohes Risiko ausgeht. Dies betrifft insbesondere die Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates (47) und die Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates (48), in denen für Produkte, die ein mittleres und hohes Risiko bergen, eine Konformitätsbewertung durch Dritte vorgesehen ist.

(31)

Die Einstufung eines KI-Systems als hochriskant gemäß dieser Verordnung sollte nicht bedeuten, dass von dem Produkt, dessen Sicherheitskomponente das KI-System ist, oder dem KI-System als Produkt selbst nach den Kriterien der einschlägigen Harmonisierungsrechtsvorschriften der Union für das betreffende Produkt ein hohes Risiko ausgeht. Dies betrifft insbesondere die Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates (47) und die Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates (48), in denen für Produkte, die ein mittleres und hohes Risiko bergen, eine Konformitätsbewertung durch Dritte vorgesehen ist.

(32)

Bei eigenständigen KI-Systemen, d. h. Hochrisiko-KI-Systemen, bei denen es sich um andere Systeme als Sicherheitskomponenten von Produkten handelt oder die selbst Produkte sind, ist es angezeigt, sie als hochriskant einzustufen, wenn sie aufgrund ihrer Zweckbestimmung ein hohes Risiko bergen, die Gesundheit und Sicherheit oder die Grundrechte von Personen zu schädigen , wobei sowohl die Schwere des möglichen Schadens als auch die Wahrscheinlichkeit seines Auftretens zu berücksichtigen sind , und sofern sie in einer Reihe von Bereichen verwendet werden , die in der Verordnung ausdrücklich festgelegt sind . Die Bestimmung dieser Systeme erfolgt nach derselben Methode und denselben Kriterien, die auch für künftige Änderungen der Liste der Hochrisiko-KI-Systeme vorgesehen sind.

(32)

Bei eigenständigen KI-Systemen, d. h. Hochrisiko-KI-Systemen, bei denen es sich um andere Systeme als Sicherheitskomponenten von Produkten handelt oder die selbst Produkte sind und die unter einem der Bereiche und Anwendungsfälle in Anhang III aufgeführt sind , ist es angezeigt, sie als hochriskant einzustufen, wenn sie aufgrund ihrer Zweckbestimmung ein erhebliches Risiko bergen, die Gesundheit und Sicherheit oder die Grundrechte von Personen und — wenn das KI-System als Sicherheitskomponente einer kritischen Infrastruktur verwendet wird — die Umwelt wesentlich zu schädigen . Solche eheblichen Gefahrensrisiken sollten einerseits durch die Bewertung des Risikos in Bezug auf eine Kombination von Faktoren wie dem Schweregrad, der Intensität, der Wahrscheinlichkeit des Auftretens und andererseits in Bezug darauf ermittelt werden, ob das Risiko eine Einzelperson, mehrere Personen oder eine bestimmte Gruppe von Personen beeinträchtigen kann. Eine solche Kombination von Faktoren könnte — abhängig vom Kontext — zum Beispiel zu dem Ergebnis führen , dass zwar ein hoher Schweregrad, aber eine geringe Wahrscheinlichkeit vorliegt , eine natürliche Person zu beeinträchtigen, oder eine hohe Wahrscheinlichkeit besteht, eine ganze Gruppe von Personen mit einer geringen Intensität über einen langen Zeitraum zu beeinträchtigen . Die Bestimmung dieser Systeme erfolgt nach derselben Methode und denselben Kriterien, die auch für künftige Änderungen der Liste der Hochrisiko-KI-Systeme vorgesehen sind.

(32a)

Anbieter von KI-Systemen, die unter einen der in Anhang III aufgeführten Bereiche und Anwendungsfälle fallen und die der Auffassung sind, dass ihre Systeme kein erhebliches Risiko für die Gesundheit, Sicherheit, Grundrechte oder die Umwelt darstellen, sollten die nationalen Aufsichtsbehörden informieren, indem sie eine mit Gründen versehene Notifizierung einreichen. Dies kann in Form einer einseitigen Zusammenfassung der relevanten Informationen zu dem jeweiligen KI-System erfolgen, in der auch der vorgesehene Zweck genannt wird und der Grund, warum das KI-System kein erhebliches Risiko für die Gesundheit, die Sicherheit, die Grundrechte oder die Umwelt darstellt. Die Kommission sollte die Kriterien genau spezifizieren, um den Unternehmen eine Bewertung zu ermöglichen, ob ihr System solche Risiken birgt, und damit sie ein einfach anwendbares, standardisiertes Muster für die Meldung entwickeln können. Anbieter sollten die Meldung so schnell wie möglich und in jedem Fall vor dem Inverkehrbringen des KI-Systems auf dem Markt oder seiner Inbetriebnahme einreichen — idealerweise bereits in der Entwicklungsphase –, und sie sollten die Freiheit haben, es nach der Meldung zu jedem gegebenen Zeitpunkt in Verkehr bringen. Falls das KI-System jedoch nach Einschätzung der Behörde falsch eingestuft wurde, sollte die Behörde der Meldung innerhalb eines Zeitraums von drei Monaten widersprechen. Der Widerspruch sollte begründet werden und es sollte ordnungsgemäß erklärt werden, warum das KI-System falsch eingestuft wurde. Dem Anbieter sollte das Recht vorbehalten sein, unter Angabe weiterer Argumente Rechtsmittel einzulegen. Auch wenn es drei Monate nach Einreichen der Meldung keinen Widerspruch gab, können die nationalen Aufsichtsbehörden — wie bei jedem anderen in Verkehr gebrachtem KI-System — dennoch eingreifen, wenn das KI-System auf nationaler Ebene ein Risiko darstellt. Die nationalen Aufsichtsbehörden sollten der KI-Behörde Jahresberichte einreichen, in denen die erhaltenen Notifizierungen und die getroffenen Entscheidungen detailliert aufgeführt werden.

(33)

Technische Ungenauigkeiten von KI-Systemen, die für die biometrische Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten Ergebnissen führen und eine diskriminierende Wirkung haben. Dies ist von besonderer Bedeutung, wenn es um das Alter, die ethnische Herkunft, das Geschlecht oder Behinderungen geht. Daher sollten biometrische Echtzeit-Fernidentifizierungssysteme und Systeme zur nachträglichen biometrischen Fernidentifizierung als hochriskant eingestuft werden. Angesichts der mit ihnen verbundenen Risiken sollten für beide Arten von biometrischen Fernidentifizierungssystemen besondere Anforderungen im Hinblick auf die Protokollierungsfunktionen und die menschliche Aufsicht gelten.

(33a)

Da biometrische Daten in Übereinstimmung mit der Verordnung (EU) 2016/679 eine spezielle Kategorie sensibler personenbezogener Daten darstellen, ist es angemessen, bestimmte kritische Anwendungsfälle von biometrischen und auf Biometrie beruhenden Systemen als Hochrisikofälle einzustufen. KI-Systeme, die für die biometrische Identifizierung natürlicher Personen verwendet werden sollen, sowie KI-Systeme, durch die auf der Grundlage biometrischer oder biometriegestützter Daten Rückschlüsse auf persönliche Merkmale natürlicher Personen gezogen werden, einschließlich Systemen zum Erkennen von Emotionen, sollten daher — mit Ausnahme der Systeme, die gemäß dieser Verordnung verboten sind — als Hochrisiko-Systeme klassifiziert werden. Dies sollte keine KI-Systeme umfassen, die bestimmungsgemäß für die biometrische Fernidentifizierung verwendet werden sollen, deren einziger Zweck darin besteht, zu bestätigen, dass eine bestimmte Person die Person ist, für die sie sich ausgibt, sowie Systeme, die zur Bestätigung der Identität einer natürlichen Person zu dem alleinigen Zweck verwendet werden, ihr Zugang zu einem Dienst, einem Gerät oder einer Räumlichkeit zu gewähren (Eins-zu-Eins-Überprüfung). Biometrische und auf Biometrie beruhende Systeme, die gemäß den Rechtsvorschriften der Union bereitgestellt werden, um Maßnahmen zur Cybersicherheit und zum Schutz personenbezogener Daten zu ermöglichen, sollten nicht als erhebliches Risiko für die Gesundheit, Sicherheit und die Grundrechte angesehen werden.

(34)

Was die Verwaltung und den Betrieb kritischer Infrastrukturen anbelangt, so sollten KI-Systeme, die als Sicherheitskomponenten für das Management und den Betrieb des Straßenverkehrs sowie für die Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden sollen, als hochriskant eingestuft werden, da ihr Ausfall oder ihre Störung in großem Umfang das Leben und die Gesundheit von Menschen gefährden und zu erheblichen Störungen bei der normalen Durchführung sozialer und wirtschaftlicher Tätigkeiten führen kann.

(34)

Was die Verwaltung und den Betrieb kritischer Infrastrukturen anbelangt, so sollten KI-Systeme, die als Sicherheitskomponenten für das Management und den Betrieb des Straßenverkehrs sowie für die Wasser-, Gas-, Wärme- und Stromversorgung sowie kritische digitale Infrastruktur verwendet werden sollen, als hochriskant eingestuft werden, da ihr Ausfall oder ihre Störung die Sicherheit und Integrität solcher kritischer Infrastruktur oder in großem Umfang das Leben und die Gesundheit von Menschen gefährden und zu erheblichen Störungen bei der normalen Durchführung sozialer und wirtschaftlicher Tätigkeiten führen kann. Sicherheitskomponenten von kritischer Infrastruktur, einschließlich kritischer digitaler Infrastruktur, sind Systeme, die eingesetzt werden, um die physische Integrität von kritischer Infrastruktur oder die Gesundheit und Sicherheit von Personen und Eigentum unmittelbar zu schützen. Ein Ausfall oder eine Störung solcher Komponenten kann direkt zu einer Gefährdung der physischen Integrität kritischer Infrastruktur und somit zu einer Gefährdung der Gesundheit und Sicherheit von Menschen und Eigentum führen. Komponenten, die für die ausschließliche Verwendung zu Zwecken der Cybersicherheit vorgesehen sind, sollten nicht als Sicherheitskomponenten gelten. Zu den Beispielen solcher Sicherheitskomponenten können Systeme zur Überwachung des Wasserdrucks oder Brandmeldekontrollsysteme in Cloud-Rechenzentren gehören.

(35)

KI-Systeme, die in der allgemeinen oder beruflichen Bildung eingesetzt werden, insbesondere um den Zugang von Personen zu Bildungs- und Berufsbildungseinrichtungen oder ihrer Zuordnung dazu zu bestimmen oder um Personen im Rahmen von Prüfungen als Teil ihrer Ausbildung oder als Voraussetzung dafür zu bewerten, sollten als hochriskant angesehen werden, da sie über den Verlauf der Bildung und des Berufslebens einer Person entscheiden und daher ihre Fähigkeit beeinträchtigen können, ihren Lebensunterhalt zu sichern. Bei unsachgemäßer Konzeption und Verwendung können solche Systeme das Recht auf allgemeine und berufliche Bildung sowie das Recht auf Nichtdiskriminierung verletzen und historische Diskriminierungsmuster fortschreiben.

(35)

Die Einführung von KI-Systemen im Bildungsbereich ist von wesentlicher Bedeutung, um zur Modernisierung ganzer Bildungssysteme beizutragen, die Qualität der Bildung sowohl offline als auch online zu erhöhen und die digitale Bildung zu beschleunigen und sie somit auch einem breiteren Publikum zugänglich zu machen. KI-Systeme, die in der allgemeinen oder beruflichen Bildung eingesetzt werden, insbesondere um den Zugang von Personen zu Bildungs- und Berufsbildungseinrichtungen zu bestimmen oder ihre Zuordnung dazu zu bestimmen oder um eine Entscheidung über die Zulassung wesentlich zu beeinflussen oder um Personen im Rahmen von Prüfungen als Teil ihrer Ausbildung oder als Voraussetzung dafür zu bewerten oder um zu bewerten, ob das Bildungsniveau einer Person angemessen ist, oder um das Niveau der Bildung und Ausbildung, das Personen erhalten oder zu dem sie Zugang erhalten, wesentlich zu beeinflussen oder zu überwachen, oder KI-Systeme, die zur Überwachung und Erkennung von verbotenem Verhalten von Schülern während Prüfungen eingesetzt werden , sollten als hochriskant angesehen werden, da sie über den Verlauf der Bildung und des Berufslebens einer Person entscheiden und daher ihre Fähigkeit beeinträchtigen können, ihren Lebensunterhalt zu sichern. Bei unsachgemäßer Konzeption und Verwendung können solche Systeme sehr intrusiv sein und das Recht auf allgemeine und berufliche Bildung sowie das Recht auf Nichtdiskriminierung verletzen und historische Diskriminierungsmuster fortschreiben , beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung .

(36)

KI-Systeme, die in den Bereichen Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit eingesetzt werden, insbesondere für die Einstellung und Auswahl von Personen, für Entscheidungen über Beförderung und Kündigung sowie für die Zuweisung, Überwachung oder Bewertung von Personen in Arbeitsvertragsverhältnissen, sollten ebenfalls als hochriskant eingestuft werden, da diese Systeme die künftigen Karriereaussichten und die Lebensgrundlagen dieser Personen spürbar beeinflussen können. Einschlägige Arbeitsvertragsverhältnisse sollten Beschäftigte und Personen erfassen, die Dienstleistungen über Plattformen erbringen, auf die im Arbeitsprogramm der Kommission für 2021 Bezug genommen wird. Solche Personen sollten grundsätzlich nicht als Nutzer im Sinne dieser Verordnung gelten. Solche Systeme können während des gesamten Einstellungsverfahrens und bei der Bewertung, Beförderung oder Nichtbeförderung von Personen in Arbeitsvertragsverhältnissen historische Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung. KI-Systeme zur Überwachung der Leistung und des Verhaltens dieser Personen können sich auch auf ihre Rechte auf Datenschutz und Privatsphäre auswirken .

(36)

KI-Systeme, die in den Bereichen Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit eingesetzt werden, insbesondere für die Einstellung und Auswahl von Personen, für Entscheidungen oder für die wesentliche Beeinflussung von Entscheidungen über Einstellung, Beförderung und Kündigung, sowie KI-Systeme für die personalisierte Zuweisung von Arbeitsaufgaben auf der Grundlage von individuellem Verhalten, persönlichen Merkmalen oder biometrischen Daten , Überwachung oder Bewertung von Personen in Arbeitsvertragsverhältnissen, sollten ebenfalls als hochriskant eingestuft werden, da diese Systeme die künftigen Karriereaussichten und die Lebensgrundlagen dieser Personen und die Arbeitnehmerrechte spürbar beeinflussen können. Einschlägige Arbeitsvertragsverhältnisse sollten Beschäftigte und Personen sinnvoll erfassen, die Dienstleistungen über Plattformen erbringen, auf die im Arbeitsprogramm der Kommission für 2021 Bezug genommen wird. Solche Systeme können während des gesamten Einstellungsverfahrens und bei der Bewertung, Beförderung oder Nichtbeförderung von Personen in Arbeitsvertragsverhältnissen historische Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung. KI-Systeme zur Überwachung der Leistung und des Verhaltens dieser Personen können auch den Kern ihrer Grundrechte auf Datenschutz und Privatsphäre unterminieren. Diese Verordnung gilt unbeschadet der Tatsache, dass es in der Zuständigkeit der Union und der Mitgliedstaaten liegt, spezifischere Vorschriften für den Einsatz von KI-Systemen im Kontext von Beschäftigungsverhältnissen festzulegen.

(37)

Ein weiterer Bereich, in dem der Einsatz von KI-Systemen besondere Aufmerksamkeit verdient, ist der Zugang zu und die Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten und Leistungen, die erforderlich sind, damit die Menschen uneingeschränkt an der Gesellschaft teilhaben oder ihren Lebensstandard verbessern können. Insbesondere KI-Systeme, die zur Kreditpunktebewertung oder zur Bewertung der Kreditwürdigkeit natürlicher Personen verwendet werden, sollten als Hochrisiko-KI-Systeme eingestuft werden, da sie den Zugang dieser Personen zu Finanzmitteln oder wesentlichen Dienstleistungen wie Wohnraum, Elektrizität und Telekommunikationsdienstleistungen bestimmen. KI-Systeme, die zu diesem Zweck eingesetzt werden, können zur Diskriminierung von Personen oder Gruppen führen und historische Diskriminierungsmuster, beispielsweise aufgrund der rassischen oder ethnischen Herkunft, einer Behinderung, des Alters oder der sexuellen Ausrichtung, fortschreiben oder neue Formen von Diskriminierung mit sich bringen. Angesichts des sehr begrenzten Auswirkungen und der auf dem Markt verfügbaren Alternativen ist es angezeigt, KI-Systeme zur Kreditwürdigkeitsprüfung und Kreditpunktebewertung auszunehmen, wenn sie von kleinen Anbietern für den Eigenbedarf in Betrieb genommen werden. Natürliche Personen, die staatliche Unterstützungsleistungen und -dienste von Behörden beantragen oder erhalten, sind in der Regel von diesen Leistungen und Diensten abhängig und befinden sich gegenüber den zuständigen Behörden in einer prekären Lage. Wenn KI-Systeme eingesetzt werden, um zu bestimmen, ob solche Leistungen und Dienste von den Behörden verweigert, gekürzt, widerrufen oder zurückgefordert werden sollten, können sie erhebliche Auswirkungen auf die Existenzgrundlage der Menschen haben und ihre Grundrechte wie das Recht auf sozialen Schutz, Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf verletzen. Solche Systeme sollten daher als hochriskant eingestuft werden. Dennoch sollte diese Verordnung die Entwicklung und Anwendung innovativer Ansätze in der öffentlichen Verwaltung nicht behindern, die von einer breiteren Verwendung konformer und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes Risiko für juristische und natürliche Personen bergen. Schließlich sollten KI-Systeme, die bei der Entsendung oder der Priorisierung der Entsendung von Rettungsdiensten eingesetzt werden, ebenfalls als hochriskant eingestuft werden, da sie in für das Leben und die Gesundheit von Personen und für ihr Eigentum sehr kritischen Situationen Entscheidungen treffen.

(37)

Ein weiterer Bereich, in dem der Einsatz von KI-Systemen besondere Aufmerksamkeit verdient, ist der Zugang zu und die Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten, auch der Gesundheitsdienste und wesentlicher Dienstleistungen, einschließlich, jedoch nicht beschränkt auf, Wohnen, Strom, Heizung/Kühlung und Internet und Leistungen, die erforderlich sind, damit die Menschen uneingeschränkt an der Gesellschaft teilhaben oder ihren Lebensstandard verbessern können. Insbesondere KI-Systeme, die zur Kreditpunktebewertung oder zur Bewertung der Kreditwürdigkeit natürlicher Personen verwendet werden, sollten als Hochrisiko-KI-Systeme eingestuft werden, da sie den Zugang dieser Personen zu Finanzmitteln oder wesentlichen Dienstleistungen wie Wohnraum, Elektrizität und Telekommunikationsdienstleistungen bestimmen. KI-Systeme, die zu diesem Zweck eingesetzt werden, können zur Diskriminierung von Personen oder Gruppen führen und historische Diskriminierungsmuster, beispielsweise aufgrund der rassischen oder ethnischen Herkunft, des Geschlechts, einer Behinderung, des Alters oder der sexuellen Ausrichtung, fortschreiben oder neue Formen von Diskriminierung mit sich bringen. Jedoch sollten KI-Systeme, die nach Rechtsvorschriften der Union zur Aufdeckung von Betrug beim Angebot von Finanzdienstleistungen vorgesehen sind, nicht als Hochrisiko-Systeme gemäß dieser Verordnung angesehen werden. Natürliche Personen, die grundlegende staatliche Unterstützungsleistungen und -dienste von Behörden beantragen oder erhalten , auch Gesundheitsdienste und wesentliche Dienstleistungen, einschließlich, jedoch nicht beschränkt auf, Wohnen, Strom, Heizung/Kühlung und Internet , sind in der Regel von diesen Leistungen und Diensten abhängig und befinden sich gegenüber den zuständigen Behörden in einer prekären Lage. Wenn KI-Systeme eingesetzt werden, um zu bestimmen, ob solche Leistungen und Dienste von den Behörden verweigert, gekürzt, widerrufen oder zurückgefordert werden sollten, können sie erhebliche Auswirkungen auf die Existenzgrundlage der Menschen haben und ihre Grundrechte wie das Recht auf sozialen Schutz, Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf verletzen. Ähnlich können KI-Systeme, die bestimmungsgemäß verwendet werden sollen, um Entscheidungen zu treffen oder erheblichen Einfluss auf Entscheidungen in Bezug auf die Anspruchsvoraussetzungen natürlicher Personen in den Bereichen Kranken- und Lebensversicherungen zu nehmen, ebenso signifikante Auswirkungen auf die Existenzgrundlage von Menschen haben und ihre Grundrechte beeinträchtigen, wie zum Beispiel den Zugang zur Gesundheitsversorgung oder durch die Fortschreibung von Diskriminierung aufgrund persönlicher Merkmale. Solche Systeme sollten daher als hochriskant eingestuft werden. Dennoch sollte diese Verordnung die Entwicklung und Anwendung innovativer Ansätze in der öffentlichen Verwaltung nicht behindern, die von einer breiteren Verwendung konformer und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes Risiko für juristische und natürliche Personen bergen. Schließlich sollten KI-Systeme, die bei der Bewertung und Einstufung von Notrufen durch natürliche Personen oder der Entsendung oder der Priorisierung der Entsendung von Rettungsdiensten eingesetzt werden, ebenfalls als hochriskant eingestuft werden, da sie in für das Leben und die Gesundheit von Personen und für ihr Eigentum sehr kritischen Situationen Entscheidungen treffen.

(37a)

In Anbetracht der Rolle und Verantwortung von Polizei- und Justizbehörden und der Auswirkungen von Entscheidungen, die sie zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Vollstreckung von strafrechtlichen Sanktionen treffen, muss der Einsatz von KI-Anwendungen bei der Strafverfolgung vor allem in Situationen als hochriskant eingestuft werden, wenn die Möglichkeit besteht, dass er beträchtliche Auswirkungen auf das Leben von Einzelpersonen hat.

(38)

Maßnahmen von Strafverfolgungsbehörden im Zusammenhang mit bestimmten Verwendungen von KI-Systemen sind durch ein erhebliches Machtungleichgewicht gekennzeichnet und können zur Überwachung, Festnahme oder zum Entzug der Freiheit einer natürlichen Person sowie zu anderen nachteiligen Auswirkungen auf die in der Charta verankerten Grundrechte führen. Insbesondere wenn das KI-System nicht mit hochwertigen Daten trainiert wird, die Anforderungen an seine Genauigkeit oder Robustheit nicht erfüllt werden oder das System nicht ordnungsgemäß konzipiert und getestet wird, bevor es in Verkehr gebracht oder in anderer Weise in Betrieb genommen wird, kann es Personen in diskriminierender oder anderweitig falscher oder ungerechter Weise ausgrenzen. Darüber hinaus könnte die Ausübung wichtiger verfahrensrechtlicher Grundrechte wie des Rechts auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht sowie die Unschuldsvermutung und Verteidigungsrechte behindert werden, insbesondere wenn solche KI-Systeme nicht hinreichend transparent, erklärbar und dokumentiert sind. Daher ist es angezeigt, eine Reihe von KI-Systemen, die im Rahmen der Strafverfolgung eingesetzt werden sollen und bei denen Genauigkeit, Zuverlässigkeit und Transparenz besonders wichtig sind, als hochriskant einzustufen, um nachteilige Auswirkungen zu vermeiden, das Vertrauen der Öffentlichkeit zu erhalten und die Rechenschaftspflicht und einen wirksamen Rechtsschutz zu gewährleisten. Angesichts der Art der betreffenden Tätigkeiten und der damit verbundenen Risiken sollten diese Hochrisiko-KI-Systeme insbesondere KI-Systeme umfassen, die von Strafverfolgungsbehörden für individuelle Risikobewertungen, als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands natürlicher Personen, zur Aufdeckung von „Deepfakes“ , zur Bewertung der Zuverlässigkeit von Beweismitteln in Strafverfahren, zur Vorhersage des Auftretens oder erneuten Auftretens einer tatsächlichen oder potenziellen Straftat auf der Grundlage des Profils natürlicher Personen oder zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder vergangenen kriminellen Verhaltens von natürlichen Personen oder Gruppen, zur Erstellung eines Profils während der Aufdeckung, Untersuchung oder strafrechtlichen Verfolgung einer Straftat sowie zur Kriminalanalyse in Bezug auf natürliche Personen eingesetzt werden. KI-Systeme, die speziell für Verwaltungsverfahren in Steuer- und Zollbehörden bestimmt sind, sollten nicht als Hochrisiko-KI-Systeme gelten , die von Strafverfolgungsbehörden zum Zwecke der Verhütung, Aufdeckung, Untersuchung und strafrechtlichen Verfolgung von Straftaten eingesetzt werden.

(38)

Maßnahmen von Strafverfolgungsbehörden im Zusammenhang mit bestimmten Verwendungen von KI-Systemen sind durch ein erhebliches Machtungleichgewicht gekennzeichnet und können zur Überwachung, Festnahme oder zum Entzug der Freiheit einer natürlichen Person sowie zu anderen nachteiligen Auswirkungen auf die in der Charta verankerten Grundrechte führen. Insbesondere wenn das KI-System nicht mit hochwertigen Daten trainiert wird, die Anforderungen an seine Leistung, Genauigkeit oder Robustheit nicht erfüllt werden oder das System nicht ordnungsgemäß konzipiert und getestet wird, bevor es in Verkehr gebracht oder in anderer Weise in Betrieb genommen wird, kann es Personen in diskriminierender oder anderweitig falscher oder ungerechter Weise ausgrenzen. Darüber hinaus könnte die Ausübung wichtiger verfahrensrechtlicher Grundrechte wie des Rechts auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht sowie die Unschuldsvermutung und Verteidigungsrechte behindert werden, insbesondere wenn solche KI-Systeme nicht hinreichend transparent, erklärbar und dokumentiert sind. Daher ist es angezeigt, eine Reihe von KI-Systemen, die im Rahmen der Strafverfolgung eingesetzt werden sollen und bei denen Genauigkeit, Zuverlässigkeit und Transparenz besonders wichtig sind, als hochriskant einzustufen, um nachteilige Auswirkungen zu vermeiden, das Vertrauen der Öffentlichkeit zu erhalten und die Rechenschaftspflicht und einen wirksamen Rechtsschutz zu gewährleisten. Angesichts der Art der betreffenden Tätigkeiten und der damit verbundenen Risiken sollten diese Hochrisiko-KI-Systeme insbesondere KI-Systeme umfassen, die von Strafverfolgungsbehörden oder in ihrem Auftrag oder von Organen, Einrichtungen und sonstigen Stellen der Union als Lügendetektoren und ähnliche Instrumente zur Bewertung der Zuverlässigkeit von Beweismitteln in Strafverfahren, zur Erstellung eines Profils während der Aufdeckung, Untersuchung oder strafrechtlichen Verfolgung einer Straftat sowie zur Kriminalanalyse in Bezug auf natürliche Personen eingesetzt werden , sofern deren Verwendung gemäß den relevanten nationalen Rechtsvorschriften und denen der Union zugelassen ist . KI-Systeme, die speziell für Verwaltungsverfahren in Steuer- und Zollbehörden bestimmt sind, sollten nicht als Hochrisiko-KI-Systeme eingestuft werden , die von Strafverfolgungsbehörden zum Zwecke der Verhütung, Aufdeckung, Untersuchung und strafrechtlichen Verfolgung von Straftaten eingesetzt werden. Der Einsatz von KI-Instrumenten durch Strafverfolgungs- und Justizbehörden sollte nicht zu einem Faktor der Ungleichheit, der sozialen Spaltung oder der Ausgrenzung werden. Die Auswirkungen des Einsatzes von KI-Instrumenten auf die Verteidigungsrechte von Verdächtigen sollten nicht außer Acht gelassen werden, insbesondere nicht die Schwierigkeit, aussagekräftige Informationen über ihre Funktionsweise zu erhalten, und die daraus resultierende Schwierigkeit der Anfechtung ihrer Ergebnisse vor Gericht, insbesondere durch Personen, gegen die ermittelt wird.

(39)

KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es angezeigt, KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustand einer natürlichen Person ; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates (49), der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates (50) und anderen einschlägigen Rechtsvorschriften entsprechen.

(39)

KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es angezeigt, KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden oder den Organen, Einrichtungen und sonstigen Stellen der Union oder in ihrem Auftrag als Lügendetektoren und ähnliche Instrumente – sofern ihr Einsatz gemäß den relevanten nationalen Rechtsvorschriften oder denen der Union gestattet ist  — oder zur Bewertung bestimmter Risiken eingesetzt werden , die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung und Bewertung des Wahrheitsgehalts von Nachweisen von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen ; zur Überwachung, Kontrolle oder Verarbeitung von personenbezogenen Daten im Zusammenhang mit Grenzkontrolltätigkeiten zur Ortung, Erkennung oder Identifizierung von natürlichen Personen; für Prognosen oder Vorhersagen von Trends im Zusammenhang mit Migrationsbewegungen und Grenzüberschreitungen . KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates (49), der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates (50) und anderen einschlägigen Rechtsvorschriften entsprechen. KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, sollten unter keinen Umständen von Mitgliedstaaten oder Organen, Einrichtungen und sonstigen Stellen der Union als Mittel zur Umgehung ihrer internationalen Verpflichtungen gemäß dem Genfer Abkommen vom 28. Juli 1951 über die Rechtsstellung der Flüchtlinge in der Fassung des Protokolls von New York vom 31. Januar 1967 genutzt noch unter Verstoß gegen den Grundsatz der Nichtzurückweisung oder zur Verweigerung sicherer und effektiver rechtmäßiger Wege in das Gebiet der Union gegenüber Asylsuchenden, auch in Bezug auf das Recht auf internationalen Schutz, verwendet werden.

(40)

Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht als hochriskant eingestuft werden. Um insbesondere den Risiken möglicher Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme, die Justizbehörden dabei helfen sollen , Sachverhalte und Rechtsvorschriften zu ermitteln und auszulegen und das Recht auf konkrete Sachverhalte anzuwenden, als hochriskant eingestuft werden. Diese Einstufung sollte sich jedoch nicht auf KI-Systeme erstrecken, die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal, Verwaltungsaufgaben oder die Zuweisung von Ressourcen.

(40)

Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht als hochriskant eingestuft werden. Um insbesondere den Risiken möglicher Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme, die von einer Justiz- oder Verwaltungsbehörde oder in ihrem Auftrag dazu eingesetzt werden, diese Justiz- oder Verwaltungsbehörde dabei zu unterstützen , Sachverhalte und Rechtsvorschriften zu ermitteln und auszulegen und das Recht auf konkrete Sachverhalte anzuwenden, oder auf ähnliche Weise in einem alternativem Streitbeilegungsverfahren eingesetzt werden , als hochriskant eingestuft werden. Der Einsatz von Instrumenten mit künstlicher Intelligenz kann die Entscheidungsgewalt von Richtern oder die Unabhängigkeit der Justiz unterstützen, sollte sie aber nicht ersetzen, da die endgültige Entscheidungsfindung eine von Menschen geleitete Tätigkeit und Entscheidung bleiben muss. Diese Einstufung sollte sich jedoch nicht auf KI-Systeme erstrecken, die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal, Verwaltungsaufgaben oder die Zuweisung von Ressourcen.

(40a)

Um die Risiken eines unzulässigen externen Eingriffs in das in Artikel 39 der Charta verankerte Wahlrecht und unverhältnismäßige Auswirkungen auf demokratische Verfahren, die Demokratie und die Rechtsstaatlichkeit anzugehen, sollten KI-Systeme, die bestimmungsgemäß verwendet werden sollen, um das Ergebnis einer Wahl oder eines Referendums oder das Wahlverhalten natürlicher Personen bei der Ausübung ihres Wahlrechts in einer Wahl oder in Referenden zu beeinflussen, als Hochrisiko-KI-Systeme eingestuft werden, mit Ausnahme von KI-Systemen, deren Ergebnissen natürliche Personen nicht direkt ausgesetzt sind, wie Instrumente zur Organisation, Optimierung und Strukturierung politischer Kampagnen in administrativer und logistischer Hinsicht.

(40b)

Angesichts der Anzahl natürlicher Personen, die die Dienste nutzen, die von Social-Media-Plattformen bereitgestellt werden, die als sehr große Online-Plattformen gelten, können solche Online-Plattformen auf eine Weise eingesetzt werden, die die Online-Sicherheit stark gefährdet und die öffentliche Meinung und den öffentlichen Diskurs sowie Wahlverfahren und demokratische Prozesse oder soziale Belange stark beeinflusst. Es ist daher angezeigt, dass KI-Systeme, die von diesen Online-Plattformen in ihren Empfehlungssystemen verwendet werden, unter diese Verordnung fallen, um sicherzustellen, dass die KI-Systeme die in dieser Verordnung festgelegten Anforderungen erfüllen, einschließlich technischer Vorschriften in den Bereichen Datenverwaltung, technische Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Genauigkeit und Robustheit der Daten. Durch die Einhaltung der Bestimmungen dieser Verordnung sollte es den Betreibern sehr großer Online-Plattformen möglich sein, die umfassenderen Verpflichtungen zur Risikobewertung und Risikominderung gemäß Artikel 34 und 35 der Verordnung (EU) 2022/2065 zu erfüllen. Die Verpflichtungen gemäß der vorliegenden Verordnung lassen die Bestimmungen der Verordnung (EU) 2022/2065 unberührt und sollten die gemäß der Verordnung (EU) 2022/2065 festgesetzten Verpflichtungen in Fällen, in denen die soziale Medienplattform als sehr große Online-Plattform eingestuft wurde, ergänzen. Angesichts der europaweiten Auswirkungen von Social-Media-Plattformen, die als sehr große Online-Plattformen eingestuft wurden, sollten die nach Verordnung (EU) 2022/2065 festgelegten Behörden für die Zwecke der Durchsetzung dieser Bestimmung als Strafverfolgungsbehörden fungieren.

(41)

Die Tatsache, dass ein KI-System gemäß dieser Verordnung als hochriskant eingestuft wird, sollte nicht dahingehend ausgelegt werden, dass die Verwendung des Systems nach anderen Rechtsakten der Union oder nach nationalen Rechtsvorschriften, die mit dem Unionsrecht vereinbar sind, zwangsläufig rechtmäßig ist, beispielsweise in Bezug auf den Schutz personenbezogener Daten , die Verwendung von Lügendetektoren und ähnlichen Instrumenten oder anderen Systemen zur Ermittlung des emotionalen Zustand einer natürlichen Person . Eine solche Verwendung sollte weiterhin ausschließlich im Einklang mit den geltenden Anforderungen erfolgen, die sich aus der Charta, dem anwendbaren Sekundärrecht der Union und nationalen Recht ergeben. Diese Verordnung sollte nicht so verstanden werden, dass sie eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten bildet, auch nicht für besondere Kategorien personenbezogener Daten.

(41)

Die Tatsache, dass ein KI-System gemäß dieser Verordnung als hochriskantes KI-System eingestuft wird, sollte nicht dahingehend ausgelegt werden, dass die Verwendung des Systems nach anderen Rechtsakten der Union oder nach nationalen Rechtsvorschriften, die mit dem Unionsrecht vereinbar sind, zwangsläufig rechtmäßig oder nicht rechtmäßig ist, beispielsweise in Bezug auf den Schutz personenbezogener Daten. Eine solche Verwendung sollte weiterhin ausschließlich im Einklang mit den geltenden Anforderungen erfolgen, die sich aus der Charta, dem anwendbaren Sekundärrecht der Union und nationalen Recht ergeben.

(41a)

Eine gewisse Anzahl von verbindlichen Rechtsvorschriften auf Unions-, nationaler und internationaler Ebene, die für KI-Systeme relevant sind, gelten bereits, unter anderem das Primärrecht der EU (die EU-Verträge und die EU-Grundrechtecharta), das Sekundärrecht der EU (etwa die Datenschutzgrundverordnung, die Produkthaftungsrichtlinie, die Verordnung über den freien Verkehr nicht personenbezogener Daten, Antidiskriminierungsrichtlinien, das Verbraucherschutzrecht sowie die Richtlinien über Sicherheit und Gesundheitsschutz am Arbeitsplatz), die UN-Menschenrechtsübereinkommen, die Konventionen des Europarats (wie die Europäische Menschenrechtskonvention) sowie zahlreiche nationale Gesetze. Neben bereichsübergreifenden gibt es auch verschiedene fachspezifische Vorschriften, die für bestimmte KI-Anwendungen gelten (etwa die Verordnung über Medizinprodukte).

(42)

Zur Minderung der Risiken für Nutzer und betroffene Personen, die von auf dem Unionsmarkt in Verkehr gebrachten oder anderweitig in Betrieb genommenen Hochrisiko-KI-Systemen ausgehen, sollten bestimmte verbindliche Anforderungen gelten, wobei der Zweckbestimmung des Systems und dem vom Anbieter einzurichtenden Risikomanagementsystem Rechnung zu tragen ist.

(42)

Zur Minderung der Risiken für Betreiber und betroffene Personen, die von auf dem Unionsmarkt in Verkehr gebrachten oder anderweitig in Betrieb genommenen Hochrisiko-KI-Systemen ausgehen, sollten bestimmte verbindliche Anforderungen gelten, wobei der Zweckbestimmung des Systems sowie der vernünftigerweise vorhersehbaren Fehlanwendung und dem vom Anbieter einzurichtenden Risikomanagementsystem Rechnung zu tragen ist. Diese Anforderungen sollten zielorientiert, zweckdienlich, angemessen und wirksam sein, ohne den Akteuren unangemessene zusätzliche regulatorische Belastungen oder Kosten aufzubürden.

(43)

Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer , die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte entsprechend der Zweckbestimmung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden.

(43)

Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität und Relevanz der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Betreiber , die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Sicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte sowie der Umwelt, Demokratie und Rechtsstaatlichkeit entsprechend der Zweckbestimmung oder vernünftigerweise vorhersehbaren Fehlanwendung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden.

(44)

Eine hohe Datenqualität ist für die Leistung vieler KI-Systeme von wesentlicher Bedeutung , insbesondere wenn Techniken eingesetzt werden, bei denen Modelle mit Daten trainiert werden, um sicherzustellen, dass das Hochrisiko-KI-System bestimmungsgemäß und sicher funktioniert und nicht zur Ursache für Diskriminierung wird, die nach dem Unionsrecht verboten ist. Für hochwertige Trainings-, Validierungs- und Testdatensätze müssen geeignete Daten-Governance- und Datenverwaltungsverfahren umgesetzt werden. Die Trainings-, Validierungs- und Testdatensätze sollten im Hinblick auf die Zweckbestimmung des Systems hinreichend relevant, repräsentativ , fehlerfrei und vollständig sein. Ferner sollten sie die geeigneten statistischen Merkmale haben, auch bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System bestimmungsgemäß angewandt werden soll. Insbesondere sollten die Trainings-, Validierungs- und Testdatensätze, soweit dies angesichts der Zweckbestimmung erforderlich ist, den Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen geografischen, verhaltensbezogenen oder funktionalen Rahmenbedingungen oder den Zusammenhängen, in denen das KI-System bestimmungsgemäß verwendet werden soll, typisch sind. Um das Recht anderer auf Schutz vor Diskriminierung, die sich aus Verzerrungen in KI-Systemen ergeben könnte, zu wahren, sollten die Anbieter angesichts des erheblichen öffentlichen Interesses auch besondere Kategorien personenbezogener Daten verarbeiten dürfen, um Verzerrungen in Hochrisiko-KI-Systemen zu beobachten, zu erkennen und zu korrigieren.

(44)

Ein Zugang zu einer hohen Datenqualität spielt eine zentrale Rolle bei der Bereitstellung von Strukturen und für die Sicherstellung der Leistung vieler KI-Systeme, insbesondere wenn Techniken eingesetzt werden, bei denen Modelle mit Daten trainiert werden, um sicherzustellen, dass das Hochrisiko-KI-System bestimmungsgemäß und sicher funktioniert und nicht zur Ursache für Diskriminierung wird, die nach dem Unionsrecht verboten ist. Für hochwertige Trainings-, Validierungs- und Testdatensätze müssen geeignete Daten-Governance- und Datenverwaltungsverfahren umgesetzt werden. Trainings- und — falls zutreffend – Validierungs- und Testdatensätze , einschließlich der Kennzeichnungen, sollten im Hinblick auf die Zweckbestimmung des Systems hinreichend relevant, repräsentativ sowie ordnungsgemäß auf Fehler überprüft und so vollständig wie möglich sein. Ferner sollten sie die geeigneten statistischen Merkmale haben, auch bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System bestimmungsgemäß angewandt werden soll , mit besonderem Augenmerk auf die Minderung möglicher Verzerrungen in den Datensätzen, die zu Risiken für die Grundrechte oder zu diskriminierenden Ergebnissen für die von dem Hochrisiko-KI-System betroffenen Personen führen könnten. Verzerrungen können zum Beispiel, insbesondere bei Verwendung historischer Daten, den zugrunde liegenden Datensätzen innewohnen sowie von den Entwicklern der Algorithmen eingeführt oder bei der Implementierung der Systeme in der realen Welt generiert werden. Die von einem KI-System ausgegebenen Ergebnisse werden durch solche inhärenten Verzerrungen beeinflusst und haben die Tendenz, allmählich zuzunehmen und dadurch bestehende Diskriminierungen fortzusetzen und zu verstärken, insbesondere im Hinblick auf Personen, die bestimmten ethnischen Gruppen oder aufgrund von Rassismus benachteiligten Gemeinschaften angehören. Insbesondere sollten die Trainings-, Validierungs- und Testdatensätze, soweit dies angesichts der Zweckbestimmung erforderlich ist, den Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen geografischen, kontext- und verhaltensbezogenen oder funktionalen Rahmenbedingungen oder den Zusammenhängen, in denen das KI-System bestimmungsgemäß verwendet werden soll, typisch sind. Um das Recht anderer auf Schutz vor Diskriminierung, die sich aus Verzerrungen in KI-Systemen ergeben könnte, zu wahren, sollten die Anbieter – ausnahmsweise und nach Anwendung aller geltenden Bedingungen, die in dieser Verordnung und in der Verordnung (EU) 2016/679, der Richtlinie (EU) 2016/680 und der Verordnung (EU) 2018/1725 festgelegt sind – angesichts des erheblichen öffentlichen Interesses auch besondere Kategorien personenbezogener Daten verarbeiten dürfen, um Verzerrungen in Hochrisiko-KI-Systemen zu erkennen und zu korrigieren. Negative Verzerrungen sollten als Verzerrungen verstanden werden, durch die direkte oder indirekte diskriminierende Auswirkungen in Bezug auf eine natürliche Person entstehen. Die Anforderungen in Bezug auf die Datenverwaltung können erfüllt werden, indem auf Dritte zurückgegriffen wird, die zertifizierte Konformitätsdienstleistungen anbieten, einschließlich der Überprüfung der Datenverwaltung, der Integrität der Datensätze und der Datenschulungs-, Validierungs- und Testverfahren.

(45)

Für die Entwicklung von Hochrisiko-KI-Systemen sollten bestimmte Akteure wie Anbieter, notifizierte Stellen und andere einschlägige Stellen wie Zentren für digitale Innovation, Erprobungs- und Versuchseinrichtungen und Forscher in der Lage sein, in ihren jeweiligen Tätigkeitsbereichen, die mit dieser Verordnung in Zusammenhang stehen, auf hochwertige Datensätze zuzugreifen und diese zu nutzen. Die von der Kommission eingerichteten gemeinsamen europäischen Datenräume und die Erleichterung des Datenaustauschs im öffentlichen Interesse zwischen Unternehmen und mit Behörden werden entscheidend dazu beitragen, einen vertrauensvollen, rechenschaftspflichtigen und diskriminierungsfreien Zugang zu hochwertigen Daten für das Training, die Validierung und das Testen von KI-Systemen zu gewährleisten. Im Gesundheitsbereich beispielsweise wird der europäische Raum für Gesundheitsdaten den diskriminierungsfreien Zugang zu Gesundheitsdaten und das Training von KI-Algorithmen mithilfe dieser Datensätze erleichtern, und zwar unter Wahrung der Privatsphäre, auf sichere, zeitnahe, transparente und vertrauenswürdige Weise und unter angemessener institutioneller Leitung. Die einschlägigen zuständigen Behörden, einschließlich sektoraler Behörden, die den Zugang zu Daten bereitstellen oder unterstützen, können auch die Bereitstellung hochwertiger Daten für das Training, die Validierung und das Testen von KI-Systemen unterstützen.

(45)

Für die Entwicklung und Bewertung von Hochrisiko-KI-Systemen sollten bestimmte Akteure wie Anbieter, notifizierte Stellen und andere einschlägige Stellen wie Zentren für digitale Innovation, Erprobungs- und Versuchseinrichtungen und Forscher in der Lage sein, in ihren jeweiligen Tätigkeitsbereichen, die mit dieser Verordnung in Zusammenhang stehen, auf hochwertige Datensätze zuzugreifen und diese zu nutzen. Die von der Kommission eingerichteten gemeinsamen europäischen Datenräume und die Erleichterung des Datenaustauschs im öffentlichen Interesse zwischen Unternehmen und mit Behörden werden entscheidend dazu beitragen, einen vertrauensvollen, rechenschaftspflichtigen und diskriminierungsfreien Zugang zu hochwertigen Daten für das Training, die Validierung und das Testen von KI-Systemen zu gewährleisten. Im Gesundheitsbereich beispielsweise wird der europäische Raum für Gesundheitsdaten den diskriminierungsfreien Zugang zu Gesundheitsdaten und das Training von KI-Algorithmen mithilfe dieser Datensätze erleichtern, und zwar unter Wahrung der Privatsphäre, auf sichere, zeitnahe, transparente und vertrauenswürdige Weise und unter angemessener institutioneller Leitung. Die einschlägigen zuständigen Behörden, einschließlich sektoraler Behörden, die den Zugang zu Daten bereitstellen oder unterstützen, können auch die Bereitstellung hochwertiger Daten für das Training, die Validierung und das Testen von KI-Systemen unterstützen.

(45a)

Das Recht auf Privatsphäre und den Schutz personenbezogener Daten muss während des gesamten Lebenszyklus des KI-Systems sichergestellt sein. In dieser Hinsicht sind die Grundsätze der Datenminimierung und des Datenschutzes durch Technikgestaltung und datenschutzfreundliche Voreinstellungen, wie sie im Datenschutzrecht der Union festgelegt sind, von wesentlicher Bedeutung, wenn die Verarbeitung von Daten erhebliche Risiken für die Grundrechte natürlicher Personen birgt. Anbieter und Nutzer von KI-Systemen sollten dem Stand der Technik entsprechende technische und organisatorische Maßnahmen ergreifen, um diese Rechte zu schützen. Zu diesen Maßnahmen gehören nicht nur die Anonymisierung und Verschlüsselung, sondern auch der Einsatz zunehmend verfügbarer Technik, die es ermöglicht, Algorithmen direkt am Ort der Datenerzeugung einzusetzen und wertvolle Erkenntnisse zu gewinnen, ohne dass die Daten zwischen den Parteien übertragen bzw. die Rohdaten oder strukturierten Daten selbst unnötig kopiert werden.

(46)

Informationen darüber, wie Hochrisiko-KI-Systeme entwickelt wurden und wie sie während ihres gesamten Lebenszyklus funktionieren, sind unerlässlich, um die Einhaltung der Anforderungen dieser Verordnung überprüfen zu können. Dies erfordert die Führung von Aufzeichnungen und die Verfügbarkeit einer technischen Dokumentation, die alle erforderlichen Informationen enthält, um die Einhaltung der einschlägigen Anforderungen durch das KI-System zu beurteilen. Diese Informationen sollten die allgemeinen Merkmale, Fähigkeiten und Grenzen des Systems, die verwendeten Algorithmen, Daten, Trainings-, Test- und Validierungsverfahren sowie die Dokumentation des einschlägigen Risikomanagementsystems umfassen. Die technische Dokumentation sollte stets auf dem neuesten Stand gehalten werden.

(46)

Umfassende Informationen darüber, wie Hochrisiko-KI-Systeme entwickelt wurden und wie sie während ihrer gesamten Lebensdauer funktionieren, sind unerlässlich, um die Einhaltung der Anforderungen dieser Verordnung überprüfen zu können. Dies erfordert die Führung von Aufzeichnungen und die Verfügbarkeit einer technischen Dokumentation, die alle erforderlichen Informationen enthält, um die Einhaltung der einschlägigen Anforderungen durch das KI-System zu beurteilen. Diese Informationen sollten die allgemeinen Merkmale, Fähigkeiten und Grenzen des Systems, die verwendeten Algorithmen, Daten, Trainings-, Test- und Validierungsverfahren sowie die Dokumentation des einschlägigen Risikomanagementsystems umfassen. Die technische Dokumentation sollte während des gesamten Lebenszyklus des KI-Systems stets auf einem angemessenen Stand gehalten werden. KI-Systeme können während ihres gesamten Lebenszyklus wesentliche Auswirkungen auf die Umwelt und einen hohen Energieverbrauch haben. Um die Auswirkungen von KI-Systemen auf die Umwelt besser erfassen zu können, sollte die von den Anbietern erstellte technische Dokumentation Informationen zum Energieverbrauch des KI-Systems enthalten, einschließlich des Verbrauchs während der Entwicklung und des erwarteten Verbrauchs während der Nutzung. Bei diesen Informationen sollten die einschlägigen nationalen Rechtsvorschriften und Rechtsvorschriften der Union berücksichtigt werden. Die übermittelten Informationen sollten verständlich, vergleichbar und überprüfbar sein und zu diesem Zweck sollte die Kommission Leitlinien zu einer harmonisierten Methode für die Berechnung und Meldung solcher Informationen entwickeln. Um sicherzustellen, dass eine einzige technische Dokumentation erstellt werden kann, sollten die diese Dokumentation betreffenden Begriffe und Definitionen und jegliche anderen Dokumentationen in den einschlägigen Rechtsvorschriften so weit wie möglich angeglichen werden.

(46a)

Hochrisiko-KI-Systeme müssen modernste Methoden und einschlägige geltende Normen berücksichtigen, um den Energie- und Ressourcenverbrauch sowie die Abfallerzeugung zu verringern und die Energieeffizienz sowie die Gesamteffizienz des Systems zu erhöhen. Die Umweltaspekte von KI-Systemen, die für die Zwecke dieser Verordnung signifikant sind, sind der Energieverbrauch des KI-Systems während der Entwicklungs-, Trainings- und Einführungsphase sowie bei der Aufzeichnung, Meldung und Speicherung dieser Daten. Durch die Konzeption von KI-Systemen sollte es möglich sein, den Energieverbrauch und die Energieressourcen während jeder Phase der Entwicklung, des Trainings und des Einsatzes zu messen und aufzuzeichnen. Die Beobachtung und Meldung der Emissionen von KI-Systemen muss robust, transparent, kohärent und genau sein. Um eine einheitliche Anwendung dieser Verordnung und ein stabiles rechtliches Umfeld für die Anbieter und Betreiber im Binnenmarkt sicherzustellen, sollte die Kommission eine gemeinsame Spezifikation für die Methodik entwickeln, damit die Berichterstattungs- und Dokumentierungspflichten zum Energieverbrauch und den Ressourcen während der Entwicklung, des Trainings und des Einsatzes von KI-Systemen erfüllt werden. Auf der Grundlage solcher gemeinsamer Spezifikationen kann eine Messmethode zur Erstellung eines Entwurfs eines Referenzszenarios entwickelt werden, mit der die Kommission — nachdem eine Folgenabschätzung unter Berücksichtigung des geltenden Rechts durchgeführt wurde — besser darüber entscheiden kann, ob künftige regulatorische Eingriffe erforderlich sind.

(46b)

Um die Ziele dieser Verordnung zu erreichen und zu den Umweltzielen der Union beizutragen und gleichzeitig das reibungslose Funktionieren des Binnenmarkts sicherzustellen, könnte es erforderlich sein, Empfehlungen und Leitlinien zu erstellen und — letztendlich — auch Nachhaltigkeitsziele. Zu diesem Zweck ist die Kommission befugt, eine Methodik zu entwickeln, um damit zur Erstellung wesentlicher Leistungsindikatoren und eines Bezugsrahmens für die Nachhaltigkeitsziele der Vereinten Nationen beizutragen. Das Ziel sollte es vor allem sein, einen gerechten Vergleich zwischen den verschiedenen Möglichkeiten zur Umsetzung von KI zu ermöglichen, indem Anreize geschaffen werden, um die Nutzung effizienterer KI-Technologien in den Bereichen Energie und Ressourcen zu fördern. Um diese Ziele zu erreichen, sollten durch diese Verordnung die Mittel bereitgestellt werden, um eine grundlegende Datensammlung zu den gemeldeten Daten zu Emissionen zu erstellen, die während der Entwicklung, des Trainings und des Einsatzes von KI-Systemen entstehen.

(47a)

Solche Anforderungen an Transparenz und Nachvollziehbarkeit der KI-Entscheidungsfindung sollten auch dazu beitragen, den abschreckenden Auswirkungen digitaler Asymmetrie und sogenannter „Dark Patterns“ entgegenzuwirken, die auf Einzelpersonen und ihre Einwilligung nach Aufklärung abzielen.

(49)

Hochrisiko-KI-Systeme sollten während ihres gesamten Lebenszyklus beständig funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit entsprechend dem allgemein anerkannten Stand der Technik aufweisen. Der Genauigkeitsgrad und die Genauigkeitskennzahlen sollte den Nutzern mitgeteilt werden.

(49)

Hochrisiko-KI-Systeme sollten während ihres gesamten Lebenszyklus beständig funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit entsprechend dem allgemein anerkannten Stand der Technik aufweisen. Leistungskennzahlen und ihre erwarteten Genauigkeitsgrade sollten mit dem vorrangigen Ziel festgelegt werden, Risiken und negative Auswirkungen des KI-Systems zu mindern. Der erwartete Grad der Leistungskennzahlen sollte den Betreibern auf klare, transparente, leicht nachvollziehbare und verständliche Weise mitgeteilt werden. Die Angabe von Leistungskennzahlen gibt keinen Aufschluss auf die künftige Leistung, sodass entsprechende Methoden angewandt werden müssen, um eine dauerhafte Leistung während der Nutzung sicherzustellen. Es sind zwar Normungsgremien vorhanden, um Normen vorzugeben, allerdings ist eine Abstimmung beim Leistungsvergleich vonnöten, um festzulegen, wie diese Standardvorgaben und -merkmale von KI-Systemen gemessen werden sollten. Der Europäische Ausschuss für künstliche Intelligenz sollte nationale und internationale Metrologie- und Benchmarking-Behörden zusammenbringen und Leitlinien herausgeben, um die technischen Aspekte der Messung der angemessenen Leistungs- und Robustheitsgrade anzugehen.

(50)

Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandfähig gegenüber Risiken im Zusammenhang mit den Grenzen des Systems (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen) sowie gegenüber böswilligen Eingriffen sein, die die Sicherheit des KI-Systems gefährden und zu schädlichen oder anderweitig unerwünschtem Verhalten führen können. Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ergebnisse hervorbringt.

(50)

Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandfähig gegenüber Risiken im Zusammenhang mit den Grenzen des Systems (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen) sowie gegenüber böswilligen Eingriffen sein, die die Sicherheit des KI-Systems gefährden und zu schädlichen oder anderweitig unerwünschtem Verhalten führen können. Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ergebnisse hervorbringt. Die Nutzer des KI-Systems sollten Maßnahmen ergreifen, um sicherzustellen, dass der mögliche Kompromiss zwischen Robustheit und Genauigkeit nicht zu diskriminierenden oder negativen Ergebnissen für Untergruppen, die Minderheiten angehören, führt.

(51)

Die Cybersicherheit spielt eine entscheidende Rolle, wenn es darum geht sicherzustellen, dass KI-Systeme widerstandsfähig gegenüber Versuchen böswilliger Dritter sind, unter Ausnutzung der Schwachstellen der Systeme deren Verwendung, Verhalten, Leistung oder Sicherheitsmerkmale zu verändern. Cyberangriffe auf KI-Systeme können KI-spezifische Ressourcen wie Trainingsdatensätze (z. B. Datenvergiftung) oder trainierte Modelle (z. B. feindliche Angriffe) nutzen oder Schwachstellen in den digitalen Ressourcen des KI-Systems oder der zugrunde liegenden IKT-Infrastruktur ausnutzen. Um ein den Risiken angemessenes Cybersicherheitsniveau zu gewährleisten, sollten die Anbieter von Hochrisiko-KI-Systemen daher geeignete Maßnahmen ergreifen, wobei gegebenenfalls auch die zugrunde liegende IKT-Infrastruktur zu berücksichtigen ist.

(51)

Die Cybersicherheit spielt eine entscheidende Rolle, wenn es darum geht sicherzustellen, dass KI-Systeme widerstandsfähig gegenüber Versuchen böswilliger Dritter sind, unter Ausnutzung der Schwachstellen der Systeme deren Verwendung, Verhalten, Leistung oder Sicherheitsmerkmale zu verändern. Cyberangriffe auf KI-Systeme können KI-spezifische Ressourcen wie Trainingsdatensätze (z. B. Datenvergiftung) oder trainierte Modelle (z. B. feindliche Angriffe oder Angriffe auf vertrauliche Daten ) nutzen oder Schwachstellen in den digitalen Ressourcen des KI-Systems oder der zugrunde liegenden IKT-Infrastruktur ausnutzen. Um ein den Risiken angemessenes Cybersicherheitsniveau zu gewährleisten, sollten die Anbieter von Hochrisiko-KI-Systemen sowie die notifizierten Stellen, zuständigen nationalen Behörden und Marktüberwachungsbehörden daher geeignete Maßnahmen ergreifen, wobei gegebenenfalls auch die zugrunde liegende IKT-Infrastruktur zu berücksichtigen ist. Bei Hochrisiko-KI sollten Sicherheitslösungen und Patches für die gesamte Lebensdauer des Produkts oder, falls keine Abhängigkeit von einem bestimmten Produkt besteht, für einen vom Hersteller anzugebenden Zeitraum bereitgestellt werden.

(53a)

Als Unterzeichner des Übereinkommens über die Rechte von Menschen mit Behinderungen der Vereinten Nationen (VN-BRK) sind die Union und alle Mitgliedstaaten rechtlich verpflichtet, Menschen mit Behinderungen vor Diskriminierung zu schützen und ihre Gleichstellung zu fördern, sicherzustellen, dass Menschen mit Behinderungen gleichberechtigt Zugang zu Informations- und Kommunikationstechnologien und -systemen haben, und die Achtung der Privatsphäre von Menschen mit Behinderungen sicherzustellen. Angesichts der zunehmenden Bedeutung und Nutzung von KI-Systemen sollte die strikte Anwendung der Grundsätze des universellen Designs auf alle neuen Technologien und Dienste einen vollständigen, gleichberechtigten und uneingeschränkten Zugang für alle Menschen sicherstellen, die potenziell von KI-Technologien betroffen sind oder diese nutzen, einschließlich Menschen mit Behinderungen, und zwar in einer Weise, die ihrer Würde und Vielfalt in vollem Umfang Rechnung trägt. Es ist daher von wesentlicher Bedeutung, dass die Anbieter die uneingeschränkte Einhaltung der Zugänglichkeitsanforderungen sicherstellen, einschließlich der in der Richtlinie (EU) 2016/2102 und Richtlinie (EU) 2019/882 festgelegten Anforderungen. Die Anbieter sollten die Einhaltung dieser Anforderungen durch Voreinstellungen sicherstellen. Die erforderlichen Maßnahmen sollten daher so weit wie möglich in die Konzeption von Hochrisiko-KI-Systemen integriert werden.

(54)

Der Anbieter sollte ein solides Qualitätsmanagementsystem einrichten, die Durchführung des vorgeschriebenen Konformitätsbewertungsverfahrens sicherstellen, die einschlägige Dokumentation erstellen und ein robustes System zur Beobachtung nach dem Inverkehrbringen einrichten. Behörden, die Hochrisiko-KI-Systeme für den Eigengebrauch in Betrieb nehmen, können unter Berücksichtigung der Besonderheiten des Bereichs sowie der Zuständigkeiten und der Organisation der betreffenden Behörde die Vorschriften für das Qualitätsmanagementsystem als Teil des auf nationaler oder regionaler Ebene eingesetzten Qualitätsmanagementsystems annehmen und umsetzen.

(54)

Der Anbieter sollte ein solides Qualitätsmanagementsystem einrichten, die Durchführung des vorgeschriebenen Konformitätsbewertungsverfahrens sicherstellen, die einschlägige Dokumentation erstellen und ein robustes System zur Beobachtung nach dem Inverkehrbringen einrichten. Für Anbieter, die bereits Qualitätsmanagementsysteme auf der Grundlage von Normen wie der Norm ISO 9001 oder anderen einschlägigen Normen eingerichtet haben, sollte nicht ein weiteres, doppeltes Qualitätsmanagementsystem eingerichtet werden, sondern eher eine Anpassung der bereits bestehenden Systeme an bestimmte Aspekte vorgenommen werden, die mit der Einhaltung der spezifischen Anforderungen dieser Verordnung zusammenhängen. Dies sollte sich — in diesem Zusammenhang — auch in künftigen Normungstätigkeiten der Kommission oder von ihr angenommenen Leitlinien niederschlagen. Behörden, die Hochrisiko-KI-Systeme für den Eigengebrauch in Betrieb nehmen, können unter Berücksichtigung der Besonderheiten des Bereichs sowie der Zuständigkeiten und der Organisation der betreffenden Behörde die Vorschriften für das Qualitätsmanagementsystem als Teil des auf nationaler oder regionaler Ebene eingesetzten Qualitätsmanagementsystems annehmen und umsetzen.

(56)

Um die Durchsetzung dieser Verordnung zu ermöglichen und gleiche Wettbewerbsbedingungen für die Akteure zu schaffen, muss unter Berücksichtigung der verschiedenen Formen der Bereitstellung digitaler Produkte sichergestellt sein, dass unter allen Umständen eine in der Union ansässige oder niedergelassene Person den Behörden alle erforderlichen Informationen über die Konformität eines KI-Systems zur Verfügung stellen kann. Daher benennen Anbieter, die außerhalb der Union niedergelassen sind, vor der Bereitstellung ihrer KI-Systeme in der Union schriftlich einen in der Union niedergelassenen Bevollmächtigten für den Fall, dass kein Einführer ermittelt werden kann .

(56)

Um die Durchsetzung dieser Verordnung zu ermöglichen und gleiche Wettbewerbsbedingungen für die Akteure zu schaffen, muss unter Berücksichtigung der verschiedenen Formen der Bereitstellung digitaler Produkte sichergestellt sein, dass unter allen Umständen eine in der Union ansässige oder niedergelassene Person den Behörden alle erforderlichen Informationen über die Konformität eines KI-Systems zur Verfügung stellen kann. Daher benennen Anbieter, die außerhalb der Union niedergelassen sind, vor der Bereitstellung ihrer KI-Systeme in der Union schriftlich einen in der Union niedergelassenen Bevollmächtigten.

(58)

Angesichts des Charakters von KI-Systemen und der Risiken für die Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist es angebracht, besondere Zuständigkeiten für die Nutzer festzulegen, auch im Hinblick darauf, dass eine angemessene Überwachung der Leistung eines KI-Systems unter realen Bedingungen sichergestellt werden muss. Die Nutzer sollten insbesondere Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung verwenden, und es sollten bestimmte andere Pflichten in Bezug auf die Überwachung der Funktionsweise der KI-Systeme und gegebenenfalls auch Aufzeichnungspflichten festgelegt werden.

(58)

Angesichts des Charakters von KI-Systemen und der Risiken für die Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist es angebracht, besondere Zuständigkeiten für die Betreiber festzulegen, auch im Hinblick darauf, dass eine angemessene Überwachung der Leistung eines KI-Systems unter realen Bedingungen sichergestellt werden muss. Die Betreiber sollten insbesondere Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung verwenden, und es sollten bestimmte andere Pflichten in Bezug auf die Überwachung der Funktionsweise der KI-Systeme und gegebenenfalls auch Aufzeichnungspflichten festgelegt werden.

(58a)

Während Risiken im Zusammenhang mit KI-Systemen einerseits aus der Art und Weise entstehen können, in der solche Systeme konzipiert sind, können sie sich andererseits auch aus der Art und Weise ergeben, in der diese Systeme verwendet werden. Betreiber von Hochrisiko-KI-Systemen spielen daher eine entscheidende Rolle bei der Gewährleistung des Schutzes der Grundrechte in Ergänzung der Pflichten der Anbieter bei der Entwicklung der KI-Systeme. Betreiber können am besten verstehen, wie das Hochrisiko-KI-System konkret eingesetzt wird, weshalb sie dank einer genaueren Kenntnis des Verwendungskontextes sowie der wahrscheinlich betroffenen Personen oder Personengruppen, einschließlich marginalisierter und schutzbedürftiger Gruppen, erhebliche potenzielle Risiken erkennen können, die in der Entwicklungsphase nicht vorausgesehen wurden. In diesem spezifischen Nutzungskontext sollten die Betreiber geeignete Verwaltungsstrukturen ermitteln, wie Regelungen für menschliche Aufsicht, Verfahren für die Bearbeitung von Beschwerden sowie Rechtsbehelfe, weil die Auswahl der Verwaltungsstrukturen für die Minderung der Risiken für Grundrechte in konkreten Anwendungsfällen von entscheidender Bedeutung sein kann. Um auf wirksame Weise sicherzustellen, dass die Grundrechte geschützt werden, sollten Betreiber von Hochrisiko-KI-Systemen daher vor der Inbetriebnahme dieser Systeme eine Folgenabschätzung im Hinblick auf die Grundrechte durchführen. Der Folgenabschätzung sollte ein detaillierter Plan beigefügt werden, in dem die Maßnahmen oder Instrumente beschrieben werden, die zur Minderung der festgestellten Risiken für die Grundrechte beitragen, spätestens ab dem Zeitpunkt der Einführung des Systems. Wenn ein solcher Plan nicht ermittelt werden kann, sollten die Betreiber davon absehen, das System einzuführen. Bei der Durchführung dieser Folgenabschätzung sollte der Betreiber die nationale Aufsichtsbehörde und — so weit wie möglich — die einschlägigen Interessenträger sowie die Vertreter von Personengruppen, die wahrscheinlich von dem KI-System betroffen sein werden, benachrichtigen, um die relevanten Informationen einzuholen, die erforderlich sind, die Folgenabschätzung durchzuführen und den Betreibern wird nahegelegt, die Zusammenfassung ihrer Folgenabschätzung in Bezug auf die Grundrechte auf ihrer Online-Website öffentlich zugänglich zu machen. Diese Verpflichtung sollte — angesichts fehlender Ressourcen — nicht für KMU gelten, die möglicherweise Schwierigkeiten haben, eine solche Konsultation durchzuführen. Dennoch sollten auch KMU es anstreben, solche Vertreter einzubeziehen, wenn sie ihre Folgenabschätzung in Bezug auf die Grundrechte durchführen. Darüber hinaus sollten Betreiber von Hochrisiko-KI-Systemen, die öffentliche Behörden oder Organe, Einrichtungen und sonstige Stellen der Union sowie Betreiber, die nach Verordnung (EU) 2022/1925 als Torwächter benannte Unternehmen sind, angesichts der potenziellen Auswirkungen und der Notwendigkeit demokratischer Aufsicht und Kontrolle verpflichtet werden, die Nutzung von Hochrisiko-KI-Systemen in einer öffentlichen Datenbank zu registrieren. Andere Betreiber können die Nutzung ihrer Hochrisiko-KI-Systeme freiwillig registrieren.

(59)

Es ist angemessen, davon auszugehen, dass der Nutzer des KI-Systems eine natürliche oder juristische Person oder eine Behörde, Einrichtung oder sonstige Stelle ist, die für den Betrieb eines KI-Systems verantwortlich ist, es sei denn, das KI-System wird im Rahmen einer persönlichen nicht beruflichen Tätigkeit verwendet.

(59)

Es ist angemessen, davon auszugehen, dass der Betreiber des KI-Systems eine natürliche oder juristische Person oder eine Behörde, Einrichtung oder sonstige Stelle ist, die für den Betrieb eines KI-Systems verantwortlich ist, es sei denn, das KI-System wird im Rahmen einer persönlichen nicht beruflichen Tätigkeit verwendet.

(60)

Angesichts der Komplexität der Wertschöpfungskette im Bereich der künstlichen Intelligenz sollten einschlägige Dritte , insbesondere diejenigen, die am Verkauf und der Bereitstellung von Software, Software-Tools und Komponenten, vortrainierten Modellen und Daten beteiligt sind, oder Netzdienstbetreiber gegebenenfalls mit Anbietern und Nutzern , denen die Einhaltung der Verpflichtungen aus dieser Verordnung ermöglicht werden soll, und mit den gemäß dieser Verordnung eingerichteten zuständigen Behörden zusammenarbeiten.

(60)

Innerhalb der KI-Wertschöpfungskette liefern häufig mehrere Unternehmen Tools und Dienstleistungen, aber auch Komponenten oder Prozesse, die dann vom Anbieter in das KI-System integriert werden, u. a. in Bezug auf die Datenerfassung und -vorverarbeitung, das Trainieren, Umtrainieren, Testen und Bewerten von Modellen, die Integration in Software oder andere Aspekte der Modellentwicklung. Die beteiligten Unternehmen können ihr Angebot direkt oder indirekt über Schnittstellen wie Anwendungsprogrammierschnittstellen (API) kommerziell zur Verfügung stellen und unter freien und quelloffenen Lizenzen vertreiben, aber auch zunehmend über KI-Arbeitskräfteplattformen, den Weiterverkauf von trainierten Parametern, DIY-Kits zum Bau von Modellen oder über das Angebot eines kostenpflichtigen Zugangs zu einer Modellservicearchitektur zur Entwicklung und zum Trainieren von Modellen. Angesichts dieser Komplexität der KI-Wertschöpfungskette sollten alle einschlägigen Dritten , insbesondere diejenigen, die an der Entwicklung, am Verkauf und an der kommerziellen Bereitstellung von Software-Tools, Komponenten, vortrainierten Modellen oder in das KI-System integrierten Daten beteiligt sind, oder Netzdienstbetreiber , ohne ihre eigenen Rechte an geistigem Eigentum oder Geschäftsgeheimnisse zu gefährden, die erforderlichen Informationen, Schulungen oder Fachkenntnisse zur Verfügung stellen und gegebenenfalls mit Anbietern, denen die Kontrolle über alle für die Einhaltung der Vorschriften relevanten Aspekte des KI-Systems, das unter diese Verordnung fällt, ermöglicht werden soll, zusammenarbeiten. Um eine kosteneffiziente Steuerung der KI-Wertschöpfungskette zu ermöglichen, muss der Grad der Kontrolle von jedem Dritten, der dem Anbieter ein Tool, eine Dienstleistung, eine Komponente oder ein Verfahren liefert, das später vom Anbieter in das KI-System integriert wird, ausdrücklich offengelegt werden.

(60a)

Befindet sich eine Partei in einer stärkeren Verhandlungsposition, so besteht die Gefahr, dass diese Partei diese Position zum Nachteil der anderen Vertragspartei ausnutzt, wenn sie über die Lieferung von Werkzeugen, Dienstleistungen, Komponenten oder Verfahren, die in einem Hochrisiko-KI-System verwendet oder integriert werden, oder über die Abhilfemaßnahmen im Falle der Verletzung oder der Beendigung damit verbundener Verpflichtungen verhandelt. Solche vertraglichen Ungleichgewichte schaden insbesondere Kleinstunternehmen sowie kleinen und mittleren Unternehmen sowie Start-ups, es sei denn, sie befinden sich im Besitz eines Unternehmens oder werden von einem Unternehmen unter Vertrag genommen, das den Unterauftragnehmer angemessen entschädigen kann, da sie nicht in der Lage sind, die Bedingungen der vertraglichen Vereinbarung auszuhandeln, und unter Umständen keine andere Wahl haben, als Vertragsbedingungen ohne Verhandlungsspielraum zu akzeptieren. Daher sollten missbräuchliche Vertragsklauseln, die die Lieferung von Werkzeugen, Dienstleistungen, Bauteilen oder Verfahren, die in einem Hochrisiko-KI-System verwendet oder integriert werden, oder die Abhilfemaßnahmen bei Verletzung oder Beendigung damit verbundener Verpflichtungen regeln, für solche Kleinstunternehmen, kleinen oder mittleren Unternehmen und Start-ups nicht verbindlich sein, wenn sie ihnen einseitig auferlegt wurden.

(60b)

Bei den Vorschriften über Vertragsbedingungen sollte der Grundsatz der Vertragsfreiheit als wesentliches Konzept in den Geschäftsbeziehungen zwischen Unternehmen berücksichtigt werden. Daher sollten nicht alle Vertragsklauseln einer Missbräuchlichkeitsprüfung unterzogen werden, sondern nur solche Klauseln, die einseitig Kleinst-, kleinen und mittleren Unternehmen und Start-ups auferlegt werden. Dies betrifft Situationen ohne Verhandlungsspielraum, in denen eine Partei eine bestimmte Vertragsklausel einbringt und das Kleinstunternehmen bzw. das kleine oder mittlere Unternehmen und das Start-up den Inhalt dieser Klausel trotz eines Verhandlungsversuchs nicht beeinflussen kann. Eine Vertragsklausel, die lediglich von einer Partei eingebracht und von dem Kleinstunternehmen bzw. dem kleinen oder mittleren Unternehmen oder einem Start-up akzeptiert wird, oder eine Klausel, die zwischen den Vertragsparteien ausgehandelt und anschließend in geänderter Weise vereinbart wird, sollte nicht als einseitig auferlegt gelten.

(60c)

Darüber hinaus sollten die Vorschriften über missbräuchliche Vertragsklauseln nur für diejenigen Vertragsbestandteile gelten, die sich auf die Lieferung von Werkzeugen, Dienstleistungen, Komponenten oder Verfahren beziehen, die in einem Hochrisiko-KI-System verwendet werden oder darin integriert sind, oder auf die Abhilfemaßnahmen bei Verletzung oder Beendigung der damit verbundenen Verpflichtungen. Andere Teile desselben Vertrags, die nicht mit diesen Bestandteilen zusammenhängen, sollten nicht der in dieser Verordnung festgelegten Missbräuchlichkeitsprüfung unterliegen.

(60d)

Kriterien für die Ermittlung missbräuchlicher Vertragsklauseln sollten nur auf überzogene Vertragsbedingungen angewandt werden, bei denen eine stärkere Verhandlungsposition missbraucht wird. Die überwiegende Mehrheit der Vertragsklauseln, die in wirtschaftlicher Hinsicht für eine Partei günstiger sind als für die andere, einschließlich derjenigen, die in Verträgen zwischen Unternehmen üblich sind, sind ein normaler Ausdruck des Grundsatzes der Vertragsfreiheit und gelten weiterhin. Ist eine Vertragsbedingung nicht in der Liste der Klauseln aufgeführt, die stets als missbräuchlich gelten, findet die allgemeine Missbräuchlichkeitsbestimmung Anwendung. In diesem Zusammenhang sollten die als missbräuchlich aufgeführten Klauseln als Maßstab für die Auslegung der allgemeinen Missbräuchlichkeitsbestimmung dienen.

(60e)

Basismodelle sind eine neuere Entwicklung, bei der KI-Modelle auf der Grundlage von Algorithmen entwickelt werden, die im Hinblick auf Allgemeinheit und Vielseitigkeit der Ergebnisse optimiert wurden. Diese Modelle werden häufig auf der Grundlage eines breiten Spektrums von Datenquellen und großer Datenmengen trainiert, um eine Fülle nachgelagerter Aufgaben zu erfüllen, darunter auch solche, für die sie nicht speziell entwickelt und trainiert wurden. Das Basismodell kann unimodal oder multimodal sein und durch verschiedene Methoden wie überwachtes Lernen oder bestärkendes Lernen trainiert werden. KI-Systeme mit spezifischer Zweckbestimmung oder KI-Systeme mit allgemeinem Verwendungszweck können eine Implementierung eines Basismodells sein, was bedeutet, dass jedes Basismodell in unzähligen nachgelagerten KI-Systemen oder KI-Systemen mit allgemeinem Verwendungszweck wiederverwendet werden kann. Diese Modelle sind für viele nachgelagerte Anwendungen und Systeme von wachsender Bedeutung.

(60f)

Im Falle von Basismodellen, die als Dienstleistung, z. B. über den API-Zugang, bereitgestellt werden, sollte sich die Zusammenarbeit mit nachgeschalteten Anbietern über den gesamten Zeitraum erstrecken, in dem dieser Dienst bereitgestellt und unterstützt wird, um eine angemessene Risikominderung zu ermöglichen, es sei denn, der Anbieter des Basismodells überträgt das Trainingsmodell sowie umfassende und angemessene Informationen über die Datensätze und den Entwicklungsprozess des Systems oder schränkt den Dienst, z. B. den API-Zugang, so ein, dass der nachgeschaltete Anbieter in der Lage ist, dieser Verordnung ohne weitere Unterstützung durch den ursprünglichen Anbieter des Basismodells vollständig zu entsprechen.

(60g)

Angesichts der Art und Komplexität der Wertschöpfungskette für KI-Systeme ist es von entscheidender Bedeutung, die Rolle der Akteure zu klären, die zur Entwicklung von KI-Systemen beitragen. Es besteht erhebliche Unsicherheit darüber, wie sich Basismodelle entwickeln werden, sowohl in Bezug auf die Typologie der Modelle als auch in Bezug auf die Selbstverwaltung. Daher muss die rechtliche Situation der Anbieter von Basismodellen unbedingt geklärt werden. Angesichts ihrer Komplexität und unerwarteten Auswirkungen, der mangelnden Kontrolle des nachgelagerten KI-Anbieters über die Entwicklung des Basismodells und des sich daraus ergebenden Machtungleichgewichts und um eine gerechte Aufteilung der Verantwortung entlang der KI-Wertschöpfungskette zu gewährleisten, sollten solche Modelle im Rahmen dieser Verordnung angemessenen und spezifischeren Anforderungen und Verpflichtungen unterliegen. Insbesondere sollten Basismodelle mögliche Risiken und Schäden durch geeignete Gestaltung, Erprobung und Analyse bewerten und mindern, Maßnahmen zur Datenverwaltung, einschließlich der Bewertung von Verzerrungen, umsetzen und technische Gestaltungsanforderungen erfüllen, um ein angemessenes Niveau an Leistung, Vorhersagbarkeit, Interpretierbarkeit, Korrigierbarkeit, Sicherheit und Cybersicherheit zu gewährleisten, und sie sollten Umweltstandards einhalten. Diese Verpflichtungen sollten durch Normen ergänzt werden. Außerdem sollten für Basismodelle Informationspflichten gelten und alle erforderlichen technischen Unterlagen für potenzielle nachgeschaltete Anbieter erstellt werden müssen, damit diese ihren Verpflichtungen aus dieser Verordnung nachkommen können. Generative Basismodelle sollten Transparenz über die Tatsache sicherstellen, dass die Inhalte von einem KI-System und nicht von Menschen erzeugt werden. Diese spezifischen Anforderungen und Verpflichtungen laufen nicht darauf hinaus, Basismodelle als Hochrisiko-KI-Systeme zu betrachten, sondern sollen sicherstellen, dass die Ziele dieser Verordnung, nämlich ein hohes Maß an Schutz der Grundrechte, Gesundheit und Sicherheit, der Umwelt, der Demokratie und der Rechtsstaatlichkeit, erreicht werden. Vortrainierte Modelle, die für eine enger gefasste, weniger allgemeine und begrenztere Reihe von Anwendungen entwickelt wurden und nicht an ein breites Spektrum von Aufgaben angepasst werden können, wie z. B. einfache Mehrzweck-KI-Systeme, sollten für die Zwecke dieser Verordnung nicht als Basismodelle betrachtet werden, da sie besser interpretierbar sind und ihr Verhalten weniger unvorhersehbar ist.

(60h)

Angesichts der Art der Basismodelle fehlt es an Fachwissen im Bereich der Konformitätsbewertung, und die Methoden zur Prüfung durch Dritte befinden sich noch in der Entwicklung. Die Branche selbst entwickelt daher neue Methoden zur Bewertung von Basismodellen, die zum Teil das Ziel der Prüfung erfüllen (z. B. Modellevaluierung, Red-Teaming oder Verifizierungs- und Validierungstechniken des maschinellen Lernens). Diese internen Bewertungen für Basismodelle sollten breit anwendbar sein (z. B. unabhängig von Vertriebskanälen, Modalität und Entwicklungsmethoden), um die für solche Modelle spezifischen Risiken unter Berücksichtigung der modernsten Praktiken der Branche anzugehen, und sich auf die Entwicklung eines ausreichenden technischen Verständnisses und einer ausreichenden Kontrolle über das Modell, das Management vernünftigerweise vorhersehbarer Risiken und eine umfassende Analyse und Prüfung des Modells durch geeignete Maßnahmen, z. B. durch die Einbeziehung unabhängiger Gutachter, konzentrieren. Da Basismodelle eine neue und schnell voranschreitende Entwicklung im Bereich der künstlichen Intelligenz sind, ist es angebracht, dass die Kommission und das Amt für künstliche Intelligenz den Rechts- und Verwaltungsrahmen für solche Modelle und insbesondere für generative KI-Systeme, die auf solchen Modellen beruhen, überwachen und regelmäßig bewerten, da diese erhebliche Fragen im Zusammenhang mit der Erzeugung von Inhalten, die gegen das Unionsrecht und die Vorschriften zum Urheberrecht verstoßen, und mit möglichem Missbrauch aufwerfen. Es sollte klargestellt werden, dass diese Verordnung das Unionsrecht zum Urheberrecht und zu verwandten Schutzrechten, einschließlich der Richtlinien 2001/29/EG, 2004/48/EG und (EU) 2019/790 des Europäischen Parlaments und des Rates, unberührt lassen sollte.

(61)

Die Normung sollte eine Schlüsselrolle dabei spielen, den Anbietern technische Lösungen zur Verfügung zu stellen, um die Einhaltung dieser Verordnung zu gewährleisten. Die Einhaltung harmonisierter Normen gemäß der Verordnung (EU) Nr. 1025/2012 des Europäischen Parlaments und des Rates (54) sollte den Anbietern den Nachweis der Konformität mit den Anforderungen dieser Verordnung ermöglichen. Die Kommission könnte jedoch gemeinsame technische Spezifikationen in Bereichen annehmen, in denen es keine harmonisierten Normen gibt oder diese unzureichend sind.

(61)

Die Normung sollte eine Schlüsselrolle dabei spielen, den Anbietern technische Lösungen zur Verfügung zu stellen, um die Einhaltung dieser Verordnung zu gewährleisten. Die Einhaltung harmonisierter Normen gemäß der Verordnung (EU) Nr. 1025/2012 des Europäischen Parlaments und des Rates (54) sollte den Anbietern den Nachweis der Konformität mit den Anforderungen dieser Verordnung ermöglichen. Um die Wirksamkeit von Normen als politisches Instrument für die Union sicherzustellen und angesichts der Bedeutung von Normen für die Sicherstellung der Konformität mit den Anforderungen dieser Verordnung und für die Wettbewerbsfähigkeit von Unternehmen, ist es notwendig, für eine ausgewogene Interessenvertretung zu sorgen, indem alle relevanten Interessengruppen in die Entwicklung von Normen einbezogen werden. Der Normungsprozess sollte in Bezug auf die an den Normungstätigkeiten beteiligten juristischen und natürlichen Personen transparent sein.

(61a)

Um die Einhaltung der Vorschriften zu erleichtern, sollten die ersten Normungsaufträge von der Kommission spätestens zwei Monate nach Inkrafttreten dieser Verordnung erteilt werden. Dies sollte die Rechtssicherheit verbessern und dadurch Investitionen und Innovationen im Bereich der KI sowie die Wettbewerbsfähigkeit und das Wachstum des Unionsmarktes fördern und gleichzeitig die Multi-Stakeholder-Governance voranbringen, bei der alle relevanten europäischen Interessenträger wie das Amt für KI, die europäischen Normungsorganisationen und die im Rahmen des einschlägigen sektoralen Unionsrechts eingerichteten Gremien oder Sachverständigengruppen sowie die Industrie, KMU, Start-ups, die Zivilgesellschaft, Forscher und Sozialpartner vertreten sind, und sollte letztlich die globale Zusammenarbeit bei der Normung im Bereich der KI in einer Weise erleichtern, die mit den Werten der Union vereinbar ist. Bei der Ausarbeitung des Normungsauftrags sollte die Kommission das Amt für KI und das KI-Beratungsforum konsultieren, um einschlägiges Fachwissen einzuholen.

(61b)

Wenn KI-Systeme am Arbeitsplatz zum Einsatz kommen sollen, dürfen die harmonisierten Normen nur technische Spezifikationen und Verfahren betreffen.

(61c)

Die Kommission sollte in der Lage sein, unter bestimmten Bedingungen gemeinsame Spezifikationen anzunehmen, wenn es keine einschlägige harmonisierte Norm gibt oder um spezifische Grundrechtsbelange zu berücksichtigen. Während des gesamten Entwurfsprozesses sollte die Kommission regelmäßig das Amt für KI und sein Beratungsforum, die europäischen Normungsorganisationen und die im Rahmen des einschlägigen sektoralen Unionsrechts eingerichteten Gremien oder Sachverständigengruppen sowie die einschlägigen Interessenträger wie Industrie, KMU, Start-ups, Zivilgesellschaft, Forscher und Sozialpartner konsultieren.

(61d)

Bei der Annahme gemeinsamer Spezifikationen sollte die Kommission eine regulatorische Abstimmung der KI mit gleichgesinnten globalen Partnern anstreben. Dies ist der Schlüssel zur Förderung von Innovation und grenzüberschreitenden Partnerschaften im Bereich der KI, da die Koordinierung mit gleichgesinnten Partnern in internationalen Normungsgremien von großer Bedeutung ist.

(62)

Um ein hohes Maß an Vertrauenswürdigkeit von Hochrisiko-KI-Systemen zu gewährleisten, sollten diese Systeme einer Konformitätsbewertung unterzogen werden, bevor sie in Verkehr gebracht oder in Betrieb genommen werden.

(62)

Um ein hohes Maß an Vertrauenswürdigkeit von Hochrisiko-KI-Systemen zu gewährleisten, sollten diese Systeme einer Konformitätsbewertung unterzogen werden, bevor sie in Verkehr gebracht oder in Betrieb genommen werden. Um das Vertrauen in die Wertschöpfungskette zu stärken und den Unternehmen Gewissheit über die Leistungsfähigkeit ihrer Systeme zu geben, sollten Dritte, die KI-Komponenten anbieten, die Möglichkeit haben, freiwillig eine Konformitätsbewertung durch Dritte zu beantragen.

(64)

Angesichts der umfassenderen Erfahrung professioneller dem Inverkehrbringen vorgeschalteter Zertifizierer im Bereich der Produktsicherheit und der unterschiedlichen Art der damit verbundenen Risiken empfiehlt es sich, zumindest während der anfänglichen Anwendung dieser Verordnung für Hochrisiko-KI-Systeme, die nicht mit Produkten in Verbindung stehen, den Anwendungsbereich der Konformitätsbewertung durch Dritte einzuschränken. Daher sollte die Konformitätsbewertung solcher Systeme in der Regel vom Anbieter in eigener Verantwortung durchgeführt werden, mit Ausnahme von KI-Systemen, die zur biometrischen Fernidentifizierung von Personen verwendet werden sollen, bei denen die Beteiligung einer notifizierten Stelle an der Konformitätsbewertung vorgesehen werden sollte, soweit diese Systeme nicht ganz verboten sind.

(64)

Angesichts der Komplexität von Hochrisiko-KI-Systemen und der damit verbundenen Risiken ist es unerlässlich, eine angemessenere Kapazität für die Anwendung der Konformitätsbewertung durch Dritte für Hochrisiko-KI-Systeme zu entwickeln. In Anbetracht der derzeitigen Erfahrung professioneller dem Inverkehrbringen vorgeschalteter Zertifizierer im Bereich der Produktsicherheit und der unterschiedlichen Art der damit verbundenen Risiken empfiehlt es sich jedoch , zumindest während der anfänglichen Anwendung dieser Verordnung für Hochrisiko-KI-Systeme, die nicht mit Produkten in Verbindung stehen, den Anwendungsbereich der Konformitätsbewertung durch Dritte einzuschränken. Daher sollte die Konformitätsbewertung solcher Systeme in der Regel vom Anbieter in eigener Verantwortung durchgeführt werden, mit Ausnahme von KI-Systemen, die zur biometrischen Fernidentifizierung von Personen verwendet werden sollen, oder von KI-Systemen, die dazu bestimmt sind, auf der Grundlage biometrischer oder biometriegestützter Daten Rückschlüsse auf persönliche Merkmale natürlicher Personen zu ziehen, einschließlich Systemen zur Erkennung von Emotionen, bei denen die Beteiligung einer notifizierten Stelle an der Konformitätsbewertung vorgesehen werden sollte, soweit diese Systeme nicht ganz verboten sind.

(65)

Damit KI-Systeme, die zur biometrischen Fernidentifizierung von Personen verwendet werden sollen, einer Konformitätsbewertung durch Dritte unterzogen werden können, sollten die notifizierten Stellen gemäß dieser Verordnung von den zuständigen nationalen Behörden benannt werden, sofern sie eine Reihe von Anforderungen erfüllen, insbesondere in Bezug auf Unabhängigkeit, Kompetenz und Nichtvorliegen von Interessenkonflikten.

(65)

Damit KI-Systeme, falls vorgeschrieben, Konformitätsbewertungen durch Dritte unterzogen werden können, sollten die notifizierten Stellen gemäß dieser Verordnung von den zuständigen nationalen Behörden benannt werden, sofern sie eine Reihe von Anforderungen erfüllen, insbesondere in Bezug auf Unabhängigkeit, Kompetenz, Nichtvorliegen von Interessenkonflikten und Mindestanforderungen an die Cybersicherheit . Die Mitgliedstaaten sollten die Benennung einer ausreichenden Zahl von Konformitätsbewertungsstellen fördern, um eine zeitnahe Zertifizierung zu ermöglichen. Die Verfahren zur Bewertung, Benennung, Notifizierung und Überwachung von Konformitätsbewertungsstellen sollten in den Mitgliedstaaten so einheitlich wie möglich angewandt werden, um administrative Grenzhindernisse zu beseitigen und dafür zu sorgen, dass das Potenzial des Binnenmarktes ausgeschöpft wird.

(65a)

Im Einklang mit den Verpflichtungen der EU im Rahmen des Übereinkommens der Welthandelsorganisation über technische Handelshemmnisse ist es angemessen, die Akzeptanz von Prüfergebnissen zu erhöhen, die von den zuständigen Konformitätsbewertungsstellen unabhängig von dem Gebiet, in dem diese niedergelassen sind, erstellt werden, wenn dies für den Nachweis der Konformität mit den geltenden Anforderungen der Verordnung erforderlich ist. Die Kommission sollte aktiv mögliche internationale Instrumente zu diesem Zweck prüfen und insbesondere den Abschluss von Abkommen über die gegenseitige Anerkennung mit Ländern anstreben, die sich auf einem vergleichbaren technischen Entwicklungsstand befinden und kompatible Konzepte für die KI und die Konformitätsbewertung haben.

(66)

Im Einklang mit dem allgemein anerkannten Begriff der wesentlichen Änderung von Produkten, für die Harmonisierungsrechtsvorschriften der Union gelten, ist es angebracht, dass ein KI-System einer neuen Konformitätsbewertung unterzogen wird, wenn eine Änderung eintritt, die die Einhaltung dieser Verordnung durch das System beeinträchtigen könnte, oder wenn sich die Zweckbestimmung des Systems ändert. Darüber hinaus müssen in Bezug auf KI-Systeme, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen (d. h. sie passen automatisch an, wie die Funktionen ausgeführt werden), Vorschriften festgelegt werden, nach denen Änderungen des Algorithmus und seiner Leistung, die vom Anbieter vorab festgelegt und zum Zeitpunkt der Konformitätsbewertung bewertet wurden, keine wesentliche Änderung darstellen sollten.

(66)

Im Einklang mit dem allgemein anerkannten Begriff der wesentlichen Änderung von Produkten, für die Harmonisierungsrechtsvorschriften der Union gelten, ist es angebracht, dass ein Hochrisiko-KI-System einer neuen Konformitätsbewertung unterzogen wird, wenn eine ungeplante Änderung eintritt, die über kontrollierte oder vom Anbieter vorher festgelegte Änderungen, einschließlich kontinuierlicher Lernprozesse, hinausgeht und ein neues inakzeptables Risiko schaffen und die Einhaltung dieser Verordnung durch das Hochrisiko-KI-System erheblich beeinträchtigen könnte, oder wenn sich die Zweckbestimmung des Systems ändert. Darüber hinaus müssen in Bezug auf KI-Systeme, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen (d. h. sie passen automatisch an, wie die Funktionen ausgeführt werden), Vorschriften festgelegt werden, nach denen Änderungen des Algorithmus und seiner Leistung, die vom Anbieter vorab festgelegt und zum Zeitpunkt der Konformitätsbewertung bewertet wurden, keine wesentliche Änderung darstellen sollten. Aus allgemeinen Sicherheitsgründen und zum Schutz vor aufkommenden Bedrohungen infolge von Systemmanipulationen sollte das Gleiche für Aktualisierungen des KI-Systems gelten, sofern sie keine wesentliche Änderung darstellen.

(67)

Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Die Mitgliedstaaten sollten keine ungerechtfertigten Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind.

(67)

Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Bei physischen Hochrisiko-KI-Systemen sollte eine physische CE-Kennzeichnung angebracht werden, die durch eine digitale CE-Kennzeichnung ergänzt werden kann. Bei rein digitalen Hochrisiko-KI-Systemen sollte eine digitale CE-Kennzeichnung verwendet werden. Die Mitgliedstaaten sollten keine ungerechtfertigten Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind.

(68)

Unter bestimmten Bedingungen kann die rasche Verfügbarkeit innovativer Technik für die Gesundheit und Sicherheit von Menschen und für die Gesellschaft insgesamt von entscheidender Bedeutung sein. Es ist daher angebracht, dass die Mitgliedstaaten aus außergewöhnlichen Gründen der öffentlichen Sicherheit, des Schutzes des Lebens und der Gesundheit natürlicher Personen und des Schutzes des gewerblichen und kommerziellen Eigentums das Inverkehrbringen oder die Inbetriebnahme von KI-Systemen, die keiner Konformitätsbewertung unterzogen wurden, genehmigen könnten.

(68)

Unter bestimmten Bedingungen kann die rasche Verfügbarkeit innovativer Technik für die Gesundheit und Sicherheit von Menschen , die Umwelt und den Klimawandel und für die Gesellschaft insgesamt von entscheidender Bedeutung sein. Es ist daher angebracht, dass die Mitgliedstaaten aus außergewöhnlichen Gründen des Schutzes des Lebens und der Gesundheit natürlicher Personen , des Umweltschutzes und des Schutzes der kritischen Infrastruktur das Inverkehrbringen oder die Inbetriebnahme von KI-Systemen, die keiner Konformitätsbewertung unterzogen wurden, genehmigen könnten.

(69)

Um die Arbeit der Kommission und der Mitgliedstaaten im Bereich der künstlichen Intelligenz zu erleichtern und die Transparenz gegenüber der Öffentlichkeit zu erhöhen, sollten Anbieter von Hochrisiko-KI-Systemen, die nicht mit Produkten in Verbindung stehen, die unter die einschlägigen Harmonisierungsrechtsvorschriften der Union fallen, dazu verpflichtet werden, ihr Hochrisiko-KI-System in einer von der Kommission einzurichtenden und zu verwaltenden EU-Datenbank zu registrieren. Die Kommission sollte im Einklang mit der Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates (55) als für die Datenbank verantwortliche Stelle gelten. Um die volle Funktionsfähigkeit der Datenbank zu gewährleisten, sollte das Verfahren für die Einrichtung der Datenbank auch die Ausarbeitung von funktionalen Spezifikationen durch die Kommission und einen unabhängigen Prüfbericht umfassen.

(69)

Um die Arbeit der Kommission und der Mitgliedstaaten im Bereich der künstlichen Intelligenz zu erleichtern und die Transparenz gegenüber der Öffentlichkeit zu erhöhen, sollten Anbieter von Hochrisiko-KI-Systemen, die nicht mit Produkten in Verbindung stehen, die unter die einschlägigen Harmonisierungsrechtsvorschriften der Union fallen, dazu verpflichtet werden, ihr Hochrisiko-KI-System und ihre Basismodelle in einer von der Kommission einzurichtenden und zu verwaltenden EU-Datenbank zu registrieren. Diese Datenbank sollte frei und öffentlich zugänglich, leicht verständlich und maschinenlesbar sein. Die Datenbank sollte außerdem benutzerfreundlich und leicht navigierbar sein und zumindest Suchfunktionen enthalten, die es der Öffentlichkeit ermöglichen, die Datenbank nach bestimmten Hochrisikosystemen, Standorten, Risikokategorien gemäß Anhang IV und Schlüsselwörtern zu durchsuchen. Bereitsteller, die Behörden oder Organe, Einrichtungen, Ämter und Agenturen der Union sind, oder Bereitsteller, die in ihrem Namen handeln, sowie Bereitsteller, die Unternehmen sind, die gemäß der Verordnung (EU) 2022/1925 als Torwächter benannt wurden, sollten sich vor der ersten Inbetriebnahme oder Verwendung eines Hochrisiko-KI-Systems sowie nach jeder wesentlichen Änderung ebenfalls in der EU-Datenbank registrieren. Andere Betreiber sollten berechtigt sein, dies freiwillig zu tun. Jede wesentliche Änderung von Hochrisiko-KI-Systemen muss ebenfalls in der EU-Datenbank registriert werden. Die Kommission sollte im Einklang mit der Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates (55) als für die Datenbank verantwortliche Stelle gelten. Um die volle Funktionsfähigkeit der Datenbank zu gewährleisten, sollte das Verfahren für die Einrichtung der Datenbank auch die Ausarbeitung von funktionalen Spezifikationen durch die Kommission und einen unabhängigen Prüfbericht umfassen. Die Kommission sollte bei der Wahrnehmung ihrer Aufgaben als Verantwortliche für die EU-Datenbank die Risiken im Zusammenhang mit Cybersicherheit und Gefährdungen berücksichtigen. Um für ein Höchstmaß an Verfügbarkeit und Nutzung der Datenbank durch die Öffentlichkeit zu sorgen, sollte die Datenbank, einschließlich der über sie zur Verfügung gestellten Informationen, den Anforderungen der Richtlinie (EU) 2019/882 entsprechen.

(71)

Künstliche Intelligenz bezeichnet eine Reihe sich rasch entwickelnder Technologien, die neuartige Formen der Regulierungsaufsicht und einen sicheren Raum für die Erprobung erfordern, wobei gleichzeitig eine verantwortungsvolle Innovation und die Integration geeigneter Schutzvorkehrungen und Risikominderungsmaßnahmen gewährleistet werden müssen. Um einen innovationsfreundlichen , zukunftssicheren und gegenüber Störungen widerstandsfähigen Rechtsrahmen sicherzustellen, sollten die zuständigen nationalen Behörden eines oder mehrerer Mitgliedstaaten angehalten werden, Reallabore für künstliche Intelligenz einzurichten, um die Entwicklung und Erprobung innovativer KI-Systeme vor deren Inverkehrbringen oder anderweitiger Inbetriebnahme unter strenger Regulierungsaufsicht zu erleichtern.

(71)

Künstliche Intelligenz bezeichnet eine Reihe sich rasch entwickelnder Technologien, die eine Regulierungsaufsicht und einen sicheren und überwachten Raum für die Erprobung erfordern, wobei gleichzeitig eine verantwortungsvolle Innovation und die Integration geeigneter Schutzvorkehrungen und Risikominderungsmaßnahmen gewährleistet werden müssen. Um einen Innovationen fördernden , zukunftssicheren und gegenüber Störungen widerstandsfähigen Rechtsrahmen sicherzustellen, sollten die Mitgliedstaaten mindestens ein Reallabor für künstliche Intelligenz einrichten, um die Entwicklung und Erprobung innovativer KI-Systeme vor deren Inverkehrbringen oder anderweitiger Inbetriebnahme unter strenger Regulierungsaufsicht zu erleichtern. Es ist in der Tat wünschenswert, dass die Einrichtung von Reallaboren, deren Einrichtung derzeit im Ermessen der Mitgliedstaaten liegt, in einem nächsten Schritt anhand festgelegter Kriterien verbindlich gemacht wird. Dieses obligatorische Reallabor könnte auch gemeinsam mit einem oder mehreren anderen Mitgliedstaaten eingerichtet werden, sofern dieses Reallabor die jeweilige nationale Ebene der beteiligten Mitgliedstaaten abdecken würde. Zusätzliche Reallabore können außerdem auf verschiedenen Ebenen, auch zwischen Mitgliedstaaten, eingerichtet werden, um die grenzüberschreitende Zusammenarbeit und Synergien zu erleichtern. Mit Ausnahme des obligatorischen Reallabors auf nationaler Ebene sollten die Mitgliedstaaten ferner die Möglichkeit haben, virtuelle oder hybride Reallabore einzurichten. Alle Reallabore sollten sowohl physische als auch virtuelle Produkte abdecken können. Die einrichtenden Behörden sollten auch dafür Sorge tragen, dass die Reallabore über angemessene finanzielle und personelle Ressourcen für ihren Betrieb verfügen.

(72)

Die Ziele der Reallabore sollten darin bestehen, Innovationen im Bereich KI zu fördern, indem eine kontrollierte Versuchs- und Erprobungsumgebung für die Entwicklungsphase und die dem Inverkehrbringen vorgelagerte Phase geschaffen wird, um sicherzustellen, dass die innovativen KI-Systeme mit dieser Verordnung und anderen einschlägigen Rechtsvorschriften der Union und der Mitgliedstaaten in Einklang stehen. Darüber hinaus sollen sie die Rechtssicherheit für Innovatoren sowie die Aufsicht und das Verständnis der zuständigen Behörden in Bezug auf die Möglichkeiten, neu auftretenden Risiken und der Auswirkungen der KI-Nutzung verbessern und den Marktzugang beschleunigen, unter anderem indem Hindernisse für kleine und mittlere Unternehmen (KMU) und Start-up-Unternehmen abgebaut werden . Im Interesse einer unionsweit einheitlichen Umsetzung und der Erzielung von Größenvorteilen sollten gemeinsame Vorschriften für die Umsetzung von Reallaboren und ein Rahmen für die Zusammenarbeit zwischen den an der Beaufsichtigung der Reallabore beteiligten Behörden festgelegt werden. Die vorliegende Verordnung sollte im Einklang mit Artikel 6 Absatz 4 der Verordnung (EU) 2016/679 und Artikel 6 der Verordnung (EU) 2018/1725 sowie unbeschadet des Artikels 4 Absatz 2 der Richtlinie (EU) 2016/680 die Rechtsgrundlage für die Verwendung personenbezogener Daten, die für andere Zwecke erhoben werden, zur Entwicklung bestimmter KI-Systeme im öffentlichen Interesse innerhalb der KI-Reallabore bilden. Die am Reallabor Beteiligten sollten angemessene Schutzvorkehrungen treffen und mit den zuständigen Behörden zusammenarbeiten, unter anderem indem sie deren Anweisungen befolgen und zügig und nach Treu und Glauben handeln, um etwaige hohe Risiken für die Sicherheit und die Grundrechte, die bei der Entwicklung und Erprobung im Reallabor auftreten können, zu mindern . Das Verhalten der am Reallabor Beteiligten sollte berücksichtigt werden, wenn die zuständigen Behörden entscheiden, ob sie eine Geldbuße gemäß Artikel 83 Absatz 2 der Verordnung (EU) 2016/679 und Artikel 57 der Richtlinie (EU) 2016/680 verhängen.

(72)

Die Ziele der Reallabore sollten für die einrichtenden Behörden darin bestehen, ihr Verständnis der technischen Entwicklungen zu verbessern, die Überwachungsmethoden zu verbessern und den Entwicklern und Anbietern von KI-Systemen Leitlinien an die Hand zu geben, um die Einhaltung der Vorschriften dieser Verordnung oder gegebenenfalls anderer geltender Rechtsvorschriften der Union und der Mitgliedstaaten sowie der Charta der Grundrechte zu erreichen, und für die potenziellen Anbieter darin bestehen, die Erprobung und Entwicklung innovativer Lösungen im Zusammenhang mit KI-Systemen in der dem Inverkehrbringen vorgelagerten Phase zu ermöglichen und zu erleichtern, um die Rechtssicherheit zu verbessern, mehr regulatorisches Lernen durch die einrichtenden Behörden in einem kontrollierten Umfeld zu ermöglichen, um bessere Leitlinien zu entwickeln und mögliche künftige Verbesserungen des Rechtsrahmens im Rahmen des ordentlichen Gesetzgebungsverfahrens zu ermitteln. Alle erheblichen Risiken, die bei der Entwicklung und Erprobung solcher KI-Systeme festgestellt werden, sollten die unverzügliche Risikominderung und, falls diese fehlschlägt, die Aussetzung des Entwicklungs- und Erprobungsprozesses nach sich ziehen, bis diese Risikominderung erfolgt ist . Im Interesse einer unionsweit einheitlichen Umsetzung und der Erzielung von Größenvorteilen sollten gemeinsame Vorschriften für die Umsetzung von Reallaboren und ein Rahmen für die Zusammenarbeit zwischen den an der Beaufsichtigung der Reallabore beteiligten Behörden festgelegt werden. Die Mitgliedstaaten sollten dafür Sorge tragen, dass Reallabore in der gesamten Union weithin verfügbar sind, wobei die Teilnahme freiwillig bleiben sollte. Insbesondere muss sichergestellt werden, dass KMU und Start-up-Unternehmen einen einfachen Zugang zu diesen Reallaboren erhalten und aktiv in die Entwicklung und Erprobung innovativer KI-Systeme einbezogen werden und sich daran beteiligen, damit sie mit ihrem Know-how und ihrer Erfahrung einen Beitrag leisten können .

(72a)

Die vorliegende Verordnung sollte nur unter bestimmten Voraussetzungen im Einklang mit Artikel 6 Absatz 4 der Verordnung (EU) 2016/679 und Artikel 6 der Verordnung (EU) 2018/1725 sowie unbeschadet des Artikels 4 Absatz 2 der Richtlinie (EU) 2016/680 die Rechtsgrundlage für die Verwendung personenbezogener Daten, die für andere Zwecke erhoben werden, zur Entwicklung bestimmter KI-Systeme im öffentlichen Interesse innerhalb der KI-Reallabore bilden. Die potenziellen Anbieter des Reallabors sollten angemessene Schutzvorkehrungen treffen und mit den zuständigen Behörden zusammenarbeiten, unter anderem indem sie deren Anweisungen befolgen und zügig und nach Treu und Glauben handeln, um etwaige hohe Risiken für die Sicherheit, die Gesundheit, die Umwelt und die Grundrechte, die bei der Entwicklung und Erprobung im Reallabor auftreten können, zu mindern. Das Verhalten der potenziellen Anbieter des Reallabors sollte berücksichtigt werden, wenn die zuständigen Behörden über die vorübergehende oder dauerhafte Aussetzung ihrer Beteiligung am Reallabor entscheiden oder darüber, ob sie eine Geldbuße gemäß Artikel 83 Absatz 2 der Verordnung (EU) 2016/679 und Artikel 57 der Richtlinie (EU) 2016/680 verhängen.

(72b)

Um sicherzustellen, dass die künstliche Intelligenz für die Gesellschaft und die Umwelt von Nutzen ist, sollten die Mitgliedstaaten die Forschung und Entwicklung im Bereich von KI mit gesellschaftlichem und ökologischem Nutzen unterstützen und fördern, indem sie ausreichende Ressourcen bereitstellen, darunter staatliche Mittel und Unionsmittel, und Projekten, die von der Zivilgesellschaft getragen werden, vorrangigen Zugang zu Reallaboren gewähren. Diese Projekte sollten auf dem Grundsatz der interdisziplinären Zusammenarbeit zwischen KI-Entwicklern, Fachleuten in den Bereichen Gleichstellung und Nichtdiskriminierung, Barrierefreiheit und Verbraucher-, Umwelt- und digitale Rechte sowie Wissenschaftlern beruhen.

(73)

Um Innovationen zu fördern und zu schützen, ist es wichtig, die Interessen kleiner Anbieter und Nutzer von KI-Systemen besonders zu berücksichtigen. Zu diesem Zweck sollten die Mitgliedstaaten Initiativen ergreifen, die sich an diese Akteure richten, darunter auch Sensibilisierungs- und Informationsmaßnahmen. Darüber hinaus sind die besonderen Interessen und Bedürfnisse kleinerer Anbieter bei der Festlegung der Gebühren für die Konformitätsbewertung durch die notifizierten Stellen zu berücksichtigen. Übersetzungen im Zusammenhang mit der verpflichtenden Dokumentation und Kommunikation mit Behörden können für Anbieter und andere Akteure, insbesondere den kleineren unter ihnen, erhebliche Kosten verursachen. Die Mitgliedstaaten sollten möglichst dafür sorgen, dass eine der Sprachen, die sie für die einschlägige Dokumentation der Anbieter und für die Kommunikation mit den Akteuren bestimmen und akzeptieren, eine Sprache ist, die von der größtmöglichen Zahl grenzüberschreitender Nutzer weitgehend verstanden wird.

(73)

Um Innovationen zu fördern und zu schützen, ist es wichtig, die Interessen kleiner Anbieter und Nutzer von KI-Systemen besonders zu berücksichtigen. Zu diesem Zweck sollten die Mitgliedstaaten Initiativen ergreifen, die sich an diese Akteure richten, darunter auch KI-Kompetenz, Sensibilisierungs- und Informationsmaßnahmen. Die Mitgliedstaaten nutzen entsprechende bestehende Kanäle und richten gegebenenfalls neue Kanäle für die Kommunikation mit KMU, Start-up-Unternehmen und anderen Innovatoren ein, um Orientierungshilfe zu bieten und Fragen zur Durchführung dieser Verordnung zu beantworten. Zu solchen bestehenden Kanälen könnten unter anderem die folgenden gehören: das Netzwerk von Computer-Notfallteams der Agentur der Europäischen Union für Cybersicherheit (ENISA), nationale Datenschutzbehörden, die KI-Abruf-Plattform, die europäischen Zentren für digitale Innovation sowie andere durch EU-Programme finanzierte relevante Instrumente und die Erprobungs- und Versuchseinrichtungen, die von der Kommission und den Mitgliedstaaten auf nationaler oder EU-Ebene eingerichtet wurden/werden. Diese Kanäle arbeiten gegebenenfalls zusammen, um Synergien zu schaffen und eine Homogenität ihrer Leitlinien für Start-up-Unternehmen, KMU und Nutzer sicherzustellen. Darüber hinaus sind die besonderen Interessen und Bedürfnisse kleinerer Anbieter bei der Festlegung der Gebühren für die Konformitätsbewertung durch die notifizierten Stellen zu berücksichtigen. Die Kommission bewertet regelmäßig die Zertifizierungs- und Befolgungskosten für KMU und Start-up-Unternehmen, unter anderem durch transparente Konsultationen mit KMU, Start-up-Unternehmen und Nutzern, und arbeitet mit den Mitgliedstaaten zusammen, um diese Kosten zu senken. So können zum Beispiel Übersetzungen im Zusammenhang mit der verpflichtenden Dokumentation und Kommunikation mit Behörden für Anbieter und andere Akteure, insbesondere den kleineren unter ihnen, erhebliche Kosten verursachen. Die Mitgliedstaaten sollten möglichst dafür sorgen, dass eine der Sprachen, die sie für die einschlägige Dokumentation der Anbieter und für die Kommunikation mit den Akteuren bestimmen und akzeptieren, eine Sprache ist, die von der größtmöglichen Zahl grenzüberschreitender Nutzer weitgehend verstanden wird. Mittlere Unternehmen, die kürzlich die Kategorie von der kleinen auf die mittlere Größe im Sinne des Anhangs der Empfehlung 2003/361/EG (Artikel 16) gewechselt haben, sollten während eines von den Mitgliedstaaten als angemessen erachteten Zeitraums Zugang zu diesen Initiativen und Orientierungshilfen haben, da diesen neuen mittleren Unternehmen mitunter die erforderlichen rechtlichen Mittel und Schulungsmöglichkeiten fehlen, um für ein angemessenes Verständnis und eine ordnungsgemäße Einhaltung der Bestimmungen zu sorgen.

(74)

Um die Risiken bei der Durchführung, die sich aus mangelndem Wissen und fehlenden Fachkenntnissen auf dem Markt ergeben, zu minimieren und den Anbietern und notifizierten Stellen die Einhaltung ihrer Verpflichtungen aus dieser Verordnung zu erleichtern, sollten die KI-Abruf-Plattform, die europäischen Zentren für digitale Innovation und die Erprobungs- und Versuchseinrichtungen, die von der Kommission und den Mitgliedstaaten auf nationaler oder EU-Ebene eingerichtet wurden/werden, möglichst zur Durchführung dieser Verordnung beitragen. Sie können Anbieter und notifizierte Stellen im Rahmen ihres jeweiligen Auftrags und ihrer jeweiligen Kompetenzbereiche insbesondere technisch und wissenschaftlich unterstützen.

(74)

Um die Risiken bei der Durchführung, die sich aus mangelndem Wissen und fehlenden Fachkenntnissen auf dem Markt ergeben, zu minimieren und den Anbietern und notifizierten Stellen die Einhaltung ihrer Verpflichtungen aus dieser Verordnung zu erleichtern, sollten die KI-Abruf-Plattform, die europäischen Zentren für digitale Innovation und die Erprobungs- und Versuchseinrichtungen, die von der Kommission und den Mitgliedstaaten auf nationaler oder EU-Ebene eingerichtet wurden/werden, zur Durchführung dieser Verordnung beitragen. Sie können Anbieter und notifizierte Stellen im Rahmen ihres jeweiligen Auftrags und ihrer jeweiligen Kompetenzbereiche insbesondere technisch und wissenschaftlich unterstützen.

(76)

Um eine reibungslose, wirksame und harmonisierte Umsetzung dieser Verordnung zu erleichtern , sollte ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden. Der Ausschuss sollte für eine Reihe von Beratungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschlägen oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, darunter zu technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen; außerdem sollte er die Kommission in spezifischen Fragen im Zusammenhang mit künstlicher Intelligenz beraten und unterstützen .

(76)

Um eine Fragmentierung zu vermeiden, für das optimale Funktionieren des Binnenmarkts zu sorgen, eine wirksame und harmonisierte Umsetzung dieser Verordnung sicherzustellen, ein hohes Maß an Vertrauenswürdigkeit und an Schutz für die Gesundheit und Sicherheit, die Grundrechte, die Umwelt, die Demokratie und die Rechtsstaatlichkeit in der gesamten Union in Bezug auf KI-Systeme zu erreichen, die nationalen Aufsichtsbehörden, die Organe, Einrichtungen, Ämter und Agenturen der Union in Angelegenheiten, die diese Verordnung betreffen, aktiv zu unterstützen und die Akzeptanz der künstlichen Intelligenz in der gesamten Union zu erhöhen , sollte ein Europäisches Amt für künstliche Intelligenz eingerichtet werden. Das Amt für künstliche Intelligenz sollte Rechtspersönlichkeit besitzen, in völliger Unabhängigkeit handeln, für eine Reihe von Beratungs- und Koordinierungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschläge oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, und es sollte mit angemessenen Finanzmitteln und Personal ausgestattet sein. Die Mitgliedstaaten sollten gemeinsam mit der Kommission, dem EDSB, der FRA und der ENISA über den Verwaltungsrat des Amts für KI die strategische Leitung und Kontrolle des Amts für KI übernehmen. Ein Verwaltungsratsmitglied sollte für die Leitung der Tätigkeiten des Sekretariats des Amts für KI und für die Vertretung des Amts für KI verantwortlich sein. Interessenträger sollten sich im Wege eines Beratungsforums, das eine vielfältige und ausgewogene Vertretung von Interessenträgern sicherstellen und das Amt für KI in Angelegenheiten, die diese Verordnung betreffen, beraten sollte, formell an der Arbeit des Amts für KI beteiligen. Sollte sich die Einrichtung des Amts für KI als unzureichend erweisen, um eine vollständig kohärente Anwendung dieser Verordnung auf Unionsebene sowie effiziente grenzüberschreitende Durchsetzungsmaßnahmen zu gewährleisten, sollte die Einrichtung einer Agentur für KI in Betracht gezogen werden .

(77)

Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigen . Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten , sollte in jedem Mitgliedstaat eine nationale Behörde als nationale Aufsichtsbehörde benannt werden .

(77)

Jeder Mitgliedstaat sollte eine nationale Aufsichtsbehörde benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigt . Diese Behörde sollte zudem ihren Mitgliedstaat im Verwaltungsrat des Amts für KI vertreten, um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten . Jede nationale Aufsichtsbehörde sollte bei der Erfüllung ihrer Aufgaben und Ausübung ihrer Befugnisse gemäß dieser Verordnung vollkommen unabhängig handeln .

(77a)

Die nationalen Aufsichtsbehörden sollten die Anwendung der Bestimmungen dieser Verordnung überwachen und zu ihrer einheitlichen Anwendung in der gesamten Union beitragen. Zu diesem Zweck sollten die nationalen Aufsichtsbehörden untereinander, mit den jeweils zuständigen nationalen Behörden, mit der Kommission und mit dem Amt für KI zusammenarbeiten.

(77b)

Das Mitglied oder die Bediensteten jeder nationalen Aufsichtsbehörde sollten gemäß dem Unionsrecht oder dem Recht der Mitgliedstaaten sowohl während ihrer Amts- beziehungsweise Dienstzeit als auch nach deren Beendigung verpflichtet sein, über alle vertraulichen Informationen, die ihnen bei der Wahrnehmung ihrer Aufgaben oder der Ausübung ihrer Befugnisse bekannt geworden sind, Verschwiegenheit zu wahren. Während dieser Amts- beziehungsweise Dienstzeit sollte diese Verschwiegenheitspflicht insbesondere für Geschäftsgeheimnisse und für die von natürlichen Personen gemeldeten Verstöße gegen diese Verordnung gelten.

(78)

Damit Anbieter von Hochrisiko-KI-Systemen die Erfahrungen mit der Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur Beobachtung nach dem Inverkehrbringen verfügen. Dieses System ist auch wichtig, damit den möglichen Risiken, die von KI-Systemen ausgehen, die nach dem Inverkehrbringen oder der Inbetriebnahme dazulernen, wirksamer und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen Behörden schwerwiegende Vorfälle oder Verstöße gegen nationales Recht und Unionsrecht zum Schutz der Grundrechte zu melden, die sich aus der Verwendung ihrer KI-Systeme ergeben.

(78)

Damit Anbieter von Hochrisiko-KI-Systemen die Erfahrungen mit der Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur Beobachtung nach dem Inverkehrbringen verfügen. Dieses System ist auch wichtig, damit den möglichen Risiken, die von KI-Systemen ausgehen, die nach dem Inverkehrbringen oder der Inbetriebnahme dazulernen oder sich weiterentwickeln , wirksamer und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen Behörden schwerwiegende Vorfälle oder Verstöße gegen nationales Recht und Unionsrecht , einschließlich Rechtsvorschriften zum Schutz der Grundrechte und Verbraucherrechte, zu melden, die sich aus der Verwendung ihrer KI-Systeme ergeben , und geeignete Korrekturmaßnahmen zu ergreifen . Die Betreiber sollten zudem den zuständigen Behörden schwerwiegende Vorfälle oder Verstöße gegen nationales Recht und Unionsrecht, die sich aus der Verwendung ihrer KI-Systeme ergeben, melden, wenn sie Kenntnis von solchen schwerwiegenden Vorfällen oder Verstößen erlangen.

(79)

Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben.

(79)

Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Für die Zwecke dieser Verordnung sollten die nationalen Aufsichtsbehörden als Marktüberwachungsbehörden für unter diese Verordnung fallende KI-Systeme fungieren, mit Ausnahme von KI-Systemen, die unter Anhang II dieser Verordnung fallen. Bei KI-Systemen, die unter die in Anhang II aufgeführten Rechtsakte fallen, sollten die nach diesen Rechtsakten zuständigen Behörden weiterhin die federführende Behörde sein. Die nationalen Aufsichtsbehörden und die in den in Anhang II aufgeführten Rechtsakten genannten zuständigen Behörden sollten bei Bedarf zusammenarbeiten. Gegebenenfalls sollten die in den in Anhang II aufgeführten Rechtsakten genannten zuständigen Behörden kompetente Mitarbeiter an die nationale Aufsichtsbehörde entsenden, um sie bei der Wahrnehmung ihrer Aufgaben zu unterstützen. Für die Zwecke dieser Verordnung sollten die nationalen Aufsichtsbehörden die gleichen Befugnisse und Pflichten haben wie die Marktüberwachungsbehörden gemäß der Verordnung (EU) 2019/1020. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben. Nachdem alle anderen angemessenen Möglichkeiten zur Bewertung/Überprüfung der Konformität ausgeschöpft wurden, sollte der nationalen Aufsichtsbehörde auf begründeten Antrag Zugang zu den Trainings-, Validierungs- und Testdatensätzen, dem trainierten Modell und dem Trainingsmodell des Hochrisiko-KI-Systems, einschließlich seiner relevanten Modellparameter und seiner Ausführungs-/Prozessumgebung, gewährt werden. Bei einfacheren Softwaresystemen, die unter diese Verordnung fallen und nicht auf trainierten Modellen beruhen, und wenn alle anderen Möglichkeiten zur Überprüfung der Konformität ausgeschöpft wurden, kann die nationale Aufsichtsbehörde auf begründeten Antrag hin ausnahmsweise Zugang zum Quellcode erhalten. Wurde der nationalen Aufsichtsbehörde gemäß dieser Verordnung Zugang zu den Trainings-, Validierungs- und Testdatensätzen gewährt, so sollte dieser Zugang durch geeignete technische Mittel und Instrumente erfolgen, einschließlich des Zugangs vor Ort und in Ausnahmefällen des Fernzugangs. Die nationale Aufsichtsbehörde sollte alle erhaltenen Informationen, einschließlich des Quellcodes, der Software und gegebenenfalls der Daten, als vertrauliche Informationen behandeln und die einschlägigen Rechtsvorschriften der Union zum Schutz des geistigen Eigentums und der Geschäftsgeheimnisse beachten. Die nationale Aufsichtsbehörde sollte alle erhaltenen Informationen nach Abschluss der Untersuchung löschen.

(80)

Die Rechtsvorschriften der Union über Finanzdienstleistungen enthalten Vorschriften und Anforderungen für die interne Unternehmensführung und das Risikomanagement, die für regulierte Finanzinstitute bei der Erbringung solcher Dienstleistungen gelten, auch wenn sie KI-Systeme verwenden. Um eine kohärente Anwendung und Durchsetzung der Verpflichtungen aus dieser Verordnung sowie der einschlägigen Vorschriften und Anforderungen der Rechtsvorschriften der Union für Finanzdienstleistungen zu gewährleisten, sollten die für die Beaufsichtigung und Durchsetzung der Rechtsvorschriften im Bereich der Finanzdienstleistungen zuständigen Behörden, gegebenenfalls einschließlich der Europäischen Zentralbank, auch als zuständige Behörden für die Überwachung der Durchführung dieser Verordnung, einschließlich der Marktüberwachungstätigkeiten, in Bezug auf von regulierten und beaufsichtigten Finanzinstituten bereitgestellte oder verwendete KI-Systeme benannt werden. Um die Kohärenz zwischen dieser Verordnung und den Vorschriften für Kreditinstitute, die unter die Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates (56) fallen, weiter zu verbessern, ist es ferner angezeigt, das Konformitätsbewertungsverfahren und einige verfahrenstechnische Anbieterpflichten in Bezug auf das Risikomanagement, die Beobachtung nach dem Inverkehrbringen und die Dokumentation in die bestehenden Verpflichtungen und Verfahren gemäß der Richtlinie 2013/36/EU aufzunehmen. Zur Vermeidung von Überschneidungen sollten auch begrenzte Ausnahmen in Bezug auf das Qualitätsmanagementsystem der Anbieter und die Beobachtungspflichten der Nutzer von Hochrisiko-KI-Systemen in Betracht gezogen werden, soweit diese Kreditinstitute betreffen, die unter die Richtlinie 2013/36/EU fallen.

(80)

Das Unionsrecht zu Finanzdienstleistungen enthält Vorschriften und Anforderungen für die interne Unternehmensführung und das Risikomanagement, die für regulierte Finanzinstitute bei der Erbringung solcher Dienstleistungen gelten, auch wenn sie KI-Systeme verwenden. Um eine kohärente Anwendung und Durchsetzung der Verpflichtungen aus dieser Verordnung sowie der einschlägigen Vorschriften und Anforderungen des Unionsrechts zu Finanzdienstleistungen zu gewährleisten, sollten die für die Beaufsichtigung und Durchsetzung des Unionsrechts zu Finanzdienstleistungen zuständigen Behörden, gegebenenfalls einschließlich der Europäischen Zentralbank, auch als zuständige Behörden für die Überwachung der Durchführung dieser Verordnung, einschließlich der Marktüberwachungstätigkeiten, in Bezug auf von regulierten und beaufsichtigten Finanzinstituten bereitgestellte oder verwendete KI-Systeme benannt werden. Um die Kohärenz zwischen dieser Verordnung und den Vorschriften für Kreditinstitute, die unter die Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates (56) fallen, weiter zu verbessern, ist es ferner angezeigt, das Konformitätsbewertungsverfahren und einige verfahrenstechnische Anbieterpflichten in Bezug auf das Risikomanagement, die Beobachtung nach dem Inverkehrbringen und die Dokumentation in die bestehenden Verpflichtungen und Verfahren gemäß der Richtlinie 2013/36/EU aufzunehmen. Zur Vermeidung von Überschneidungen sollten auch begrenzte Ausnahmen in Bezug auf das Qualitätsmanagementsystem der Anbieter und die Beobachtungspflichten der Betreiber von Hochrisiko-KI-Systemen in Betracht gezogen werden, soweit diese Kreditinstitute betreffen, die unter die Richtlinie 2013/36/EU fallen.

(80a)

Angesichts der Ziele dieser Verordnung, nämlich einen gleichwertigen Schutz der Gesundheit, der Sicherheit und der Grundrechte natürlicher Personen sowie den Schutz der Rechtsstaatlichkeit und der Demokratie sicherzustellen, und unter Berücksichtigung, dass die Minderung der von KI-Systemen ausgehenden Risiken gegenüber diesen Rechten auf nationaler Ebene möglicherweise nicht ausreichend erreicht wird oder Gegenstand unterschiedlicher Auslegungen sein kann, was letztlich zu einem ungleichen Schutzniveau für natürliche Personen und zu einer Fragmentierung der Märkte führen könnte, sollten die nationalen Aufsichtsbehörden ermächtigt werden, gemeinsame Untersuchungen durchzuführen oder zur wirksamen Durchsetzung das in dieser Verordnung vorgesehene Schutzklauselverfahren der Union anzuwenden. Gemeinsame Untersuchungen sollten eingeleitet werden, wenn die nationalen Aufsichtsbehörden hinreichende Gründe zu der Annahme haben, dass es sich bei einem Verstoß gegen diese Verordnung um einen weitverbreiteten Verstoß oder einen weitverbreiteten Verstoß mit unionsweiter Dimension handelt, oder wenn das KI-System oder das Basismodell ein Risiko darstellt, das mindestens 45 Millionen Personen in mehr als einem Mitgliedstaat betrifft oder betreffen könnte.

(82)

Es ist wichtig, dass KI-Systeme im Zusammenhang mit Produkten, die gemäß dieser Verordnung kein hohes Risiko bergen und daher nicht die in dieser Verordnung festgelegten Anforderungen erfüllen müssen, dennoch sicher sind, wenn sie in Verkehr gebracht oder in Betrieb genommen werden. Um zu diesem Ziel beizutragen, würde die Richtlinie 2001/95/EG des Europäischen Parlaments und des Rates (57) als Sicherheitsnetz dienen.

(82)

Es ist wichtig, dass KI-Systeme im Zusammenhang mit Produkten, die gemäß dieser Verordnung kein hohes Risiko bergen und daher nicht die für Hochrisiko-KI-Systeme festgelegten Anforderungen erfüllen müssen, dennoch sicher sind, wenn sie in Verkehr gebracht oder in Betrieb genommen werden. Um zu diesem Ziel beizutragen, würde die Richtlinie 2001/95/EG des Europäischen Parlaments und des Rates (57) als Sicherheitsnetz dienen.

(83)

Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten, sollten alle an der Anwendung dieser Verordnung beteiligten Parteien die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren.

(83)

Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten, sollten alle an der Anwendung dieser Verordnung beteiligten Parteien Transparenz und Offenheit anstreben und gleichzeitig die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren , indem sie technische und organisatorische Maßnahmen zum Schutz der Sicherheit und Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen, unter anderem für Rechte des geistigen Eigentums und öffentliche und nationale Sicherheitsinteressen, ergreifen . Für den Fall, dass die Tätigkeiten der Kommission, der zuständigen nationalen Behörden und der notifizierten Stellen gemäß dieser Verordnung zu einer Verletzung von Rechten des geistigen Eigentums führen, sollten die Mitgliedstaaten geeignete Maßnahmen und Rechtsbehelfe vorsehen, um die Durchsetzung der Rechte des geistigen Eigentums in Anwendung der Richtlinie 2004/48/EG zu gewährleisten.

(84)

Die Mitgliedstaaten sollten alle erforderlichen Maßnahmen ergreifen, um sicherzustellen, dass die Bestimmungen dieser Verordnung eingehalten werden, und dazu u. a. wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße festlegen. Bei bestimmten Verstößen sollten die Mitgliedstaaten die in dieser Verordnung festgelegten Spielräume und Kriterien berücksichtigen. Der Europäische Datenschutzbeauftragte sollte befugt sein, gegen Organe, Einrichtungen und sonstige Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen, Geldbußen zu verhängen.

(84)

Die Einhaltung dieser Verordnung sollte durch die Verhängung von Geldbußen durch die nationale Aufsichtsbehörde bei der Durchführung von Verfahren nach dem in dieser Verordnung festgelegten Verfahren durchsetzbar sein. Die Mitgliedstaaten sollten alle erforderlichen Maßnahmen ergreifen, um sicherzustellen, dass die Bestimmungen dieser Verordnung eingehalten werden, und dazu u. a. wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße festlegen. Um die verwaltungsrechtlichen Sanktionen für Verstöße gegen diese Verordnung zu verschärfen und zu harmonisieren, sollten die Obergrenzen für die Festsetzung der Geldbußen bei bestimmten Verstößen festgelegt werden. Bei der Bemessung der Höhe der Geldbußen sollten die zuständigen nationalen Behörden in jedem Einzelfall alle relevanten Umstände der jeweiligen Situation berücksichtigen , insbesondere die Art, die Schwere und die Dauer des Verstoßes und seiner Folgen sowie die Größe des Anbieters, vor allem wenn es sich bei diesem um ein KMU oder ein Start-up-Unternehmen handelt . Der Europäische Datenschutzbeauftragte sollte befugt sein, gegen Organe, Einrichtungen und sonstige Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen, Geldbußen zu verhängen. Die Sanktionen und Gerichtskosten gemäß dieser Verordnung sollten nicht Gegenstand von Vertragsklauseln oder anderen Vereinbarungen sein.

(84a)

Da die Rechte und Freiheiten natürlicher und juristischer Personen und Gruppen natürlicher Personen durch KI-Systeme ernsthaft beeinträchtigt werden können, ist es von wesentlicher Bedeutung, dass natürliche und juristische Personen oder Gruppen natürlicher Personen sinnvollen Zugang zu Melde- und Rechtsbehelfsmechanismen haben und das Recht auf Zugang zu verhältnismäßigen und wirksamen Rechtsbehelfen haben. Sie sollten in der Lage sein, Verstöße gegen diese Verordnung ihrer nationalen Aufsichtsbehörde zu melden, und das Recht haben, eine Beschwerde gegen die Anbieter oder Betreiber von KI-Systemen einzureichen. Gegebenenfalls sollten die Betreiber interne Beschwerdemechanismen bereitstellen, die von natürlichen und juristischen Personen oder Gruppen von natürlichen Personen genutzt werden können. Unbeschadet anderer verwaltungsrechtlicher oder außergerichtlicher Rechtsbehelfe sollten natürliche und juristische Personen und Gruppen natürlicher Personen auch das Recht auf einen wirksamen gerichtlichen Rechtsbehelf in Bezug auf eine sie betreffende rechtsverbindliche Entscheidung einer nationalen Aufsichtsbehörde oder, wenn die nationale Aufsichtsbehörde eine Beschwerde nicht bearbeitet, den Beschwerdeführer nicht über den Fortgang oder das vorläufige Ergebnis der eingereichten Beschwerde informiert oder ihrer Verpflichtung, eine endgültige Entscheidung zu treffen, nicht nachkommt, in Bezug auf die Beschwerde haben.

(84b)

Betroffene Personen sollten stets darüber informiert werden, dass sie dem Einsatz eines Hochrisiko-KI-Systems ausgesetzt sind, wenn Betreiber ein Hochrisiko-KI-System zur Unterstützung bei der Entscheidungsfindung einsetzen oder Entscheidungen in Bezug auf natürliche Personen treffen. Auf der Grundlage dieser Information können betroffene Personen ihr Recht auf eine Erklärung gemäß dieser Verordnung wahrnehmen. Wenn die Betreiber betroffenen Personen im Rahmen dieser Verordnung eine Erklärung bieten, sollten sie den Sachverstand und die Kenntnisse des Durchschnittsverbrauchers oder der Durchschnittsperson berücksichtigen.

(84c)

Das Unionsrecht zum Schutz von Hinweisgebern (Richtlinie (EU) 2019/1937) gilt uneingeschränkt für Wissenschaftler, Konstrukteure, Entwickler, Projektmitarbeiter, Prüfer, Produktmanager, Ingenieure und Wirtschaftsakteure, die Kenntnis von Informationen über Verstöße gegen das Unionsrecht durch einen Anbieter eines KI-Systems oder durch sein KI-System erlangen.

(85)

Damit der Rechtsrahmen erforderlichenfalls angepasst werden kann, sollte der Kommission die Befugnis übertragen werden, gemäß Artikel 290 AEUV Rechtsakte zur Änderung der in Anhang I genannten Techniken und Konzepte für die Einstufung von KI-Systemen, der in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union, der in Anhang III aufgeführten Hochrisiko-KI-Systeme, der Bestimmungen über die technische Dokumentation in Anhang IV, des Inhalts der EU-Konformitätserklärung in Anhang V, der Bestimmungen über die Konformitätsbewertungsverfahren in den Anhängen VI und VII und der Bestimmungen zur Festlegung der Hochrisiko-KI-Systeme zu erlassen, für die das Konformitätsbewertungsverfahren auf der Grundlage der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation gelten sollte. Es ist von besonderer Bedeutung, dass die Kommission im Zuge ihrer Vorbereitungsarbeit angemessene Konsultationen, auch auf der Ebene von Sachverständigen, durchführt, die mit den Grundsätzen in Einklang stehen, die in der Interinstitutionellen Vereinbarung vom 13. April 2016 über bessere Rechtsetzung (58) niedergelegt wurden. Um insbesondere für eine gleichberechtigte Beteiligung an der Vorbereitung delegierter Rechtsakte zu sorgen, erhalten das Europäische Parlament und der Rat alle Dokumente zur gleichen Zeit wie die Sachverständigen der Mitgliedstaaten, und ihre Sachverständigen haben systematisch Zugang zu den Sitzungen der Sachverständigengruppen der Kommission, die mit der Vorbereitung der delegierten Rechtsakte befasst sind.

(85)

Damit der Rechtsrahmen erforderlichenfalls angepasst werden kann, sollte der Kommission die Befugnis übertragen werden, gemäß Artikel 290 AEUV Rechtsakte zur Änderung der in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union, der in Anhang III aufgeführten Hochrisiko-KI-Systeme, der Bestimmungen über die technische Dokumentation in Anhang IV, des Inhalts der EU-Konformitätserklärung in Anhang V, der Bestimmungen über die Konformitätsbewertungsverfahren in den Anhängen VI und VII und der Bestimmungen zur Festlegung der Hochrisiko-KI-Systeme zu erlassen, für die das Konformitätsbewertungsverfahren auf der Grundlage der Bewertung des Qualitätsmanagementsystems und der technischen Dokumentation gelten sollte. Es ist von besonderer Bedeutung, dass die Kommission im Zuge ihrer Vorbereitungsarbeit angemessene Konsultationen, auch auf der Ebene von Sachverständigen, durchführt, die mit den Grundsätzen in Einklang stehen, die in der Interinstitutionellen Vereinbarung vom 13. April 2016 über bessere Rechtsetzung (58) niedergelegt wurden. An diesen Konsultationen sollte eine ausgewogene Auswahl von Interessenträgern teilnehmen, einschließlich Verbraucherorganisationen, Verbänden, die betroffene Personen vertreten, Vertretern von Unternehmen aus verschiedenen Sektoren und von unterschiedlicher Größe sowie Forschern und Wissenschaftlern . Um insbesondere für eine gleichberechtigte Beteiligung an der Vorbereitung delegierter Rechtsakte zu sorgen, erhalten das Europäische Parlament und der Rat alle Dokumente zur gleichen Zeit wie die Sachverständigen der Mitgliedstaaten, und ihre Sachverständigen haben systematisch Zugang zu den Sitzungen der Sachverständigengruppen der Kommission, die mit der Vorbereitung der delegierten Rechtsakte befasst sind.

(85a)

Angesichts der rasanten technologischen Entwicklungen und des erforderlichen technischen Fachwissens bei der Bewertung von Hochrisiko-KI-Systemen sollte die Kommission die Durchführung dieser Verordnung, insbesondere die verbotenen KI-Systeme, die Transparenzpflichten und die Liste der Bereiche und Anwendungsfälle mit hohem Risiko, regelmäßig, mindestens jedoch einmal jährlich, überprüfen und dabei das Amt für künstliche Intelligenz und die einschlägigen Interessenträger konsultieren.

(87a)

Da es nur wenige verlässliche Informationen über den Ressourcen- und Energieverbrauch, die Abfallproduktion und andere Umweltauswirkungen von KI-Systemen und der damit verbundenen IKT-Technologie, einschließlich Software, Hardware und insbesondere Rechenzentren, gibt, sollte die Kommission eine angemessene Methodik zur Messung der Umweltauswirkungen und der Wirksamkeit dieser Verordnung im Hinblick auf die Umwelt- und Klimaziele der Union einführen.

(89)

Der Europäische Datenschutzbeauftragte und der Europäische Datenschutzausschuss wurden gemäß Artikel 42 Absatz 2 der Verordnung (EU) 2018/1725 angehört und haben am […] eine Stellungnahme abgegeben —

(89)

Der Europäische Datenschutzbeauftragte und der Europäische Datenschutzausschuss wurden gemäß Artikel 42 Absatz 2 der Verordnung (EU) 2018/1725 angehört und haben am 18. Juni 2021 eine Stellungnahme abgegeben —

1.

d)

harmonisierte Transparenzvorschriften für KI-Systeme , die mit natürlichen Personen interagieren sollen, für KI-Systeme zur Emotionserkennung und zur biometrischen Kategorisierung sowie für KI-Systeme, die zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwendet werden ;

d)

harmonisierte Transparenzvorschriften für bestimmte KI-Systeme;

e)

Vorschriften für die Marktbeobachtung und Marktüberwachung.

e)

Vorschriften für die Marktbeobachtung sowie die Steuerung und Durchsetzung der Marktüberwachung;

ea)

Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf KMU und Start-ups, einschließlich der Einrichtung von Reallaboren und gezielter Maßnahmen zur Verringerung des Regelungsaufwands für KMU und Start-ups;

eb)

Vorschriften für die Einrichtung und Arbeitsweise des Amts für künstliche Intelligenz der Union.

b)

Nutzer von KI-Systemen, die sich in der Union befinden;

b)

Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder die sich in der Union befinden;

c)

Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird.

c)

Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder die in einem Drittland niedergelassen oder ansässig sind, in dem entweder das Recht eines Mitgliedstaates aufgrund eines internationalen Rechts gilt oder wenn das vom System hervorgebrachte Ergebnis in der Union verwendet werden soll .

ca)

Anbieter, die die in Artikel 5 genannten KI-Systeme außerhalb der Union in Verkehr bringen oder in Betrieb nehmen, wenn der Anbieter oder Händler dieser Systeme in der Union ansässig ist;

cb)

Einführer und Händler von KI-Systemen sowie bevollmächtigte Vertreter von Anbietern von KI-Systemen, wenn diese Einführer, Händler oder bevollmächtigten Vertreter ihre Niederlassung in der Union haben oder dort ansässig sind;

cc)

betroffene Personen im Sinne von Artikel 3 Absatz 8a, die in der Union ansässig sind und deren Gesundheit, Sicherheit oder Grundrechte durch die Verwendung eines KI-Systems, das in der Union in Verkehr gebracht oder in Betrieb genommen wird, beeinträchtigt werden.

a)

Verordnung (EG) Nr. 300/2008,

b)

Verordnung (EU) Nr. 167/2013,

c)

Verordnung (EU) Nr. 168/2013,

d)

Richtlinie 2014/90/EU,

e)

Richtlinie (EU) 2016/797,

f)

Verordnung (EU) 2018/858,

g)

Verordnung (EU) 2018/1139,

h)

Verordnung (EU) 2019/2144.

1.

„System der künstlichen Intelligenz“ (KI-System) eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen , mit dem sie interagieren ;

1.

„System der künstlichen Intelligenz“ (KI-System) ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das physische oder virtuelle Umfeld beeinflussen;

1a.

1b.

1c.

1d.

1e.

3.

4.

„ Nutzer “ eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet;

4.

„ Betreiber “ eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet;

8.

„Akteur“ den Anbieter, den Nutzer , den Bevollmächtigten, den Einführer und den Händler;

8.

„Akteur“ den Anbieter, den Betreiber , den Bevollmächtigten, den Einführer und den Händler;

8a.

11.

„Inbetriebnahme“ die Bereitstellung eines KI-Systems auf dem Unionsmarkt zum Erstgebrauch direkt an den Nutzer oder zum Eigengebrauch entsprechend seiner Zweckbestimmung;

11.

„Inbetriebnahme“ die Bereitstellung eines KI-Systems auf dem Unionsmarkt zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung;

13.

„vernünftigerweise vorhersehbare Fehlanwendung“ die Verwendung eines KI-Systems in einer Weise, die nicht seiner Zweckbestimmung entspricht, die sich aber aus einem vernünftigerweise vorhersehbaren menschlichen Verhalten oder einer vernünftigerweise vorhersehbaren Interaktion mit anderen Systemen ergeben kann;

13.

„vernünftigerweise vorhersehbare Fehlanwendung“ die Verwendung eines KI-Systems in einer Weise, die nicht seiner Zweckbestimmung gemäß der vom Anbieter bereitgestellten Gebrauchsanweisung entspricht, die sich aber aus einem vernünftigerweise vorhersehbaren menschlichen Verhalten oder einer vernünftigerweise vorhersehbaren Interaktion mit anderen Systemen , einschließlich anderer KI-Systeme, ergeben kann;

14.

„Sicherheitskomponente eines Produkts oder Systems“ einen Bestandteil eines Produkts oder Systems, der eine Sicherheitsfunktion für dieses Produkt oder System erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Sachen gefährdet;

14.

„Sicherheitskomponente eines Produkts oder Systems“ einen Bestandteil eines Produkts oder Systems gemäß den in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union , der eine Sicherheitsfunktion für dieses Produkt oder System erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen gefährdet;

15.

„Gebrauchsanweisung“ die Informationen, die der Anbieter bereitstellt, um den Nutzer insbesondere über die Zweckbestimmung und die ordnungsgemäße Verwendung eines KI-Systems zu informieren, einschließlich der besonderen geografischen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen ein Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll;

15.

„Gebrauchsanweisung“ die Informationen, die der Anbieter bereitstellt, um den Betreiber insbesondere über die Zweckbestimmung und die ordnungsgemäße Verwendung eines KI-Systems sowie über die zu treffenden Vorsichtsmaßnahmen zu informieren; einschließlich der besonderen geografischen, verhaltensbezogenen oder funktionalen Rahmenbedingungen, unter denen ein Hochrisiko-KI-System bestimmungsgemäß verwendet werden soll;

16.

„Rückruf eines KI-Systems“ jede Maßnahme, die auf die Rückgabe eines den Nutzern bereits zur Verfügung gestellten KI-Systems an den Anbieter abzielt;

16.

„Rückruf eines KI-Systems“ jede Maßnahme, die auf die Rückgabe eines den Betreibern bereits zur Verfügung gestellten KI-Systems an den Anbieter abzielt;

20.

„Konformitätsbewertung“ das Verfahren zur Überprüfung , ob die in Titel III Kapitel 2 dieser Verordnung festgelegten Anforderungen an ein KI-System erfüllt worden sind;

20.

„Konformitätsbewertung“ das Verfahren für den Nachweis , ob die in Titel III Kapitel 2 dieser Verordnung festgelegten Anforderungen an ein KI-System erfüllt worden sind;

22.

„notifizierte Stelle“ eine Konformitätsbewertungsstelle, die gemäß dieser Verordnung und anderen einschlägigen Harmonisierungsvorschriften der Union benannt wurde;

22.

„notifizierte Stelle“ eine Konformitätsbewertungsstelle, die gemäß dieser Verordnung und anderen einschlägigen Harmonisierungsvorschriften der Union notifiziert wurde;

23.

„wesentliche Änderung“ eine Änderung des KI-Systems nach dessen Inverkehrbringen oder Inbetriebnahme, die sich auf die Konformität des KI-Systems mit den Anforderungen in Titel III Kapitel 2 dieser Verordnung auswirkt oder zu einer Änderung der Zweckbestimmung führt, für die das KI-System geprüft wurde;

23.

„wesentliche Änderung“ eine Änderung oder eine Reihe von Änderungen des KI-Systems nach dessen Inverkehrbringen oder Inbetriebnahme , die in der ursprünglichen Risikobewertung des Anbieters nicht vorgesehen oder geplant war und durch die die Konformität des KI-Systems mit den Anforderungen in Titel III Kapitel 2 dieser Verordnung beeinträchtigt wird oder die zu einer Änderung der Zweckbestimmung führt, für die das KI-System geprüft wurde;