Choose the experimental features you want to try

This document is an excerpt from the EUR-Lex website

Document 52021AR2682

Stellungnahme des Europäischen Ausschusses der Regionen — Europäisches Konzept für künstliche Intelligenz — Gesetz über künstliche Intelligenz (revidierte Stellungnahme)

COR 2021/02682

ABl. C 97 vom 28.2.2022, p. 60–85 (BG, ES, CS, DA, DE, ET, EL, EN, FR, GA, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

28.2.2022   

DE

Amtsblatt der Europäischen Union

C 97/60


Stellungnahme des Europäischen Ausschusses der Regionen — Europäisches Konzept für künstliche Intelligenz — Gesetz über künstliche Intelligenz

(revidierte Stellungnahme)

(2022/C 97/12)

Berichterstatter:

Guido RINK (NL/SPE), Mitglied des Rates der Gemeinde Emmen

Referenzdokumente:

Mitteilung der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts-und Sozialausschuss und den Ausschuss der Regionen — Förderung eines europäischen Konzepts für künstliche Intelligenz

COM(2021) 205 final

Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union

COM(2021) 206 final

I.   EMPFEHLUNGEN FÜR ÄNDERUNGEN

Änderung 1

Erwägungsgrund 1

Vorschlag der Europäischen Kommission

Änderung des AdR

Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird. Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird.

Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Grundrechte der Bürgerinnen und Bürger zu gewährleisten , indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird. Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird.

Begründung

Mit dem Verweis auf die Grundrechte soll der Zusammenhang mit der EU-Grundrechtecharta hervorgehoben werden.

Änderung 2

Neuer Erwägungsgrund nach Erwägungsgrund 6

Vorschlag der Europäischen Kommission

Änderung des AdR

 

Die Definition von KI-Systemen ist ein kontinuierlicher Prozess, der dem Kontext Rechnung trägt, in dem KI eingesetzt wird, mit den gesellschaftlichen Entwicklungen in diesem Bereich Schritt hält und bei dem der Zusammenhang zwischen dem Ökosystem für Exzellenz und dem Ökosystem für Vertrauen nicht aus den Augen verloren wird.

Begründung

Die Entwicklungen im Bereich KI und Technologie erfordern einen anpassungsfähigen und evolutiven Ansatz. Mit diesem Erwägungsgrund wird zum Ausdruck gebracht, dass die Definition von KI mit der Zeit entsprechend dem Entwicklungsstand von KI-Systemen und -Anwendungen angepasst werden muss.

Änderung 3

Erwägungsgrund 20

Vorschlag der Europäischen Kommission

Änderung des AdR

Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser drei erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung angemessenen zeitlichen und räumlichen Beschränkungen unterliegen, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jeder der drei oben genannten Situationen geeignet sein.

Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser drei erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Vor dem außerordentlichen Einsatz dieser Systeme sollten zunächst die zuständigen lokalen und regionalen Gebietskörperschaften konsultiert werden. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung strengen zeitlichen und räumlichen Beschränkungen unterliegen, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jeder der drei oben genannten Situationen geeignet sein.

Begründung

Biometrische Echtzeit-Fernidentifizierungssysteme sollten nicht leichtfertig verwendet werden.

Änderung 4

Erwägungsgrund 21

Vorschlag der Europäischen Kommission

Änderung des AdR

Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats unterliegen. Eine solche Genehmigung sollte grundsätzlich vor der Verwendung eingeholt werden, außer in hinreichend begründeten dringenden Fällen, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung eine Genehmigung einzuholen. In solchen dringenden Fällen sollte die Verwendung auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind und im Zusammenhang mit jedem einzelnen dringenden Anwendungsfall von der Strafverfolgungsbehörde selbst präzisiert werden . Darüber hinaus sollte die Strafverfolgungsbehörde in solchen Situationen versuchen, so bald wie möglich eine Genehmigung einzuholen , wobei sie begründen sollte, warum sie diese nicht früher beantragen konnte.

Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats unterliegen. Eine solche Genehmigung sollte vor der Verwendung eingeholt werden, außer in hinreichend begründeten dringenden Fällen, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung eine Genehmigung einzuholen. In jedem Fall sollte die Verwendung auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind. Darüber hinaus sollte die Strafverfolgungsbehörde die betroffene lokale und regionale Gebietskörperschaft unverzüglich informieren und versuchen, bei den zuständigen Behörden eine Genehmigung einzuholen.

Begründung

Die lokalen und regionalen Gebietskörperschaften haben die politische und administrative Verantwortung für die Verwaltung und Überwachung des öffentlichen Raums. Sie sollten daher bei der Einführung solcher Systeme im öffentlichen Raum in angemessener Weise einbezogen werden. In dringenden Fällen, in denen eine vorherige Konsultation vernünftigerweise nicht abgewartet werden kann, sollte die betreffende lokale oder regionale Behörde sofort über den Einsatz biometrischer Systeme im öffentlichen Raum informiert werden.

Änderung 5

Erwägungsgrund 39

Vorschlag der Europäischen Kommission

Änderung des AdR

KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es angezeigt , KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands einer natürlichen Person; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates, der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates und anderen einschlägigen Rechtsvorschriften entsprechen.

KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es notwendig , KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands einer natürlichen Person; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates, der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates und anderen einschlägigen Rechtsvorschriften entsprechen.

Begründung

Mit dieser Änderung wird darauf verwiesen, dass die betreffenden KI-Systeme dem strengeren Regime für Hochrisiko-KI-Systeme unterworfen sein müssen.

Änderung 6

Erwägungsgrund 43

Vorschlag der Europäischen Kommission

Änderung des AdR

Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte entsprechend der Zweckbestimmung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden.

Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit, die Datensicherheit, die Verbraucherrechte und die Grundrechte entsprechend der Zweckbestimmung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden. Natürliche Personen oder Personengruppen, die von Hochrisiko-KI-Systemen betroffen sind, die in der Union in Verkehr gebracht oder anderweitig in Betrieb genommen werden, sollten in geeigneter, leicht zugänglicher und verständlicher Weise informiert werden und Zugang zu expliziten, leicht zugänglichen und öffentlich verfügbaren Informationen haben, in denen erläutert wird, dass sie von solchen Systemen erfasst werden.

Begründung

Die Transparenz- und Informationspflichten für Anbieter und Nutzer sollten auf die Personen oder Personengruppen ausgeweitet werden, die potenziell von der Nutzung von Hochrisiko-KI-Systemen betroffen sind, wie sie in Anhang III der Verordnung aufgeführt sind. Unter „verständlicher Weise“ ist auch „eine Sprache, die für den Nutzer verständlich und zugänglich ist, einschließlich hörbarer und visuell-manueller Sprachen“ zu verstehen.

Änderung 7

Neuer Erwägungsgrund nach Erwägungsgrund 44

Vorschlag der Europäischen Kommission

Änderung des AdR

 

Die Anbieter von KI-Systemen unterlassen es, in ihrem Qualitätsmanagementsystem Maßnahmen vorzusehen, mit denen eine ungerechtfertigte Diskriminierung aus Gründen des Geschlechts, der Herkunft, der Religion oder der Weltanschauung, einer Behinderung, des Alters, der sexuellen Ausrichtung oder sonstiger Gründe begünstigt wird.

Begründung

Rechtswidrige Diskriminierung geht auf menschliches Handeln zurück. Die Anbieter von KI-Systemen sollten in ihrem Qualitätssystem von allen Maßnahmen absehen, die Diskriminierung begünstigen könnten.

Änderung 8

Erwägungsgrund 47

Vorschlag der Europäischen Kommission

Änderung des AdR

Um der Undurchsichtigkeit entgegenzuwirken, die bestimmte KI-Systeme für natürliche Personen unverständlich oder zu komplex erscheinen lässt, sollte für Hochrisiko-KI-Systeme ein gewisses Maß an Transparenz vorgeschrieben werden. Die Nutzer sollten in der Lage sein, die Ergebnisse des Systems zu interpretieren und es angemessen zu verwenden. Hochrisiko-KI-Systemen sollte daher die einschlägige Dokumentation und Gebrauchsanweisungen beigefügt sein und diese sollten präzise und eindeutige Informationen enthalten, gegebenenfalls auch in Bezug auf mögliche Risiken in Bezug auf die Grundrechte und Diskriminierung.

Um der Undurchsichtigkeit entgegenzuwirken, die bestimmte KI-Systeme für natürliche Personen oder Behörden auf allen Verwaltungsebenen unverständlich oder zu komplex erscheinen lässt, sollte für Hochrisiko-KI-Systeme ein hohes Maß an Transparenz vorgeschrieben werden. Die Nutzer sollten in der Lage sein, die Ergebnisse des Systems zu interpretieren und es angemessen zu verwenden. Hochrisiko-KI-Systemen sollte daher die einschlägige Dokumentation und Gebrauchsanweisungen beigefügt sein und diese sollten präzise und eindeutige Informationen enthalten, gegebenenfalls auch in Bezug auf mögliche Risiken in Bezug auf die Grundrechte und Diskriminierung.

Begründung

Die Rechenschaftspflicht derjenigen, die Hochrisiko-KI-Systeme konzipieren, wird durch die Formulierung „ein gewisses Maß an Transparenz“ geschwächt.

Änderung 9

Erwägungsgrund 48

Vorschlag der Europäischen Kommission

Änderung des AdR

Hochrisiko-KI-Systeme sollten so konzipiert und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen können. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen.

Hochrisiko-KI-Systeme sollten so konzipiert und entwickelt werden, dass natürliche Personen und Behörden auf allen Verwaltungsebenen ihre Funktionsweise überwachen können. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen.

Begründung

Erübrigt sich.

Änderung 10

Erwägungsgrund 67

Vorschlag der Europäischen Kommission

Änderung des AdR

Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Die Mitgliedstaaten sollten keine ungerechtfertigten Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind.

Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Die Mitgliedstaaten sollten keine Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind. Die Mitgliedstaaten sind nur auf der Grundlage zwingender und ausreichend gerechtfertigter Gründe des Allgemeininteresses und der nationalen Sicherheit befugt, KI-Praktiken und KI-Systeme mit hohem Risiko zu regulieren.

Begründung

Zwar sollten die Mitgliedstaaten die Anwendung der Verordnung nicht behindern, sie sollten jedoch nach wie vor das Recht haben, KI-Systeme mit hohem Risiko zu regulieren, wenn das Allgemeininteresse und die nationale Sicherheit auf dem Spiel stehen.

Änderung 11

Erwägungsgrund 70

Vorschlag der Europäischen Kommission

Änderung des AdR

Bestimmte KI-Systeme, die mit natürlichen Personen interagieren oder Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant eingestuft werden, ein besonderes Risiko in Bezug auf Identitätsbetrug oder Täuschung bergen. Unter bestimmten Umständen sollte die Verwendung solcher Systeme daher — unbeschadet der Anforderungen an und Verpflichtungen für Hochrisiko-KI-Systeme — besonderen Transparenzpflichten unterliegen. Insbesondere sollte natürlichen Personen mitgeteilt werden, dass sie es mit einem KI-System zu tun haben , es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich . Darüber hinaus sollten natürliche Personen informiert werden, wenn sie einem Emotionserkennungssystem oder einem System zur biometrischen Kategorisierung ausgesetzt sind. Diese Informationen und Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei zugänglicher Form bereitgestellt werden. Darüber hinaus sollten Nutzer, die ein KI-System zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwenden, die wirklichen Personen, Orten oder Ereignissen merklich ähneln und einer Person fälschlicherweise echt erscheinen würden, offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ergebnisse künstlicher Intelligenz entsprechend kennzeichnen und auf ihren künstlichen Ursprung hinweisen.

Bestimmte KI-Systeme, die mit natürlichen Personen interagieren oder Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant eingestuft werden, ein besonderes Risiko in Bezug auf Identitätsbetrug oder Täuschung bergen. Die Verwendung solcher Systeme sollte daher — unbeschadet der Anforderungen an und Verpflichtungen für Hochrisiko-KI-Systeme — besonderen Transparenzpflichten unterliegen. Insbesondere sollte natürlichen Personen systematisch mitgeteilt werden, dass sie es mit einem KI-System zu tun haben. Darüber hinaus sollten natürliche Personen informiert werden, wenn sie einem Emotionserkennungssystem oder einem System zur biometrischen Kategorisierung ausgesetzt sind. Diese Informationen und Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei zugänglicher Form bereitgestellt werden. Darüber hinaus sollten Nutzer, die ein KI-System zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwenden, die wirklichen Personen, Orten oder Ereignissen merklich ähneln und einer Person fälschlicherweise echt erscheinen würden, offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ergebnisse künstlicher Intelligenz entsprechend kennzeichnen und auf ihren künstlichen Ursprung hinweisen.

Begründung

Es darf keine Ausnahmen von der Transparenz- und Informationspflicht geben, wenn natürliche Personen mit KI-Systemen interagieren.

Änderung 12

Erwägungsgrund 76

Vorschlag der Europäischen Kommission

Änderung des AdR

Um eine reibungslose, wirksame und harmonisierte Umsetzung dieser Verordnung zu erleichtern, sollte ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden. Der Ausschuss sollte für eine Reihe von Beratungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschlägen oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, darunter zu technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen; außerdem sollte er die Kommission in spezifischen Fragen im Zusammenhang mit künstlicher Intelligenz beraten und unterstützen.

Um eine reibungslose, wirksame und harmonisierte Umsetzung dieser Verordnung zu erleichtern, sollte ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden. Der Ausschuss sollte für eine Reihe von Beratungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschlägen oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, darunter zu technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen; außerdem sollte er die Kommission in spezifischen Fragen im Zusammenhang mit künstlicher Intelligenz beraten und unterstützen. Die Zusammensetzung des Europäischen Ausschusses für künstliche Intelligenz sollte die Interessen der europäischen Gesellschaft widerspiegeln und eine ausgewogene Vertretung von Frauen und Männern aufweisen.

Begründung

Der KI-Ausschuss der EU sollte die allgemeinen Interessen der europäischen Gesellschaft gut widerspiegeln. Hierzu gehören Themen wie Menschenrechte, Klima und energieeffiziente Nutzung von KI-Systemen, Sicherheit, soziale Inklusion, Gesundheit usw. Ein ausgewogenes Geschlechterverhältnis ist Voraussetzung für Diversität in puncto Beratung, Ausarbeitung von Leitlinien usw.

Änderung 13

Erwägungsgrund 77

Vorschlag der Europäischen Kommission

Änderung des AdR

Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigen. Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte in jedem Mitgliedstaat eine nationale Behörde als nationale Aufsichtsbehörde benannt werden.

Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigen. Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte in jedem Mitgliedstaat eine nationale Behörde als nationale Aufsichtsbehörde benannt werden. Die lokalen und regionalen Behörden werden mit Aufsichts- oder Durchsetzungsaufgaben betraut, sofern der Mitgliedstaat dies als zweckmäßig erachtet.

Begründung

Um die Durchsetzbarkeit der Verordnung und ihres Überwachungs- und Durchsetzungsrahmens zu gewährleisten, sollte der Mitgliedstaat ermächtigt werden, die lokalen und regionalen Gebietskörperschaften — soweit erforderlich und möglich — mit Überwachungs- oder Durchsetzungsaufgaben zu betrauen.

Änderung 14

Erwägungsgrund 79

Vorschlag der Europäischen Kommission

Änderung des AdR

Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben.

Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden und ggf. lokale oder regionale Gebietskörperschaften oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben.

Begründung

Mit diesem Änderungsantrag wird den unterschiedlichen Verwaltungsstrukturen in den EU-Mitgliedstaaten Rechnung getragen.

Änderung 15

Erwägungsgrund 83

Vorschlag der Europäischen Kommission

Änderung des AdR

Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten , sollten alle an der Anwendung dieser Verordnung beteiligten Parteien die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren.

Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union sowie auf nationaler, regionaler und lokaler Ebene sollten alle an der Anwendung dieser Verordnung beteiligten Parteien die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren.

Begründung

Mit diesem Änderungsantrag wird den unterschiedlichen Verwaltungsstrukturen in den EU-Mitgliedstaaten Rechnung getragen.

Änderung 16

TITEL I Artikel 3 Absatz 1 — Begriffsbestimmungen

Vorschlag der Europäischen Kommission

Änderung des AdR

„System der künstlichen Intelligenz“ (KI-System) eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren;

„System der künstlichen Intelligenz“ (KI-System) Software, die mit einer oder mehreren der in der nicht erschöpfenden Liste in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist , mit sozialen Praktiken, Identität und Kultur verknüpft ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, durch die Beobachtung ihrer Umgebung, Datenerfassung, die Interpretation der gesammelten — strukturierten oder unstrukturierten — Daten, das Wissensmanagement oder die Verarbeitung der aus diesen Daten gewonnenen Information Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren;

Begründung

Ein KI-System besteht aus technischen Elementen, die Daten, Algorithmen und Rechenleistung mit sozialen Praktiken, der Gesellschaft, Identität und Kultur verknüpfen. Die Definition eines solchen dynamischen soziotechnischen Aggregats sollte daher zukunftsfähig sein und regelmäßig aktualisiert werden, um den immer größer werdenden Einfluss der KI auf die Gesellschaft möglichst genau abzubilden und gleichzeitig die sich rasch wandelnden Herausforderungen und Chancen im Zusammenhang mit KI, einschließlich der Verknüpfung von Wissensmanagement und KI, zu erfassen. Auch Algorithmen, die von anderen Algorithmen entwickelt wurden, sollten dieser Verordnung unterliegen.

Änderung 17

Artikel 5 Absatz 1

Vorschlag der Europäischen Kommission

Änderung des AdR

Folgende Praktiken im Bereich der künstlichen Intelligenz sind verboten:

Folgende Praktiken im Bereich der künstlichen Intelligenz sind verboten:

a)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person einsetzt, um das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person einen physischen oder psychischen Schaden zufügt oder zufügen kann;

a)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person einsetzt, um das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person einen physischen oder psychischen Schaden zufügt oder zufügen kann , die Grundrechte einer anderen Person oder einer Gruppe von Personen — einschließlich ihrer physischen oder psychischen Gesundheit und Sicherheit — verletzt oder verletzen kann, negative Auswirkungen auf Verbraucher hat oder haben kann, einschließlich finanzieller Verluste oder wirtschaftlicher Diskriminierung, oder Demokratie und Rechtsstaatlichkeit untergräbt oder untergraben kann ;

b)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Schwäche oder Schutzbedürftigkeit einer bestimmten Gruppe von Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung ausnutzt, um das Verhalten einer dieser Gruppe angehörenden Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person einen physischen oder psychischen Schaden zufügt oder zufügen kann;

b)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Schwäche oder Schutzbedürftigkeit einer bestimmten Gruppe von Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung ausnutzt, um das Verhalten einer dieser Gruppe angehörenden Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person einen physischen oder psychischen Schaden zufügt oder zufügen kann;

c)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen durch Behörden oder in deren Auftrag zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit natürlicher Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale , wobei die soziale Bewertung zu einem oder beiden der folgenden Ergebnisse führt:

i)

Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erfasst wurden;

ii)

Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen, in einer Weise, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist;

c)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen durch Behörden oder in deren Auftrag zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit natürlicher Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale , wenn dies zur Bewertung des sozialen Verhaltens für allgemeine Zwecke mithilfe von KI führt;

d)

die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, außer wenn und insoweit dies im Hinblick auf eines der folgenden Ziele unbedingt erforderlich ist:

i)

gezielte Suche nach bestimmten potenziellen Opfern von Straftaten oder nach vermissten Kindern;

ii)

Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder eines Terroranschlags;

iii)

Erkennen, Aufspüren, Identifizieren oder Verfolgen eines Täters oder Verdächtigen einer Straftat im Sinne des Artikels 2 Absatz 2 des Rahmenbeschlusses 2002/584/JI ([62]) des Rates, der in dem betreffenden Mitgliedstaat nach dessen Recht mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens drei Jahren bedroht ist.

d)

das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen durch Behörden oder in deren Auftrag, die eine Bewertung des sozialen Verhaltens mithilfe von KI ohne menschliche Aufsicht für spezifische Zwecke vornehmen, das heißt in sozialen Zusammenhängen, die in einem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erfasst wurden, zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit natürlicher Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale, wobei die soziale Bewertung zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen führt, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist;

 

e)

die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, außer wenn und insoweit dies im Hinblick auf eines der folgenden Ziele unbedingt erforderlich ist:

i)

gezielte Suche nach bestimmten potenziellen Opfern von Straftaten oder nach vermissten Kindern;

ii)

Abwenden einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher Personen oder eines Terroranschlags;

iii)

Erkennen, Aufspüren, Identifizieren oder Verfolgen eines Täters oder Verdächtigen einer Straftat im Sinne des Artikels 2 Absatz 2 des Rahmenbeschlusses 2002/584/JI ([62]) des Rates, der in dem betreffenden Mitgliedstaat nach dessen Recht mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens drei Jahren bedroht ist.

Begründung

Techniken der unterschwelligen Beeinflussung können im Allgemeinen die Freiheit, die Menschenrechte und damit das Funktionieren des demokratischen Rechtsstaats untergraben. Gleichzeitig kann künstliche Intelligenz die Verbraucherrechte untergraben. Dies soll mit den Ergänzungen klargestellt werden.

Die soziale Klassifizierung durch öffentliche Stellen oder in deren Namen sollte angesichts der in Erwägungsgrund 17 genannten Risiken verboten werden, wenn sie zu allgemeinen Zwecken durchgeführt wird. Die Generierung oder Erfassung von Daten für spezifische Zwecke sollte nur unter menschlicher Aufsicht und unter der Voraussetzung, dass die Würde und das Recht auf Nichtdiskriminierung sowie die Werte Gleichheit und Gerechtigkeit nicht verletzt werden, zulässig sein.

Änderung 18

Artikel 5 Absatz 4

Vorschlag der Europäischen Kommission

Änderung des AdR

Ein Mitgliedstaat kann die Möglichkeit einer vollständigen oder teilweisen Genehmigung der Verwendung biometrischer Echtzeit-Identifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Buchstabe d, Absatz 2 und Absatz 3 aufgeführten Grenzen und unter den dort genannten Bedingungen vorsehen. Dieser Mitgliedstaat legt in seinem nationalen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung der in Absatz 3 genannten Genehmigungen sowie für die entsprechende Beaufsichtigung fest. In diesen Vorschriften wird auch festgelegt, im Hinblick auf welche der in Absatz 1 Buchstabe d genannten Ziele und welche der unter Ziffer iii genannten Straftaten die zuständigen Behörden ermächtigt werden können, diese Systeme zu Strafverfolgungszwecken zu verwenden.

Ein Mitgliedstaat kann die Möglichkeit einer vollständigen oder teilweisen Genehmigung der Verwendung biometrischer Echtzeit-Identifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Buchstabe d, Absatz 2 und Absatz 3 aufgeführten Grenzen und unter den dort genannten Bedingungen vorsehen. Dieser Mitgliedstaat legt in seinem nationalen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung der in Absatz 3 genannten Genehmigungen sowie für die entsprechende Beaufsichtigung fest. In diesen Vorschriften wird auch festgelegt, im Hinblick auf welche der in Absatz 1 Buchstabe d genannten Ziele und welche der unter Ziffer iii genannten Straftaten die zuständigen Behörden ermächtigt werden können, diese Systeme zu Strafverfolgungszwecken zu verwenden. In diesen Vorschriften werden die Modalitäten für die Unterrichtung und Konsultation der betroffenen lokalen und regionalen Gebietskörperschaften festgelegt. Diese Konsultation muss einer außerordentlichen Nutzung dieser Systeme im öffentlichen Raum vorangehen. In dringenden Fällen, in denen eine vorherige Konsultation vernünftigerweise nicht abgewartet werden kann, wird die zuständige lokale bzw. regionale Behörde unverzüglich über den Einsatz der jeweiligen KI-Praxis unterrichtet.

Begründung

Die lokalen und regionalen Gebietskörperschaften haben die politische und administrative Verantwortung für die Verwaltung und Überwachung des öffentlichen Raums. Sie sollten daher in die Lage versetzt werden, sich vor dem Einsatz solcher KI-Praktiken zu Wort zu melden, und ordnungsgemäß über die außergewöhnliche Nutzung von KI-Systemen zum Zwecke der Strafverfolgung informiert werden.

In dringenden Fällen, in denen eine vorherige Konsultation vernünftigerweise nicht abgewartet werden kann, wird die betreffende lokale oder regionale Behörde unverzüglich unterrichtet.

Änderung 19

Artikel 13

Vorschlag der Europäischen Kommission

Änderung des AdR

Artikel 13 Transparenz und Bereitstellung von Informationen für die Nutzer

Artikel 13a Transparenz und Bereitstellung von Informationen für die Nutzer

1.   Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können. Die Transparenz wird auf eine geeignete Art und in einem angemessenen Maß gewährleistet, damit die Nutzer und Anbieter ihre in Kapitel 3 dieses Titels festgelegten einschlägigen Pflichten erfüllen können.

1.   Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können. Transparenz und eine verständliche Erläuterung werden auf eine geeignete Art und in einem angemessenen Maß gewährleistet, damit die Nutzer und Anbieter ihre in Kapitel 3 dieses Titels festgelegten einschlägigen Pflichten erfüllen können. Die Erläuterung hat zumindest in der Sprache des Landes zu erfolgen, in dem das KI-System eingesetzt wird.

2.   Hochrisiko-KI-Systeme werden mit Gebrauchsanweisungen in einem geeigneten digitalen Format bereitgestellt oder auf andere Weise mit Gebrauchsanweisungen versehen, die präzise, vollständige, korrekte und eindeutige Informationen in einer für die Nutzer relevanten, barrierefrei zugänglichen und verständlichen Form enthalten.

2.   Hochrisiko-KI-Systeme werden mit transparenten, verständlichen und öffentlich zugänglichen Gebrauchsanweisungen in einem geeigneten digitalen Format bereitgestellt oder auf andere Weise mit Gebrauchsanweisungen versehen, die präzise, vollständige, korrekte und eindeutige Informationen in einer für die Nutzer relevanten, barrierefrei zugänglichen und verständlichen Form enthalten.

3.   Die in Absatz 2 genannten Informationen umfassen:

3.   Die in Absatz 2 genannten Informationen umfassen:

a)

den Namen und die Kontaktangaben des Anbieters sowie gegebenenfalls seines Bevollmächtigten;

a)

den Namen und die Kontaktangaben des Anbieters sowie gegebenenfalls seines Bevollmächtigten;

b)

die Merkmale, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems, einschließlich

b)

die Merkmale, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems, einschließlich

 

i)

seiner Zweckbestimmung,

 

i)

seiner Zweckbestimmung,

 

ii)

des Maßes an Genauigkeit, Robustheit und Cybersicherheit gemäß Artikel 15, für das das Hochrisiko-KI-System getestet und validiert wurde und das zu erwarten ist, sowie alle bekannten und vorhersehbaren Umstände, die sich auf das erwartete Maß an Genauigkeit, Robustheit und Cybersicherheit auswirken können,

 

ii)

des Maßes an Genauigkeit (ausgedrückt in den einschlägigen Messgrößen zur Modellbewertung) , Robustheit und Cybersicherheit gemäß Artikel 15, für das das Hochrisiko-KI-System getestet und validiert wurde und das zu erwarten ist, sowie alle bekannten und vorhersehbaren Umstände, die sich auf das erwartete Maß an Genauigkeit, Robustheit und Cybersicherheit auswirken können,

 

iii)

aller bekannten oder vorhersehbaren Umstände im Zusammenhang mit der bestimmungsgemäßen Verwendung des Hochrisiko-KI-Systems oder einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte führen können,

 

iii)

aller bekannten oder vorhersehbaren Umstände im Zusammenhang mit der bestimmungsgemäßen Verwendung des Hochrisiko-KI-Systems oder einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte führen können,

 

iv)

seiner Leistung bezüglich der Personen oder Personengruppen, auf die das System bestimmungsgemäß angewandt werden soll,

 

iv)

seiner Leistung bezüglich der Personen oder Personengruppen, auf die das System bestimmungsgemäß angewandt werden soll,

 

v)

gegebenenfalls der Spezifikationen für die Eingabedaten oder sonstiger relevanter Informationen über die verwendeten Trainings-, Validierungs- und Testdatensätze unter Berücksichtigung der Zweckbestimmung des KI-Systems;

 

v)

gegebenenfalls der Spezifikationen für die Eingabedaten oder sonstiger relevanter Informationen über die verwendeten Trainings-, Validierungs- und Testdatensätze unter Berücksichtigung der Zweckbestimmung des KI-Systems;

vi)

Parameter, mit denen das Modell abgestimmt wurde, sowie Maßnahmen zur Vermeidung von Über- und Unteranpassung;

c)

etwaige Änderungen des Hochrisiko-KI-Systems und seiner Leistung, die der Anbieter zum Zeitpunkt der ersten Konformitätsbewertung vorab bestimmt hat;

c)

etwaige Änderungen des Hochrisiko-KI-Systems und seiner Leistung, die der Anbieter zum Zeitpunkt der ersten Konformitätsbewertung vorab bestimmt hat;

d)

die in Artikel 14 genannten Maßnahmen zur Gewährleistung der menschlichen Aufsicht, einschließlich der technischen Maßnahmen, die getroffen wurden, um den Nutzern die Interpretation der Ergebnisse von KI-Systemen zu erleichtern;

d)

die in Artikel 14 genannten Maßnahmen zur Gewährleistung der menschlichen Aufsicht, einschließlich der technischen Maßnahmen, die getroffen wurden, um den Nutzern die Interpretation der Ergebnisse von KI-Systemen zu erleichtern;

e)

die erwartete Lebensdauer des Hochrisiko-KI-Systems und alle erforderlichen Wartungs- und Pflegemaßnahmen zur Gewährleistung des ordnungsgemäßen Funktionierens dieses KI-Systems, auch in Bezug auf Software-Updates.

e)

die erwartete Lebensdauer des Hochrisiko-KI-Systems und alle erforderlichen Wartungs- und Pflegemaßnahmen zur Gewährleistung des ordnungsgemäßen Funktionierens dieses KI-Systems, auch in Bezug auf Software-Updates.

 

13b Transparenz und Bereitstellung von Informationen für betroffene Personen

Personen oder Personengruppen, für die ein Hochrisiko-KI-System verwendet werden soll, werden auf geeignete, leicht zugängliche und verständliche Weise über diese Verwendung informiert und haben Zugang zu expliziten, leicht zugänglichen und öffentlich verfügbaren Informationen über diese Verwendung.

Begründung

Um das Ökosystem für Vertrauen zu stärken, sollten die Gebrauchsanweisungen von Hochrisiko-KI-Systemen öffentlich zugänglich gemacht werden. Diese Anweisungen müssen für die Leser verständlich formuliert und in der Sprache des Landes abgefasst werden, in dem das KI-System eingesetzt wird.

Im Zusammenhang mit der Transparenz und Erklärbarkeit von Algorithmen sollte es möglich sein zu erklären, mittels welcher Parameter das Modell abgestimmt wurde und welche Maßnahmen ergriffen wurden, um Über- und Unteranpassung zu vermeiden.

In Artikel 13b wird die Transparenz- und Informationspflicht gegenüber Personen geregelt, die mit dem KI-System interagieren oder von ihm betroffen sein könnten.

Änderung 20

Artikel 14 Absatz 4

Vorschlag der Europäischen Kommission

Änderung des AdR

Die in Absatz 3 genannten Maßnahmen müssen den Personen, denen die menschliche Aufsicht übertragen wurde, je nach den Umständen Folgendes ermöglichen:

Die in Absatz 3 genannten Maßnahmen müssen den Personen, denen die menschliche Aufsicht übertragen wurde, je nach den Umständen Folgendes ermöglichen:

a)

die Fähigkeiten und Grenzen des Hochrisiko-KI-Systems vollständig zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, damit Anzeichen von Anomalien, Fehlfunktionen und unerwarteter Leistung so bald wie möglich erkannt und behoben werden können;

a)

die Fähigkeiten und Grenzen des Hochrisiko-KI-Systems vollständig zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, damit Anzeichen von Anomalien, Fehlfunktionen und unerwarteter Leistung so bald wie möglich erkannt und behoben werden können;

b)

sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in das von einem Hochrisiko-KI-System hervorgebrachte Ergebnis („Automatisierungsbias“) bewusst zu bleiben, insbesondere wenn Hochrisiko-KI-Systeme Informationen oder Empfehlungen ausgeben, auf deren Grundlage natürliche Personen Entscheidungen treffen;

b)

sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in das von einem Hochrisiko-KI-System hervorgebrachte Ergebnis („Automatisierungsbias“) oder jeglicher anderen Form einer möglichen Verzerrung („Bias“) bewusst zu bleiben, insbesondere wenn Hochrisiko-KI-Systeme Informationen oder Empfehlungen ausgeben, auf deren Grundlage natürliche Personen Entscheidungen treffen;

c)

die Ergebnisse des Hochrisiko-KI-Systems richtig zu interpretieren, wobei insbesondere die Merkmale des Systems und die vorhandenen Interpretationswerkzeuge und -methoden zu berücksichtigen sind;

c)

die Ergebnisse des Hochrisiko-KI-Systems richtig zu interpretieren, wobei insbesondere die Merkmale des Systems und die vorhandenen Interpretationswerkzeuge und -methoden zu berücksichtigen sind;

d)

in einer bestimmten Situation zu beschließen, das Hochrisiko-KI-System nicht zu verwenden oder das Ergebnis des Hochrisiko-KI-Systems anderweitig außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen;

d)

in einer bestimmten Situation zu beschließen, das Hochrisiko-KI-System nicht zu verwenden oder das Ergebnis des Hochrisiko-KI-Systems anderweitig außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen;

e)

in den Betrieb des Hochrisiko-KI-Systems einzugreifen oder den Systembetrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen.

e)

in den Betrieb des Hochrisiko-KI-Systems einzugreifen oder den Systembetrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen.

Begründung

Es gibt verschiedene Formen der Verzerrung („Bias“), die problematisch sein können. Beispiele hierfür sind die verzerrte Wahrnehmung des Programmierers oder Nutzers des KI-Systems (sozialer Bias), die Verzerrung mit Blick auf die Frage, ob das eingesetzte KI-System eine angemessene Lösung für das Problem darstellt (technischer Bias), und statistische Formen der Verzerrung.

Änderung 21

Artikel 14, neuer Absatz nach Absatz 5

Vorschlag der Europäischen Kommission

Änderung des AdR

 

Jede Entscheidung, die von KI-Systemen gemäß Anhang III Absatz 5 Buchstabe a und b getroffen wird, muss menschlicher Kontrolle unterliegen und auf einem sorgfältigen Entscheidungsprozess beruhen. Menschliche Beteiligung muss bei diesen Entscheidungen sichergestellt werden.

Begründung

Artikel 14 bezieht sich ausschließlich auf die menschliche Aufsicht über Hochrisiko-KI-Systeme. Bei staatlichen Entscheidungen muss hervorgehoben werden, dass menschliche Kontrolle, menschliche Beteiligung und ein ordnungsgemäßes Verfahren gewährleistet sind.

Änderung 22

Artikel 17 Absatz 1 — neue Buchstaben nach Buchstabe m

Vorschlag der Europäischen Kommission

Änderung des AdR

Anbieter von Hochrisiko-KI-Systemen richten ein Qualitätsmanagementsystem ein, das die Einhaltung dieser Verordnung gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert und umfasst mindestens folgende Aspekte:

Anbieter von Hochrisiko-KI-Systemen richten ein Qualitätsmanagementsystem ein, das die Einhaltung dieser Verordnung gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert und umfasst mindestens folgende Aspekte:

a)

ein Konzept zur Einhaltung der Regulierungsvorschriften, was die Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen an den Hochrisiko-KI-Systemen miteinschließt;

a)

ein Konzept zur Einhaltung der Regulierungsvorschriften, was die Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen an den Hochrisiko-KI-Systemen miteinschließt;

b)

Techniken, Verfahren und systematische Maßnahmen für den Entwurf, die Entwurfskontrolle und die Entwurfsprüfung des Hochrisiko-KI-Systems;

b)

Techniken, Verfahren und systematische Maßnahmen für den Entwurf, die Entwurfskontrolle und die Entwurfsprüfung des Hochrisiko-KI-Systems;

c)

Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems;

c)

Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems;

d)

Untersuchungs-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung des Hochrisiko-KI-Systems durchzuführen sind, und die Häufigkeit der Durchführung;

d)

Untersuchungs-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung des Hochrisiko-KI-Systems durchzuführen sind, und die Häufigkeit der Durchführung;

e)

die technischen Spezifikationen und Normen, die anzuwenden sind, falls die einschlägigen harmonisierten Normen nicht vollständig angewandt werden, sowie die Mittel, mit denen gewährleistet werden soll, dass das Hochrisiko-KI-System die Anforderungen in Kapitel 2 dieses Titels erfüllt;

e)

die technischen Spezifikationen und Normen, die anzuwenden sind, falls die einschlägigen harmonisierten Normen nicht vollständig angewandt werden, sowie die Mittel, mit denen gewährleistet werden soll, dass das Hochrisiko-KI-System die Anforderungen in Kapitel 2 dieses Titels erfüllt;

f)

Systeme und Verfahren für das Datenmanagement, einschließlich Datenerfassung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Datenauswertung, Datenaggregation, Vorratsdatenspeicherung und sonstiger Vorgänge in Bezug auf die Daten, die im Vorfeld und für die Zwecke des Inverkehrbringens oder der Inbetriebnahme von Hochrisiko-KI-Systemen durchgeführt werden;

f)

Systeme und Verfahren für das Datenmanagement, einschließlich Datenerfassung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Datenauswertung, Datenaggregation, Vorratsdatenspeicherung und sonstiger Vorgänge in Bezug auf die Daten, die im Vorfeld und für die Zwecke des Inverkehrbringens oder der Inbetriebnahme von Hochrisiko-KI-Systemen durchgeführt werden;

g)

das in Artikel 9 genannte Risikomanagementsystem;

g)

das in Artikel 9 genannte Risikomanagementsystem;

h)

Einrichtung, Anwendung und Aufrechterhaltung eines Systems zur Beobachtung nach dem Inverkehrbringen gemäß Artikel 61;

h)

Einrichtung, Anwendung und Aufrechterhaltung eines Systems zur Beobachtung nach dem Inverkehrbringen gemäß Artikel 61;

i)

Verfahren zur Meldung schwerwiegender Vorfälle und Fehlfunktionen gemäß Artikel 62;

i)

Verfahren zur Meldung schwerwiegender Vorfälle und Fehlfunktionen gemäß Artikel 62;

j)

Kommunikation mit zuständigen nationalen Behörden, zuständigen Behörden, auch sektoralen Behörden, die den Zugang zu Daten gewähren oder erleichtern, sowie mit notifizierten Stellen, anderen Akteuren, Kunden oder sonstigen interessierten Kreisen;

j)

Kommunikation mit zuständigen nationalen Behörden, zuständigen Behörden, auch sektoralen Behörden, die den Zugang zu Daten gewähren oder erleichtern, sowie mit notifizierten Stellen, anderen Akteuren, Kunden oder sonstigen interessierten Kreisen;

k)

Systeme und Verfahren für die Aufzeichnung aller einschlägigen Unterlagen und Informationen;

k)

Systeme und Verfahren für die Aufzeichnung aller einschlägigen Unterlagen und Informationen;

l)

Ressourcenmanagement, einschließlich Maßnahmen im Hinblick auf die Versorgungssicherheit;

l)

Ressourcenmanagement, einschließlich Maßnahmen im Hinblick auf die Versorgungssicherheit;

m)

einen Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und des sonstigen Personals in Bezug auf alle in diesem Absatz aufgeführten Aspekte regelt.

m)

einen Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und des sonstigen Personals in Bezug auf alle in diesem Absatz aufgeführten Aspekte regelt;

 

n)

Maßnahmen zur Verhinderung ungerechtfertigter Diskriminierung aus Gründen des Geschlechts, der ethnischen Herkunft, der Religion oder der Weltanschauung, einer Behinderung, des Alters, der sexuellen Ausrichtung oder aus irgendeinem anderen Grund;

o)

eine Erläuterung, wie ethische Fragen bei der Gestaltung des Hochrisiko-KI-Systems berücksichtigt wurden.

Begründung

In dem Zusatz wird betont, dass Inklusivität und die Bekämpfung ungerechtfertigter Diskriminierung wichtige Elemente des Qualitätssicherungssystems sein sollten.

Das System muss den ethischen Werten entsprechen, die ein Nutzer des KI-Systems diesem System auferlegen möchte oder von denen der Anbieter vernünftigerweise erwarten kann, dass sie von einem Hochrisiko-KI-System gewahrt werden. Der Anbieter sollte erklären können, wie er dies berücksichtigt hat.

Änderung 23

Artikel 19 Absatz 1

Vorschlag der Europäischen Kommission

Änderung des AdR

Die Anbieter von Hochrisiko-KI-Systemen stellen sicher, dass ihre Systeme vor dem Inverkehrbringen oder der Inbetriebnahme dem betreffenden Konformitätsbewertungsverfahren gemäß Artikel 43 unterzogen werden. Wurde infolge dieser Konformitätsbewertung nachgewiesen, dass die KI-Systeme die Anforderungen in Kapitel 2 dieses Titels erfüllen, erstellen die Anbieter eine EU-Konformitätserklärung gemäß Artikel 48 und bringen die CE-Konformitätskennzeichnung gemäß Artikel 49 an.

Die Anbieter von Hochrisiko-KI-Systemen stellen sicher, dass ihre Systeme vor dem Inverkehrbringen oder der Inbetriebnahme dem betreffenden Konformitätsbewertungsverfahren gemäß Artikel 43 unterzogen werden. Wurde infolge dieser Konformitätsbewertung nachgewiesen, dass die KI-Systeme die Anforderungen in Kapitel 2 dieses Titels erfüllen, erstellen die Anbieter eine EU-Konformitätserklärung gemäß Artikel 48 und bringen die CE-Konformitätskennzeichnung gemäß Artikel 49 an. Der Anbieter von Hochrisiko-KI-Systemen veröffentlicht die EU-Konformitätserklärung und eine Zusammenfassung der Konformitätsbewertung an einem öffentlich zugänglichen Ort.

Begründung

Um das Ökosystem für Vertrauen in KI-Systeme zu stärken, müssen Anbieter von Hochrisiko-KI-Systemen auf Transparenz setzen. Die Öffentlichkeit sollte entsprechend in der Lage sein zu überprüfen, ob die Konformitätsbewertung im Einklang mit den Bestimmungen der Verordnung ordnungsgemäß durchgeführt wurde.

Änderung 24

Artikel 29, neuer Absatz nach Absatz 6

Vorschlag der Europäischen Kommission

Änderung des AdR

 

Nutzer von Hochrisiko-KI-Systemen sind dafür verantwortlich, vor der Einführung des Systems eine ethische Prüfung vorzunehmen. Sie müssen erläutern können, wie sich der Einsatz der Technologie auf Mensch und Gesellschaft auswirken kann. Sie legen den von ihnen beabsichtigten Zweck der Einführung des KI-Systems, die übergeordneten Werte und die Art und Weise dar, wie diese Werte gewichtet wurden und ob sie im System umgesetzt wurden. Sie bewerten die tatsächlichen Auswirkungen des Systems auf Mensch und Gesellschaft während des gesamten Lebenszyklus des KI-Systems.

Begründung

Ethik ist ein weites Feld. Es gibt viele Arten zur Anwendung von Ethik auf Technologie, sowohl in Bezug auf theoretische Grundlagen als auch auf konkrete Methoden, Instrumente und konzeptuelle Werte. Werte sind Elemente, die von bestimmten Menschen(gruppen) als wichtig angesehen werden; sie können eher konkret oder eher konzeptueller Art sein. Es ist wichtig, die ganze Bandbreite möglicher moralischer Werte, die umgesetzt werden sollen, offen zu halten und den Lebenszyklus des KI-Systems permanent zu bewerten.

Änderung 25

Artikel 52 Absatz 1

Vorschlag der Europäischen Kommission

Änderung des AdR

Die Anbieter stellen sicher, dass KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben , es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich . Diese Vorgabe gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten zugelassene KI-Systeme, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.

Die Anbieter stellen sicher, dass KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben. Diese Vorgabe gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten zugelassene KI-Systeme, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung. Der Umfang der Optionen und der rechtliche Status natürlicher Personen, die mit KI-Systemen interagieren, sollten durch diese Interaktion nicht eingeschränkt werden.

Begründung

Werden technologische Instrumente als Medium für die Interaktion mit natürlichen Personen verwendet, besteht eventuell die Gefahr, dass die Wahlmöglichkeiten natürlicher Personen, die mit diesen Instrumenten interagieren, eingeschränkt werden. Natürliche Personen sollten immer ordnungsgemäß informiert werden, wenn sie auf KI-Systeme stoßen, und dies sollte nicht von der Auslegung einer konkreten Situation abhängig sein. Ihre Rechte sollten bei Interaktionen mit KI-Systemen stets gewährleistet sein.

Änderung 26

Artikel 57 Absatz 1

Vorschlag der Europäischen Kommission

Änderung des AdR

Der Ausschuss besteht aus den nationalen Aufsichtsbehörden, vertreten durch ihren Leiter oder einen gleichwertigen hochrangigen Beamten der Behörde, und dem Europäischen Datenschutzbeauftragten. Weitere nationale Behörden können zu den Sitzungen eingeladen werden, wenn die erörterten Fragen für sie von Belang sind.

Der Ausschuss besteht aus den nationalen Aufsichtsbehörden, vertreten durch ihren Leiter oder einen gleichwertigen hochrangigen Beamten der Behörde, und dem Europäischen Datenschutzbeauftragten. Weitere nationale , regionale und lokale Behörden können zu den Sitzungen eingeladen werden, wenn die erörterten Fragen für sie von Belang sind.

Begründung

Die lokalen und regionalen Gebietskörperschaften sollten die Möglichkeit haben, sich an der Überwachung von KI-Systemen zu beteiligen und von deren Umsetzung vor Ort zu berichten.

Änderung 27

Artikel 58

Vorschlag der Europäischen Kommission

Änderung des AdR

Bei der Beratung und Unterstützung der Kommission im Zusammenhang mit Artikel 56 Absatz 2 hat der Ausschuss insbesondere folgende Aufgaben:

Bei der Beratung und Unterstützung der Kommission im Zusammenhang mit Artikel 56 Absatz 2 hat der Ausschuss insbesondere folgende Aufgaben:

a)

Sammlung von Fachwissen und bewährten Verfahren und deren Austausch zwischen den Mitgliedstaaten;

a)

Sammlung von Fachwissen und bewährten Verfahren und deren Austausch zwischen den Mitgliedstaaten sowie den regionalen und lokalen Behörden ;

b)

Leisten eines Beitrags zu einer einheitlichen Verwaltungspraxis in den Mitgliedstaaten, auch bezüglich der Funktionsweise der in Artikel 53 genannten KI-Reallabore;

b)

Leisten eines Beitrags zu einer einheitlichen Verwaltungspraxis in den Mitgliedstaaten, auch bezüglich der Funktionsweise der in Artikel 53 genannten KI-Reallabore;

c)

Abgabe von Stellungnahmen, Empfehlungen oder schriftlichen Beiträgen zu Fragen im Zusammenhang mit der Durchführung dieser Verordnung, insbesondere

c)

Abgabe von Stellungnahmen, Empfehlungen oder schriftlichen Beiträgen zu Fragen im Zusammenhang mit der Durchführung dieser Verordnung, insbesondere

 

i)

über technische Spezifikationen oder bestehende Normen in Bezug auf die in Titel III Kapitel 2 festgelegten Anforderungen,

ii)

über die Anwendung der in Artikel 40 genannten harmonisierten Normen oder der in Artikel 41 genannten gemeinsamen Spezifikationen,

iii)

über die Ausarbeitung von Leitfäden, einschließlich der Leitlinien für die Festsetzung von Geldbußen gemäß Artikel 71.

 

i)

über technische Spezifikationen oder bestehende Normen in Bezug auf die in Titel III Kapitel 2 festgelegten Anforderungen,

ii)

über die Anwendung der in Artikel 40 genannten harmonisierten Normen oder der in Artikel 41 genannten gemeinsamen Spezifikationen,

iii)

über die Ausarbeitung von Leitfäden, einschließlich der Leitlinien für die Festsetzung von Geldbußen gemäß Artikel 71.

Begründung

Die lokalen und regionalen Gebietskörperschaften sind den Bürgerinnen und Bürgern sowie der lokalen Wirtschaft am nächsten. Sie sollten herausgehoben werden, wenn es um die Weitergabe ihres Wissens geht.

Änderung 28

Artikel 59 Absatz 1

Vorschlag der Europäischen Kommission

Änderung des AdR

Um die Anwendung und Durchführung dieser Verordnung sicherzustellen, werden von jedem Mitgliedstaat zuständige nationale Behörden eingerichtet oder benannt. Die notifizierenden Behörden werden so organisiert, dass bei der Ausübung ihrer Tätigkeiten und der Wahrnehmung ihrer Aufgaben Objektivität und Unparteilichkeit gewahrt sind.

Um die Anwendung und Durchführung dieser Verordnung sicherzustellen, werden von jedem Mitgliedstaat zuständige nationale Behörden eingerichtet oder benannt. Die notifizierenden Behörden werden so organisiert, dass bei der Ausübung ihrer Tätigkeiten und der Wahrnehmung ihrer Aufgaben Objektivität und Unparteilichkeit gewahrt sind. Die lokalen und regionalen Behörden werden befugt, Aufsichts- oder Durchsetzungsaufgaben wahrzunehmen, sofern der Mitgliedstaat dies als zweckmäßig erachtet.

Begründung

Um die Durchsetzbarkeit der Verordnung und ihres Überwachungs- und Durchsetzungsrahmens zu gewährleisten, sollte der Mitgliedstaat in der Lage sein, die lokalen und regionalen Gebietskörperschaften — soweit erforderlich und möglich — mit Überwachungs- oder Durchsetzungsaufgaben zu betrauen. Die lokalen und regionalen Gebietskörperschaften müssen diesbezüglich Unterstützung und Schulungen erhalten, damit sie umfassend in der Lage sind, Aufsichts- und Durchsetzungsaufgaben wahrzunehmen.

Änderung 29

Artikel 69 Absatz 3

Vorschlag der Europäischen Kommission

Änderung des AdR

Verhaltenskodizes können von einzelnen KI-System-Anbietern oder von Interessenvertretungen dieser Anbieter oder von beiden aufgestellt werden, auch unter Einbeziehung von Nutzern und Interessenträgern sowie deren Interessenvertretungen. Verhaltenskodizes können sich auf mehrere KI-Systeme erstrecken, um ähnlichen Zweckbestimmungen der jeweiligen Systeme Rechnung zu tragen.

Verhaltenskodizes können von nationalen, regionalen oder lokalen Behörden, einzelnen KI-System-Anbietern oder von Interessenvertretungen dieser Anbieter oder von beiden aufgestellt werden, auch unter Einbeziehung von Nutzern und Interessenträgern sowie deren Interessenvertretungen. Verhaltenskodizes können sich auf mehrere KI-Systeme erstrecken, um ähnlichen Zweckbestimmungen der jeweiligen Systeme Rechnung zu tragen.

Begründung

Die nationalen, regionalen und lokalen Behörden sollten die rechtliche Befugnis erhalten, Verhaltenskodizes für KI-Systeme zu erstellen, die sie entwickeln oder verwenden.

Änderung 30

ANHANG I — Techniken und Ansätze im Bereich der künstlichen Intelligenz gemäß Artikel 3 Absatz 1

Vorschlag der Europäischen Kommission

Änderung des AdR

 

Angesichts des derzeitigen Stands der Wissenschaft umfasst KI folgende Techniken und Methoden:

a)

Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich des tiefen Lernens (Deep Learning);

a)

Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich des tiefen Lernens (Deep Learning);

b)

Logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme;

b)

Logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme;

c)

Statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden.

c)

Statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden.

Begründung

Die Definition und die Liste der KI-Techniken sollten zukunftstauglich sein. Die Liste der spezifischen Techniken und Ansätze, die für die Entwicklung von KI-Systemen verwendet werden, sollte keine erschöpfende Liste sein, und sie muss eindeutig auf den neuesten wissenschaftlichen Erkenntnissen beruhen.

Änderung 31

Anhang III Absatz 1 bis 5

Vorschlag der Europäischen Kommission

Änderung des AdR

Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 gelten die in folgenden Bereichen aufgeführten KI-Systeme:

Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 gelten die in folgenden Bereichen aufgeführten KI-Systeme:

1.

Biometrische Identifizierung und Kategorisierung natürlicher Personen:

1.

Biometrische Identifizierung und Kategorisierung natürlicher Personen:

a)

KI-Systeme, die bestimmungsgemäß für die biometrische Echtzeit-Fernidentifizierung und nachträgliche biometrische Fernidentifizierung natürlicher Personen verwendet werden sollen;

a)

KI-Systeme, die bestimmungsgemäß für die biometrische Echtzeit-Fernidentifizierung und nachträgliche biometrische Fernidentifizierung natürlicher Personen verwendet werden sollen;

2.

Verwaltung und Betrieb kritischer Infrastrukturen:

2.

Verwaltung und Betrieb kritischer Infrastrukturen:

a)

KI-Systeme, die bestimmungsgemäß als Sicherheitskomponenten in der Verwaltung und im Betrieb des Straßenverkehrs sowie in der Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden sollen;

a)

KI-Systeme, die bestimmungsgemäß als Sicherheitskomponenten in der Verwaltung und im Betrieb des Straßenverkehrs sowie in der Wasser-, Gas-, Wärme- und Stromversorgung, Telekommunikation, Wasser- und Internetinfrastruktur verwendet werden sollen;

3.

Allgemeine und berufliche Bildung:

3.

Allgemeine und berufliche Bildung:

a)

KI-Systeme, die bestimmungsgemäß für Entscheidungen über den Zugang oder die Zuweisung natürlicher Personen zu Einrichtungen der allgemeinen und beruflichen Bildung verwendet werden sollen;

a)

KI-Systeme, die bestimmungsgemäß für Entscheidungen über den Zugang oder die Zuweisung natürlicher Personen zu Einrichtungen der allgemeinen und beruflichen Bildung verwendet werden sollen;

b)

KI-Systeme, die bestimmungsgemäß für die Bewertung von Schülern in Einrichtungen der allgemeinen und beruflichen Bildung und für die Bewertung der Teilnehmer an üblicherweise für die Zulassung zu Bildungseinrichtungen erforderlichen Tests verwendet werden sollen;

b)

KI-Systeme, die bestimmungsgemäß für die Bewertung von Schülern in Einrichtungen der allgemeinen und beruflichen Bildung und für die Bewertung der Teilnehmer an üblicherweise für die Zulassung zu Bildungseinrichtungen erforderlichen Tests verwendet werden sollen;

4.

Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit:

4.

Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit:

a)

KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere für die Bekanntmachung freier Stellen, das Sichten oder Filtern von Bewerbungen und das Bewerten von Bewerbern in Vorstellungsgesprächen oder Tests;

a)

KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere für die Bekanntmachung freier Stellen, das Sichten oder Filtern von Bewerbungen und das Bewerten von Bewerbern in Vorstellungsgesprächen oder Tests;

b)

KI-Systeme, die bestimmungsgemäß für Entscheidungen über Beförderungen und über Kündigungen von Arbeitsvertragsverhältnissen, für die Aufgabenzuweisung sowie für die Überwachung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden sollen;

b)

KI-Systeme, die bestimmungsgemäß für Entscheidungen über Beförderungen und über Kündigungen von Arbeitsvertragsverhältnissen, für die Aufgabenzuweisung sowie für die Überwachung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden sollen;

5.

Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen:

5.

Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen:

a)

KI-Systeme, die bestimmungsgemäß von Behörden oder im Namen von Behörden verwendet werden sollen, um zu beurteilen, ob natürliche Personen Anspruch auf öffentliche Unterstützungsleistungen und -dienste haben und ob solche Leistungen und Dienste zu gewähren, einzuschränken, zu widerrufen oder zurückzufordern sind;

a)

KI-Systeme, die bestimmungsgemäß von Behörden oder im Namen von Behörden verwendet werden sollen, um zu beurteilen und zu entscheiden , ob natürliche Personen Anspruch auf öffentliche Unterstützungsleistungen und -dienste haben und ob solche Leistungen und Dienste zu gewähren, einzuschränken, zu widerrufen oder zurückzufordern sind;

b)

KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Kreditpunktebewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die von Kleinanbietern für den Eigengebrauch in Betrieb genommen werden;

b)

KI-Systeme, die bestimmungsgemäß für die Feststellung der Kreditwürdigkeit und der Kreditpunkte natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die von Kleinanbietern für den Eigengebrauch in Betrieb genommen werden;

c)

KI-Systeme, die bestimmungsgemäß für die Entsendung oder Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Feuerwehr und medizinischer Nothilfe, verwendet werden sollen;

c)

KI-Systeme, die bestimmungsgemäß für die Entsendung oder Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Feuerwehr und medizinischer Nothilfe, verwendet werden sollen;

Begründung

Die Telekommunikations-, Wasser- und Internetinfrastruktur gehört zweifellos zu den kritischen Infrastrukturen.

Bei der Qualifizierung von Hochrisiko-Systemen geht es um die Frage, ob solche Systeme ein tatsächliches Risiko für die Bürger darstellen könnten. Die bloße analytische und theoretische Bewertung der Ansprüche von Personen auf öffentliche Dienstleistungen birgt an sich kein hohes Risiko. Die Ersetzung des Wortes „beurteilen“ durch „entscheiden“ macht deutlich, dass sich dieses Risiko bei der Entscheidungsfindung insbesondere für Gebietsansässige wirksam widerspiegelt.

II.   POLITISCHE EMPFEHLUNGEN

DER EUROPÄISCHE AUSSCHUSS DER REGIONEN

Ökosystem für Exzellenz

1.

betont, dass das Bestreben der Kommission, die EU zum weltweiten Vorreiter bei der verantwortungsbewussten und auf die Menschen ausgerichteten Entwicklung der künstlichen Intelligenz (KI) zu machen, nur erreicht werden kann, wenn die lokalen und regionalen Gebietskörperschaften hierbei eine wichtige Rolle spielen. Die lokalen und regionalen Gebietskörperschaften verfügen über die besten Voraussetzungen, um zur Schaffung günstiger Rahmenbedingungen für mehr Investitionen in KI in den kommenden Jahren und zur Förderung des Vertrauens in KI beizutragen;

2.

betont, dass es neben der Einbeziehung der lokalen und regionalen Gebietskörperschaften sehr wichtig ist, ihnen auch Unterstützung zu gewähren und Schulungen anzubieten, um ihre Kompetenzen in diesem Bereich zu stärken, zumal sie möglicherweise mit Aufsichts- und Durchsetzungsaufgaben betraut werden;

3.

stellt fest, dass EU-Mittel für die Entwicklung von KI zur Verfügung gestellt werden, weist jedoch auf den uneinheitlichen Ansatz für diese Finanzierung hin, der auf die Vielfalt der Programme zurückzuführen ist, wodurch das Risiko von Fragmentierung und Überschneidungen steigt;

4.

fordert die Kommission daher auf, starke und vielgestaltige gemeinsame Datenräume zu entwickeln und miteinander zu vernetzen, in denen gesellschaftliche Anwendungsfälle unter Nutzung öffentlicher und privater Daten gelöst werden. Dies erfordert auch eine Abstimmung mit den Gesetzgebungsinitiativen im Rahmen der Europäischen Datenstrategie;

Ökosystem für Vertrauen

5.

bedauert, dass sich der Vorschlag für eine Verordnung nicht auf die lokalen und regionalen Gebietskörperschaften bezieht, obwohl der Rechtsrahmen sowohl für öffentliche als auch für private Akteure gelten wird;

6.

stellt fest, dass KI-Systeme eine große Hilfe bei der Interaktion der lokalen und regionalen Gebietskörperschaften mit ihren Bürgerinnen und Bürgern sowie für die Erbringung von Dienstleistungen sein können. Darüber hinaus können KI-Systeme unter anderem die Effizienz des öffentlichen Sektors verbessern und die lokalen und regionalen Gebietskörperschaften bei den Anpassungen unterstützen, die auf lokaler und regionaler Ebene in Verbindung mit dem ökologischen Wandel erforderlich sind. Deshalb sollten die Erfahrungen der lokalen und regionalen Gebietskörperschaften in der laufenden Überarbeitung der Verordnung berücksichtigt werden;

7.

fordert eingehendere Definitionen der Begriffe „Anbieter“ und „Nutzer“, insbesondere in Situationen, in denen Unternehmen, Forschungseinrichtungen, Behörden und Einwohner KI-Systeme gemeinsam in Living Labs entwickeln und testen. Besonderes Augenmerk sollte auch auf die Bürger bzw. Verbraucher gelegt werden, die von KI-gestützten Entscheidungen von Systemen betroffen sind, die von gewerblichen Nutzern eingesetzt werden;

8.

betont die Notwendigkeit einer vorherigen Konsultation der zuständigen lokalen und regionalen Gebietskörperschaften im Falle der Nutzung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken;

9.

begrüßt die öffentliche Konsultation der Kommission zur Anpassung der Vorschriften über die zivilrechtliche Haftung an die spezifischen Herausforderungen des digitalen Zeitalters und der künstlichen Intelligenz (1) und erwartet, dass sie zu einem aktualisierten Rahmen führen wird, mit dem sichergestellt wird, dass die Verbraucher für Schäden, die durch KI-Anwendungen verursacht werden, entschädigt werden;

10.

fragt sich, warum KI-Systeme, die in demokratischen Prozessen wie Wahlen eingesetzt werden, nicht auf der Liste der Hochrisiko-KI-Systeme stehen;

11.

fordert, dass Hochrisiko-KI-Systeme denselben Transparenz- und Informationsanforderungen für natürliche Personen unterliegen, wie sie derzeit für Nutzer gelten;

12.

hebt die großen Risiken und Folgen für die Menschenrechte hervor, die mit der Verwendung sozialer Klassifizierungen verbunden sind;

13.

sieht in diesem Zusammenhang die beiden in der Verordnung (2) aufgeführten Ergebnisse, anhand derer die soziale Bewertung zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen führt, mit großer Skepsis, da es äußerst schwierig ist, das Vorliegen solcher Ergebnisse festzustellen; fordert in diesem Zusammenhang die klare Formulierung strenger Garantien, um sicherzustellen, dass das Verbot von Praktiken der sozialen Klassifizierung nicht umgangen wird;

14.

nimmt zur Kenntnis, dass in den Erwägungsgründen der Verordnung auf die Risiken eingegangen wird, denen Einzelpersonen aufgrund ihrer Interaktion mit Hochrisiko-KI-Systemen ausgesetzt sind, unter anderem in den Bereichen allgemeine und berufliche Bildung, Beschäftigung, Personalverwaltung, Zugang zu selbständiger Tätigkeit oder Zugang zu bestimmten grundlegenden privaten und öffentlichen Dienstleistungen und deren Inanspruchnahme;

15.

fordert die Kommission auf, die Hochrisiko-Einstufung von KI-Systemen, die von öffentlichen Stellen genutzt werden sollen, eingehender zu untersuchen (3);

16.

fordert, dass eine Behörde eine fundierte Ex-ante-Beratung zur Auslegung der Bestimmungen der Verordnung auch in Bezug auf die Datenschutz-Grundverordnung abgeben kann. Dies erhöht die Rechtssicherheit und senkt die Kosten für die Konzipierung und Umsetzung von KI-Systemen;

17.

betont in diesem Zusammenhang, wie wichtig Klarheit bei der Formulierung der Verordnung ist, die entscheidend dazu beiträgt, ein Ökosystem für Vertrauen aufzubauen und die Rechtsunsicherheit in Bezug auf die Entwicklung und Nutzung von KI-Systemen zu beseitigen. Dies würde Fehlinterpretationen der vorgeschlagenen Anforderungen vermeiden und das Risiko eines anschließenden unsachgemäßen Einsatzes von KI-Anwendungen minimieren, wodurch die Wirksamkeit der Verordnung und die Glaubwürdigkeit der Sanktionen maximiert würden. Gleichzeitig und im Einklang mit der Agenda der Europäischen Kommission für bessere Rechtsetzung ist die frühzeitige Erkennung und Beseitigung von potenziellen Überschneidungen und/oder Konflikten mit bestehenden Vorschriften von entscheidender Bedeutung;

18.

stellt fest, dass viele lokale und regionale Gebietskörperschaften die gleichen KI-Systeme für ähnliche Aufgaben nutzen. Die Systeme werden in der überwiegenden Mehrzahl der Fälle von Privatunternehmen konzipiert;

19.

weist darauf hin, dass der Verordnungsvorschlag bezüglich der Gewährleistung der Rechte der Bürgerinnen und Bürger nicht isoliert dasteht, sondern im Zusammenhang mit den bestehenden Rechtsvorschriften gesehen werden muss. An die Mitgliedstaaten richtet sich daher die Aufforderung, fortlaufend für die erforderlichen administrativen Maßnahmen zu sorgen, um den Chancen und Risiken im Zusammenhang mit dem Einsatz von KI im öffentlichen Sektor Rechnung zu tragen;

20.

weist darauf hin, dass dies bedeutet, dass bei der Konformitätsbewertung europäische und nationale Vorschriften von Unternehmen und notifizierten Stellen ausgelegt werden, was sich auf die Praxis der lokalen und regionalen Gebietskörperschaften auswirkt, die diese KI-Systeme nutzen. Dadurch wird es schwierig festzustellen, in welchem Maß die lokale und regionale Politik in diesen KI-Systemen berücksichtigt werden kann; verweist deshalb auf die besonderen Bedürfnisse der lokalen und regionalen Gebietskörperschaften und auf die Tatsache, dass ein pauschaler Ansatz die Wirksamkeit der KI-Systeme bei der Wahrnehmung dieser Bedürfnisse untergraben könnte; schlägt zudem vor, dass die Mitgliedstaaten ermächtigt werden sollten, Hochrisiko-KI-Systeme zu regulieren, wenn zwingende und gerechtfertigte Gründe des Allgemeininteresses vorliegen;

21.

fordert in diesem Zusammenhang, dass Konformitätsbewertungen transparent und für die Öffentlichkeit zugänglich sind. Darüber hinaus sollten die lokalen und regionalen Gebietskörperschaften in der Lage sein, sich an der Überwachung von KI-Systemen zu beteiligen, über ihre Umsetzung vor Ort Bericht zu erstatten und einen formellen Beitrag zur Bewertung der Anwendung der Verordnung durch die Europäische Kommission zu leisten;

22.

betont, dass die Anwendung des Reallabors (regulatory sandbox) die Schaffung entsprechender rechtlicher, methodischer und ethischer Bedingungen voraussetzt, um die Entwicklung von Technologie und Rechtsvorschriften sowie die Bewertung dieser Rechtsvorschriften zu ermöglichen. Ebenfalls sollten klare Kriterien für die Zulassung von Unternehmern zum Reallabor festgelegt werden. Um sicherzustellen, dass Verbraucherorganisationen die Bestimmungen des Gesetzes über künstliche Intelligenz durchsetzen können, muss dieses in Anhang I der Richtlinie über Verbandsklagen zum Schutz der Kollektivinteressen der Verbraucher ((EU) 2020/1828) aufgenommen werden;

Informationskampagnen

23.

betont die Bedeutung öffentlicher Kampagnen, um die Bevölkerung über die Existenz von KI-Systemen und deren Nutzen sowie über potenzielle Risiken zu informieren und aufzuklären; betont zudem, dass es dringend erforderlich ist, dass Verbraucher umfassend über künstliche Intelligenz/maschinengesteuerte Entscheidungsprozesse informiert werden; fordert zu diesem Zweck die Europäische Kommission auf, Mittel für entsprechende Kampagnen bereitzustellen;

Verwaltungsaufwand

24.

bringt seine Besorgnis über den potenziellen Verwaltungsaufwand infolge der vorgeschlagenen Verordnung zum Ausdruck. Der Verwaltungsaufwand kann kleine und mittlere Unternehmen sowie lokale und regionale Gebietskörperschaften bei der Förderung von Innovation und der Einführung von KI-Systemen behindern (4);

Verhältnismäßigkeit und Subsidiarität

25.

ist der Auffassung, dass der Verordnungsentwurf den Anforderungen des Grundsatzes der Verhältnismäßigkeit und des Subsidiaritätsprinzips entspricht. Der Mehrwert eines Eingreifens der EU in diesem Bereich und die Angemessenheit der von der Kommission gewählten Rechtsgrundlagen sind klar und kohärent. Die Folgenabschätzung enthält einen gesonderten Abschnitt zur Subsidiarität. Darüber hinaus hat kein nationales Parlament bis zum Ablauf der auf den 2. September 2021 festgesetzten Frist eine begründete Stellungnahme zur Nichteinhaltung des Subsidiaritätsprinzips abgegeben.

Brüssel, den 2. Dezember 2021

Der Präsident des Europäischen Ausschusses der Regionen

Apostolos TZITZIKOSTAS


([62])  Rahmenbeschluss 2002/584/JI des Rates vom 13. Juni 2002 über den Europäischen Haftbefehl und die Übergabeverfahren zwischen den Mitgliedstaaten (ABl. L 190 vom 18.7.2002, S. 1).

([62])  Rahmenbeschluss 2002/584/JI des Rates vom 13. Juni 2002 über den Europäischen Haftbefehl und die Übergabeverfahren zwischen den Mitgliedstaaten (ABl. L 190 vom 18.7.2002, S. 1).

(1)  https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12979-Civil-liability-adapting-liability-rules-to-the-digital-age-and-artificial-intelligence/public-consultation_de.

(2)  Artikel 5 Absatz 1 Buchstabe c).

(3)  Anhang III Absatz 5 Buchstabe a.

(4)  In einer kürzlich veröffentlichten Studie (Study to support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, S. 12), die von der Europäischen Kommission unterstützt wurde, wird auf der Grundlage realistischer Annahmen davon ausgegangen, dass die Zertifizierung eines KI-Systems durchschnittlich 16 800 bis 23 000 EUR kosten könnte, was etwa 10 bis 14 % der Entwicklungskosten entspricht.


Top