This document is an excerpt from the EUR-Lex website
Document 52021AR2682
Opinion of the European Committee of the Regions — European approach to artificial intelligence — Artificial Intelligence Act (revised opinion)
Stellungnahme des Europäischen Ausschusses der Regionen — Europäisches Konzept für künstliche Intelligenz — Gesetz über künstliche Intelligenz (revidierte Stellungnahme)
Stellungnahme des Europäischen Ausschusses der Regionen — Europäisches Konzept für künstliche Intelligenz — Gesetz über künstliche Intelligenz (revidierte Stellungnahme)
COR 2021/02682
ABl. C 97 vom 28.2.2022, p. 60–85
(BG, ES, CS, DA, DE, ET, EL, EN, FR, GA, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)
28.2.2022 |
DE |
Amtsblatt der Europäischen Union |
C 97/60 |
Stellungnahme des Europäischen Ausschusses der Regionen — Europäisches Konzept für künstliche Intelligenz — Gesetz über künstliche Intelligenz
(revidierte Stellungnahme)
(2022/C 97/12)
|
I. EMPFEHLUNGEN FÜR ÄNDERUNGEN
Änderung 1
Erwägungsgrund 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird. Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird. |
Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Grundrechte der Bürgerinnen und Bürger zu gewährleisten , indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird. Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI-gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird. |
Begründung
Mit dem Verweis auf die Grundrechte soll der Zusammenhang mit der EU-Grundrechtecharta hervorgehoben werden.
Änderung 2
Neuer Erwägungsgrund nach Erwägungsgrund 6
Vorschlag der Europäischen Kommission |
Änderung des AdR |
|
Die Definition von KI-Systemen ist ein kontinuierlicher Prozess, der dem Kontext Rechnung trägt, in dem KI eingesetzt wird, mit den gesellschaftlichen Entwicklungen in diesem Bereich Schritt hält und bei dem der Zusammenhang zwischen dem Ökosystem für Exzellenz und dem Ökosystem für Vertrauen nicht aus den Augen verloren wird. |
Begründung
Die Entwicklungen im Bereich KI und Technologie erfordern einen anpassungsfähigen und evolutiven Ansatz. Mit diesem Erwägungsgrund wird zum Ausdruck gebracht, dass die Definition von KI mit der Zeit entsprechend dem Entwicklungsstand von KI-Systemen und -Anwendungen angepasst werden muss.
Änderung 3
Erwägungsgrund 20
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser drei erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung angemessenen zeitlichen und räumlichen Beschränkungen unterliegen, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jeder der drei oben genannten Situationen geeignet sein. |
Um sicherzustellen, dass diese Systeme verantwortungsvoll und verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser drei erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und Freiheiten aller betroffenen Personen sowie auf die für die Verwendung geltenden Schutzvorkehrungen und Bedingungen. Vor dem außerordentlichen Einsatz dieser Systeme sollten zunächst die zuständigen lokalen und regionalen Gebietskörperschaften konsultiert werden. Darüber hinaus sollte die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung strengen zeitlichen und räumlichen Beschränkungen unterliegen, wobei insbesondere den Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den Täter Rechnung zu tragen ist. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jeder der drei oben genannten Situationen geeignet sein. |
Begründung
Biometrische Echtzeit-Fernidentifizierungssysteme sollten nicht leichtfertig verwendet werden.
Änderung 4
Erwägungsgrund 21
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats unterliegen. Eine solche Genehmigung sollte grundsätzlich vor der Verwendung eingeholt werden, außer in hinreichend begründeten dringenden Fällen, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung eine Genehmigung einzuholen. In solchen dringenden Fällen sollte die Verwendung auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind und im Zusammenhang mit jedem einzelnen dringenden Anwendungsfall von der Strafverfolgungsbehörde selbst präzisiert werden . Darüber hinaus sollte die Strafverfolgungsbehörde in solchen Situationen versuchen, so bald wie möglich eine Genehmigung einzuholen , wobei sie begründen sollte, warum sie diese nicht früher beantragen konnte. |
Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken sollte einer ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde eines Mitgliedstaats unterliegen. Eine solche Genehmigung sollte vor der Verwendung eingeholt werden, außer in hinreichend begründeten dringenden Fällen, d. h. in Situationen, in denen es wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich und objektiv unmöglich ist, vor dem Beginn der Verwendung eine Genehmigung einzuholen. In jedem Fall sollte die Verwendung auf das absolut notwendige Mindestmaß beschränkt werden und angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen Recht festgelegt sind. Darüber hinaus sollte die Strafverfolgungsbehörde die betroffene lokale und regionale Gebietskörperschaft unverzüglich informieren und versuchen, bei den zuständigen Behörden eine Genehmigung einzuholen. |
Begründung
Die lokalen und regionalen Gebietskörperschaften haben die politische und administrative Verantwortung für die Verwaltung und Überwachung des öffentlichen Raums. Sie sollten daher bei der Einführung solcher Systeme im öffentlichen Raum in angemessener Weise einbezogen werden. In dringenden Fällen, in denen eine vorherige Konsultation vernünftigerweise nicht abgewartet werden kann, sollte die betreffende lokale oder regionale Behörde sofort über den Einsatz biometrischer Systeme im öffentlichen Raum informiert werden.
Änderung 5
Erwägungsgrund 39
Vorschlag der Europäischen Kommission |
Änderung des AdR |
KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es angezeigt , KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands einer natürlichen Person; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates, der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates und anderen einschlägigen Rechtsvorschriften entsprechen. |
KI-Systeme, die in den Bereichen Migration, Asyl und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders prekären Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind daher besonders wichtig, um die Achtung der Grundrechte der betroffenen Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung, den Schutz des Privatlebens und personenbezogener Daten, den internationalen Schutz und die gute Verwaltung, zu gewährleisten. Daher ist es notwendig , KI-Systeme als hochriskant einzustufen, die von den zuständigen mit Aufgaben in den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands einer natürlichen Person; zur Bewertung bestimmter Risiken, die von natürlichen Personen ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum oder Asyl beantragen; zur Überprüfung der Echtheit der einschlägigen Dokumente natürlicher Personen; zur Unterstützung der zuständigen Behörden bei der Prüfung von Asyl- und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der den Antrag stellenden natürlichen Personen festzustellen. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die unter diese Verordnung fallen, sollten den einschlägigen Verfahrensvorschriften der Richtlinie 2013/32/EU des Europäischen Parlaments und des Rates, der Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates und anderen einschlägigen Rechtsvorschriften entsprechen. |
Begründung
Mit dieser Änderung wird darauf verwiesen, dass die betreffenden KI-Systeme dem strengeren Regime für Hochrisiko-KI-Systeme unterworfen sein müssen.
Änderung 6
Erwägungsgrund 43
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit und die Grundrechte entsprechend der Zweckbestimmung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden. |
Die Anforderungen sollten für Hochrisiko-KI-Systeme im Hinblick auf die Qualität der verwendeten Datensätze, die technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit gelten. Diese Anforderungen sind erforderlich, um die Risiken für die Gesundheit, die Sicherheit, die Datensicherheit, die Verbraucherrechte und die Grundrechte entsprechend der Zweckbestimmung des Systems wirksam zu mindern, und es stehen keine anderen weniger handelsbeschränkenden Maßnahmen zur Verfügung, sodass ungerechtfertigte Handelsbeschränkungen vermieden werden. Natürliche Personen oder Personengruppen, die von Hochrisiko-KI-Systemen betroffen sind, die in der Union in Verkehr gebracht oder anderweitig in Betrieb genommen werden, sollten in geeigneter, leicht zugänglicher und verständlicher Weise informiert werden und Zugang zu expliziten, leicht zugänglichen und öffentlich verfügbaren Informationen haben, in denen erläutert wird, dass sie von solchen Systemen erfasst werden. |
Begründung
Die Transparenz- und Informationspflichten für Anbieter und Nutzer sollten auf die Personen oder Personengruppen ausgeweitet werden, die potenziell von der Nutzung von Hochrisiko-KI-Systemen betroffen sind, wie sie in Anhang III der Verordnung aufgeführt sind. Unter „verständlicher Weise“ ist auch „eine Sprache, die für den Nutzer verständlich und zugänglich ist, einschließlich hörbarer und visuell-manueller Sprachen“ zu verstehen.
Änderung 7
Neuer Erwägungsgrund nach Erwägungsgrund 44
Vorschlag der Europäischen Kommission |
Änderung des AdR |
|
Die Anbieter von KI-Systemen unterlassen es, in ihrem Qualitätsmanagementsystem Maßnahmen vorzusehen, mit denen eine ungerechtfertigte Diskriminierung aus Gründen des Geschlechts, der Herkunft, der Religion oder der Weltanschauung, einer Behinderung, des Alters, der sexuellen Ausrichtung oder sonstiger Gründe begünstigt wird. |
Begründung
Rechtswidrige Diskriminierung geht auf menschliches Handeln zurück. Die Anbieter von KI-Systemen sollten in ihrem Qualitätssystem von allen Maßnahmen absehen, die Diskriminierung begünstigen könnten.
Änderung 8
Erwägungsgrund 47
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Um der Undurchsichtigkeit entgegenzuwirken, die bestimmte KI-Systeme für natürliche Personen unverständlich oder zu komplex erscheinen lässt, sollte für Hochrisiko-KI-Systeme ein gewisses Maß an Transparenz vorgeschrieben werden. Die Nutzer sollten in der Lage sein, die Ergebnisse des Systems zu interpretieren und es angemessen zu verwenden. Hochrisiko-KI-Systemen sollte daher die einschlägige Dokumentation und Gebrauchsanweisungen beigefügt sein und diese sollten präzise und eindeutige Informationen enthalten, gegebenenfalls auch in Bezug auf mögliche Risiken in Bezug auf die Grundrechte und Diskriminierung. |
Um der Undurchsichtigkeit entgegenzuwirken, die bestimmte KI-Systeme für natürliche Personen oder Behörden auf allen Verwaltungsebenen unverständlich oder zu komplex erscheinen lässt, sollte für Hochrisiko-KI-Systeme ein hohes Maß an Transparenz vorgeschrieben werden. Die Nutzer sollten in der Lage sein, die Ergebnisse des Systems zu interpretieren und es angemessen zu verwenden. Hochrisiko-KI-Systemen sollte daher die einschlägige Dokumentation und Gebrauchsanweisungen beigefügt sein und diese sollten präzise und eindeutige Informationen enthalten, gegebenenfalls auch in Bezug auf mögliche Risiken in Bezug auf die Grundrechte und Diskriminierung. |
Begründung
Die Rechenschaftspflicht derjenigen, die Hochrisiko-KI-Systeme konzipieren, wird durch die Formulierung „ein gewisses Maß an Transparenz“ geschwächt.
Änderung 9
Erwägungsgrund 48
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Hochrisiko-KI-Systeme sollten so konzipiert und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen können. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen. |
Hochrisiko-KI-Systeme sollten so konzipiert und entwickelt werden, dass natürliche Personen und Behörden auf allen Verwaltungsebenen ihre Funktionsweise überwachen können. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen. |
Begründung
Erübrigt sich.
Änderung 10
Erwägungsgrund 67
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Die Mitgliedstaaten sollten keine ungerechtfertigten Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind. |
Hochrisiko-KI-Systeme sollten grundsätzlich mit der CE-Kennzeichnung versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass sie frei im Binnenmarkt verkehren können. Die Mitgliedstaaten sollten keine Hindernisse für das Inverkehrbringen oder die Inbetriebnahme von Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind. Die Mitgliedstaaten sind nur auf der Grundlage zwingender und ausreichend gerechtfertigter Gründe des Allgemeininteresses und der nationalen Sicherheit befugt, KI-Praktiken und KI-Systeme mit hohem Risiko zu regulieren. |
Begründung
Zwar sollten die Mitgliedstaaten die Anwendung der Verordnung nicht behindern, sie sollten jedoch nach wie vor das Recht haben, KI-Systeme mit hohem Risiko zu regulieren, wenn das Allgemeininteresse und die nationale Sicherheit auf dem Spiel stehen.
Änderung 11
Erwägungsgrund 70
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Bestimmte KI-Systeme, die mit natürlichen Personen interagieren oder Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant eingestuft werden, ein besonderes Risiko in Bezug auf Identitätsbetrug oder Täuschung bergen. Unter bestimmten Umständen sollte die Verwendung solcher Systeme daher — unbeschadet der Anforderungen an und Verpflichtungen für Hochrisiko-KI-Systeme — besonderen Transparenzpflichten unterliegen. Insbesondere sollte natürlichen Personen mitgeteilt werden, dass sie es mit einem KI-System zu tun haben , es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich . Darüber hinaus sollten natürliche Personen informiert werden, wenn sie einem Emotionserkennungssystem oder einem System zur biometrischen Kategorisierung ausgesetzt sind. Diese Informationen und Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei zugänglicher Form bereitgestellt werden. Darüber hinaus sollten Nutzer, die ein KI-System zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwenden, die wirklichen Personen, Orten oder Ereignissen merklich ähneln und einer Person fälschlicherweise echt erscheinen würden, offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ergebnisse künstlicher Intelligenz entsprechend kennzeichnen und auf ihren künstlichen Ursprung hinweisen. |
Bestimmte KI-Systeme, die mit natürlichen Personen interagieren oder Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant eingestuft werden, ein besonderes Risiko in Bezug auf Identitätsbetrug oder Täuschung bergen. Die Verwendung solcher Systeme sollte daher — unbeschadet der Anforderungen an und Verpflichtungen für Hochrisiko-KI-Systeme — besonderen Transparenzpflichten unterliegen. Insbesondere sollte natürlichen Personen systematisch mitgeteilt werden, dass sie es mit einem KI-System zu tun haben. Darüber hinaus sollten natürliche Personen informiert werden, wenn sie einem Emotionserkennungssystem oder einem System zur biometrischen Kategorisierung ausgesetzt sind. Diese Informationen und Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei zugänglicher Form bereitgestellt werden. Darüber hinaus sollten Nutzer, die ein KI-System zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwenden, die wirklichen Personen, Orten oder Ereignissen merklich ähneln und einer Person fälschlicherweise echt erscheinen würden, offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ergebnisse künstlicher Intelligenz entsprechend kennzeichnen und auf ihren künstlichen Ursprung hinweisen. |
Begründung
Es darf keine Ausnahmen von der Transparenz- und Informationspflicht geben, wenn natürliche Personen mit KI-Systemen interagieren.
Änderung 12
Erwägungsgrund 76
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Um eine reibungslose, wirksame und harmonisierte Umsetzung dieser Verordnung zu erleichtern, sollte ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden. Der Ausschuss sollte für eine Reihe von Beratungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschlägen oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, darunter zu technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen; außerdem sollte er die Kommission in spezifischen Fragen im Zusammenhang mit künstlicher Intelligenz beraten und unterstützen. |
Um eine reibungslose, wirksame und harmonisierte Umsetzung dieser Verordnung zu erleichtern, sollte ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden. Der Ausschuss sollte für eine Reihe von Beratungsaufgaben zuständig sein und Stellungnahmen, Empfehlungen, Ratschlägen oder Leitlinien zu Fragen im Zusammenhang mit der Umsetzung dieser Verordnung abgeben, darunter zu technischen Spezifikationen oder bestehenden Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen; außerdem sollte er die Kommission in spezifischen Fragen im Zusammenhang mit künstlicher Intelligenz beraten und unterstützen. Die Zusammensetzung des Europäischen Ausschusses für künstliche Intelligenz sollte die Interessen der europäischen Gesellschaft widerspiegeln und eine ausgewogene Vertretung von Frauen und Männern aufweisen. |
Begründung
Der KI-Ausschuss der EU sollte die allgemeinen Interessen der europäischen Gesellschaft gut widerspiegeln. Hierzu gehören Themen wie Menschenrechte, Klima und energieeffiziente Nutzung von KI-Systemen, Sicherheit, soziale Inklusion, Gesundheit usw. Ein ausgewogenes Geschlechterverhältnis ist Voraussetzung für Diversität in puncto Beratung, Ausarbeitung von Leitlinien usw.
Änderung 13
Erwägungsgrund 77
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigen. Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte in jedem Mitgliedstaat eine nationale Behörde als nationale Aufsichtsbehörde benannt werden. |
Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung dieser Verordnung beaufsichtigen. Um die Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine offizielle Kontaktstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte in jedem Mitgliedstaat eine nationale Behörde als nationale Aufsichtsbehörde benannt werden. Die lokalen und regionalen Behörden werden mit Aufsichts- oder Durchsetzungsaufgaben betraut, sofern der Mitgliedstaat dies als zweckmäßig erachtet. |
Begründung
Um die Durchsetzbarkeit der Verordnung und ihres Überwachungs- und Durchsetzungsrahmens zu gewährleisten, sollte der Mitgliedstaat ermächtigt werden, die lokalen und regionalen Gebietskörperschaften — soweit erforderlich und möglich — mit Überwachungs- oder Durchsetzungsaufgaben zu betrauen.
Änderung 14
Erwägungsgrund 79
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben. |
Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der Anforderungen und Verpflichtungen gemäß dieser Verordnung, bei der es sich eine Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung (EU) 2019/1020 eingeführte System der Marktüberwachung und der Konformität von Produkten in vollem Umfang gelten. Sofern dies für die Erfüllung ihres Auftrags erforderlich ist, sollten auch nationale Behörden und ggf. lokale oder regionale Gebietskörperschaften oder Stellen, die die Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen, einschließlich Gleichstellungsstellen, Zugang zu der gesamten im Rahmen dieser Verordnung erstellten Dokumentation haben. |
Begründung
Mit diesem Änderungsantrag wird den unterschiedlichen Verwaltungsstrukturen in den EU-Mitgliedstaaten Rechnung getragen.
Änderung 15
Erwägungsgrund 83
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten , sollten alle an der Anwendung dieser Verordnung beteiligten Parteien die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren. |
Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit der zuständigen Behörden auf Ebene der Union sowie auf nationaler, regionaler und lokaler Ebene sollten alle an der Anwendung dieser Verordnung beteiligten Parteien die Vertraulichkeit der im Rahmen der Durchführung ihrer Tätigkeiten erlangten Informationen und Daten wahren. |
Begründung
Mit diesem Änderungsantrag wird den unterschiedlichen Verwaltungsstrukturen in den EU-Mitgliedstaaten Rechnung getragen.
Änderung 16
TITEL I Artikel 3 Absatz 1 — Begriffsbestimmungen
Vorschlag der Europäischen Kommission |
Änderung des AdR |
„System der künstlichen Intelligenz“ (KI-System) eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren; |
„System der künstlichen Intelligenz“ (KI-System) Software, die mit einer oder mehreren der in der nicht erschöpfenden Liste in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist , mit sozialen Praktiken, Identität und Kultur verknüpft ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, durch die Beobachtung ihrer Umgebung, Datenerfassung, die Interpretation der gesammelten — strukturierten oder unstrukturierten — Daten, das Wissensmanagement oder die Verarbeitung der aus diesen Daten gewonnenen Information Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren; |
Begründung
Ein KI-System besteht aus technischen Elementen, die Daten, Algorithmen und Rechenleistung mit sozialen Praktiken, der Gesellschaft, Identität und Kultur verknüpfen. Die Definition eines solchen dynamischen soziotechnischen Aggregats sollte daher zukunftsfähig sein und regelmäßig aktualisiert werden, um den immer größer werdenden Einfluss der KI auf die Gesellschaft möglichst genau abzubilden und gleichzeitig die sich rasch wandelnden Herausforderungen und Chancen im Zusammenhang mit KI, einschließlich der Verknüpfung von Wissensmanagement und KI, zu erfassen. Auch Algorithmen, die von anderen Algorithmen entwickelt wurden, sollten dieser Verordnung unterliegen.
Änderung 17
Artikel 5 Absatz 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||||||||
Folgende Praktiken im Bereich der künstlichen Intelligenz sind verboten: |
Folgende Praktiken im Bereich der künstlichen Intelligenz sind verboten: |
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
Begründung
Techniken der unterschwelligen Beeinflussung können im Allgemeinen die Freiheit, die Menschenrechte und damit das Funktionieren des demokratischen Rechtsstaats untergraben. Gleichzeitig kann künstliche Intelligenz die Verbraucherrechte untergraben. Dies soll mit den Ergänzungen klargestellt werden.
Die soziale Klassifizierung durch öffentliche Stellen oder in deren Namen sollte angesichts der in Erwägungsgrund 17 genannten Risiken verboten werden, wenn sie zu allgemeinen Zwecken durchgeführt wird. Die Generierung oder Erfassung von Daten für spezifische Zwecke sollte nur unter menschlicher Aufsicht und unter der Voraussetzung, dass die Würde und das Recht auf Nichtdiskriminierung sowie die Werte Gleichheit und Gerechtigkeit nicht verletzt werden, zulässig sein.
Änderung 18
Artikel 5 Absatz 4
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Ein Mitgliedstaat kann die Möglichkeit einer vollständigen oder teilweisen Genehmigung der Verwendung biometrischer Echtzeit-Identifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Buchstabe d, Absatz 2 und Absatz 3 aufgeführten Grenzen und unter den dort genannten Bedingungen vorsehen. Dieser Mitgliedstaat legt in seinem nationalen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung der in Absatz 3 genannten Genehmigungen sowie für die entsprechende Beaufsichtigung fest. In diesen Vorschriften wird auch festgelegt, im Hinblick auf welche der in Absatz 1 Buchstabe d genannten Ziele und welche der unter Ziffer iii genannten Straftaten die zuständigen Behörden ermächtigt werden können, diese Systeme zu Strafverfolgungszwecken zu verwenden. |
Ein Mitgliedstaat kann die Möglichkeit einer vollständigen oder teilweisen Genehmigung der Verwendung biometrischer Echtzeit-Identifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Buchstabe d, Absatz 2 und Absatz 3 aufgeführten Grenzen und unter den dort genannten Bedingungen vorsehen. Dieser Mitgliedstaat legt in seinem nationalen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung der in Absatz 3 genannten Genehmigungen sowie für die entsprechende Beaufsichtigung fest. In diesen Vorschriften wird auch festgelegt, im Hinblick auf welche der in Absatz 1 Buchstabe d genannten Ziele und welche der unter Ziffer iii genannten Straftaten die zuständigen Behörden ermächtigt werden können, diese Systeme zu Strafverfolgungszwecken zu verwenden. In diesen Vorschriften werden die Modalitäten für die Unterrichtung und Konsultation der betroffenen lokalen und regionalen Gebietskörperschaften festgelegt. Diese Konsultation muss einer außerordentlichen Nutzung dieser Systeme im öffentlichen Raum vorangehen. In dringenden Fällen, in denen eine vorherige Konsultation vernünftigerweise nicht abgewartet werden kann, wird die zuständige lokale bzw. regionale Behörde unverzüglich über den Einsatz der jeweiligen KI-Praxis unterrichtet. |
Begründung
Die lokalen und regionalen Gebietskörperschaften haben die politische und administrative Verantwortung für die Verwaltung und Überwachung des öffentlichen Raums. Sie sollten daher in die Lage versetzt werden, sich vor dem Einsatz solcher KI-Praktiken zu Wort zu melden, und ordnungsgemäß über die außergewöhnliche Nutzung von KI-Systemen zum Zwecke der Strafverfolgung informiert werden.
In dringenden Fällen, in denen eine vorherige Konsultation vernünftigerweise nicht abgewartet werden kann, wird die betreffende lokale oder regionale Behörde unverzüglich unterrichtet.
Änderung 19
Artikel 13
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||||||||
Artikel 13 Transparenz und Bereitstellung von Informationen für die Nutzer |
Artikel 13a Transparenz und Bereitstellung von Informationen für die Nutzer |
||||||||||
1. Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können. Die Transparenz wird auf eine geeignete Art und in einem angemessenen Maß gewährleistet, damit die Nutzer und Anbieter ihre in Kapitel 3 dieses Titels festgelegten einschlägigen Pflichten erfüllen können. |
1. Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können. Transparenz und eine verständliche Erläuterung werden auf eine geeignete Art und in einem angemessenen Maß gewährleistet, damit die Nutzer und Anbieter ihre in Kapitel 3 dieses Titels festgelegten einschlägigen Pflichten erfüllen können. Die Erläuterung hat zumindest in der Sprache des Landes zu erfolgen, in dem das KI-System eingesetzt wird. |
||||||||||
2. Hochrisiko-KI-Systeme werden mit Gebrauchsanweisungen in einem geeigneten digitalen Format bereitgestellt oder auf andere Weise mit Gebrauchsanweisungen versehen, die präzise, vollständige, korrekte und eindeutige Informationen in einer für die Nutzer relevanten, barrierefrei zugänglichen und verständlichen Form enthalten. |
2. Hochrisiko-KI-Systeme werden mit transparenten, verständlichen und öffentlich zugänglichen Gebrauchsanweisungen in einem geeigneten digitalen Format bereitgestellt oder auf andere Weise mit Gebrauchsanweisungen versehen, die präzise, vollständige, korrekte und eindeutige Informationen in einer für die Nutzer relevanten, barrierefrei zugänglichen und verständlichen Form enthalten. |
||||||||||
3. Die in Absatz 2 genannten Informationen umfassen: |
3. Die in Absatz 2 genannten Informationen umfassen: |
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
|
||||||||||
|
13b Transparenz und Bereitstellung von Informationen für betroffene Personen Personen oder Personengruppen, für die ein Hochrisiko-KI-System verwendet werden soll, werden auf geeignete, leicht zugängliche und verständliche Weise über diese Verwendung informiert und haben Zugang zu expliziten, leicht zugänglichen und öffentlich verfügbaren Informationen über diese Verwendung. |
Begründung
Um das Ökosystem für Vertrauen zu stärken, sollten die Gebrauchsanweisungen von Hochrisiko-KI-Systemen öffentlich zugänglich gemacht werden. Diese Anweisungen müssen für die Leser verständlich formuliert und in der Sprache des Landes abgefasst werden, in dem das KI-System eingesetzt wird.
Im Zusammenhang mit der Transparenz und Erklärbarkeit von Algorithmen sollte es möglich sein zu erklären, mittels welcher Parameter das Modell abgestimmt wurde und welche Maßnahmen ergriffen wurden, um Über- und Unteranpassung zu vermeiden.
In Artikel 13b wird die Transparenz- und Informationspflicht gegenüber Personen geregelt, die mit dem KI-System interagieren oder von ihm betroffen sein könnten.
Änderung 20
Artikel 14 Absatz 4
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||
Die in Absatz 3 genannten Maßnahmen müssen den Personen, denen die menschliche Aufsicht übertragen wurde, je nach den Umständen Folgendes ermöglichen: |
Die in Absatz 3 genannten Maßnahmen müssen den Personen, denen die menschliche Aufsicht übertragen wurde, je nach den Umständen Folgendes ermöglichen: |
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
Begründung
Es gibt verschiedene Formen der Verzerrung („Bias“), die problematisch sein können. Beispiele hierfür sind die verzerrte Wahrnehmung des Programmierers oder Nutzers des KI-Systems (sozialer Bias), die Verzerrung mit Blick auf die Frage, ob das eingesetzte KI-System eine angemessene Lösung für das Problem darstellt (technischer Bias), und statistische Formen der Verzerrung.
Änderung 21
Artikel 14, neuer Absatz nach Absatz 5
Vorschlag der Europäischen Kommission |
Änderung des AdR |
|
Jede Entscheidung, die von KI-Systemen gemäß Anhang III Absatz 5 Buchstabe a und b getroffen wird, muss menschlicher Kontrolle unterliegen und auf einem sorgfältigen Entscheidungsprozess beruhen. Menschliche Beteiligung muss bei diesen Entscheidungen sichergestellt werden. |
Begründung
Artikel 14 bezieht sich ausschließlich auf die menschliche Aufsicht über Hochrisiko-KI-Systeme. Bei staatlichen Entscheidungen muss hervorgehoben werden, dass menschliche Kontrolle, menschliche Beteiligung und ein ordnungsgemäßes Verfahren gewährleistet sind.
Änderung 22
Artikel 17 Absatz 1 — neue Buchstaben nach Buchstabe m
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||
Anbieter von Hochrisiko-KI-Systemen richten ein Qualitätsmanagementsystem ein, das die Einhaltung dieser Verordnung gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert und umfasst mindestens folgende Aspekte: |
Anbieter von Hochrisiko-KI-Systemen richten ein Qualitätsmanagementsystem ein, das die Einhaltung dieser Verordnung gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert und umfasst mindestens folgende Aspekte: |
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
Begründung
In dem Zusatz wird betont, dass Inklusivität und die Bekämpfung ungerechtfertigter Diskriminierung wichtige Elemente des Qualitätssicherungssystems sein sollten.
Das System muss den ethischen Werten entsprechen, die ein Nutzer des KI-Systems diesem System auferlegen möchte oder von denen der Anbieter vernünftigerweise erwarten kann, dass sie von einem Hochrisiko-KI-System gewahrt werden. Der Anbieter sollte erklären können, wie er dies berücksichtigt hat.
Änderung 23
Artikel 19 Absatz 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Die Anbieter von Hochrisiko-KI-Systemen stellen sicher, dass ihre Systeme vor dem Inverkehrbringen oder der Inbetriebnahme dem betreffenden Konformitätsbewertungsverfahren gemäß Artikel 43 unterzogen werden. Wurde infolge dieser Konformitätsbewertung nachgewiesen, dass die KI-Systeme die Anforderungen in Kapitel 2 dieses Titels erfüllen, erstellen die Anbieter eine EU-Konformitätserklärung gemäß Artikel 48 und bringen die CE-Konformitätskennzeichnung gemäß Artikel 49 an. |
Die Anbieter von Hochrisiko-KI-Systemen stellen sicher, dass ihre Systeme vor dem Inverkehrbringen oder der Inbetriebnahme dem betreffenden Konformitätsbewertungsverfahren gemäß Artikel 43 unterzogen werden. Wurde infolge dieser Konformitätsbewertung nachgewiesen, dass die KI-Systeme die Anforderungen in Kapitel 2 dieses Titels erfüllen, erstellen die Anbieter eine EU-Konformitätserklärung gemäß Artikel 48 und bringen die CE-Konformitätskennzeichnung gemäß Artikel 49 an. Der Anbieter von Hochrisiko-KI-Systemen veröffentlicht die EU-Konformitätserklärung und eine Zusammenfassung der Konformitätsbewertung an einem öffentlich zugänglichen Ort. |
Begründung
Um das Ökosystem für Vertrauen in KI-Systeme zu stärken, müssen Anbieter von Hochrisiko-KI-Systemen auf Transparenz setzen. Die Öffentlichkeit sollte entsprechend in der Lage sein zu überprüfen, ob die Konformitätsbewertung im Einklang mit den Bestimmungen der Verordnung ordnungsgemäß durchgeführt wurde.
Änderung 24
Artikel 29, neuer Absatz nach Absatz 6
Vorschlag der Europäischen Kommission |
Änderung des AdR |
|
Nutzer von Hochrisiko-KI-Systemen sind dafür verantwortlich, vor der Einführung des Systems eine ethische Prüfung vorzunehmen. Sie müssen erläutern können, wie sich der Einsatz der Technologie auf Mensch und Gesellschaft auswirken kann. Sie legen den von ihnen beabsichtigten Zweck der Einführung des KI-Systems, die übergeordneten Werte und die Art und Weise dar, wie diese Werte gewichtet wurden und ob sie im System umgesetzt wurden. Sie bewerten die tatsächlichen Auswirkungen des Systems auf Mensch und Gesellschaft während des gesamten Lebenszyklus des KI-Systems. |
Begründung
Ethik ist ein weites Feld. Es gibt viele Arten zur Anwendung von Ethik auf Technologie, sowohl in Bezug auf theoretische Grundlagen als auch auf konkrete Methoden, Instrumente und konzeptuelle Werte. Werte sind Elemente, die von bestimmten Menschen(gruppen) als wichtig angesehen werden; sie können eher konkret oder eher konzeptueller Art sein. Es ist wichtig, die ganze Bandbreite möglicher moralischer Werte, die umgesetzt werden sollen, offen zu halten und den Lebenszyklus des KI-Systems permanent zu bewerten.
Änderung 25
Artikel 52 Absatz 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Die Anbieter stellen sicher, dass KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben , es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich . Diese Vorgabe gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten zugelassene KI-Systeme, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung. |
Die Anbieter stellen sicher, dass KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben. Diese Vorgabe gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten zugelassene KI-Systeme, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung. Der Umfang der Optionen und der rechtliche Status natürlicher Personen, die mit KI-Systemen interagieren, sollten durch diese Interaktion nicht eingeschränkt werden. |
Begründung
Werden technologische Instrumente als Medium für die Interaktion mit natürlichen Personen verwendet, besteht eventuell die Gefahr, dass die Wahlmöglichkeiten natürlicher Personen, die mit diesen Instrumenten interagieren, eingeschränkt werden. Natürliche Personen sollten immer ordnungsgemäß informiert werden, wenn sie auf KI-Systeme stoßen, und dies sollte nicht von der Auslegung einer konkreten Situation abhängig sein. Ihre Rechte sollten bei Interaktionen mit KI-Systemen stets gewährleistet sein.
Änderung 26
Artikel 57 Absatz 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Der Ausschuss besteht aus den nationalen Aufsichtsbehörden, vertreten durch ihren Leiter oder einen gleichwertigen hochrangigen Beamten der Behörde, und dem Europäischen Datenschutzbeauftragten. Weitere nationale Behörden können zu den Sitzungen eingeladen werden, wenn die erörterten Fragen für sie von Belang sind. |
Der Ausschuss besteht aus den nationalen Aufsichtsbehörden, vertreten durch ihren Leiter oder einen gleichwertigen hochrangigen Beamten der Behörde, und dem Europäischen Datenschutzbeauftragten. Weitere nationale , regionale und lokale Behörden können zu den Sitzungen eingeladen werden, wenn die erörterten Fragen für sie von Belang sind. |
Begründung
Die lokalen und regionalen Gebietskörperschaften sollten die Möglichkeit haben, sich an der Überwachung von KI-Systemen zu beteiligen und von deren Umsetzung vor Ort zu berichten.
Änderung 27
Artikel 58
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||||||||||||||
Bei der Beratung und Unterstützung der Kommission im Zusammenhang mit Artikel 56 Absatz 2 hat der Ausschuss insbesondere folgende Aufgaben: |
Bei der Beratung und Unterstützung der Kommission im Zusammenhang mit Artikel 56 Absatz 2 hat der Ausschuss insbesondere folgende Aufgaben: |
||||||||||||||||
|
|
||||||||||||||||
|
|
||||||||||||||||
|
|
||||||||||||||||
|
|
Begründung
Die lokalen und regionalen Gebietskörperschaften sind den Bürgerinnen und Bürgern sowie der lokalen Wirtschaft am nächsten. Sie sollten herausgehoben werden, wenn es um die Weitergabe ihres Wissens geht.
Änderung 28
Artikel 59 Absatz 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Um die Anwendung und Durchführung dieser Verordnung sicherzustellen, werden von jedem Mitgliedstaat zuständige nationale Behörden eingerichtet oder benannt. Die notifizierenden Behörden werden so organisiert, dass bei der Ausübung ihrer Tätigkeiten und der Wahrnehmung ihrer Aufgaben Objektivität und Unparteilichkeit gewahrt sind. |
Um die Anwendung und Durchführung dieser Verordnung sicherzustellen, werden von jedem Mitgliedstaat zuständige nationale Behörden eingerichtet oder benannt. Die notifizierenden Behörden werden so organisiert, dass bei der Ausübung ihrer Tätigkeiten und der Wahrnehmung ihrer Aufgaben Objektivität und Unparteilichkeit gewahrt sind. Die lokalen und regionalen Behörden werden befugt, Aufsichts- oder Durchsetzungsaufgaben wahrzunehmen, sofern der Mitgliedstaat dies als zweckmäßig erachtet. |
Begründung
Um die Durchsetzbarkeit der Verordnung und ihres Überwachungs- und Durchsetzungsrahmens zu gewährleisten, sollte der Mitgliedstaat in der Lage sein, die lokalen und regionalen Gebietskörperschaften — soweit erforderlich und möglich — mit Überwachungs- oder Durchsetzungsaufgaben zu betrauen. Die lokalen und regionalen Gebietskörperschaften müssen diesbezüglich Unterstützung und Schulungen erhalten, damit sie umfassend in der Lage sind, Aufsichts- und Durchsetzungsaufgaben wahrzunehmen.
Änderung 29
Artikel 69 Absatz 3
Vorschlag der Europäischen Kommission |
Änderung des AdR |
Verhaltenskodizes können von einzelnen KI-System-Anbietern oder von Interessenvertretungen dieser Anbieter oder von beiden aufgestellt werden, auch unter Einbeziehung von Nutzern und Interessenträgern sowie deren Interessenvertretungen. Verhaltenskodizes können sich auf mehrere KI-Systeme erstrecken, um ähnlichen Zweckbestimmungen der jeweiligen Systeme Rechnung zu tragen. |
Verhaltenskodizes können von nationalen, regionalen oder lokalen Behörden, einzelnen KI-System-Anbietern oder von Interessenvertretungen dieser Anbieter oder von beiden aufgestellt werden, auch unter Einbeziehung von Nutzern und Interessenträgern sowie deren Interessenvertretungen. Verhaltenskodizes können sich auf mehrere KI-Systeme erstrecken, um ähnlichen Zweckbestimmungen der jeweiligen Systeme Rechnung zu tragen. |
Begründung
Die nationalen, regionalen und lokalen Behörden sollten die rechtliche Befugnis erhalten, Verhaltenskodizes für KI-Systeme zu erstellen, die sie entwickeln oder verwenden.
Änderung 30
ANHANG I — Techniken und Ansätze im Bereich der künstlichen Intelligenz gemäß Artikel 3 Absatz 1
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||
|
Angesichts des derzeitigen Stands der Wissenschaft umfasst KI folgende Techniken und Methoden: |
||||
|
|
||||
|
|
||||
|
|
Begründung
Die Definition und die Liste der KI-Techniken sollten zukunftstauglich sein. Die Liste der spezifischen Techniken und Ansätze, die für die Entwicklung von KI-Systemen verwendet werden, sollte keine erschöpfende Liste sein, und sie muss eindeutig auf den neuesten wissenschaftlichen Erkenntnissen beruhen.
Änderung 31
Anhang III Absatz 1 bis 5
Vorschlag der Europäischen Kommission |
Änderung des AdR |
||||
Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 gelten die in folgenden Bereichen aufgeführten KI-Systeme: |
Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 gelten die in folgenden Bereichen aufgeführten KI-Systeme: |
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
||||
|
|
Begründung
Die Telekommunikations-, Wasser- und Internetinfrastruktur gehört zweifellos zu den kritischen Infrastrukturen.
Bei der Qualifizierung von Hochrisiko-Systemen geht es um die Frage, ob solche Systeme ein tatsächliches Risiko für die Bürger darstellen könnten. Die bloße analytische und theoretische Bewertung der Ansprüche von Personen auf öffentliche Dienstleistungen birgt an sich kein hohes Risiko. Die Ersetzung des Wortes „beurteilen“ durch „entscheiden“ macht deutlich, dass sich dieses Risiko bei der Entscheidungsfindung insbesondere für Gebietsansässige wirksam widerspiegelt.
II. POLITISCHE EMPFEHLUNGEN
DER EUROPÄISCHE AUSSCHUSS DER REGIONEN
Ökosystem für Exzellenz
1. |
betont, dass das Bestreben der Kommission, die EU zum weltweiten Vorreiter bei der verantwortungsbewussten und auf die Menschen ausgerichteten Entwicklung der künstlichen Intelligenz (KI) zu machen, nur erreicht werden kann, wenn die lokalen und regionalen Gebietskörperschaften hierbei eine wichtige Rolle spielen. Die lokalen und regionalen Gebietskörperschaften verfügen über die besten Voraussetzungen, um zur Schaffung günstiger Rahmenbedingungen für mehr Investitionen in KI in den kommenden Jahren und zur Förderung des Vertrauens in KI beizutragen; |
2. |
betont, dass es neben der Einbeziehung der lokalen und regionalen Gebietskörperschaften sehr wichtig ist, ihnen auch Unterstützung zu gewähren und Schulungen anzubieten, um ihre Kompetenzen in diesem Bereich zu stärken, zumal sie möglicherweise mit Aufsichts- und Durchsetzungsaufgaben betraut werden; |
3. |
stellt fest, dass EU-Mittel für die Entwicklung von KI zur Verfügung gestellt werden, weist jedoch auf den uneinheitlichen Ansatz für diese Finanzierung hin, der auf die Vielfalt der Programme zurückzuführen ist, wodurch das Risiko von Fragmentierung und Überschneidungen steigt; |
4. |
fordert die Kommission daher auf, starke und vielgestaltige gemeinsame Datenräume zu entwickeln und miteinander zu vernetzen, in denen gesellschaftliche Anwendungsfälle unter Nutzung öffentlicher und privater Daten gelöst werden. Dies erfordert auch eine Abstimmung mit den Gesetzgebungsinitiativen im Rahmen der Europäischen Datenstrategie; |
Ökosystem für Vertrauen
5. |
bedauert, dass sich der Vorschlag für eine Verordnung nicht auf die lokalen und regionalen Gebietskörperschaften bezieht, obwohl der Rechtsrahmen sowohl für öffentliche als auch für private Akteure gelten wird; |
6. |
stellt fest, dass KI-Systeme eine große Hilfe bei der Interaktion der lokalen und regionalen Gebietskörperschaften mit ihren Bürgerinnen und Bürgern sowie für die Erbringung von Dienstleistungen sein können. Darüber hinaus können KI-Systeme unter anderem die Effizienz des öffentlichen Sektors verbessern und die lokalen und regionalen Gebietskörperschaften bei den Anpassungen unterstützen, die auf lokaler und regionaler Ebene in Verbindung mit dem ökologischen Wandel erforderlich sind. Deshalb sollten die Erfahrungen der lokalen und regionalen Gebietskörperschaften in der laufenden Überarbeitung der Verordnung berücksichtigt werden; |
7. |
fordert eingehendere Definitionen der Begriffe „Anbieter“ und „Nutzer“, insbesondere in Situationen, in denen Unternehmen, Forschungseinrichtungen, Behörden und Einwohner KI-Systeme gemeinsam in Living Labs entwickeln und testen. Besonderes Augenmerk sollte auch auf die Bürger bzw. Verbraucher gelegt werden, die von KI-gestützten Entscheidungen von Systemen betroffen sind, die von gewerblichen Nutzern eingesetzt werden; |
8. |
betont die Notwendigkeit einer vorherigen Konsultation der zuständigen lokalen und regionalen Gebietskörperschaften im Falle der Nutzung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken; |
9. |
begrüßt die öffentliche Konsultation der Kommission zur Anpassung der Vorschriften über die zivilrechtliche Haftung an die spezifischen Herausforderungen des digitalen Zeitalters und der künstlichen Intelligenz (1) und erwartet, dass sie zu einem aktualisierten Rahmen führen wird, mit dem sichergestellt wird, dass die Verbraucher für Schäden, die durch KI-Anwendungen verursacht werden, entschädigt werden; |
10. |
fragt sich, warum KI-Systeme, die in demokratischen Prozessen wie Wahlen eingesetzt werden, nicht auf der Liste der Hochrisiko-KI-Systeme stehen; |
11. |
fordert, dass Hochrisiko-KI-Systeme denselben Transparenz- und Informationsanforderungen für natürliche Personen unterliegen, wie sie derzeit für Nutzer gelten; |
12. |
hebt die großen Risiken und Folgen für die Menschenrechte hervor, die mit der Verwendung sozialer Klassifizierungen verbunden sind; |
13. |
sieht in diesem Zusammenhang die beiden in der Verordnung (2) aufgeführten Ergebnisse, anhand derer die soziale Bewertung zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen führt, mit großer Skepsis, da es äußerst schwierig ist, das Vorliegen solcher Ergebnisse festzustellen; fordert in diesem Zusammenhang die klare Formulierung strenger Garantien, um sicherzustellen, dass das Verbot von Praktiken der sozialen Klassifizierung nicht umgangen wird; |
14. |
nimmt zur Kenntnis, dass in den Erwägungsgründen der Verordnung auf die Risiken eingegangen wird, denen Einzelpersonen aufgrund ihrer Interaktion mit Hochrisiko-KI-Systemen ausgesetzt sind, unter anderem in den Bereichen allgemeine und berufliche Bildung, Beschäftigung, Personalverwaltung, Zugang zu selbständiger Tätigkeit oder Zugang zu bestimmten grundlegenden privaten und öffentlichen Dienstleistungen und deren Inanspruchnahme; |
15. |
fordert die Kommission auf, die Hochrisiko-Einstufung von KI-Systemen, die von öffentlichen Stellen genutzt werden sollen, eingehender zu untersuchen (3); |
16. |
fordert, dass eine Behörde eine fundierte Ex-ante-Beratung zur Auslegung der Bestimmungen der Verordnung auch in Bezug auf die Datenschutz-Grundverordnung abgeben kann. Dies erhöht die Rechtssicherheit und senkt die Kosten für die Konzipierung und Umsetzung von KI-Systemen; |
17. |
betont in diesem Zusammenhang, wie wichtig Klarheit bei der Formulierung der Verordnung ist, die entscheidend dazu beiträgt, ein Ökosystem für Vertrauen aufzubauen und die Rechtsunsicherheit in Bezug auf die Entwicklung und Nutzung von KI-Systemen zu beseitigen. Dies würde Fehlinterpretationen der vorgeschlagenen Anforderungen vermeiden und das Risiko eines anschließenden unsachgemäßen Einsatzes von KI-Anwendungen minimieren, wodurch die Wirksamkeit der Verordnung und die Glaubwürdigkeit der Sanktionen maximiert würden. Gleichzeitig und im Einklang mit der Agenda der Europäischen Kommission für bessere Rechtsetzung ist die frühzeitige Erkennung und Beseitigung von potenziellen Überschneidungen und/oder Konflikten mit bestehenden Vorschriften von entscheidender Bedeutung; |
18. |
stellt fest, dass viele lokale und regionale Gebietskörperschaften die gleichen KI-Systeme für ähnliche Aufgaben nutzen. Die Systeme werden in der überwiegenden Mehrzahl der Fälle von Privatunternehmen konzipiert; |
19. |
weist darauf hin, dass der Verordnungsvorschlag bezüglich der Gewährleistung der Rechte der Bürgerinnen und Bürger nicht isoliert dasteht, sondern im Zusammenhang mit den bestehenden Rechtsvorschriften gesehen werden muss. An die Mitgliedstaaten richtet sich daher die Aufforderung, fortlaufend für die erforderlichen administrativen Maßnahmen zu sorgen, um den Chancen und Risiken im Zusammenhang mit dem Einsatz von KI im öffentlichen Sektor Rechnung zu tragen; |
20. |
weist darauf hin, dass dies bedeutet, dass bei der Konformitätsbewertung europäische und nationale Vorschriften von Unternehmen und notifizierten Stellen ausgelegt werden, was sich auf die Praxis der lokalen und regionalen Gebietskörperschaften auswirkt, die diese KI-Systeme nutzen. Dadurch wird es schwierig festzustellen, in welchem Maß die lokale und regionale Politik in diesen KI-Systemen berücksichtigt werden kann; verweist deshalb auf die besonderen Bedürfnisse der lokalen und regionalen Gebietskörperschaften und auf die Tatsache, dass ein pauschaler Ansatz die Wirksamkeit der KI-Systeme bei der Wahrnehmung dieser Bedürfnisse untergraben könnte; schlägt zudem vor, dass die Mitgliedstaaten ermächtigt werden sollten, Hochrisiko-KI-Systeme zu regulieren, wenn zwingende und gerechtfertigte Gründe des Allgemeininteresses vorliegen; |
21. |
fordert in diesem Zusammenhang, dass Konformitätsbewertungen transparent und für die Öffentlichkeit zugänglich sind. Darüber hinaus sollten die lokalen und regionalen Gebietskörperschaften in der Lage sein, sich an der Überwachung von KI-Systemen zu beteiligen, über ihre Umsetzung vor Ort Bericht zu erstatten und einen formellen Beitrag zur Bewertung der Anwendung der Verordnung durch die Europäische Kommission zu leisten; |
22. |
betont, dass die Anwendung des Reallabors (regulatory sandbox) die Schaffung entsprechender rechtlicher, methodischer und ethischer Bedingungen voraussetzt, um die Entwicklung von Technologie und Rechtsvorschriften sowie die Bewertung dieser Rechtsvorschriften zu ermöglichen. Ebenfalls sollten klare Kriterien für die Zulassung von Unternehmern zum Reallabor festgelegt werden. Um sicherzustellen, dass Verbraucherorganisationen die Bestimmungen des Gesetzes über künstliche Intelligenz durchsetzen können, muss dieses in Anhang I der Richtlinie über Verbandsklagen zum Schutz der Kollektivinteressen der Verbraucher ((EU) 2020/1828) aufgenommen werden; |
Informationskampagnen
23. |
betont die Bedeutung öffentlicher Kampagnen, um die Bevölkerung über die Existenz von KI-Systemen und deren Nutzen sowie über potenzielle Risiken zu informieren und aufzuklären; betont zudem, dass es dringend erforderlich ist, dass Verbraucher umfassend über künstliche Intelligenz/maschinengesteuerte Entscheidungsprozesse informiert werden; fordert zu diesem Zweck die Europäische Kommission auf, Mittel für entsprechende Kampagnen bereitzustellen; |
Verwaltungsaufwand
24. |
bringt seine Besorgnis über den potenziellen Verwaltungsaufwand infolge der vorgeschlagenen Verordnung zum Ausdruck. Der Verwaltungsaufwand kann kleine und mittlere Unternehmen sowie lokale und regionale Gebietskörperschaften bei der Förderung von Innovation und der Einführung von KI-Systemen behindern (4); |
Verhältnismäßigkeit und Subsidiarität
25. |
ist der Auffassung, dass der Verordnungsentwurf den Anforderungen des Grundsatzes der Verhältnismäßigkeit und des Subsidiaritätsprinzips entspricht. Der Mehrwert eines Eingreifens der EU in diesem Bereich und die Angemessenheit der von der Kommission gewählten Rechtsgrundlagen sind klar und kohärent. Die Folgenabschätzung enthält einen gesonderten Abschnitt zur Subsidiarität. Darüber hinaus hat kein nationales Parlament bis zum Ablauf der auf den 2. September 2021 festgesetzten Frist eine begründete Stellungnahme zur Nichteinhaltung des Subsidiaritätsprinzips abgegeben. |
Brüssel, den 2. Dezember 2021
Der Präsident des Europäischen Ausschusses der Regionen
Apostolos TZITZIKOSTAS
([62]) Rahmenbeschluss 2002/584/JI des Rates vom 13. Juni 2002 über den Europäischen Haftbefehl und die Übergabeverfahren zwischen den Mitgliedstaaten (ABl. L 190 vom 18.7.2002, S. 1).
([62]) Rahmenbeschluss 2002/584/JI des Rates vom 13. Juni 2002 über den Europäischen Haftbefehl und die Übergabeverfahren zwischen den Mitgliedstaaten (ABl. L 190 vom 18.7.2002, S. 1).
(1) https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12979-Civil-liability-adapting-liability-rules-to-the-digital-age-and-artificial-intelligence/public-consultation_de.
(2) Artikel 5 Absatz 1 Buchstabe c).
(3) Anhang III Absatz 5 Buchstabe a.
(4) In einer kürzlich veröffentlichten Studie (Study to support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, S. 12), die von der Europäischen Kommission unterstützt wurde, wird auf der Grundlage realistischer Annahmen davon ausgegangen, dass die Zertifizierung eines KI-Systems durchschnittlich 16 800 bis 23 000 EUR kosten könnte, was etwa 10 bis 14 % der Entwicklungskosten entspricht.