52021AE2482

EUR-Lex

Access to European Union law

This document is an excerpt from the EUR-Lex website

EUROPA
EUR-Lex home
EUR-Lex - 52021AE2482 - EN

Help

Search tips

Need more search options? Use the Advanced search

Document 52021AE2482

Stellungnahme des Europäischen Wirtschafts- und Sozialausschusses zum „Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union“ (COM(2021) 206 final — 2021/106(COD))

EESC 2021/02482

ABl. C 517 vom 22.12.2021, p. 61–66 (BG, ES, CS, DA, DE, ET, EL, EN, FR, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

HTML

PDF

Official Journal

22.12.2021

Amtsblatt der Europäischen Union

C 517/61

(COM(2021) 206 final — 2021/106(COD))

(2021/C 517/09)

Berichterstatterin:

Catelijne MULLER

Befassung	Europäisches Parlament, 7.6.2021 Rat, 15.6.2021
Rechtsgrundlage	Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union
Zuständige Fachgruppe	Fachgruppe Binnenmarkt, Produktion, Verbrauch
Annahme in der Fachgruppe	2.9.2021
Verabschiedung im Plenum	22.9.2021
Plenartagung Nr.	563
Ergebnis der Abstimmung (Ja-Stimmen/Nein-Stimmen/Enthaltungen)	225/03/06

1. Schlussfolgerungen und Empfehlungen

1.1.

Der Europäische Wirtschafts- und Sozialausschuss (EWSA) begrüßt, dass die Kommission in ihrem Vorschlag für ein Gesetz über künstliche Intelligenz (im Folgenden: „KI-Gesetz“) nicht nur die mit KI verbundenen Risiken anspricht, sondern auch anspruchsvolle Maßstäbe für die Qualität, Leistung und Vertrauenswürdigkeit der KI, die auf dem europäischen Markt zugelassen werden kann, vorgibt. Insbesondere heißt er gut, dass der Schwerpunkt des bereichsübergreifend angelegten KI-Gesetzes auf Gesundheit, Sicherheit und Wahrung der Grundrechte liegt.

1.2.

Der EWSA sieht noch Raum für Verbesserungen hinsichtlich des Anwendungsbereichs, der Definition und der Präzisierung der verbotenen KI-Praktiken, der Auswirkungen der Einstufung in eine Risikokategorie entsprechend einer Risikopyramide, des risikomindernden Effekts der Anforderungen an Hochrisiko-KI-Systeme, der Durchsetzbarkeit des KI-Gesetzes und des Zusammenspiels mit bereits geltenden Rechtsvorschriften und anderen Legislativvorschlägen aus jüngster Zeit.

1.3.

Der EWSA betont, dass KI nicht im rechtsfreien Raum stattfindet. Aufgrund seines breiten Anwendungsbereichs und seines Geltungsvorrangs als EU-Verordnung könnte das KI-Gesetz zu Spannungen mit bestehenden nationalen und EU-Rechtsvorschriften und damit verbundenen Regulierungsvorschlägen führen. Der EWSA empfiehlt, Erwägungsgrund 41 zu ändern, um die Wechselbeziehung zwischen dem KI-Gesetz und den geltenden und künftigen Rechtsvorschriften zu berücksichtigen und klarzustellen.

1.4.

Der EWSA empfiehlt, KI klarer zu definieren und dazu Anhang I zu streichen, Artikel 3 leicht abzuändern und den Anwendungsbereich des KI-Gesetzes auf Legacy-KI-Systeme sowie auf die KI-Komponenten der in Anhang IX aufgeführten IT-Großsysteme im Raum der Freiheit, der Sicherheit und des Rechts auszuweiten.

1.5.

Der EWSA empfiehlt, das Verbot der unterschwelligen Beeinflussung und der Ausnutzung der Schutzbedürftigkeit genauer auszuführen, in diesem Zusammenhang auch das Verbot schädlicher Manipulation zu erfassen und es um die Beeinträchtigung der Grundrechte, der Demokratie und der Rechtsstaatlichkeit zu ergänzen.

1.6.

Der EWSA hält eine mögliche Bewertung der Vertrauenswürdigkeit der EU-Bürgerinnen und -Bürger aufgrund ihres sozialen Verhaltens oder persönlicher Merkmale in der EU für vollkommen unangebracht, egal, wer die Bewertung vornimmt. Er empfiehlt eine Ausweitung des Verbots auf Social Scoring seitens privater Organisationen und halböffentlicher Einrichtungen.

1.7.

Der EWSA fordert das uneingeschränkte Verbot von KI-Anwendungen für die automatisierte Erkennung biometrischer Merkmale in öffentlichen und nicht öffentlich zugänglichen Räumen außer zu Zwecken der Authentifizierung in bestimmten Fällen sowie für die automatisierte Erkennung menschlicher verhaltensgebundener Signale in öffentlichen und nicht öffentlich zugänglichen Räumen, ausgenommen in sehr spezifischen Fällen, etwa zu bestimmten gesundheitlichen Zwecken, wenn die Emotionserkennung bei Patienten wichtig ist.

1.8.

Die listenbasierte Aufführung von Hochrisiko-KI-Systemen birgt die Gefahr, dass eine Reihe KI-Systeme und -Anwendungen, die nach wie vor im Kreuzfeuer der Kritik stehen, als normal und massentauglich etabliert werden. Der EWSA warnt, dass die Einhaltung der Auflagen für KI mit mittlerem und hohem Risiko nicht notwendigerweise auch dazu führt, dass sämtliche Hochrisiko-KI-Systeme eine geringere Gefahr für die Gesundheit, Sicherheit und Grundrechte darstellen. Dieser Sachverhalt sollte im KI-Gesetz geregelt werden. Zumindest sollten die in den Ethikleitlinien für eine vertrauenswürdige KI festgelegten Anforderungen i) Vorrang menschlichen Handelns, ii) Privatsphäre, iii) Vielfalt, Nichtdiskriminierung und Fairness, iv) Erklärbarkeit und v) gesellschaftliches und ökologisches Wohlergehen hinzugefügt werden.

1.9.

Im Einklang mit dem seinerseits seit jeher verfochtenen KI-Ansatz „Human-in-Command“ (Kontrolle durch den Menschen) empfiehlt der EWSA nachdrücklich, im KI-Gesetz zu regeln, dass bestimmte Entscheidungen nach wie vor vom Menschen getroffen werden müssen, insbesondere in Bereichen, wie Justiz, Strafverfolgung, Sozialdienste, Gesundheitsversorgung, Wohnungswesen, Finanzdienstleistungen, Arbeitsbeziehungen und Bildung, wo diese Entscheidungen eine ethische Dimension und rechtliche oder gesellschaftliche Auswirkungen haben.

1.10.

Der EWSA spricht sich dafür aus, Konformitätsbewertungen durch unabhängige Dritte für alle Hochrisiko-KI-Anwendungen verpflichtend vorzuschreiben.

1.11.

Der EWSA empfiehlt, ein Beschwerde- und Rechtsbehelfsverfahren für Organisationen und Bürgerinnen und Bürger vorzusehen, die durch KI-Systeme, -Praktiken oder -Anwendungen, die in den Anwendungsbereich des KI-Gesetzes fallen, Schaden erlitten haben.

2. Verordnungsvorschlag zur künstlichen Intelligenz — KI-Gesetz

2.1.

Der EWSA begrüßt, dass die Kommission in ihrem Vorschlag für ein Gesetz über künstliche Intelligenz nicht nur die mit KI verbundenen Risiken anspricht, sondern auch anspruchsvolle Maßstäbe für die Qualität, Leistung und Vertrauenswürdigkeit der KI, die auf dem europäischen Markt zugelassen werden kann, vorgibt.

3. Allgemeine Bemerkungen — KI-Gesetz

Ziel und Geltungsbereich

3.1.

Der EWSA begrüßt das Ziel und den Geltungsbereich des KI-Gesetzes. Insbesondere heißt er gut, dass die Kommission den Schwerpunkt des KI-Gesetzes auf Gesundheit, Sicherheit und Wahrung der Grundrechte legt. Der EWSA ist auch hinsichtlich der Außenwirkung des KI-Gesetzes zufrieden, das sicherstellen wird, dass außerhalb der EU entwickelte KI, die in der EU angewendet wird oder Auswirkungen in der EU hat, den Rechtsnormen der EU genügt.

Definition von KI

3.2.

Die Definition von KI (Artikel 3 Absatz 1 in Verbindung mit Anhang I KI-Gesetz) hat eine Diskussion unter KI-Wissenschaftlern ausgelöst, die die in Anhang I genannten Beispiele für KI teilweise gar nicht als solche betrachten und zudem wichtige KI-Techniken vermissen. Der EWSA erachtet Anhang I als nutzlos und empfiehlt seine Streichung. Er empfiehlt ferner folgende Umformulierung der Definition in Artikel 3 Absatz 1:

„‚System der künstlichen Intelligenz‘ (KI-System) eine Software, die im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, automatisiert Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagiert“.

Gesundheit, Sicherheit und Grundrechte — die Risikopyramide

3.3.

Die sich nach oben zuspitzende Risikopyramide (von niedrigem/mittlerem über hohes bis zu inakzeptablem Risiko), anhand derer verschiedene allgemeine KI-Praktiken und bereichsspezifische KI-Anwendungsfälle kategorisiert werden, trägt der Tatsache Rechnung, dass nicht jede KI-Anwendung mit Risiken verbunden ist und dass nicht alle Risiken gleich hoch sind oder die gleichen Risikominderungsmaßnahmen erfordern.

3.4.

Der gewählte Ansatz wirft zwei wichtige Fragen auf. Erstens: Können der Schutz von Gesundheit und Sicherheit sowie die Wahrung der Grundrechte durch die Risikominderungsmaßnahmen (bei KI mit hohem und niedrigem/mittlerem Risiko) tatsächlich in ausreichendem Maße sichergestellt werden? Zweitens: Wollen wir zulassen, dass KI weitgehend die Entscheidungshoheit übernimmt, sogar in kritischen Bereichen wie Strafverfolgung und Justiz?

3.5.

Hinsichtlich der ersten Frage warnt der EWSA, dass die Einhaltung der Auflagen für KI mit mittlerem und hohem Risiko nicht notwendigerweise in allen Fällen Gefahren für die Gesundheit, Sicherheit und Grundrechte mindert. Darauf wird in Ziffer 4 ausführlicher eingegangen.

3.6.

Was die zweite Frage anbelangt, so fehlt im KI-Gesetz die Überlegung, dass KI die menschliche Entscheidungsfindung und die menschliche Intelligenz ergänzen, nicht aber ersetzen soll. Dem KI-Gesetz liegt die Annahme zugrunde, dass KI weitgehend menschliche Entscheidungen übernehmen kann, wenn die Anforderungen an KI mit mittlerem und hohem Risiko erfüllt sind.

3.7.

Der EWSA empfiehlt nachdrücklich, im KI-Gesetz zu regeln, dass bestimmte Entscheidungen nach wie vor vom Menschen getroffen werden müssen, insbesondere in Bereichen wie Justiz, Strafverfolgung, Sozialdienste, Gesundheitsversorgung, Wohnungswesen, Finanzdienstleistungen, Arbeitsbeziehungen und Bildung, wo diese Entscheidungen eine ethische Dimension und rechtliche oder gesellschaftliche Auswirkungen haben.

3.8.

KI-Systeme werden nicht im rechtsfreien Raum betrieben. Gegenwärtig gelten bereits eine ganze Reihe rechtsverbindlicher europäischer, nationaler und internationaler Vorschriften für KI-Systeme bzw. sind für sie relevant. Rechtsquellen sind u. a.: das Primärrecht der EU (die EU-Verträge und die EU-Grundrechtecharta), das Sekundärrecht der EU (etwa die Datenschutzgrundverordnung, die Produkthaftungsrichtlinie, die Verordnung über den freien Verkehr nicht personenbezogener Daten, Antidiskriminierungsrichtlinien, das Verbraucherschutzrecht sowie die Richtlinien über Sicherheit und Gesundheitsschutz am Arbeitsplatz), die UN-Menschenrechtsübereinkommen, die Konventionen des Europarats (wie die Europäische Menschenrechtskonvention) sowie zahlreiche Gesetze der EU-Mitgliedstaaten. Neben bereichsübergreifenden gibt es auch verschiedene fachspezifische Vorschriften, die für bestimmte KI-Anwendungen gelten (etwa die Verordnung über Medizinprodukte). Der EWSA empfiehlt, Erwägungsgrund 41 zu ändern, um diesen Sachverhalt gebührend zu berücksichtigen.

4. Besondere Bemerkungen und Empfehlungen — KI-Gesetz

Verbotene KI-Praktiken

4.1.

Der EWSA teilt die Auffassung, dass die in Artikel 5 aufgezählten KI-Praktiken tatsächlich keinen sozialen Nutzen haben und verboten werden sollten. Indes findet er den Wortlaut stellenweise unklar, was dazu führen könnte, dass einige Verbote schwer auszulegen sind und einfach umgangen werden könnten.

4.2.

Techniken der unterschwelligen Beeinflussung können nachweislich nicht nur zu physischen oder psychischen Schäden führen (der aktuellen Voraussetzung für dieses spezifische Verbot), sondern je nach Kontext auch zu weiteren nachteiligen Folgen für den Einzelnen, die Gesellschaft und die Demokratie, etwa durch verändertes Wahlverhalten. Häufig ist weniger die Technik der unterschwelligen Beeinflussung selbst als vielmehr die Auswahl der Zielgruppe KI-gesteuert.

4.3.

Um zu vermitteln, was durch Artikel 5 Absatz 1 Buchstabe a des KI-Gesetzes eigentlich verboten werden soll, nämlich Menschen zu manipulieren und zu schädlichem Verhalten zu bewegen, schlägt der EWSA folgende Umformulierung vor: „eines KI-Systems mit dem Ziel, dass eine Person ihr Verhalten konkret in einer Weise ändert, die der Wahrung der Grundrechte, physischen oder psychischen Gesundheit und Sicherheit dieser Person, einer anderen Person oder einer Personengruppe oder der Demokratie und der Rechtsstaatlichkeit Schaden zufügt oder Schaden zufügen kann“.

4.4.

Der EWSA empfiehlt, das Verbot der Ausnutzung von Schutzbedürftigkeit in Artikel 5 Absatz 1 Buchstabe b entsprechend zu ändern, um die Schädigung der Grundrechte sowie physische oder psychische Schäden zu berücksichtigen.

4.5.

Der EWSA begrüßt das Verbot des Social Scoring in Artikel 5 Absatz 1 Buchstabe c. Er empfiehlt eine Ausweitung des Verbots von Social Scoring auf private Organisationen und halböffentliche Einrichtungen, anstatt es lediglich auf Behörden zu beschränken. Die Bewertung der Vertrauenswürdigkeit der EU-Bürgerinnen und -Bürger aufgrund ihres sozialen Verhaltens oder persönlicher Merkmale ist in der EU vollkommen fehl am Platz, egal, wer die Bewertung vornimmt. Ansonsten würde die EU Social Scoring in zahlreichen Bereichen Tür und Tor öffnen, etwa am Arbeitsplatz. Die in den Ziffern i und ii genannten Bedingungen sollten deutlicher formuliert werden, um eine klare Unterscheidung zwischen Social Scoring und einer vertretbaren zweckgebundenen Bewertung zu ermöglichen: Die Grenze wird in dem Moment überschritten, wo die für die Bewertung verwendeten Informationen nicht mehr als für das Bewertungsziel relevant oder angemessen gelten können.

4.6.

Durch das KI-Gesetz soll die biometrische Echtzeit-Fernidentifizierung (etwa durch Gesichtserkennung) zu Strafverfolgungszwecken verboten und zu anderen Zwecken als Hochrisiko-KI-System eingestuft werden. Die nachträgliche und zeitnahe biometrische Erkennung bleibt zulässig, ebenso wie biometrische Erkennung, die nicht auf die Identifizierung einer Person abzielt, sondern auf die Bewertung des Verhaltens einer Person aufgrund ihrer biometrischen Merkmale (Mikroausdrücke, Laufmuster, Körpertemperatur, Herzfrequenz usw.). Ungeachtet der Beschränkung auf Zwecke der Strafverfolgung wird der Weg freigemacht für biometrische Identifizierung sowie für alle anderen Formen der biometrischen Erkennung, die nicht auf die Identifizierung einer Person abzielen, darunter sämtliche genannte Arten der Emotionserkennung, für alle anderen Zwecke, durch alle anderen Akteure, in öffentlich und nicht öffentlich zugänglichen Räumen, etwa am Arbeitsplatz, in Geschäften, Stadien, Theatern usw.

4.7.

Im KI-Gesetz werden Emotionserkennungssysteme allgemein als mit niedrigem Risiko behaftet eingestuft, mit Ausnahme der Hochrisiko-Kategorisierung einiger bereichsspezifischer Anwendungen. Diese Art biometrischer Erkennung ist unter der allgemeinen Bezeichnung Affekterkennung oder auch Verhaltenserkennung bekannt. All diese KI-Praktiken sind außerordentlich invasiv, haben keinerlei solide wissenschaftliche Grundlage und stellen eine erhebliche Gefährdung mehrerer in der EU-Charta verankerter Grundrechte dar, etwa der Würde des Menschen, des Rechts auf Unversehrtheit (das das Recht auf geistige Unversehrtheit einschließt) und des Rechts auf Achtung des Privatlebens.

4.8.

In weitgehendem Einklang mit der gemeinsamen Forderung des Europäischen Datenschutzbeauftragten (EDSB) und des Europäischen Datenschutzausschusses (EDSA) vom 21. Juni 2021 nach einem generellen Verbot der Verwendung von KI für die automatisierte Erkennung menschlicher Merkmale im öffentlichen Raum sowie von KI-Nutzungen mit Diskriminierungsrisiko fordert der EWSA:

—

das uneingeschränkte Verbot von KI-Anwendungen für die automatisierte Erkennung biometrischer Merkmale in öffentlichen und nicht öffentlich zugänglichen Räumen (wie die Erkennung von Gesichtszügen, Laufmustern, Stimme und sonstigen biometrischen Merkmalen) außer zu Zwecken der Authentifizierung in bestimmten Fällen (wie zur Gewährung von Zutritt zu sicherheitsrelevanten Räumen);

—	das uneingeschränkte Verbot von KI-Anwendungen in öffentlich und nicht öffentlich zugänglichen Räumen für die automatisierte Erkennung menschlicher verhaltensgebundener Signale;

—

das Verbot von KI-Systemen, die Einzelpersonen anhand biometrischer Daten je nach ethnischer Herkunft, Geschlecht, politischer Anschauung, sexueller Ausrichtung oder aus anderen Gründen, aus denen Laut Artikel 21 der EU-Grundrechtscharta jede Diskriminierung untersagt ist, in Cluster kategorisieren;

—	das Verbot der Anwendung von KI, um Rückschlüsse auf die Gefühle, Verhaltensweisen, Absichten oder Merkmale von Personen abzuleiten, ausgenommen in sehr spezifischen Fällen, etwa zu bestimmten gesundheitlichen Zwecken, wenn die Emotionserkennung bei Patienten wichtig ist.

Hochrisiko-KI-Systeme

4.9.

Die Kommission macht die Entscheidung, ob eine KI-Praktik oder -Anwendung, die ein Risiko für die Gesundheit, Sicherheit oder die Wahrung der Grundrechte darstellt, dennoch unter strengen Auflagen zugelassen werden kann, davon abhängig, ob erstens diese KI-Praktik oder -Anwendung einen Nutzen für die Gesellschaft bringt und ob zweitens die dennoch damit verbundenen Risiken einer Beeinträchtigung der Gesundheit, Sicherheit und Grundrechte durch die Erfüllung bestimmter Auflagen gemindert werden können.

4.10.

Der EWSA begrüßt die Übereinstimmung dieser Anforderungen mit in den Ethikleitlinien für eine vertrauenswürdige KI angestellten Überlegungen. Fünf wesentliche, in diesen Leitlinien festgelegte Anforderungen werden indes nicht im Einzelnen genannt: i) Vorrang menschlichen Handelns, ii) Privatsphäre, iii) Vielfalt, Nichtdiskriminierung und Fairness, iv) Erklärbarkeit und v) gesellschaftliches und ökologisches Wohlergehen. Nach Auffassung des EWSA wurde hier eine Chance vertan, denn viele der mit KI verbundenen Risiken betreffen die Privatsphäre, Bias (Voreingenommenheit), Ausgrenzung, nicht erklärbare KI-Entscheidungen, die Hinwegsetzung über den Vorrang menschlichen Handelns oder die Nichtbeachtung der Umwelterfordernisse — alles Aspekte unserer Grundrechte.

4.11.

Der EWSA empfiehlt, die in Titel III Kapitel II des KI-Gesetzes festgelegten Anforderungen an Hochrisiko-KI-Systeme um diese Anforderungen zu ergänzen, damit das KI-Gesetz schädliche Auswirkungen von öffentlich oder privat genutzter KI auf den Schutz unserer Gesundheit, Sicherheit und Grundrechte wirksam verhindern kann.

4.12.

Der EWSA begrüßt die „Vernetzung“ zwischen dem KI-Gesetz und den Harmonisierungsrechtsvorschriften der Union. Er empfiehlt, den Geltungsbereich des KI-Gesetzes und der Anforderungen für Hochrisiko-KI nicht nur auf KI-Systeme zu beschränken, bei denen es sich um Sicherheitskomponenten von Produkten oder selbst um Produkte handelt, die unter bestimmte Harmonisierungsrechtsvorschriften der Union (siehe Anhang II) fallen. Schließlich kann KI auch bei anderen Verwendungszwecken denn als Sicherheitskomponenten mit Risiken behaftet sein. Zudem ist ein KI-System auch nicht immer selbst ein Produkt, etwa, wenn KI bei der Diagnostik oder Prognosestellung in der Medizin eingesetzt wird oder die Thermostatregelung einer Heizungsanlage übernimmt.

4.13.

Die listenbasierte Aufführung von Hochrisiko-KI-Systemen in Anhang III birgt die Gefahr, dass eine Reihe KI-Systeme und -Anwendungen, die nach wie vor im Kreuzfeuer der Kritik stehen und nur einen fraglichen oder gar keinen gesellschaftlichen Nutzen bringen, als legitim, normal und massentauglich etabliert werden.

4.14.

Zudem können die Risiken für den Schutz der Gesundheit, Sicherheit und Grundrechte nicht notwendigerweise stets durch die Einhaltung der fünf Anforderungen an Hochrisiko-KI gemindert werden, zumal bei weniger prominenten Grundrechten, die durch KI gefährdet werden könnten, wie das Recht auf Menschenwürde, die Unschuldsvermutung, das Recht auf faire und gerechte Arbeitsbedingungen, die Vereinigungs- und Versammlungsfreiheit oder das Streikrecht.

4.15.

Der EWSA empfiehlt nachdrücklich, Anhang III Nummer 2 um die Verwaltung und den Betrieb der Telekommunikations- und Internetinfrastruktur zu ergänzen. Auch sollte sich dieser Punkt nicht nur auf KI-Systeme beschränken, bei denen es sich um Sicherheitskomponenten von Produkten handelt.

4.16.

KI-Systeme, die den Zugang zu Bildung bestimmen und schulische Leistungen bewerten, bergen das Risiko, die Gesundheit und Sicherheit oder die Grundrechte der Lernenden zu schädigen. Online-Proctoring-Tools zur automatisierten Überwachung von Online-Klausuren, die über verschiedene biometrische Verfahren und Verhaltensaufzeichnungen verdächtige Verhaltensweisen und Betrugsversuche erkennen sollen, sind hochinvasiv und nicht ausreichend wissenschaftlich begründet.

4.17.

Der Einsatz von KI-Systemen zur Überwachung, Verfolgung und Bewertung von Arbeitnehmern gibt Anlass zu ernsten Bedenken hinsichtlich der Wahrung der Grundrechte der Arbeitnehmer auf faire und angemessene Arbeitsbedingungen, auf Unterrichtung und Anhörung und auf eine Begründung im Falle einer Kündigung. Die Aufnahme dieser KI-Systeme in die Liste der Hochrisiko-KI-Systeme dürfte zu Konflikten mit nationalen arbeitsrechtlichen Vorschriften und tarifvertraglichen Regelungen über (un)gerechtfertigte Entlassung, Sicherheit und Gesundheit am Arbeitsplatz und die Unterrichtung der Arbeitnehmer führen. Der EWSA fordert die Gewährleistung der umfassenden Einbeziehung und Unterrichtung der Arbeitnehmer und Sozialpartner im Entscheidungsprozess über den Einsatz von KI am Arbeitsplatz sowie ihre Entwicklung, Beschaffung und Verwendung.

4.18.

Die Anforderung der menschlichen Aufsicht ist in den Arbeitsbeziehungen besonders relevant, da sie von einem oder mehreren Arbeitnehmern ausgeführt wird. Die Betroffenen sollten eine gezielte Schulung erhalten. Da diese Arbeitnehmer befugt sein sollten, das vom KI-System erzielte Ergebnis außer Acht zu lassen oder nicht zu verwenden, sollten Vorkehrungen getroffen werden, damit im Fall einer solchen Entscheidung kein Grund zur Befürchtung negativer Folgen (wie Herabstufung oder Entlassung) besteht.

4.19.

KI-Systeme werden häufiger in Verbindung mit der Zugänglichkeit und Inanspruchnahme öffentlicher Dienste eingesetzt als für den Zugang und die Inanspruchnahme grundlegender privater Dienste, wobei im Fall letzterer nur die Kreditwürdigkeitsprüfung und Kreditpunktebewertung durch KI als mit hohem Risiko behaftet gilt. Der EWSA empfiehlt, in Anhang III Nummer 5 Buchstabe b KI-Systeme hinzuzufügen, die bestimmungsgemäß die Berechtigung der Inanspruchnahme grundlegender privater Dienste beurteilen.

4.20.

KI-Systeme, die von Strafverfolgungsbehörden und in den Bereichen Migration, Asyl und Grenzkontrolle für individuelle Risikobewertungen (Straftat- oder Sicherheitsrisiko) eingesetzt wird, gefährdet die Unschuldsvermutung, die Verteidigungsrechte und das Asylrecht, die in der EU-Grundrechtscharta verankert sind. KI-Systeme suchen gemeinhin lediglich nach Übereinstimmungen mit Merkmalen anderer Fälle. Verdachtsmomente beruhen hier nicht auf der tatsächlichen Vermutung einer Straftat oder eines Fehlverhaltens der betreffenden Person, sondern lediglich auf einer zufälligen Übereinstimmung mit Merkmalen eines verurteilten Straftäters (Adresse, Einkommen, Nationalität, Schulden, Arbeitsplatz, Verhalten, Verhalten von Freunden und Familienmitgliedern usw.).

4.21.

Der Einsatz von KI in der Rechtspflege und in demokratischen Prozessen ist besonders sensibel und erfordert eine differenzierte und gründlichere Herangehensweise als derzeit üblich. Wenn nur der Unterstützung von Justizbehörden durch KI-Systeme bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte Rechnung getragen wird, bleibt außer Acht, dass eine Urteilsfindung weit über die Auswertung bereits vorhandener Daten hinausgeht (worauf sich die aktuellen KI-Systeme im Wesentlichen beschränken). In dem Verordnungsvorschlag wird auch davon ausgegangen, dass diese Art KI-Systeme lediglich der Unterstützung der Justizbehörden dienen. Eine vollständig automatisierte gerichtliche Entscheidungsfindung wird nicht angedacht. Der EWSA bedauert zudem, dass der Einsatz von KI-Systemen in demokratischen Prozessen wie bspw. bei Wahlen nicht angesprochen wird.

4.22.

Der EWSA empfiehlt die Aufnahme einer Bestimmung, die Fälle regelt, bei denen von vornherein klar ist oder aufgrund der vorangegangenen Konformitätsbewertung klar geworden ist, dass die sechs Anforderungen nicht ausreichen werden, um das Risiko einer Beeinträchtigung der Gesundheit, Sicherheit und Menschenrechte zu mindern (bspw. durch eine Änderung von Artikel 16 Buchstabe g).

Leitung und Durchsetzung

4.23.

Der EWSA begrüßt die durch das KI-Gesetz festgelegte Leitungsstruktur. Der Europäische Ausschuss für künstliche Intelligenz sollte regelmäßig einen verpflichtenden Meinungsaustausch mit der breiteren Öffentlichkeit, u. a. den Sozialpartnern und NGO, führen.

4.24.

Der EWSA empfiehlt mit Nachdruck, den Anwendungsbereich des KI-Gesetzes auf Legacy-KI-Systeme auszuweiten, also auf Systeme, die bereits in Gebrauch sind oder vor Inkrafttreten des KI-Gesetzes in Betrieb genommen werden, um zu verhindern, dass Betreiber KI-Systeme, die verboten oder mit hohem oder mittlerem Risiko behaftet sind, nicht im beschleunigten Verfahren an Konformitätsanforderungen vorbeisteuern. Ebenso nachdrücklich empfiehlt er, darin auch die KI-Komponenten der in Anhang IX aufgelisteten IT-Großsysteme im Raum der Freiheit, der Sicherheit und des Rechts einzubeziehen.

4.25.

Infolge der komplexen Anforderungen und Rechenschaftspflichten und der Selbstbewertung besteht die Gefahr, dass das Verfahren auf Prüflisten reduziert wird und die Einhaltung der Anforderungen durch ein einfaches „ja“ oder „nein“ bestätigt werden kann. Der EWSA spricht sich dafür aus, Bewertungen durch unabhängige Dritte für alle Hochrisiko-KI-Anwendungen verpflichtend vorzuschreiben.

4.26.

Der EWSA empfiehlt, angemessene (finanzielle) Unterstützungsmaßnahmen und einfache sowie leicht zugängliche Hilfsmittel für Kleinst- und Kleinunternehmen sowie Organisationen der Zivilgesellschaft vorzusehen, um es ihnen zu erleichtern, Sinn und Zweck des KI-Gesetzes zu erfassen und seinen Anforderungen gerecht zu werden. Diese Maßnahmen sollten über die Unterstützung digitaler Innovationszentren hinaus den Zugang zu fundiertem Fachwissen über das KI-Gesetz und die damit verbundenen Anforderungen und Verpflichtungen sowie die dahinterliegenden Gründe umfassen.

4.27.

Brüssel, den 22. September 2021

Die Präsidentin des Europäischen Wirtschafts- und Sozialausschusses

Christa SCHWENG

Top

Choose the experimental features you want to try