52021IP0405

EUR-Lex

Access to European Union law

This document is an excerpt from the EUR-Lex website

EUROPA
EUR-Lex home
EUR-Lex - 52021IP0405 - EN

Help

Search tips

Need more search options? Use the Advanced search

Document 52021IP0405

Europaparlamentets resolution av den 6 oktober 2021 om artificiell intelligens inom straffrätten och polisens och rättsväsendets användning av artificiell intelligens i brottsärenden (2020/2016(INI))

EUT C 132, 24.3.2022, p. 17–26 (BG, ES, CS, DA, DE, ET, EL, EN, FR, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)

HTML

PDF

Official Journal

24.3.2022

Europeiska unionens officiella tidning

C 132/17

P9_TA(2021)0405

Artificiell intelligens inom straffrätten och polisens och rättsväsendets användning av artificiell intelligens i brottmål

(2022/C 132/02)

Europaparlamentet utfärdar denna resolution

—	med beaktande av fördraget om Europeiska unionen, särskilt artiklarna 2 och 6, och fördraget om Europeiska unionens funktionssätt, särskilt artikel 16,

—	med beaktande av Europeiska unionens stadga om de grundläggande rättigheterna (stadgan), särskilt artiklarna 6, 7, 8, 11, 12, 13, 20, 21, 24 och 47,

—	med beaktande av den europeiska konventionen om skydd för de mänskliga rättigheterna och de grundläggande friheterna,

—	med beaktande av Europarådets konvention om skydd för enskilda vid automatisk databehandling av personuppgifter (ETS nr 108) och dess ändringsprotokoll (konvention 108+),

—

med beaktande av den europeiska etiska stadgan om användning av artificiell intelligens i rättssystemen och deras omgivande områden (European ethical Charter on the use of Artificial Intelligence in judicial systems and their environment) från Europarådets kommission för effektivisering av rättsväsendet (Cepej),

—	med beaktande av kommissionens meddelande av den 8 april 2019Att skapa förtroende för människocentrerad artificiell intelligens (COM(2019)0168),

—	med beaktande av de etiska riktlinjerna för tillförlitlig AI, som kommissionens högnivåexpertgrupp för artificiell intelligens offentliggjorde den 8 april 2019,

—	med beaktande av kommissionens vitbok av den 19 februari 2020Om artificiell intelligens – en EU-strategi för spetskompetens och förtroende (COM(2020)0065),

—	med beaktande av kommissionens meddelande av den 19 februari 2020En EU-strategi för data (COM(2020)0066),

—	med beaktande av Europaparlamentets och rådets förordning (EU) 2016/679 av den 27 april 2016 om skydd för fysiska personer med avseende på behandling av personuppgifter och om det fria flödet av sådana uppgifter och om upphävande av direktiv 95/46/EG (allmän dataskyddsförordning) (1),

—

med beaktande av Europaparlamentets och rådets direktiv (EU) 2016/680 av den 27 april 2016 om skydd för fysiska personer med avseende på behöriga myndigheters behandling av personuppgifter för att förebygga, förhindra, utreda, avslöja eller lagföra brott eller verkställa straffrättsliga påföljder, och det fria flödet av sådana uppgifter och om upphävande av rådets rambeslut 2008/977/RIF (2),

—

med beaktande av Europaparlamentets och rådets förordning (EU) 2018/1725 av den 23 oktober 2018 om skydd för fysiska personer med avseende på behandling av personuppgifter som utförs av unionens institutioner, organ och byråer och om det fria flödet av sådana uppgifter samt om upphävande av förordning (EG) nr 45/2001 och beslut nr 1247/2002/EG (3),

—	med beaktande av Europaparlamentets och rådets direktiv 2002/58/EG av den 12 juli 2002 om behandling av personuppgifter och integritetsskydd inom sektorn för elektronisk kommunikation (direktiv om integritet och elektronisk kommunikation) (4),

—	med beaktande av Europaparlamentets och rådets förordning (EU) 2016/794 av den 11 maj 2016 om Europeiska unionens byrå för samarbete inom brottsbekämpning (Europol) och om ersättande och upphävande av rådets beslut 2009/371/RIF, 2009/934/RIF, 2009/935/RIF, 2009/936/RIF och 2009/968/RIF (5),

—	med beaktande av sin resolution av den 19 juni 2020 om protesterna mot rasism till följd av George Floyds död (6),

—	med beaktande av sin resolution av den 14 mars 2017 om stordatas effekter på de grundläggande rättigheterna: integritet, uppgiftsskydd, icke-diskriminering, säkerhet och brottsbekämpning (7),

—	med beaktande av utfrågningen i utskottet för medborgerliga fri- och rättigheter samt rättsliga och inrikes frågor (LIBE) den 20 februari 2020 om artificiell intelligens inom straffrätten och polisens och rättsväsendets användning av artificiell intelligens i brottsärenden,

—	med beaktande av rapporten från LIBE-utskottets resa till Förenta staterna i februari 2020,

—	med beaktande av artikel 54 i arbetsordningen,

—	med beaktande av yttrandena från utskottet för den inre marknaden och konsumentskydd och utskottet för rättsliga frågor,

—	med beaktande av betänkandet från utskottet för medborgerliga fri- och rättigheter samt rättsliga och inrikes frågor (A9-0232/2021), och av följande skäl:

Den digitala tekniken i allmänhet och spridningen av databehandling och dataanalyser som möjliggörs av artificiell intelligens (AI) i synnerhet medför extraordinära såväl möjligheter som risker. AI har tagit ett mycket stort steg framåt under senare år och är en av det 21:a århundradets strategiska tekniker, med potential att generera betydande fördelar i fråga om effektivitet, noggrannhet och bekvämlighet, och därmed positiva förändringar för ekonomin och samhället i Europa. Samtidigt medför AI emellertid även stora risker för de grundläggande rättigheterna och demokratier som bygger på rättsstatsprincipen. AI bör inte ses som ett mål i sig utan som ett verktyg för att tjäna människor, med det slutliga målet att öka människors välbefinnande, kapacitet och säkerhet.

Trots fortsatta framsteg i fråga om databehandlingshastighet och minneskapacitet finns hittills inga program som kan mäta sig med människans flexibilitet inom större områden eller i uppgifter som kräver kontextuell förståelse eller kritisk analys. Vissa AI-tillämpningar utför vissa specifika uppgifter (till exempel legal tech) på samma nivå som mänskliga experter och yrkesutövare och kan tillhandahålla resultat i en radikalt mycket högre hastighet och större omfattning.

Vissa länder, däribland ett antal medlemsstater, använder AI-tillämpningar, eller inbyggda AI-system, i högre grad inom brottsbekämpning och rättsväsendet än andra, vilket delvis beror på bristande reglering och lagstiftningsskillnader som tillåter eller förbjuder AI-användning för vissa ändamål. Den allt större användningen av AI på det straffrättsliga området bygger i synnerhet på löften om en minskad förekomst av vissa typer av brott samt mer objektiva beslut. Dessa löften infrias dock inte alltid.

De grundläggande rättigheter och friheter som fastställs i stadgan bör garanteras under hela livscykeln för AI och tillhörande teknik, särskilt under deras utformning, utveckling, införande och användning, och bör under alla omständigheter tillämpas inom ramen för upprätthållandet av gällande lagstiftning.

AI-tekniken bör utvecklas på ett sådant sätt att den sätter människan i centrum, förtjänar allmänhetens förtroende och under alla omständigheter tjänar människan. AI-system bör åtföljas av definitiva garantier för att de har utformats på ett sådant sätt att de alltid kan stängas ned av en mänsklig operatör.

AI-system måste vara utformade för att skydda och gagna alla i samhället (så att även utsatta och marginaliserade befolkningsgrupper beaktas vid utformningen), vara icke-diskriminerande och säkra, med förklarande och transparenta beslut, samt respektera människors självständighet och grundläggande rättigheter för att kunna betraktas som tillförlitliga, i enlighet med de etiska riktlinjerna från högnivåexpertgruppen för AI-frågor.

Tillsammans med medlemsstaterna har unionen ett mycket viktigt ansvar för att se till att beslut kring AI-tillämpningars livscykel och användning inom rättsväsen och brottsbekämpning fattas på ett öppet sätt, fullt ut skyddar de grundläggande rättigheterna och framför allt inte bidrar till att vidmakthålla diskriminering, snedvridningar eller fördomar där sådana förekommer. De relevanta politiska valen bör respektera nödvändighets- och proportionalitetsprinciperna för att garantera författningsenlighet och ett rättvist och humant rättssystem.

AI-tillämpningar kan erbjuda stora möjligheter inom brottsbekämpning, särskilt när det gäller att förbättra de brottsbekämpande myndigheternas och de rättsliga myndigheternas arbetsmetoder, och att bekämpa vissa typer av brottslighet mer effektivt, särskilt ekonomisk brottslighet, penningtvätt och finansiering av terrorism, sexuella övergrepp mot och sexuellt utnyttjande av barn på internet samt vissa typer av it-brottslighet, och bidrar på så sätt till EU-medborgarnas trygghet och säkerhet, samtidigt som de kan medföra betydande risker för människors grundläggande rättigheter. Varje form av generell tillämpning av AI för massövervakning vore oproportionell.

För att utveckla och driva AI-system för polisen och rättsliga myndigheter krävs bidrag från åtskilliga individer, organisationer, maskinkomponenter, programvarualgoritmer och mänskliga användare i ofta komplexa och utmanande miljöer. AI-tillämpningarna inom brottsbekämpning och rättsväsen befinner sig i olika utvecklingsstadier, från utformningsstadiet via prototypframställning eller utvärdering till användning efter godkännande. Nya användningsmöjligheter kan uppstå i framtiden när tekniken utvecklas ytterligare till följd av den vetenskapliga forskning som bedrivs runt om i världen.

Det står klart att det behövs en tydlig modell för rättsligt ansvar för de potentiellt skadliga effekterna av AI-system på det straffrättsliga området. Bestämmelserna på detta område bör under alla omständigheter upprätthålla principen om människans ansvar, och måste först och främst syfta till att undvika att ge upphov till skadliga effekter.

K.	I slutändan är det medlemsstaternas ansvar att garantera full respekt för de grundläggande rättigheterna när AI-system används inom brottsbekämpning och rättsväsen.

Relationen mellan skyddet av de grundläggande rättigheterna och en effektiv övervakning måste alltid vara en viktig del i diskussionerna om huruvida och på vilket sätt AI bör användas inom den brottsbekämpande sektorn, där beslut kan få bestående konsekvenser för enskilda personers liv och frihet. Detta är särskilt viktigt eftersom AI har potential att bli en bestående del av våra straffrättsliga ekosystem genom att bistå med analyser och stöd inom ramen för utredningar.

AI som används inom brottsbekämpning omfattar tillämpningar såsom ansiktsigenkänningsteknik, till exempel för att genomsöka databaser över misstänkta och identifiera offer för människohandel eller sexuell exploatering av och sexuella övergrepp mot barn, automatisk nummerplåtsavläsning, identifiering av talare, talidentifiering, läppläsningsteknik, ljudövervakning (dvs. algoritmer för upptäckande av vapenavfyrande), oberoende forskning och analys av identifierade databaser, prognosmetoder (prediktiv övervakning och analys av återkommande brottsplats), verktyg för att upptäcka beteenden, avancerade virtuella obduktionsverktyg för att bidra till fastställande av dödsorsak, självständiga verktyg för att identifiera finansiella bedrägerier och finansiering av terrorism, övervakning av sociala medier (skrapning och datainsamling för utvinning av anslutningar) och system för automatisk övervakning med olika detektionskapacitet (såsom detektion av hjärtljud och värmekameror). Dessa tillämpningar kan, jämte andra potentiella eller framtida AI-tekniska tillämpningar inom brottsbekämpning, ha mycket varierande grad av tillförlitlighet och noggrannhet samt inverkan på skyddet av de grundläggande rättigheterna och dynamiken i de straffrättsliga systemen. Många av dessa verktyg används i tredjeländer men skulle vara olagliga enligt unionens dataskyddsregelverk och tillhörande rättspraxis. Det rutinmässiga införandet av algoritmer, även med ett begränsat antal falska positiva resultat, kan leda till betydligt fler falska än korrekta varningar.

AI-verktyg och AI-tillämpningar används också av rättsväsen i ett antal länder runt om i världen, bland annat som stöd för häktningsbeslut, vid domar, vid beräkning av sannolikheter för återfall, vid fastställande av skyddstillsyn, vid tvistlösning online, vid hantering av rättspraxis och vid förenklat tillträde till rättslig prövning. Detta har lett till att utsikterna för mörkhyade människor och andra minoriteter har snedvridits och försämrats. I EU används de för närvarande främst på det civila området, förutom i vissa medlemsstater.

Användning av AI inom brottsbekämpning medför ett antal potentiellt stora, och i vissa fall oacceptabla, risker när det gäller skyddet för enskildas grundläggande rättigheter, såsom ogenomskinligt beslutsfattande, olika typer av diskriminering och inneboende fel i den bakomliggande algoritmen som kan förstärkas av återkopplingsslingor, risker för skyddet av den personliga integriteten och av personuppgifter, skyddet av yttrande- och informationsfriheten, oskuldspresumtionen, rätten till ett effektiv rättsmedel och en rättvis rättegång samt riskerna för enskildas frihet och säkerhet.

AI-system som används av brottsbekämpande myndigheter och rättsväsendet är också sårbara för attacker som sker med hjälp av AI och som riktas mot informationssystem, eller spridning av skadliga data, där felaktiga uppgifter inkluderas för att generera missvisande resultat. I dessa situationer är de skador som uppstår potentiellt ännu mer betydande och kan leda till en exponentiell ökning av skadornas omfattning för både individer och grupper.

Införande av AI inom brottsbekämpning och rättsväsen bör inte ses bara som en fråga om teknisk genomförbarhet, utan snarare som ett politiskt beslut om utformningen av och målen för brottsbekämpningen och de straffrättsliga systemen. Den moderna straffrätten baseras på tanken att myndigheter reagerar på ett brott efter det att det har begåtts, utan att man antar att alla människor är farliga och måste övervakas fortlöpande för att potentiella förseelser ska kunna förhindras. AI-baserade övervakningstekniker utmanar i hög grad detta förhållningssätt och gör det angeläget att lagstiftare världen över gör en grundlig bedömning av konsekvenserna av att tillåta användning av teknik som förminskar människans roll inom brottsbekämpning och vid rättsliga avgöranden.

Europaparlamentet upprepar att rätten till skydd av privatlivet och rätten till skydd av personuppgifter gäller för alla AI-områden eftersom behandlingen av stora datamängder utgör själva kärnan i AI, och att unionens rättsliga ram för dataskydd och integritet måste respekteras fullt ut. Parlamentet påminner därför om att EU redan har fastställt dataskyddsstandarder för brottsbekämpning, vilka utgör grunden för all framtida reglering av AI inom brottsbekämpning och rättsväsen. Parlamentet påminner om att behandlingen av personuppgifter bör vara laglig och rättvis, att ändamålen med behandlingen bör vara angivna, uttryckliga och legitima, att behandlingen bör vara adekvat, relevant och inte alltför omfattande i förhållande till det ändamål för vilket den äger rum, att den bör vara korrekt och uppdaterad och att felaktiga uppgifter – om inga begränsningar gäller – bör rättas eller raderas, att uppgifterna inte bör bevaras längre än nödvändigt, att tydliga och lämpliga tidsfrister bör fastställas för radering eller för regelbunden översyn av behovet av lagring av sådana uppgifter, och att uppgifterna bör behandlas på ett säkert sätt. Parlamentet understryker också att en AI-tillämpning som använder tidigare anonymiserade data bör hindras från att identifiera enskilda personer.

Europaparlamentet bekräftar på nytt att alla AI-lösningar för brottsbekämpning och rättsväsen också fullt ut måste respektera principerna om människans värdighet, icke-diskriminering, fri rörlighet, oskuldspresumtion och rätten till försvar, inbegripet rätten att tiga, yttrande- och informationsfrihet, mötes- och föreningsfrihet, likhet inför lagen, principen om jämlikhet i medel och rätten till ett effektivt rättsmedel och en rättvis rättegång, i enlighet med stadgan och Europakonventionen. Parlamentet betonar att all användning av AI-tillämpningar i strid med de grundläggande rättigheterna måste förbjudas.

Europaparlamentet konstaterar att den takt i vilken AI-tillämpningar utvecklas runt om i världen inte möjliggör en uttömmande förteckning över tillämpningar, vilket innebär att det krävs en tydlig och enhetlig styrningsmodell som garanterar både enskilda personers grundläggande rättigheter och rättslig klarhet för utvecklare, med tanke på den fortlöpande tekniska utvecklingen. Parlamentet anser dock, med tanke på polisens och de rättsliga myndigheternas roll och ansvar, och konsekvenserna av de beslut som dessa fattar för att förebygga, utreda, avslöja eller lagföra brott eller verkställa straffrättsliga påföljder, att användningen av AI-tillämpningar måste anses medföra stora risker i fall där enskilda personers liv riskerar att påverkas avsevärt.

Europaparlamentet anser i detta avseende att AI-verktyg som antingen utvecklas eller används av brottsbekämpande myndigheter eller rättsväsendet som ett minimum bör vara säkra, stabila, trygga och ändamålsenliga, respektera principerna om rättvisa, uppgiftsminimering, ansvarsskyldighet, transparens, icke-diskriminering och förklarande AI, och att deras utveckling, införande och användning bör genomgå en riskbedömning och en strikt nödvändighets- och proportionalitetskontroll, där skyddsåtgärderna måste stå i förhållande till de fastställda riskerna. Parlamentet betonar att dessa kriterier måste uppfyllas för att medborgarna ska känna förtroende för AI som utvecklas, införs och används inom EU.

Europaparlamentet erkänner det positiva bidraget från vissa typer av AI-tillämpningar i det arbete som utförs av brottsbekämpande myndigheter och rättsliga myndigheter runt om i unionen. Parlamentet framhåller som ett exempel den bättre hantering av rättspraxis som har åstadkommits genom verktyg med fler sökalternativ. Parlamentet anser att det finns en rad andra potentiella användningsområden för AI inom brottsbekämpning och rättsväsen som skulle kunna undersökas, med beaktande av de fem principerna i Cepejs etiska stadga om användning av artificiell intelligens i rättssystemen och deras omgivande områden, och därvid särskilt de av Cepej identifierade användningssätt som bör övervägas med yttersta återhållsamhet.

Europaparlamentet betonar att all teknik kan komma att användas för nya syften och efterlyser därför en strikt demokratisk kontroll av och oberoende tillsyn över all teknik som bygger på AI och som används av brottsbekämpande myndigheter och rättsliga myndigheter, särskilt sådan teknik som kan komma att användas för nya syften på områdena massövervakning eller massprofilering. Parlamentet noterar därför med stor oro potentialen hos viss AI-teknik som används inom brottsbekämpningssektorn för massövervakningsändamål. Parlamentet framhåller det rättsliga kravet att förhindra massövervakning med hjälp av AI-teknik, som per definition inte uppfyller principerna om nödvändighet och proportionalitet, och att förbjuda användning av tillämpningar som skulle kunna leda till detta.

Europaparlamentet betonar att den strategi som tillämpas i vissa tredjeländer när det gäller utveckling, införande och användning av massövervakningsteknik på ett oproportionellt sätt inkräktar på de grundläggande rättigheterna och därför inte bör följas av EU. Parlamentet betonar därför att skyddsåtgärder mot missbruk av AI-teknik inom brottsbekämpande myndigheter och rättsliga myndigheter också måste regleras på ett enhetligt sätt i hela unionen.

Europaparlamentet betonar risken för snedvridningar och diskriminering till följd av användningen av AI-tillämpningar, till exempel maskininlärning, inbegripet de algoritmer som ligger till grund för sådana tillämpningar. Parlamentet noterar att snedvridningar kan vara inneboende i underliggande dataset, särskilt när historiska data används, införs av algoritmernas utvecklare eller genereras när systemen tillämpas i verkliga sammanhang. Parlamentet påpekar att de resultat som AI-tillämpningar ger med nödvändighet påverkas av kvaliteten på de data som används, och att sådana inneboende snedvridningar tenderar att gradvis öka och därigenom vidmakthålla och förstärka den befintliga diskrimineringen, särskilt för personer som tillhör vissa etniska grupper eller rasifierade grupper.

Europaparlamentet understryker att många algoritmdrivna identifieringstekniker som används i nuläget på ett oproportionellt sätt identifierar och klassificerar med felaktigheter till följd och därmed skadar rasifierade personer, personer som tillhör vissa etniska grupper, hbti-personer, barn och äldre samt kvinnor. Parlamentet påminner om att enskilda individer inte bara har rätt att bli korrekt identifierade utan även har rätt att inte bli identifierade över huvud taget, förutsatt att lagen inte kräver detta av tvingande och legitima skäl av allmänt intresse. Parlamentet betonar att AI-prediktioner som grundar sig på särdragen hos en viss grupp av personer i slutändan förstärker och återger befintliga former av diskriminering. Parlamentet anser att kraftfulla insatser bör göras för att undvika automatisk diskriminering och snedvridning. Parlamentet efterlyser stabila ytterligare skyddsåtgärder i fall där AI-system inom brottsbekämpning eller rättsväsen tillämpas på eller i fråga om barn.

10.

Europaparlamentet framhåller maktasymmetrin mellan å ena sidan dem som tillämpar AI-teknik och å andra sidan dem som den tillämpas på. Parlamentet betonar att de brottsbekämpande myndigheternas och de rättsliga myndigheternas användning av AI inte får bli en faktor som bidrar till ojämlikhet, sociala klyftor eller utestängning. Parlamentet understryker den inverkan som användningen av AI-verktyg har på misstänktas rätt till försvar, svårigheten att få meningsfull information om deras funktion och den därav följande svårigheten att ifrågasätta resultaten i domstol, särskilt för personer som är under utredning.

11.

Europaparlamentet noterar riskerna i samband med i synnerhet dataläckage, brott mot datasäkerheten och obehörig åtkomst till personuppgifter och annan information kopplad till exempelvis brottsutredningar eller domstolsärenden som hanteras av AI-system. Parlamentet understryker att säkerhets- och trygghetsmekanismer i AI-system som används vid brottsbekämpning och av rättsväsen måste övervägas noggrant och vara tillräckligt robusta och motståndskraftiga för att förhindra att fientliga angrepp på AI-systemen får potentiellt katastrofala följder. Parlamentet betonar vikten av inbyggd säkerhet och särskild mänsklig tillsyn innan vissa kritiska tillämpningar tas i drift, och uppmanar därför brottsbekämpande myndigheter och rättsliga myndigheter att använda uteslutande AI-tillämpningar som följer principen om inbyggt såväl integritetsskydd som dataskydd för att undvika funktionsglidning.

12.

Europaparlamentet betonar att inga AI-system inom brottsbekämpning eller rättsväsen bör vara i stånd att skada människors fysiska integritet eller ge rättigheter till eller införa rättsliga skyldigheter för enskilda personer.

13.

Europaparlamentet erkänner de utmaningar som det innebär att korrekt tilldela rättsligt ansvar och skadeståndsskyldigheter för potentiell skada, med tanke på AI-systemens komplexa utveckling och drift. Parlamentet anser det nödvändigt att skapa ett tydligt och rättvist system för att tilldela rättsligt ansvar och skadeståndsskyldigheter för de möjliga negativa konsekvenser som denna avancerade digitala teknik kan få. Parlamentet betonar dock att målet först och främst måste vara att undvika alla sådana konsekvenser från första början. Parlamentet efterlyser därför en tillämpning av försiktighetsprincipen för samtliga AI-tillämpningar inom brottsbekämpning. Parlamentet understryker att det rättsliga ansvaret och skadeståndsskyldigheterna alltid måste ligga hos en fysisk eller juridisk person, som under alla omständigheter måste identifieras för beslut som fattas med stöd av AI. Parlamentet betonar därför behovet av att säkerställa transparens i de företagsstrukturer som producerar och förvaltar AI-system.

14.

Europaparlamentet anser att det är mycket viktigt, såväl för ett effektivt utövande av rätten till försvar som för transparensen i de nationella straffrättsliga systemen, att det finns en specifik, tydlig och exakt rättslig ram som reglerar förutsättningarna och villkoren för samt konsekvenserna av att använda AI-verktyg inom brottsbekämpning och rättsväsen samt de berörda personernas rättigheter, jämte effektiva och lättillgängliga klagomåls- och prövningsförfaranden, inbegripet rättslig prövning. Parlamentet understryker rätten för parterna i ett straffrättsligt förfarande att få tillgång till datainsamlingsprocessen och tillhörande bedömningar som gjorts av eller erhållits genom användning av AI-tillämpningar. Parlamentet understryker hur viktigt det är att verkställande myndigheter som är involverade i rättsligt samarbete vid beslut om en framställning om utlämning (eller överlämnande) till en annan medlemsstat eller ett annat tredjeland bedömer huruvida användningen av AI-verktyg i det begärande landet på ett uppenbart sätt skulle kunna äventyra den grundläggande rätten till en rättvis rättegång. Parlamentet uppmanar kommissionen att utfärda riktlinjer för hur en sådan bedömning bör göras inom ramen för det straffrättsliga samarbetet. Parlamentet anser bestämt att medlemsstaterna, i enlighet med tillämplig lagstiftning, bör se till att enskilda personer informeras när de är föremål för de brottsbekämpande myndigheternas eller rättsväsendets användning av AI-tillämpningar.

15.

Europaparlamentet påpekar att människor inte kommer att kunna göra en oberoende bedömning om de enbart förlitar sig på de data, profiler och rekommendationer som maskinerna genererar. Parlamentet framhåller de potentiellt allvarliga negativa konsekvenserna, särskilt i samband med brottsbekämpning och rättsliga frågor, när enskilda i alltför hög grad förlitar sig på AI-verktygens till synes objektiva och vetenskapliga karaktär och inte överväger möjligheten att deras resultat är felaktiga, ofullständiga, irrelevanta eller diskriminerande. Parlamentet understryker att man inte bör ha alltför stor tilltro till AI-systemens resultat, och betonar att myndigheterna måste bygga upp det självförtroende och den expertis som krävs för att kunna ifrågasätta eller bortse från en algoritmbaserad rekommendation. Parlamentet anser att det är viktigt att ha realistiska förväntningar på sådana tekniska lösningar och att inte utlova perfekta lösningar för brottsbekämpning och upptäckt av alla brott som begåtts.

16.

Europaparlamentet understryker att beslut inom rättsväsen och brottsbekämpning som har rättsverkan eller motsvarande verkan under alla omständigheter måste fattas av en människa, som kan hållas ansvarig för de beslut som fattas. Parlamentet anser att de som är föremål för AI-drivna system måste ha tillgång till rättsmedel. Parlamentet påminner om att en person enligt unionsrätten har rätt att inte bli föremål för ett beslut som har rättsverkan för vederbörande eller som i betydande grad påverkar vederbörande och som grundar sig uteslutande på automatisk databehandling. Vidare understryker parlamentet att automatiskt individuellt beslutsfattande inte får grunda sig på särskilda kategorier av personuppgifter, såvida inte lämpliga åtgärder för att skydda den registrerades rättigheter och friheter samt berättigade intressen har vidtagits. Parlamentet betonar att profilering som leder till diskriminering av fysiska personer på grundval av särskilda kategorier av personuppgifter är förbjuden enligt unionsrätten. Parlamentet framhåller att beslut inom brottsbekämpning nästan undantagslöst har rättsverkan för den berörda personen, på grund av de brottsbekämpande myndigheternas och åtgärdernas verkställande karaktär. Parlamentet betonar att användningen av AI kan påverka mänskliga beslut och alla faser i straffrättsliga förfaranden. Parlamentet anser därför att myndigheter som använder AI-system måste upprätthålla extremt höga rättsliga standarder och se till att människor involveras, särskilt vid analys av data som härrör från sådana system. Parlamentet kräver därför att domare ska få ha kvar sin suveräna rätt till skönsmässig bedömning och beslutsfattande från fall till fall. Parlamentet efterlyser ett förbud mot användning av AI och tillhörande teknik som underlag för rättsliga beslut.

17.

Europaparlamentet efterlyser förklarande algoritmer, med transparens, spårbarhet och kontroll som nödvändiga delar av tillsynen, för att säkerställa att utvecklingen, införandet och användningen av AI-system inom rättsväsen och brottsbekämpning står i överensstämmelse med de grundläggande rättigheterna och att medborgarna litar på dem samt för att säkerställa att de resultat som genereras av AI-algoritmer kan göras begripliga för användarna och för dem som dessa system tillämpas på och att det råder transparens i fråga om källdata och om hur systemet nått en viss slutsats. Parlamentet påpekar att sådana verktyg och system, för att säkerställa teknisk transparens, robusthet och noggrannhet, endast bör få köpas in av brottsbekämpande eller rättsliga myndigheter i unionen vars algoritmer och logik kan bli föremål för revision och är tillgängliga åtminstone för polisen, rättsväsendet och de oberoende revisorerna, så att de kan utvärderas, genomgå revision och säkerhetsprövas, samt framhåller att de inte får stängas eller märkas som proprietära av säljarna. Parlamentet påpekar vidare att dokumentationen bör utformas på ett tydligt och begripligt sätt i fråga om tjänstens karaktär, de verktyg som utvecklats, med vilken prestanda och under vilka förutsättningar som de kan förväntas fungera samt de risker som de kan medföra. Parlamentet uppmanar därför rättsliga myndigheter och brottsbekämpande myndigheter att sörja för proaktiv och fullständig transparens i privata företag som förser dem med AI-system för brottsbekämpning och rättsväsen. Parlamentet rekommenderar därmed att öppen programvara används där så är möjligt.

18.

Europaparlamentet uppmuntrar brottsbekämpande myndigheter och rättsliga myndigheter att identifiera och bedöma de områden där vissa skräddarsydda AI-lösningar skulle kunna vara till nytta och att utbyta bästa praxis om användning av AI. Parlamentet uppmanar medlemsstaterna och EU:s byråer att anta lämpliga förfaranden för offentlig upphandling av AI-system när de används i brottsbekämpande eller rättsliga sammanhang, för att säkerställa att de är förenliga med grundläggande rättigheter och tillämplig lagstiftning, bland annat genom att se till att programvarudokumentation och algoritmer är tillgängliga och åtkomliga för de behöriga myndigheterna och tillsynsmyndigheterna för granskning. Parlamentet efterlyser i synnerhet bindande regler med krav på offentliggörande av offentlig-privata partnerskap, kontrakt och förvärv samt det ändamål för vilket de upphandlas. Parlamentet betonar att myndigheterna måste få den finansiering som krävs och att de måste förses med nödvändig sakkunskap för att säkerställa fullständig respekt för de etiska, rättsliga och tekniska krav som ställs för införande av varje form av AI.

19.

Europaparlamentet vill att AI-systemen och beslutsprocesserna ska inbegripa spårbarhet för att funktionerna ska kunna anges och för att fastställa kapaciteten och begränsningarna i systemen och hålla reda på var de avgörande faktorerna för ett beslut har sitt ursprung, genom obligatorisk dokumentation. Parlamentet understryker vikten av att bevara fullständig dokumentation om träningsdata, kontext, ändamål, noggrannhet och sidoeffekter i samband med dem samt den behandling som algoritmernas konstruktörer och utvecklare låtit dem genomgå och deras överensstämmelse med de grundläggande rättigheterna. Parlamentet betonar att det under alla omständigheter måste vara möjligt att begränsa beräkningarna hos ett AI-system till ett format som är begripligt för människor.

20.

Europaparlamentet vill att det ska göras en obligatorisk konsekvensbedömning avseende grundläggande rättigheter före genomförande eller införande av eventuella AI-system för brottsbekämpning eller rättsväsen, i syfte att bedöma eventuella risker för de grundläggande rättigheterna. Parlamentet påminner om att en föregående konsekvensbedömning avseende dataskydd är obligatorisk för varje slags behandling – särskilt med hjälp av ny teknik – som sannolikt medför en hög risk för fysiska personers rättigheter och friheter. Parlamentet anser också att detta gäller merparten av AI-tekniken inom brottsbekämpning och rättsväsen. Parlamentet understryker de sakkunskaper som dataskyddsmyndigheter och byråer för grundläggande rättigheter har när det gäller att bedöma systemen i fråga. Parlamentet betonar att dessa konsekvensbedömningar avseende grundläggande rättigheter bör genomföras så öppet som möjligt och med aktivt deltagande av det civila samhället. Parlamentet kräver att konsekvensbedömningarna också tydligt ska fastställa de skyddsåtgärder som är nödvändiga för att hantera de identifierade riskerna och att de i största möjliga utsträckning ska göras tillgängliga för allmänheten innan något AI-system tas i bruk.

21.

Europaparlamentet betonar att det nödvändiga förverkligandet av principerna om grundläggande rättigheter kan möjliggöras endast genom en stabil europeisk styrning på AI-området. Parlamentet efterlyser regelbunden obligatorisk revision – genom försorg av en oberoende myndighet – av alla AI-system som används inom brottsbekämpning och rättsväsen om enskilda personers liv riskerar att påverkas avsevärt, för att testa och utvärdera algoritmiska system och deras kontext, ändamål, noggrannhet, prestanda och omfattning samt, när de väl är i drift, för att upptäcka, utreda, diagnostisera och åtgärda eventuella oönskade och negativa effekter och säkerställa att AI-systemen fullgör sin avsedda funktion. Parlamentet efterlyser därför en tydlig institutionell ram för detta ändamål, inbegripet vederbörlig tillsyn av olika slag, för att säkerställa ett fullständigt genomförande och garantera en väl underbyggd demokratisk debatt om nödvändigheten och proportionaliteten av AI på det straffrättsliga området. Parlamentet betonar att resultaten av sådana revisioner bör göras tillgängliga i offentliga register, så att medborgarna får kännedom om de AI-system som håller på att införas och vilka åtgärder som vidtas för att åtgärda eventuella kränkningar av de grundläggande rättigheterna.

22.

Europaparlamentet betonar att de dataset och algoritmiska system som används vid klassificeringar, bedömningar och prediktioner under de olika databehandlingsskedena vid utvecklingen av AI och tillhörande teknik också kan resultera i olika behandling och både direkt och indirekt diskriminering av befolkningsgrupper, i synnerhet eftersom data som används för inlärning av algoritmer för prediktiv övervakning speglar befintliga övervakningsprioriteringar och följaktligen kan komma att reproducera och förstärka de snedvridningar som redan förekommer. Parlamentet betonar därför att AI-teknik – särskilt sådan som används inom brottsbekämpning och rättsväsen – förutsätter interdisciplinär forskning och input, inklusive studier inom vetenskap och teknik, studier i Critical Race Theory, studier av funktionsnedsättningar och andra ämnen som är anpassade efter det sociala sammanhanget, inbegripet hur skillnader utformas, klassificeringsarbetet och konsekvenserna av detta. Parlamentet framhåller därför behovet att systematiskt investera i en integrering av dessa ämnen i AI-studier och motsvarande forskning på alla nivåer. Parlamentet betonar vikten av att säkerställa att de grupper som utformar, utvecklar, testar, underhåller, inför och upphandlar dessa AI-system för brottsbekämpning och rättsväsen om möjligt återspeglar mångfalden i samhället i allmänhet, som ett icke-tekniskt medel för att minska riskerna för diskriminering.

23.

Europaparlamentet betonar att adekvat ansvarsskyldighet, ansvar och skadeståndsskyldigheter förutsätter omfattande specialistutbildning i etiska bestämmelser, potentiella faror, begränsningar och korrekt användning av AI-teknik, särskilt för polis och personal inom rättsväsendet. Parlamentet betonar att lämplig yrkesutbildning och lämpliga kvalifikationer bör säkerställa att beslutsfattarna utbildas om risken för snedvridningar, eftersom dataset kan baseras på diskriminerande data och fördomar. Parlamentet välkomnar de informations- och utbildningsinitiativ som tas för att säkerställa att enskilda personer som arbetar inom brottsbekämpning och rättsväsen är medvetna om och förstår de begränsningar, den kapacitet och de risker som användningen av AI-system medför, inklusive risken för automatisk snedvridning (automation bias). Parlamentet påminner om att det oundvikligen kommer att leda till rasistisk snedvridning i AI-genererade resultat, poäng och rekommendationer om man i de träningsdataset som används för AI tar med fall av rasism i samband med att polisen fullgör sitt uppdrag. Parlamentet upprepar därför sin uppmaning till medlemsstaterna att främja antidiskrimineringspolitik och att utarbeta nationella handlingsplaner mot rasism inom polisen och rättsväsendet.

24.

Europaparlamentet konstaterar att prediktiv övervakning ingår bland de AI-tillämpningar som används inom brottsbekämpning, men varnar för att prediktiv övervakning visserligen kan analysera befintliga dataset för att identifiera mönster och korrelationer men inte kan besvara kausalitetsfrågan och inte kan bistå med tillförlitliga prediktioner om beteende på individnivå och därmed inte heller kan utgöra den enda grunden för ett ingripande. Parlamentet påpekar att ett antal städer i Förenta staterna har slutat använda system för prediktiv övervakning efter revisioner. Parlamentet påminner om att ledamöterna under LIBE-utskottets resa till Förenta staterna i februari 2020 informerades av polismyndigheterna i New York City och Cambridge (Massachusetts) om att de hade fasat ut sina system för prediktiv övervakning eftersom dessa varit ineffektiva och diskriminerande och inte fungerat väl i praktiken, och att de i stället hade övergått till områdespolisverksamhet. Parlamentet konstaterar att detta har lett till minskad brottslighet. Parlamentet motsätter sig därför att de brottsbekämpande myndigheterna använder AI för att göra förutsägelser om enskilda personers eller gruppers beteende på grundval av historiska data och tidigare beteende, grupptillhörighet, plats eller andra liknande egenskaper, och därigenom försöka identifiera personer som sannolikt kommer att begå brott.

25.

Europaparlamentet noterar de olika typerna av användning av ansiktsigenkänning, såsom – men inte begränsat till – verifiering/autentisering (dvs. matchning av ett fysiskt ansikte mot ett fotografi i en id-handling, exempelvis smarta gränser), identifiering (dvs. matchning av ett foto mot en uppsättning fotodatabaser) och detektion (dvs. detektering av ansikten i realtid från källor såsom CCTV-inspelningar, och matchning av dem mot databaser, bland annat realtidsövervakning), som var och en får olika konsekvenser för skyddet av de grundläggande rättigheterna. Parlamentet är övertygat om att brottsbekämpande myndigheters införande av system för ansiktsigenkänning bör begränsas till klart motiverade ändamål med fullständig respekt för proportionalitets- och nödvändighetsprinciperna samt tillämplig lagstiftning. Parlamentet bekräftar att användningen av teknik för ansiktsigenkänning som ett minimum måste respektera kraven om uppgiftsminimering, datanoggrannhet, lagringsbegränsning, datasäkerhet och ansvarsskyldighet samt vara laglig, rättvis och transparent och ha ett specifikt, uttryckligt och legitimt ändamål som tydligt anges i medlemsstaternas nationella rätt eller unionsrätten. Parlamentet anser att systemen för verifiering och autentisering kan fortsätta att införas och användas med framgång endast om deras negativa effekter kan begränsas och ovanstående kriterier är uppfyllda.

26.

Europaparlamentet efterlyser dessutom ett permanent förbud mot användning av automatisk analys och/eller igenkänning på allmänt tillgängliga platser av andra mänskliga egenskaper, såsom gångart, fingeravtryck, DNA, röst och andra biometriska signaler och beteendemässiga signaler.

27.

Europaparlamentet efterlyser ett moratorium för införande av system för ansiktsigenkänning inom brottsbekämpning vilka har en identifierande funktion, såvida de inte används uteslutande för att identifiera brottsoffer, fram till dess att de tekniska standarderna kan anses vara helt förenliga med de grundläggande rättigheterna, resultaten är icke snedvridna och icke-diskriminerande, den rättsliga ramen föreskriver strikta skyddsåtgärder mot missbruk samt strikt demokratisk kontroll och tillsyn och det finns empiriska belägg för att det är nödvändigt och proportionellt att införa sådan teknik. Parlamentet konstaterar att systemen inte bör användas eller införas om ovanstående kriterier inte är uppfyllda.

28.

Europaparlamentet uttrycker stor oro över att brottsbekämpande aktörer och underrättelsetjänster använder privata databaser för ansiktsigenkänning, till exempel Clearview AI, som är en databas med över tre miljarder bilder som i strid med gällande lagstiftning har hämtats från sociala nätverk och andra platser på internet, också avseende unionsmedborgare. Parlamentet uppmanar medlemsstaterna att ålägga brottsbekämpande aktörer att ange huruvida de använder Clearview AI-tekniken eller motsvarande teknik från andra leverantörer. Parlamentet påminner om Europeiska dataskyddsstyrelsens (EDPB) yttrande att det troligen inte stämmer överens med EU:s system för dataskydd när brottsbekämpande myndigheter i Europeiska unionen använder sig av en tjänst som Clearview AI. Parlamentet efterlyser ett förbud mot användning av privata databaser för ansiktsigenkänning inom brottsbekämpning.

29.

Europaparlamentet noterar kommissionens genomförbarhetsstudie om möjliga ändringar av Prümbeslutet (8), också med avseende på ansiktsigenkänning. Parlamentet noterar tidigare forskning enligt vilken inga potentiella nya identifierare, till exempel pupill- eller ansiktsigenkänning, är lika tillförlitliga som DNA eller fingeravtryck i kriminaltekniska sammanhang. Parlamentet påminner kommissionen om att alla lagstiftningsförslag måste vara evidensbaserade och respektera proportionalitetsprincipen. Parlamentet uppmanar med kraft kommissionen att utvidga Prümbeslutets ram endast om det finns hållbara vetenskapliga belägg för att ansiktsigenkänning är tillförlitligt i kriminaltekniska sammanhang jämfört med DNA eller fingeravtryck, efter det att kommissionen har gjort en heltäckande konsekvensbedömning samt med beaktande av Europeiska datatillsynsmannens (EDPS) och EDPB:s rekommendationer.

30.

Europaparlamentet betonar att användningen av biometriska uppgifter mer allmänt har en koppling till den princip om rätten till människans värdighet som utgör grunden för samtliga grundläggande rättigheter som garanteras genom stadgan. Parlamentet anser att användningen och insamlingen av alla slags biometriska uppgifter för fjärridentifieringsändamål, till exempel för att utföra ansiktsigenkänning på offentliga platser, samt vid automatiska gränskontrollspärrar som används för gränskontroll vid flygplatser, kan medföra särskilda risker för de grundläggande rättigheterna, vilket kan få mycket varierande konsekvenser beroende på ändamål, sammanhang och användningsområde. Parlamentet betonar vidare den omstridda vetenskapliga validiteten hos teknik för känsloigenkänning, till exempel kameror som upptäcker ögonrörelser och pupillförändringar inom brottsbekämpning. Parlamentet anser att användningen av biometrisk identifiering inom brottsbekämpning och rättsväsen under alla omständigheter bör anses medföra en hög risk och därför bör omfattas av ytterligare krav, i enlighet med rekommendationerna från kommissionens högnivåexpertgrupp för AI-frågor.

31.

Europaparlamentet uttrycker stark oro över forskningsprojekt som finansieras inom ramen för Horisont 2020 och där AI används vid de yttre gränserna, till exempel projektet iBorderCtrl – ett ”smart lögndetektorsystem” där resenärer profileras utifrån en automatisk datorintervju som genomförs av resenärerna själva via webbkamera före avresan och där en AI-baserad analys görs av 38 mikrogester, vilket har testats i Ungern, Lettland och Grekland. Parlamentet uppmanar därför kommissionen att genom lagstiftning och andra åtgärder och om nödvändigt genom överträdelseförfaranden införa ett förbud mot all behandling av biometriska uppgifter – däribland ansiktsbilder – inom brottsbekämpning med massövervakning på allmänt tillgängliga platser till följd. Parlamentet uppmanar vidare kommissionen att sluta finansiera biometrisk forskning och användning av tillämpningar och program på biometriområdet som sannolikt skulle leda till urskillningslös massövervakning på allmänt tillgängliga platser. Parlamentet betonar i detta sammanhang att särskild uppmärksamhet bör ägnas åt användningen av drönare i polisinsatser och att en strikt ram bör tillämpas därvid.

32.

Europaparlamentet ställer sig bakom rekommendationerna från kommissionens högnivåexpertgrupp för AI-frågor till stöd för ett förbud mot masspoängsättning av enskilda personer med hjälp av AI. Parlamentet anser att varje form av normativ masspoängsättning av medborgare från offentliga myndigheters sida, särskilt inom brottsbekämpning och rättsväsen, medför ett minskat självbestämmande, äventyrar principen om icke-diskriminering och måste anses strida mot de i unionsrätten kodifierade grundläggande rättigheterna, särskilt människans värdighet.

33.

Europaparlamentet efterlyser större övergripande transparens i syfte att uppnå omfattande förståelse av användningen av AI-tillämpningar i unionen. Parlamentet uppmanar medlemsstaterna att tillhandahålla heltäckande information om de verktyg som används av deras brottsbekämpande myndigheter och rättsliga myndigheter, de typer av verktyg som används, för vilka ändamål de används, de typer av brott som de tillämpas på och namnen på de företag eller organisationer som har utvecklat dessa verktyg. Parlamentet uppmanar brottsbekämpande myndigheter och rättsliga myndigheter att även informera allmänheten och ge tillräcklig insyn i användningen av AI och tillhörande teknik när de utövar sina befogenheter, också genom att offentliggöra antalet falska positiva och falska negativa resultat från tekniken i fråga. Parlamentet uppmanar kommissionen att sammanställa och uppdatera informationen på ett enda ställe. Parlamentet uppmanar kommissionen att även offentliggöra och uppdatera information om användningen av AI vid unionens byråer med ansvar för brottsbekämpning och rättsliga uppgifter. Parlamentet uppmanar EDPB att bedöma lagligheten hos dessa AI-tekniker och AI-tillämpningar som används av brottsbekämpande myndigheter och rättsväsendet.

34.

Europaparlamentet påminner om att AI-tillämpningar, inbegripet tillämpningar som används inom brottsbekämpning och rättsväsen, utvecklas i rask takt runt om i världen. Parlamentet uppmanar eftertryckligen alla europeiska aktörer, däribland medlemsstaterna och kommissionen, att genom internationellt samarbete säkerställa att partner utanför EU involveras för att höja standarderna på internationell nivå och nå fram till en gemensam och kompletterande rättslig och etisk ram för användningen av AI – särskilt inom brottsbekämpning och rättsväsen – där man till fullo respekterar stadgan, det europeiska dataskyddsregelverket och de mänskliga rättigheterna mer allmänt.

35.

Europaparlamentet uppmanar EU:s byrå för grundläggande rättigheter att i samarbete med EDPB och EDPS utarbeta övergripande riktlinjer, rekommendationer och bästa praxis för att ytterligare specificera kriterierna och villkoren för utveckling, införande och användning av AI-tillämpningar och AI-lösningar vid brottsbekämpande myndigheter och rättsliga myndigheter. Parlamentet åtar sig att genomföra en studie om genomförandet av direktivet om dataskydd vid brottsbekämpning (9) för att fastställa hur skyddet av personuppgifter har säkerställts vid behandling inom brottsbekämpande myndigheter och rättsliga myndigheter, särskilt när ny teknik utvecklas eller införs. Parlamentet uppmanar dessutom kommissionen att överväga huruvida det behövs särskilda lagstiftningsåtgärder för att ytterligare specificera kriterierna och villkoren för utveckling, införande och användning av AI-tillämpningar och AI-lösningar vid brottsbekämpande myndigheter och rättsliga myndigheter.

36.

Europaparlamentet uppdrar åt talmannen att översända denna resolution till rådet och kommissionen.

(1) EUT L 119, 4.5.2016, s. 1.

(2) EUT L 119, 4.5.2016, s. 89.

(3) EUT L 295, 21.11.2018, s. 39.

(4) EUT L 201, 31.7.2002, s. 37.

(5) EUT L 135, 24.5.2016, s. 53.

(6) EUT C 362, 8.9.2021, s. 63.

(7) EUT C 263, 25.7.2018, s. 82.

(8) Rådets beslut 2008/615/RIF av den 23 juni 2008 om ett fördjupat gränsöverskridande samarbete, särskilt för bekämpning av terrorism och gränsöverskridande brottslighet (EUT L 210, 6.8.2008, s. 1).

(9) Europaparlamentets och rådets direktiv (EU) 2016/680 av den 27 april 2016 om skydd för fysiska personer med avseende på behöriga myndigheters behandling av personuppgifter för att förebygga, förhindra, utreda, avslöja eller lagföra brott eller verkställa straffrättsliga påföljder, och det fria flödet av sådana uppgifter och om upphävande av rådets rambeslut 2008/977/RIF (EUT L 119, 4.5.2016, s. 89).

Top

Choose the experimental features you want to try