Regler for pålidelig kunstig intelligens i EU

HOVEDPUNKTER

Hvad er et AI-system?

Et AI-system er et maskinbaseret system, der er udviklet til at fungere med en vis grad af autonomi, og som kan:

• udvise en tilpasningsevne efter idriftsættelsen
• generere output, såsom forudsigelser, indhold, anbefalinger eller beslutninger, af det input, det modtager (for at opnå eksplicitte eller implicitte mål)

En risikobaseret tilgang

Lovgivningen følger en risikobaseret tilgang, hvilket betyder, at jo højere risiko der er for at forårsage skade på samfundet, desto strengere er reglerne. Forordningen definerer brugen af AI på følgende områder som højrisiko på grund af den potentielle indvirkning på grundlæggende rettigheder, sikkerhed og trivsel:

• sikkerhedskomponenter i produkter, der er omfattet af EU-harmoniseringslovgivningen (eller som selvstændige produkter), som skal gennemgå en tredjeparts overensstemmelsesvurdering i henhold til samme EU-harmoniseringslovgivning
• biometri, når det anvendes til fjernidentifikation, kategorisering af enkeltpersoner ifølge egenskaber (såsom race eller religion) eller følelsesgenkendelse, undtagen når disse bruges til blot at bekræfte identiteten
• kritisk infrastruktur, når AI er en sikkerhedskomponent inden for områder som digital infrastruktur, trafik, vand, gas, opvarmning og elektricitet
• uddannelse og erhvervsuddannelse, herunder adgang til uddannelsesspørgsmål, evaluering af læringsudbytte, vurdering af uddannelsesniveauer eller overvågning af adfærd under prøver
• beskæftigelse, herunder rekruttering, udvælgelse af kandidater, beslutningstagning vedrørende ansættelsesvilkår (forfremmelser, opsigelser), opgavefordeling eller overvågning af resultater
• væsentlige tjenester — AI-systemer, der anvendes af offentlige myndigheder til at vurdere, om personer er berettigede til offentlige tjenesteydelser (sundhedspleje, ydelser), kreditvurdering, vurdering af forsikringsrisici og prioritering af nødberedskab
• retshåndhævelse — AI-systemer til vurdering af risici i forbindelse med kriminalitet, polygrafer, vurdering af pålideligheden af bevismateriale, forudsigelse af gentagelsestilfælde eller profilering af enkeltpersoner til strafferetlig efterforskning
• indvandring og grænsekontrol — AI-systemer, der bruges til at vurdere risici i forbindelse med indvandrings-, asyl- og visumansøgninger eller til at opdage og identificere personer i migrationssituationer
• retspleje og demokratiske processer — AI-systemer, som anvendes af retsmyndighederne til juridisk forskning og fortolkning eller systemer, der kan påvirke valgresultaterne.

Forordningen forbyder følgende AU-praksisser med et uacceptabelt risikoniveau

• Subliminale eller vildledende teknikker til at manipulere individuel adfærd eller gruppeadfærd, hvilket skader deres evne til at træffe informerede beslutninger og eventuelt forvolder skade.
• Udnyttelse af sårbarhed baseret på alder, handicap eller socioøkonomiske situationer for at manipulere enkeltpersoner eller grupper, hvilket fører til mulig skade.
• Social bedømmelse med vurdering eller klassificering af personer på grundlag af adfærd eller karakteristika, hvilket medfører urimelig behandling, der ikke er i overensstemmelse med den sammenhæng, som dataene blev indsamlet i, eller på en måde, der ikke står i et rimeligt forhold til karakteren af deres adfærd.
• Strafferetlig risikovurdering, der forudser sandsynligheden for at begå en forbrydelse udelukkende på grundlag af profilering eller personlighedstræk, med undtagelse af objektive faktuelle efterforskninger.
• Indsamling til ansigtsgenkendelsesdatabaser fra internettet eller overvågningskameraer uden specifik målretning.
• Udledelse af følelser på følsomme områder, såsom arbejdspladser eller uddannelsesinstitutioner, medmindre de anvendes til medicinske eller sikkerhedsmæssige formål.
• Biometrisk kategorisering baseret på data med henblik på at udlede følsomme egenskaber såsom race, religion eller politisk overbevisning, med undtagelse af lovlig anvendelse i retshåndhævelse.
• Biometrisk identifikation i realtid i offentligheden gennem retshåndhævelse medmindre det er strengt nødvendigt i særlige situationer (f.eks. at finde forsvundne personer, forebygge overhængende trusler eller identificere mistænkte for alvorlige forbrydelser). Dette skal følge strenge juridiske procedurer, herunder forudgående godkendelse, et begrænset anvendelsesområde og beskyttelsesforanstaltninger for at beskytte rettigheder og frihedsrettigheder.

Forordningen indfører oplysningspligter, når der kan opstå en risiko som følge af manglende gennemsigtighed omkring brugen af AI:

• AI, der har til formål at efterligne mennesker (f.eks. en chatbot), skal oplyse det menneske, den interagerer med, om dette
• outputtet af generativ AI skal mærkes som AI-genereret på en maskinlæsbar måde
• i visse tilfælde skal outputtet af generativ AI mærkes synligt, navnlig deepfakes og tekst, der har til formål at informere offentligheden om emner af samfundsmæssig interesse.

Alle andre AI-systemer anses for at have begrænset risiko, og forordningen indfører derfor ingen yderligere regler.

Pålidelig brug af store AI-modeller

• AI-modeller til almen brug er AU-modeller, der er trænet med store mængder data og som kan udføre en lang række opgaver. De kan være komponenter i AI-systemer.
• Forordningen indfører gennemsigtighedsforpligtelser for udbydere af sådanne AU-modeller til almen brug, navnlig teknisk dokumentation, levering af oplysninger til downstreamudviklere af AI-systemer og offentliggørelse af data, der anvendes til træning af modellen.
• De mest effektive AI-modeller til almen brug kan udgøre systemiske risici. Hvis en model opfylder en vis kapacitetsgrænse, skal udbyderen af den pågældende model opfylde yderligere forpligtelser vedrørende risikostyring og cybersikkerhed.

Forvaltning

• Forordningen opretter flere forvaltningsorganer, der er aktive fra den 2. august 2025:
  • nationale kompetente myndigheder, der fører tilsyn med og håndhæver reglerne for AI-systemer
  • et AI-kontor inden for Europa-Kommissionen, der skal koordinere den sammenhængende anvendelse af de fælles regler i hele EU og fungere som regulator for AI-modeller til almen brug.
• EU’s medlemsstater og AI-kontoret arbejder tæt sammen om et AI-udvalg, der består af repræsentanter fra medlemsstaterne, for at sikre en ensartet og effektiv anvendelse af forordningen.
• Forordningen opretter to rådgivende organer for AI-kontoret og AI-udvalget:
  • et videnskabeligt panel af uafhængige eksperter, der skal yde videnskabelig rådgivning
  • et rådgivende forum for interessenter med henblik på at yde teknisk ekspertise til AI-udvalget og Kommissionen.

Sanktioner

Bøderne for overtrædelser fastsættes som en procentdel af den lovovertrædende virksomheds årlige omsætning eller et forudbestemt beløb, afhængigt af, hvilket beløb der er højest. Små og mellemstore virksomheder og iværksættervirksomheder er underlagt forholdsmæssige administrative bøder.

Gennemsigtighed og beskyttelse af grundlæggende rettigheder

Udviklingen og brugen af højrisiko-AI-systemer er underlagt øget gennemsigtighed:

• før et højrisiko-AI-system anvendes af enheder, der udbyder offentlige tjenester, skal der udføres en konsekvensanalyse vedrørende grundlæggende rettigheder
• højrisiko-AI-systemer og enheder, der anvender dem, skal være registreret i en EU-database.

Innovation

Forordningen fastlægger en innovationsvenlig retlig ramme og har til formål at fremme evidensbaseret lovgivningsmæssig læring. Den lægger op til reguleringsmæssige AI-sandkasser, der skal muliggøre et kontrolleret miljø, hvor innovative AI-systemer kan udvikles, testes og valideres, herunder under reelle forhold. Derudover giver forordningen mulighed for at teste højrisiko-AI-systemer i praksis under visse betingelser.

Evaluering og revision

Kommissionen vurderer behovet for at ændre listen over højrisikoanvendelser af AI og forbudte former for AI-praksis hvert år. Senest den 2. august 2028 og hvert fjerde år derefter vurderer og rapporterer Kommissionen om følgende:

• tilføjelse til eller udvidelse af listen over højrisikokategorier
• ændringer af listen over AI-systemer, der kræver yderligere gennemsigtighedsforanstaltninger
• ændringer, der forbedrer tilsyn og forvaltning.