EUROPA-KOMMISSIONEN

Bruxelles, den 19.12.2023

COM(2023) 797 final

RAPPORT FRA KOMMISSIONEN TIL EUROPA-PARLAMENTET OG RÅDET

om gennemførelsen af Europa-Parlamentets og Rådets forordning (EU) 2021/1232 af 14. juli 2021 om en midlertidig undtagelse fra visse bestemmelser i direktiv 2002/58/EF, for så vidt angår den anvendelse af teknologier til behandling af personoplysninger og andre data, der foretages af udbydere af nummeruafhængige interpersonelle kommunikationstjenester med det formål at bekæmpe seksuelt misbrug af børn online

Contents

LISTE OVER TERMER OG AKRONYMER    

1.    INDLEDNING    

2.    GENNEMFØRELSESFORANSTALTNINGER    

2.1.    Udbyderes behandling af personoplysninger (artikel 3, litra g), nr. vii))    

2.1.1.    Type og mængde af behandlede data    

2.1.2. Grunde til behandling i henhold til forordning (EU) 2016/679    

2.1.3.    Begrundelse for overførsel af personoplysninger uden for Unionen i henhold til kapitel V i GDPR, hvor det er relevant    

2.1.4.    Antal identificerede tilfælde af seksuelt misbrug af børn online, hvor der skelnes mellem seksuelt misbrug af børn og hvervning af børn    

2.1.5.    Brugernes klageadgang og resultat    

2.1.6.    Antal og andel af fejl (falske positiver) for de forskellige anvendte teknologier    

2.1.7.    Foranstaltninger, der er truffet for at begrænse fejlprocenten og den opnåede fejlprocent    

2.1.8.    Opbevaringspolitik og databeskyttelsesgarantier i henhold til GDPR    

2.1.9.    Navnene på de organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn, og som der er udvekslet data med i henhold til denne forordning.    

2.2.    Medlemsstaternes statistikker (artikel 8)    

2.2.1. Samlet antal indberetninger om afsløret seksuelt misbrug af børn online    

2.2.2. Antal identificerede børn    

2.2.3. Antallet af dømte gerningsmænd    

2.3.    Den teknologiske udvikling    

2.3.1. Afsløring af kendt seksuelt misbrug af børn    

2.3.2. Afsløring af nyt seksuelt misbrug af børn    

2.3.3. Afsløring af grooming    

2.3.4. Nye udfordringer som følge af AI-chatbots og kunst-/billedgeneratorer    

3.    KONKLUSIONER    

LISTE OVER TERMER OG AKRONYMER

1.INDLEDNING

Artikel 9 i den midlertidige forordning (herefter også: "forordningen") forpligter Kommissionen til at udarbejde en rapport om dens gennemførelse på grundlag af rapporter fra udbydere af interpersonelle kommunikationstjenester (i det følgende benævnt: "udbydere") om behandlingen af personoplysninger og statistikkerne forelagt medlemsstaterne. I henhold til ovennævnte bestemmelse skal Kommissionen i gennemførelsesrapporten navnlig tage hensyn til følgende:

a) de relevante betingelser for behandling af relevante personoplysninger og andre oplysninger, der behandles i henhold til forordningen

b) proportionaliteten af den undtagelse, der er fastsat i forordningen, herunder en vurdering af de statistikker, som medlemsstaterne har forelagt i henhold til forordningens artikel 8

c) udviklingen i teknologiske fremskridt vedrørende de aktiviteter, der er omfattet af denne forordning, og i hvilket omfang en sådan udvikling forbedrer nøjagtigheden og reducerer antallet og andelen af fejl (falske positiver).

Denne gennemførelsesrapport i henhold til den midlertidige forordning bygger på de data, der er indhentet gennem indberetning fra udbydere og medlemsstater i henhold til henholdsvis artikel 3, stk. 1, litra g), nr. vii), og artikel 8. Disse indberetninger afslørede betydelige forskelle i tilgængeligheden af data, de typer data, der blev indsamlet, og dermed også sammenligneligheden af de data, der blev indsamlet af udbyderne og medlemsstaterne. Da forordningen ikke indeholder en skabelon for indberetningen, indgav udbyderne forskellige typer oplysninger, som ikke nødvendigvis var sammenlignelige. Kommissionens tjenestegrene fulgte derfor op for at sikre en korrekt fortolkning af dataene. De fleste medlemsstater var ikke i stand til at levere data til tiden, og en række af dem har ikke været i stand til at levere data før offentliggørelsen af denne rapport. Dette har haft en betydelig indvirkning på rapportens timing, fuldstændighed og anvendelighed. På trods af bestræbelserne på at sikre sammenhæng i dataene og sammenlignelighed er der fortsat betydelige forskelle, som afspejles i nedenstående tabeller, der heller ikke indeholder data for alle udbydere eller medlemsstater på alle punkter.

Formålet med denne gennemførelsesrapport er at give et faktuelt overblik over situationen i forbindelse med gennemførelsen af den midlertidige forordning på grundlag af de foreliggende data. Rapporten indeholder ingen fortolkninger af forordningen og tager ikke stilling til, hvordan den er blevet fortolket og anvendt i praksis.

2.GENNEMFØRELSESFORANSTALTNINGER

2.1.Udbyderes behandling af personoplysninger (artikel 3, litra g), nr. vii))

I artikel 3, litra g), nr. vii), i den midlertidige forordning fastsættes betingelserne for, at udbydere, der handler i henhold til undtagelsen deri, offentliggør og forelægger en rapport om behandlingen af personoplysninger i henhold til denne forordning for den kompetente tilsynsmyndighed og Kommissionen senest den 3. februar 2022 og derefter hvert år senest den 31. januar. Google, LinkedIn, Meta, Microsoft og X (tidligere Twitter) 1 indsendte rapporter for 2021 og 2022.

2.1.1.Type og mængde af behandlede data

Udbyderne rapporterede om behandling af både indholds- og trafikdata.

For så vidt angår indholdsdata, der behandles med henblik på at afsløre seksuelt misbrug af børn online, nævnte alle ovennævnte udbydere billeder og videoer. For det meste benyttede de hash-matchningsteknologierne PhotoDNA og MD5 til at afsløre match i tidligere identificeret materiale, der viser seksuelt misbrug af børn. Googles CSAI Match-værktøj blev brugt til at generere digitale fingeraftryk af videoer på platforme og sammenligne dem med filerne i Google/YouTubes fingeraftryksregister (LinkedIn). Der blev ligeledes rapporteret om brug af automatiseret teknologi (maskinlæring med kunstig intelligens) og menneskelig gennemgang (f.eks. af Google). Google og LinkedIn bekræftede, at de også identificerede materiale, der viser seksuelt misbrug af børn, som ikke svarede til tidligere identificeret materiale med seksuelt misbrug af børn. Ingen af de fem udbydere, der indsendte data, indberettede data om afsløring af hvervning af børn via tekstdetektion inden for anvendelsesområdet for undtagelsen i denne forordning.

Hvad angår de indsamlede trafikdata og de respektive mængder af de forskellige typer indhold og trafikdata, der blev behandlet, varierede udbydernes indberetninger betydeligt.

Trafikdata indsamlet af udbydere og medtaget i rapporter fra CyberTipline til U.S. National Center for Missing and Exploited Children (i det følgende benævnt: "NCMEC") omfatter (alle eller et udvalg af) følgende data:

a)data om brugeren/den der rapporteres om/kontorelaterede data (Google, LinkedIn, Microsoft, X)

b)metadata vedrørende indhold/transaktionsdata (Google, LinkedIn, Microsoft)

c)data vedrørende et potentielt offer (Google)

d)misbrugsdata (Google).

Med hensyn til mængden af data, der blev behandlet i henhold til den midlertidige forordning, rapporterede LinkedIn om behandling af 8 mio. billeder og videoer fra EU mellem den 14. juli og den 31. december 2021 og 21 mio. billeder og 63 000 videoer fra EU i 2022. Microsoft rapporterede om behandling af 8,9 mia. billeder og videoer med henblik på forordningen på verdensplan mellem juli og december 2021 og 12,3 mia. indholdselementer på verdensplan i 2022. Der forelå ingen EU-tal, og det er derfor ikke muligt at drage nogen konklusioner med henblik på denne rapport. De øvrige udbydere fremlagde ikke oplysninger om mængden af behandlede data. Af de fem indberettende udbydere leverede kun én data med den nødvendige detaljeringsgrad.

For at illustrere den overordnede kontekst rapporterede NCMEC, at det havde modtaget i alt 87,2 millioner billeder og videoer på verdensplan og 5,1 mio. billeder og videoer, der vedrørte EU, i 2022 og 84,8 millioner billeder og videoer på verdensplan og 1,8 millioner billeder og videoer vedrørende EU i 2021. Disse er kun de materialer, som en udbyder har identificeret som potentielt materiale, der viser seksuelt misbrug af børn, og kan derfor ikke betragtes som en indikation af den samlede mængde data, der behandles i henhold til den midlertidige forordning.

2.1.2. Grunde til behandling i henhold til forordning (EU) 2016/679

Udbyderne rapporterede, at de påberåbte sig følgende specifikke grunde i henhold til forordning (EU) 2016/679 (i det følgende benævnt: "GDPR"):

·artikel 6, stk. 1, litra d), i GDPR, dvs. behandling, der er nødvendig for at beskytte de vitale interesser hos børn og dem, der er ofre for seksuelt misbrug af børn online (Google, Meta, X 2 )

·artikel 6, stk. 1, litra e), i GDPR, dvs. behandling, der er nødvendig for udførelsen af opgaver i samfundets interesse (LinkedIn, Microsoft, Meta, X 3 )

·artikel 6, stk. 1, litra f), i GDPR, dvs. behandling begrundet i en legitim interesse hos

I.udbyderen i at afsløre, forebygge eller på anden måde håndtere seksuelt misbrug af børn online på sine tjenester og beskytte andre brugere, kunder, partnere og offentligheden mod denne form for ulovligt indhold (Google, Meta)

II.ofre for seksuelt misbrug af børn og den organisation, til hvem udbyderen indberetter seksuelt misbrug af børn online (f.eks. NCMEC) for at afsløre, forebygge og fjerne seksuelt misbrug af børn online fra deres tjenester (Google).

2.1.3.Begrundelse for overførsel af personoplysninger uden for Unionen i henhold til kapitel V i GDPR, hvor det er relevant

Alle udbydere rapporterede, at de baserede sig på standardkontraktbestemmelser, der er godkendt af Kommissionen i henhold til artikel 46, stk. 2, litra c), i GDPR. For så vidt angår overførsler af personoplysninger til NCMEC rapporterede LinkedIn også at have benyttet sig af en undtagelse, som, i det omfang det er relevant, er tilladt i henhold til artikel 49, stk. 1, i GDPR.

2.1.4.Antal identificerede tilfælde af seksuelt misbrug af børn online, hvor der skelnes mellem seksuelt misbrug af børn og hvervning af børn

Tabel nr. 1: Antal tilfælde af seksuelt misbrug af børn online, der blev konstateret i 2021

I X's tilfælde er det uklart ud fra de indberettede data, om de udelukkende vedrører tjenester, der er omfattet af anvendelsesområdet for den midlertidige forordning (nummeruafhængige interpersonelle kommunikationstjenester), eller om dette tal også omfatter andre tjenester (såsom informationssamfundstjenester). Dette gælder alle data vedrørende X i denne rapport.

Tabel nr. 2: Antal tilfælde af seksuelt misbrug af børn online, der blev konstateret i 2022

2.1.5.Brugernes klageadgang og resultat 

I henhold til artikel 3, stk. 1, litra g), nr. iv), i den midlertidige forordning skal udbyderne indføre passende procedurer og klagemekanismer for at sikre, at brugerne kan indgive klager til dem. Desuden indeholder artikel 5 regler om domstolsprøvelse.

Udbyderne rapporterede at have gennemført sådanne interne klageprocedurer og -mekanismer for brugere, hvis konti er blevet begrænset på grund af deling af materiale, der viser seksuelt misbrug af børn, og/eller indhold fjernet som materiale, der viser seksuelt misbrug af børn, så de kan klage over deres begrænsning/fjernelse og få deres sag gennemgået for fejl.

De indberettede sager, hvor en bruger har indgivet en klage til den interne klagemekanisme eller til en retslig myndighed vedrørende spørgsmål, der er omfattet af forordningens anvendelsesområde inden for EU, og resultatet af sådanne klager. Kun Microsoft (som indberettede 0 klager på begge kanaler i 2021 og 2022) indberettede særskilte statistikker for interne klagemuligheder og domstolsprøvelse. Som følge heraf dækker nedenstående tabeller både interne klagemuligheder og domstolsprøvelse.

Tabel nr. 3: Antal sager, hvor en bruger har indgivet en klage til den interne klagemekanisme eller til en retslig myndighed, og resultatet af sådanne klager i 2021

Tabel nr. 4: Antal sager, hvor en bruger har indgivet en klage til den interne klagemekanisme eller til en retslig myndighed, og resultatet af sådanne klager i 2022

2.1.6.Antal og andel af fejl (falske positiver) for de forskellige anvendte teknologier

I henhold til artikel 3, stk. 1, litra e), i den midlertidige forordning skal udbydere sikre, at de anvendte teknologier er tilstrækkeligt pålidelige, således at de i videst muligt omfang begrænser fejlprocenten i forbindelse med afsløring af indhold, der udgør seksuelt misbrug af børn online.

I den forbindelse rapporterede udbyderne, at de ikke anvender hver enkelt teknologi til at afsløre seksuelt misbrug på internettet isoleret. De anvender i højere grad en lagdelt tilgang til afsløring af seksuelt misbrug på internettet ved at kombinere forskellige detektionsteknologier for at øge nøjagtigheden. For at reducere fejl eller falske positive resultater supplerer alle udbydere disse med menneskelig gennemgang. Udbyderne angav ikke antallet og andelen af fejl (falske positiver) for hver af de forskellige anvendte teknologier hver for sig, men indberettede i stedet aggregerede data for alle anvendte teknologier.

De fleste udbydere måler antallet af fejl og andelen af fejl som omstødelser af håndhævelsesafgørelser, dvs. som den samlede genetablerings-/omstødelsesprocent (f.eks. den andel af deaktiverede konti eller fjernet indhold, som udbyderen genetablerede efter brugerens klage). Udbydernes tilgang afspejler ikke nødvendigvis definitionen af "falske positiver" i statistikkerne.

De indberettede genetablerings-/omstødelsesprocenter er som følger:

Tabel nr. 5: Genetablering/omstødelse efter klager

* Indberetningsperioderne i 2021 varierer for hver udbyder.

2.1.7.Foranstaltninger, der er truffet for at begrænse fejlprocenten og den opnåede fejlprocent

I henhold til artikel 3, stk. 1, litra e), i den midlertidige forordning skal de anvendte teknologier være tilstrækkeligt pålidelige, og der skal straks rettes op på følgerne af eventuelle lejlighedsvise fejl. Desuden kræver artikel 3, stk. 1, litra g), nr. ii), menneskeligt overvågning og om nødvendigt menneskelig indgriben.

Alle udbydere rapporterede, at de anvendte en lagdelt tilgang til at afsløre og bekæmpe udbredelsen af seksuelt misbrug af børn online. Dette omfatter anvendelse af hash-matchning (herunder fotoDNA) til afsløring af materiale, der viser seksuelt misbrug af børn, i kombination med menneskelige kontrolprocesser for at bekræfte, om en mediefil (billede eller video) indeholder materiale, der viser seksuelt misbrug af børn, samt menneskeligt overvågning med behandlingen af materiale, der viser seksuelt misbrug af børn.

Udbyderne rapporterede, at de anvendte forskellige foranstaltninger og sikkerhedsforanstaltninger for at begrænse og reducere fejlprocenten i deres afsløring, indberetning og fjernelse af seksuelt misbrug af børn online. Disse omfatter (ikke-udtømmende liste) 4 :

I.overvågning og kvalitetsvurdering af resultaterne af værktøjer til afsløring af seksuelt misbrug af børn, både for at finjustere præcisionen (at de kun fanger seksuelt misbrug af børn) og for at få det hele med (at de ikke overser seksuelt misbrug af børn på deres platforme) (Google, X)

II.menneskelig gennemgang og menneskeligt tilsyn: mediemateriale med indhold af seksuelt misbrug af børn afsløret ved hjælp af hash-matchningteknologier gennemgås af mennesker/uddannede analytikere (Google, LinkedIn, Meta, Microsoft)

III.markering og gennemgang af klynger med store mængder (Meta)

IV.iværksættelse af yderligere processer for manuel gennemgang som løbende hashkvalitetskontrol (LinkedIn, Microsoft)

V.menneskelige kontrollanter, der gennemgår grundige specialkurser under vejledning af rådgivere i, hvordan indhold med seksuelt misbrug af børn, kan genkendes, for at sikre nøjagtigheden af den menneskelige gennemgang (Google)

VI.periodiske kvalitetskontrolvurderinger foretaget af menneskelige kontrollanter og deres bedømmelser (Google, X)

VII.andre kvalitetskontrolprocesser til reduktion af fejl og omgående afhjælpning såsom uafhængig hashkontrol (Google, LinkedIn), menneskelig gennemgang af hvert enkelt tilfælde af seksuelt misbrug af børn, der ikke er set tidligere, inden indberetning (Google)

VIII.udvikling og regelmæssig revision af politikker og håndhævelsesstrategier foretaget af uddannede eksperter i seksuelt misbrug af børn online (Google)

IX.samarbejde med NCMEC CyberTipline-rapporterer om kvalitet og eventuelle falske positive resultater (Google, LinkedIn, Meta, Microsoft, X).

2.1.8.Opbevaringspolitik og databeskyttelsesgarantier i henhold til GDPR

I henhold til artikel 3, stk. 1, litra h) og i), i den midlertidige forordning må relevante personoplysninger kun opbevares på en sikker måde til bestemte formål, og opbevaringsperioden skal være specificeret. Desuden skal de gældende krav i den generelle forordning om databeskyttelse overholdes.

Udbyderne rapporterede, at de havde indført solide opbevaringspolitikker og foranstaltninger til beskyttelse af personoplysninger. Dataopbevaringspolitikkerne varierer afhængigt af typen af data. De angiver, at opbevaringsperioden i hvert enkelt tilfælde er tidsbegrænset, alt efter hvilken type oplysninger der er tale om og formålet med behandlingen, og at oplysningerne slettes ved udløbet af opbevaringsperioden. Udbyderne har mere detaljerede oplysninger om dataopbevaringspraksis i deres privatlivspolitik/-erklæringer og service-/brugeraftaler.

De fleste udbydere (LinkedIn, Meta, Microsoft) anvender en opbevaringspolitik på 90 dage for medier, der bevisligt indeholder materiale med seksuelt misbrug af børn, der afsløres inden for forordningens anvendelsesområde. I denne periode opbevares det indhold, der bekræftes som seksuelt misbrug af børn, separat og sikkert og forvaltes af specialiserede teams (f.eks. Microsofts team for retshåndhævelse og national sikkerhed). Disse opbevaringssystemer sletter automatisk det opbevarede indhold af seksuelt misbrug af børn efter 90 dage, medmindre opbevaringsperioden er blevet forlænget efter anmodninger om lovlig behandling oftest fra retshåndhævende myndigheder, der følger op på NCMEC-rapporter.

Google rapporterede, at materiale med seksuelt misbrug af børn, der afsløres inden for forordningens anvendelsesområde, ikke opbevares længere end strengt nødvendigt til de relevante formål i henhold til forordningen og under alle omstændigheder ikke længere end 12 måneder fra det tidspunkt, hvor det materiale, der viser seksuelt misbrug af børn, identificeres og indberettes, med en mulig forlængelse baseret på en gyldig anmodning om retlig sikring.

X (tidligere Twitter) rapporterede, at de opbevarer profiloplysninger og indhold, så længe brugerkontoen er aktiv, og personoplysninger, der indsamles, når brugerne bruger deres tjeneste, i højst 18 måneder. Når en konto deaktiveres af brugeren, opbevarer X generelt dataene i yderligere 30 dage, hvorefter kontoen vil blive slettet. Brugerdata vedrørende klager og overtrædelser af politikker, herunder kontooplysninger om lovovertrædere (f.eks. identifikatorer, der anvendes til at oprette kontoen: e-mailadresse eller telefonnummer) bibeholdes på ubestemt tid for at forhindre gentagne lovovertrædere i at oprette nye konti og sikre, at overtrædere af X's politikker ikke blot kan vente til, at kontoen bliver slettet, og derefter overtræde politikkerne igen 5 .

De garantier for beskyttelse af personoplysninger, som udbyderne har indført, omfatter branchestandardforanstaltninger (alle eller dele heraf) såsom (ikke-udtømmende liste) 6 :

I.anvendelse af anonymiserings- eller pseudonymiseringsteknikker og anonymisering af data (f.eks. maskering, hashing, differentiel beskyttelse af privatlivets fred) (Google, LinkedIn, Meta, Microsoft)

II.kun levering af hashværdier til tredjeparter med henblik på afsløring af seksuelt misbrug af børn (Google, LinkedIn)

III.anvendelse af industriel standardkryptering (algoritmer og protokoller) til data på vej mellem privatejet infrastruktur og offentlige net (Meta)

IV.gennemførelse af datastyringsstrategier/omfattende programmer til beskyttelse af privatlivets fred (X, tidligere Twitter, Google) og strenge begrænsninger for intern dataadgang (Meta) (f.eks. for personale, kontrahenter, agenter, der har brug for oplysningerne for at behandle dem), brug af adgangskontrollister på tværs af værktøjer til gennemgang af seksuelt misbrug af børn og hashforbud (Meta) og strenge kontraktlige fortrolighedsforpligtelser over for personer med adgang

V.gennemgang af anonymiserings- og datastyringsstrategier, dvs. gennemførelse af privatlivsvurderinger for at identificere, få adgang til og afbøde potentielle risici for privatlivets fred som følge af indsamling, behandling, lagring og deling af personoplysninger samt gennemgang af beskyttelsespraksis (Microsoft)

VI.opretholdelse af beredskabsplaner for sikkerhedshændelser med henblik på overvågning, afsløring og håndtering af eventuelle sikkerhedsmæssige sårbarheder og hændelser på tværs af infrastrukturen (Google, Meta).

2.1.9.Navnene på de organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn, og som der er udvekslet data med i henhold til denne forordning.

I begge rapporteringsperioder (juli/august 2021 til december 2021 og januar 2022 til december 2022) rapporterede alle udbydere, at de delte de data, der blev behandlet i henhold til denne forordning, med NCMEC. Alle indberettende udbydere meddelte også Kommissionen i overensstemmelse med artikel 7, stk. 1, i den midlertidige forordning, at de indberettede seksuelt misbrug af børn online i henhold til denne forordning til NCMEC 7 .

2.2.Medlemsstaternes statistikker (artikel 8)

Medlemsstaterne er i henhold til artikel 8, stk. 1, i den midlertidige forordning forpligtet til at fremlægge statistikker om følgende:

a)det samlede antal indberetninger af afsløret seksuelt misbrug af børn online, som udbydere og organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn, har forelagt for de kompetente nationale retshåndhævende myndigheder, idet der, så vidt sådanne oplysninger er til rådighed, skelnes mellem det absolutte antal sager og sager, der er indberettet flere gange, samt typen af udbyder, på hvis tjeneste det seksuelle misbrug af børn online blev afsløret

b)antallet af børn, der er identificeret gennem tiltag i henhold til artikel 3, opdelt efter køn

c)antallet af gerningsmænd, som er blevet dømt.

De fleste medlemsstater leverede som minimum en del af disse oplysninger, men mange af medlemsstaterne havde ikke fået etableret de relevante dataindsamlings- og rapporteringssystemer. Som følge heraf vedrører de statistikker, der blev fremlagt, meget forskellige rapporteringsperioder og varierer betydeligt med hensyn til detaljeringsgrad. Nogle medlemsstater indsendte årlige statistikker fra datoen for forordningens ikrafttræden. De fleste af dem blev indberettet for kalenderår, muligvis fordi de ikke har de tekniske midler til at skelne mellem de ønskede statistikker pr. år fra datoen for forordningens ikrafttræden. Nogle få medlemsstater fremlagde slet ingen data.

Det skal også bemærkes, at de statistiske data i nogle tilfælde hentes fra såkaldte eksisterende databaser eller fra journaliserings- og sagsforvaltningssystemer, dvs. ikke egentlige statistiske systemer. Tallene angives til tider på grundlag af dynamiske data, hvilket betyder, at dataene ikke er endelige, dvs. at de kan blive ændret. Der sker f.eks. ændringer afhængigt af udtrækningstidspunktet (f.eks. i Slovenien og Danmark), efterhånden som flere undersøgelser og retssager afsluttes.

I flere medlemsstater er de kompetente myndigheder ved at oprette nye afdelinger for efterforskning af forbrydelser i forbindelse med seksuelt misbrug af børn online og oprette central indberetning af seksuelt misbrug af børn online (Letland, Tjekkiet). Dette skulle bidrage til at få mere nøjagtige statistikker i fremtiden.

Tyskland anførte, at det ikke kunne fremlægge statistikker i henhold til artikel 8, stk. 1, i den midlertidige forordning, da det ikke mente at have noget retsgrundlag for frivillig afsløring 8 . Forbundskriminalpolitiet (BKA) rapporterer imidlertid på sit websted om modtagelse af 89 844 rapporter fra NCMEC i 2022, og at NCMEC har sendt 138 193 rapporter til de tyske myndigheder 9 . Tre medlemsstater fremlagde ingen data eller begrundelser for ikke at rapportere i henhold til denne bestemmelse (Malta, Portugal og Rumænien).

2.2.1. Samlet antal indberetninger om afsløret seksuelt misbrug af børn online

De fleste medlemsstater fremlagde statistikker over det samlede antal indberetninger af seksuelt misbrug af børn online i henhold til artikel 8, stk. 1, litra a), i den midlertidige forordning. Da medlemsstaterne indsendte data for forskellige indberetningsperioder, var det ikke muligt at beregne det samlede antal indberetninger om afsløret seksuelt misbrug af børn online, der var modtaget på EU-plan for en given periode, f.eks. tidspunktet for gennemførelsen af forordningen.

Medlemsstaterne fremsendte for det meste det samlede antal indberetninger modtaget fra udbydere eller andre organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn, til de nationale retshåndhævende myndigheder. Da de fleste amerikanske udbydere indberetter til NCMEC, rapporterede de fleste medlemsstater, at de modtog de fleste eller alle deres rapporter fra NCMEC. Medlemsstaterne angav ikke antallet af indberetninger, der kan gøres til genstand for søgsmål, dvs. rapporter, der egner sig til efterforskning, men nogle angav antallet af indledte sager, som er betydeligt lavere. Forskellen mellem modtagne og undersøgte sager blev tilskrevet flere årsager, f.eks. at rapporten indeholdt materiale med seksuelt misbrug af børn, men at den ikke indeholdt tilstrækkelige oplysninger til at indlede en undersøgelse, sammenlægning af indberetninger, når mere end én indberetning vedrører en bestemt mistænkt, eller at materialet, selv om det viser udnyttende situationer, ikke blev vurderet som strafferetligt i henhold til national ret. Desuden differentierede medlemsstaterne for det meste ikke det absolutte antal sager og de sager, der blev indberettet flere gange. I de tilfælde, hvor NCMEC indsendte rapporter, prækategoriserede NCMEC allerede rapporter, som den havde modtaget fra udbydere som "egnet til retsforfølgelse" eller "til information". NCMEC definerer en rapport, som er egnet til retsforfølgelse, som en rapport, der indeholder tilstrækkelige oplysninger til at indlede en efterforskning. Dette omfatter typisk brugeroplysninger, billeder og eventuelt et sted. Rapporten kategoriseres som "til information", når den indeholder utilstrækkelige oplysninger, eller når billederne betragtes som virale og er blevet indberettet mange gange. NCMEC udpegede 49 % af rapporterne som "egnet til retsforfølgelse" i 2022, mens 51 % blev betegnet som "til information".

Kun meget få medlemsstater angav typen af udbydere, på hvis tjenester seksuelt misbrug af børn online blev afsløret (f.eks. Belgien, Tjekkiet, Estland, Frankrig og Polen), og kun én medlemsstat fremlagde en detaljeret oversigt (Belgien).

Slovenien anførte, at det ikke kunne fremlægge tal separat for efterforskede lovovertrædelser på grund af indberetninger fra udbydere og organisationer, men at det kun kunne fremlægge tal for alle efterforskninger af seksuelt misbrug af børn online, uanset kilden til de oplysninger, der førte til indledningen af efterforskningen.

Tabel nr. 6: Samlet antal indberetninger om afsløret seksuelt misbrug af børn online som indberettet af medlemsstaterne

I betragtning af at NCMEC er den vigtigste kilde til indberetninger, er det nyttigt at sammenligne tallene for de indberetninger, som medlemsstaterne har modtaget, med tallene fra NCMEC for indberetninger sendt til medlemsstaterne. NCMEC modtog i alt 29 397 681 indberetninger fra industrien på verdensplan i 2021, hvoraf 99,7 % (eller 29 309 106) indeholdt et eller flere billeder eller videoer, 0,15 % (eller 44 155) vedrørte grooming, og 0,05 % (eller 16 032) vedrørte handel med børn til prostitution. I 2022 modtog NCMEC i alt 32 059 029 indberetninger, hvoraf 99,5 % (eller 31 901 234) vedrørte billeder eller videoer, 0,25 % (80 524) vedrørte grooming, og 0,06 % (eller 18 336) vedrørte handel med børn til prostitution. For EU er fordelingen som følger:

Tabel nr. 7: NCMEC's indberetninger af mistanke om seksuelt misbrug af børn online til EU's medlemsstater i 2021 og 2022

De betydelige forskelle mellem antallet af indberetninger i 2021 og 2022, der viser en kraftig stigning i antallet af indberetninger i 2022, skyldes i vid udstrækning faldet i antallet af frivillige afsløringer mellem januar og august 2021, hvor den midlertidige forordning endnu ikke fandt anvendelse.

NCMEC skelner ikke i sine statistikker pr. EU-medlemsstat mellem kilderne til indberetningerne, navnlig om de stammer fra en nummeruafhængig interpersonel kommunikationstjeneste. NCMEC leverer imidlertid statistikker om det samlede antal indberetninger vedrørende EU, der stammer fra nummeruafhængige interpersonelle kommunikationstjenester. I 2021 stammede 283 265 indberetninger vedrørende medlemsstaterne fra en chattjeneste, en meddelelsestjeneste eller en e-mailtjeneste, dvs. 51 % af de samlede indberetninger vedrørende EU. Yderligere 164 645 (30 % af det samlede antal) indberetninger stammede fra sociale medier eller onlinespilplatforme, som også kan have integrerede besked- eller chattjenester. I 2021 handlede 3 565 indberetninger vedrørende EU om grooming. I 2022 stammede 1 015 231 indberetninger vedrørende medlemsstaterne fra en chattjeneste, en meddelelsestjeneste eller en e-mailtjeneste, dvs. 68 % af de samlede indberetninger vedrørende EU. Yderligere 325 847 (22 % af det samlede antal) indberetninger stammede fra sociale medier eller onlinespilplatforme, som også kan have integrerede besked- eller chattjenester. I 2022 handlede 7 561 indberetninger vedrørende EU om grooming. Igen skyldes forskellene i antallet af indberetninger fra nummeruafhængige interpersonelle kommunikationstjenester i 2021 og 2022 faldet i antallet af frivillige afsløringer mellem januar og august 2021, hvor den midlertidige forordning endnu ikke fandt anvendelse.

Andelen af indberetninger pr. medlemsstat svarer stort set til andelen af befolkningen i medlemsstaten sammenlignet med EU's befolkning som helhed i mange tilfælde, hvilket kan pege i retning af en sammenlignelig forekomst af seksuelt misbrug af børn online på tværs af medlemsstaterne. Der ses betydelige afvigelser med hensyn til Spanien og Italien, hvis procentandele begge år forekommer lave i forhold til procentdelen af EU's befolkning, mens andelen af indberetninger for andre medlemsstater synes at svinge betydeligt (f.eks. Tyskland, Polen, Nederlandene og Slovakiet). Disse ændringer afspejles ikke som sådan i indberetninger om antallet af sager, og det er derfor igen vanskeligt at drage konklusioner om sammenhængen mellem indberetninger og efterforskninger.

I betragtning af de forskellige rapporteringsperioder er det ikke muligt at foretage en direkte sammenligning, men der er ikke desto mindre betydelige forskelle mellem de statistikker, der leveres af NCMEC, og de tal, der indberettes af medlemsstaterne. Desuden kan NCMEC-tallene for medlemsstaterne heller ikke fuldt ud sammenlignes med de tal, som industrien har indberettet i det foregående afsnit. Selv om nogle af forskellene kan skyldes indberetninger af seksuelt misbrug af børn online fra andre kilder end interpersonel kommunikation, vil dette kræve yderligere analyse, da det også er muligt, at der gennemføres frivillige afsløringsforanstaltninger vedrørende EU af andre udbydere end dem, der hidtil har indsendt indberetninger til Kommissionen, i betragtning af listen over udbydere, der indberetter til NCMEC 12 . Ikke desto mindre tyder det forhold, at der for de fleste medlemsstaters vedkommende synes at være en betydelig forskel mellem antallet af indberetninger, som NCMEC angiver at have sendt til medlemsstaten, og antallet af indberetninger, som medlemsstaterne angiver at have modtaget, på, at medlemsstaternes dataindsamling og rapportering ikke er fuldstændig.

For hver NCMEC-rapport, der er identificeret ovenfor, blev de tilhørende billeder og videoer af seksuelt misbrug af børn fjernet og taget ud af omløb. Dette er især vigtigt for nuværende ofre for og overlevende efter seksuelt misbrug af børn. Undersøgelser har vist, at den fortsatte udbredelse af billeder og videoer, der viser misbrug af ofre, begrænser ofrenes evne til at overvinde de psykologiske virkninger af misbruget og skaber en sekundær form for viktimisering.

2.2.2. Antal identificerede børn

De fleste medlemsstater fremlagde fuldstændige eller delvise statistikker over antallet af identificerede børn, opdelt efter køn, jf. artikel 8, stk. 1, litra b), i den midlertidige forordning. Flere medlemsstater fremlagde imidlertid ingen data eller begrundelser for ikke at indberette i henhold til denne bestemmelse.

Flere medlemsstater indberettede ingen eller kun delvise statistikker for rapporteringsperioden, men fremsatte begrundelser for dette. Blandt de anførte grunde kan nævnes:

-Antallet af børn, der er ofre for seksuelt misbrug af børn online, kan ikke opgøres (Frankrig).

-Der foreligger ingen data, da de ikke blev indsamlet som led i indsamlingen af nationale statistiske data/de nationale myndigheder registrerede ikke disse statistikker (Danmark og Litauen).

-Dataene er ikke kønsopdelt i den nationale statistiske dataindsamling (Belgien, Cypern, Tjekkiet, Grækenland, Irland, Italien, Litauen og Nederlandene).

-Dataene er ikke tilgængelige med den ønskede detaljeringsgrad i de eksisterende informationssystemer (Finland).

-Dataene indsamles ikke (Tyskland).

Nogle få af de medlemsstater, der anførte, at de ikke var i stand til at fremlægge statistikker, bekræftede, at deres nationale myndigheder blev anmodet om at ændre deres registreringsprocedure for frivillige indberetninger og efterforskning og indsamling af statistikker (Danmark) og/eller er i færd med at indføre nye informationssystemer, der skulle gøre det muligt at rapportere på det krævede detaljeringsniveau (Finland).

I én medlemsstat skelnes der i nedenstående data ikke mellem børneofre for seksuelt misbrug online og offline (Ungarn). I nogle tilfælde omfatter statistikkerne også børn, der blev identificeret som selv at have produceret og uploadet dette materiale (egenproduceret materiale, hovedsagelig video) (Tjekkiet og Estland).

Da medlemsstaterne for det meste indberettede for forskellige indberetningsperioder, var det ikke muligt at beregne det samlede antal børn, der blev identificeret som ofre for seksuelt misbrug af børn online i EU, pr. år og/eller samme indberetningsperiode.

Tabel nr. 8: Antal identificerede børn opdelt efter køn

Ovennævnte data er underlagt en række yderligere forbehold. De eksisterende statistiske data gør det ikke altid muligt for medlemsstaterne at adskille data om ofre, der er blevet identificeret på grundlag af en indberetning fra en udbyder, fra dem, hvor offeret f.eks. selv kan have anmeldt forbrydelsen, eller en anden person, der kendte offeret eller opdagede forbrydelsen, kan have anmeldt den (som nævnt af Slovenien). Sverige angav, at børn, der er blevet identificeret via chatlogfiler, også er omfattet af indberetningen, selv om fotos eller videoer af misbruget aldrig er fundet eller fastslået til at stamme fra det specifikke offer.

Samlet set svarer dataene i tabel n.8 ikke nødvendigvis til indberetningsforpligtelserne i den midlertidige forordning, som kun henviser til ofre, der er reddet takket være indberetninger fra udbydere og organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn i henhold til forordningen. De data, der oplyses, omfatter i nogle tilfælde ofre, der er identificeret på grund af en række andre årsager og ved hjælp af andre metoder.

Dataene gør det således ikke muligt at få et samlet overblik over antallet af børn, der er identificeret som ofre for seksuelt misbrug af børn online i EU.

Desuden betyder det, at et offer er blevet identificeret, ikke nødvendigvis, at der er afsagt en dom i forbindelse med denne identifikation. I nogle tilfælde blev offeret identificeret, men efterforskningen kunne ikke fastslå en mistænkt eller føre til domfældelse (Sverige).

Ikke desto mindre kan det udledes af oplysningerne, at et betydeligt antal ofre er blevet identificeret ved hjælp af frivillig indberetning i overensstemmelse med den midlertidige forordning. Dette bekræftes af rapporter om sager fra retshåndhævende myndigheder, som ofte kun iværksættes på grundlag af frivillig indberetning 13 .

2.2.3. Antallet af dømte gerningsmænd

De fleste medlemsstater opfyldte deres forpligtelser, men to medlemsstater fremlagde ingen data eller begrundelser for ikke at indberette i henhold til artikel 8, stk. 1, litra c), i den midlertidige forordning.

Flere medlemsstater fremlagde ingen statistikker for rapporteringsperioden i henhold til denne bestemmelse og angav følgende årsager:

-Der er endnu ingen tilgængelige data (Belgien og Spanien).

-Den centrale database, der blev anvendt til at registrere kriminalitet, krævede ikke, at arten af den oprindelige henvisning blev registreret (Irland).

-Dataene indsamles ikke (Tyskland).

Medlemsstaterne indberettede meget forskellige data om antallet af dømte gerningsmænd, og der var ingen sammenhæng i de omfattede rapporteringsperioder, jf. tabel nr. 8 nedenfor.

Tabel nr. 9: Antallet af dømte gerningsmænd

Det er vigtigt at bemærke, at antallet af domfældelser ikke svarer til antallet af dømte gerningsmænd, da en person kan blive dømt for en eller flere lovovertrædelser i form af seksuelt misbrug af børn online.

Desuden er de statistikker over domfældelser, der indberettes for en vis periode, ikke nødvendigvis knyttet til de indberetninger, der modtages i den pågældende periode (dvs. en dom i 2022 kan f.eks. være knyttet til en indberetning fra 2021 eller 2020, og en indberetning fra 2022 kan føre til domfældelse i 2023 eller senere). Dette forhold blev udtrykkeligt fremhævet af flere medlemsstater i deres indberetninger (Irland, Luxembourg og Sverige).

I nogle tilfælde blev der ikke indsamlet statistikker om, hvorvidt indberetninger af mistænkelige aktiviteter (f.eks. via NCMEC) førte til domfældelser, eller med andre ord, om domfældelser skyldtes oplysninger fra en udbyder eller en offentlig organisation (Østrig og Letland). Kun Estland har udtrykkeligt bekræftet, at statistikkerne kun viser domfældelser som følge af NCMEC-rapporter. Det er også muligt, at indberetningerne førte til andre lovovertrædere, som efterforskes og dømmes i forbindelse med efterforskningen (Østrig).

For det meste antages det, at antallet af domfældelser, der indberettes, er fra det tidspunkt, hvor en sag afsluttes efter formodentlig at være blevet appelleret gennem retssystemet. I én medlemsstat (Danmark), hvor tallene er indsamlet i henhold til den seneste afgørelse, er tallene ikke endelige, da afgørelserne kan være blevet appelleret efterfølgende.

I visse tilfælde skelner de data, der er indeholdt i de nationale IT-systemer og indberettet af medlemsstaterne, ikke mellem lovovertrædelser begået online og offline (Østrig, Luxembourg, Letland).

De meget forskellige indberetninger, som medlemsstaterne indsender, og den måde, hvorpå statistiske data indsamles på nationalt plan, giver således ikke et samlet overblik over antallet af gerningsmænd, der er dømt for seksuelt misbrug af børn online i EU. Det er heller ikke på nuværende tidspunkt — på grundlag af de tilgængelige data — muligt klart at knytte disse domfældelser til indberetninger indgivet af udbydere og organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn, i konkrete rapporteringsperioder i overensstemmelse med denne forordning.

2.3.Den teknologiske udvikling

Teknologier, der i øjeblikket anvendes til at opspore seksuelt misbrug af børn online, omfatter teknologier og værktøjer til at afsløre "kendt" (dvs. tidligere påvist) materiale med seksuelt misbrug af børn, "nyt" (dvs. ikke tidligere påvist) materiale, der viser seksuelt misbrug af børn, og hvervning af børn (også kendt som "grooming").

Eksemplerne nedenfor omfatter nogle af de mest anvendte værktøjer, og de udgør ikke en udtømmende liste. Mange af disse værktøjer stilles til rådighed for udbydere, retshåndhævende myndigheder og andre organisationer, hvor der kan påvises en legitim interesse. Disse værktøjer kombineres typisk med menneskelig gennemgang for at sikre størst mulig nøjagtighed.

Dette afsnit omfatter også yderligere udviklinger i teknologiske fremskridt i forbindelse med kunstig intelligens.

2.3.1. Afsløring af kendt seksuelt misbrug af børn

Eksisterende teknologier til afsløring af kendt materiale, der viser seksuelt misbrug af børn, er udelukkende baseret på automatisk analyse af indhold 14 og er typisk baseret på hashing. Hashingteknologi er en form for digital optagelse af fingeraftryk. Det skaber en unik digital signatur (også kaldet et "hash") af et billede, som derefter sammenlignes med signaturer (hash) af andre fotos for at finde kopier af det samme billede. Denne teknologi registrerer kun matchende hash og "ser" ikke noget materiale, der ikke matcher hashet. Hashværdier er heller ikke reversible og kan derfor ikke anvendes til at genskabe et billede.

Der findes mange variationer og anvendelser af hashingteknologi. Værktøjer, der er identificeret som anvendt til afsløring af seksuelt misbrug af børn, omfatter: i) Microsoft PhotoDNA , ii) Google CSAI Match , iii) Apple NeuralHash + Private Set Intersection , iv) Meta SSN++ , v) PDQ og TMK+PDQF , vi) MD5 Hash generator (Skype) og vii) Safer (Thorn).

Det mest anvendte værktøj er Microsoft PhotoDNA, der anvendes af over 150 organisationer 15 . PhotoDNA har været anvendt i mere end 10 år og har en høj grad af nøjagtighed. Andelen af falsk positive resultater anslås til højst 1 ud af 50 mia. på grundlag af test 16 . PhotoDNA's fejlprocent er fortsat ekstremt lav på grund af teknologiens art. Teknologien registrerer udelukkende kopier af tidligere identificeret indhold. Det oprindelige fotoDNA registrerer kendt seksuelt misbrug af børn i billeder, men der findes også en version til afsløring af seksuelt misbrug af børn i videoer.

Teknologien bliver løbende udviklet og forbedret. I maj 2023 bebudede Microsoft indførelsen af nye matchningsmuligheder, der gør det muligt at foretage hurtigere søgninger (ca. 350 gange hurtigere), samtidig med at omkostningerne ved matchningsprocessen reduceres uden tab af nøjagtighed. Ifølge Microsoft muliggør det nye bibliotek også en mere omfattende afsløring af vendte eller roterede billeder. Desuden rapporterede Internet Watch Foundation (IWF) for nylig om en forbedring af sin hashingteknologi 17 .

2.3.2. Afsløring af nyt seksuelt misbrug af børn

Teknologier, der i øjeblikket anvendes til at afsløre nye former for seksuelt misbrug af børn, omfatter klassificeringer og kunstig intelligens (AI), der analyserer billeder og videoer for at afsløre indholdsmønstre, der matcher mønstre genereret på grundlag af tidligere identificeret materiale, der viser seksuelt misbrug af børn. En klassifikator er en algoritme, der sorterer data i mærkede klasser eller informationskategorier gennem mønstergenkendelse. Klassifikatorerne har brug for data til at lære, og deres nøjagtighed bliver bedre jo flere data, de fodres med.

Værktøjer til afsløring af nye former for seksuelt misbrug af børn omfatter: i) Safer (Thorn), ii) Google Content Safety API , iii) Facebooks AI-teknologi 18 , iv) Amazon Rekognition og v) Hive AI for visual content .

Forskning har vist, at automatiserede værktøjer og systemer som klassifikatorer er den mest nyttige metode til at afsløre seksuelt misbrug af børn 19 . Med hensyn til afsløring af nyt materiale, der viser seksuelt misbrug af børn, ligger nøjagtighedsraten i øjeblikket betydeligt over 90 %. Thorn angiver f.eks., at dens klassifikator for materiale, der viser seksuelt misbrug af børn, kan sættes til en præcisionsrate på 99 % (for både kendt og nyt materiale, der viser seksuelt misbrug af børn), hvilket betyder en andel af falske positiver på 0,1 % 20 . Disse parametre vil sandsynligvis blive bedre med øget brug og feedback.

2.3.3. Afsløring af grooming

Værktøjer til at afsløre grooming (hvervning af børn) i tekstbaseret kommunikation gør udelukkende brug af teknologier til at afsløre mønstre, der peger på mulige konkrete elementer af mistanke om seksuelt misbrug af børn online, uden at det er muligt at udlede essensen af indholdet. Teknikken anvendes til tekstbaserede chatsamtaler. Samtaler vurderes på grundlag af en række karakteristika og tildeles en samlet sandsynlighedsvurdering, der angiver den anslåede sandsynlighed for, at samtalen drejer sig om grooming. Disse vurderinger tjener som en determinator, der fastsættes af individuelle virksomheder, til at markere samtaler med henblik på yderligere menneskelig gennemgang.

Værktøjer, der anvendes til afsløring af tekst, omfatter: i) Microsofts projekt Artemis 21 , ii) Amazon Rekognition , iii) Twitchs Spirit AI -teknologi (baseret på NLP og tekst-klassifikatorer) 22 , iv) Metas interne maskinindlæringsklassifikator (kombination af intern sproganalyseteknologi og metadata), v) Roblox chat-filtrering 23 og vi) Thorns og Tech Coalitions tekniske løsning baseret på maskinlæring og klassifikatorer 24 .

Som det er tilfældet med identifikation af nyt materiale, der viser seksuelt misbrug af børn, kræver identifikation af groomingindhold, at teknologien oplæres til at genkende denne type indhold. Adgang til egnet data til dette formål er fortsat den største udfordring for udviklingen og forbedringen af sådanne teknologier.

Thorn har i samarbejde med Tech Coalition og dens medlemmer lanceret et nyt initiativ, der har til formål at udvikle tekniske løsninger til at identificere og håndtere forsøg på onlinegrooming, som vil være nyttige og anvendelige for en række platforme, der tilbyder tekstbaseret kommunikation. Det vil være baseret på Thorn-teamets arbejde med en NLP-klassifikator (naturlig sprogbehandling) eller maskinlæringsmodel, der registrerer og kategoriserer, når onlineindhold eller -adfærd falder ind under definerede "klasser" vedrørende grooming (f.eks. eksponering for seksuelt materiale eller søgning efter et fysisk møde med en mindreårig), samt en samlet score for, i hvor høj grad en samtale har karakter af grooming 25 .

2.3.4. Nye udfordringer som følge af AI-chatbots og kunst-/billedgeneratorer

Udviklingen og frigivelsen af AI-chatbots såsom ChatGPT (en LLM-sprogmodel (Large Language Model) udviklet af OpenAI ) og kunst-/billedgeneratorer såsom DALL-E 26 og Midjourney 27 har skabt betydelig offentlig opmærksomhed, hovedsagelig på grund af deres evne til hurtigt at give umiddelbart brugbare svar eller skabe realistiske billeder, der kan anvendes i en lang række forskellige sammenhænge. Disse nye værktøjer fik hurtigt udbredt popularitet og anvendelse. Førende produkter finansieres og udvikles af teknologivirksomheder, herunder Microsoft og Google, og de nye teknologier videreudvikles og forbedres regelmæssigt.

Selv om disse teknologier giver både virksomheder og offentligheden store muligheder, kan de også udgøre en risiko for dem. Bekymringerne over sådanne produkter omfatter risikoen for, at der kan være kriminelle, som ønsker at udnytte dem til deres forbryderiske formål, herunder seksuel udnyttelse af børn.

Alle de oplysninger, som ChatGPT stiller til rådighed, er frit tilgængelige på internettet, men værktøjet gør det langt lettere for ondsindede personer at "lære om en række potentielle kriminalitetsområder uden forudgående viden, lige fra hvordan man bryder ind i et hjem til terrorisme, cyberkriminalitet og seksuelt misbrug af børn". Dette gør det muligt for disse personer bedre at forstå og efterfølgende udføre disse former for kriminalitet 28 .

OpenAI's regler begrænser ChatGPT's evne til at reagere på opfordringer til seksuelt, hadefuldt, voldeligt indhold eller indhold, der fremmer selvskade. Disse beskyttelsesforanstaltninger kan imidlertid relativt let omgås ved hjælp af prompt engineering 29 . Den seneste udbredelse af AI-chatbotter (f.eks. af Snapchat) viser, hvordan disse kan overskride grænsen til krænkende eller farlig interaktion, herunder seksuelt misbrug af børn 30 . Da flere virksomheder nu overvejer at teste AI-chatbots på deres platforme (Instagram, potentielt WhatsApp og Messenger), skal indvirkningen på brugerne, navnlig børn og unge, vurderes nøje.

Disse nye værktøjer kræver også passende sikkerhedsforanstaltninger, så de ikke misbruges til at fremstille AI-genereret materiale, der viser seksuelt misbrug af børn 31 . Med tempoet i udviklingen af AI-værktøjer er det sandsynligt, at det snart vil blive betydeligt lettere at generere billeder, der ikke kan skelnes fra rigtige billeder. Dette indebærer en række centrale udfordringer i forbindelse med bekæmpelse af seksuelt misbrug af børn, da de retshåndhævende myndigheders evne til at efterforske og retsforfølge sager om seksuelt misbrug af børn og identificere de reelle ofre kan blive alvorligt hæmmet, hvis meget realistisk computergenereret seksuelt misbrug af børn bliver meget udbredt online 32 .

Forskning har vist, at adgang til materiale, der viser seksuelt misbrug af børn, ofte er det første skridt i retning af fysisk misbrug, uanset om materialet viser reelt eller realistisk udseende misbrug og udnyttelse 33 . Det er derfor afgørende at begrænse udbredelsen af AI-genereret materiale, der viser seksuelt misbrug af børn, som en form for kriminalitetsforebyggelse. En anden vigtig bekymring er, at groomere kan bruge ChatGPT's avancerede tekstgenereringsfunktion kombineret med eksisterende gratis tekst-til-billede-AI til hurtigt og nemt at generere indhold til falske profiler og sandsynlige samtaler med unge i forsøg på at få kontakt med børn online. "Selv om ChatGPT ikke i sig selv vil få folk til at blive onlinegroomere, giver det hvem som helst mulighed for at tilføre indhold til de samtaler, de har med børn online, ved hjælp af AI-teknologi, så de kan fremstå mere overbevisende og troværdige over for deres ofre, hvilket bidrager til manipulation 34 ." Generativ kunstig intelligens kan have potentiale til at bidrage til en stigning i groomingsager på internettet og endda til "automatisering af grooming af børn i stor målestok" 35 .

3.KONKLUSIONER

Gennemførelsesforanstaltninger truffet af udbyderne

Udbydernes indberetning viste, at de har foretaget afsløring og indberetning af seksuelt misbrug af børn online i henhold til den midlertidige forordning ved hjælp af en række detektionsteknologier og -processer. Alle udbydere angav, at de sendte disse indberetninger til NCMEC. Med hensyn til typen og mængden af personoplysninger, der håndteres af udbyderne, viste indberetningerne en lang række forskelligartede trafikdata og en varieret detaljeringsgrad af de behandlede datamængder, hvilket forhindrer Kommissionen i at indhente ensartede data på EU-plan vedrørende udbydere for den pågældende rapporteringsperiode (juli 2021 til 31. januar 2023).

Udbyderne indsendte ikke antallet og andelen af fejl (falske positive) for de forskellige anvendte teknologier opdelt efter anvendt teknologi, hvilket tyder på, at de anvender en lagdelt tilgang til afsløring af seksuelt misbrug på internettet suppleret med menneskelig gennemgang. Samtidig indførte udbyderne en lang række foranstaltninger og sikkerhedsprocedurer for at begrænse og reducere fejlprocenten i deres afsløringer. Desuden rapporterede udbyderne, at de havde indført dataopbevaringspolitikker og databeskyttelsesgarantier, som var defineret i deres privatlivspolitikker eller -erklæringer og understøttet af databeskyttelsesgarantier og -foranstaltninger af industristandard.

Gennemførelsesforanstaltninger truffet af medlemsstaterne

Den midlertidige forordning forpligter også medlemsstaterne (i henhold til artikel 8) til at fremlægge centrale statistikker om tilfælde af seksuelt misbrug af børn online, der afsløres og indberettes, til deres retshåndhævende myndigheder, antallet af identificerede børneofre og antallet af dømte gerningsmænd. Da medlemsstaterne for det meste fremlagde data for forskellige rapporteringsperioder, var det ikke muligt ud fra de indsendte data at beregne det samlede antal indberetninger om afsløret seksuelt misbrug af børn online, der var modtaget på EU-plan. Desuden kan de indberetninger, der modtages og indsendes af medlemsstaterne, afvige fra indberetninger, der kan gøres til genstand for søgsmål, dvs. indberetninger, der kan anvendes i en efterforskning, eller antallet af indberettede sager. Kun nogle få medlemsstater angav den type udbydere, på hvis tjenester, der blev afsløret seksuelt misbrug af børn. I nogle tilfælde skelner de nationale statistiske data ikke mellem lovovertrædelser, der efterforskes på grundlag af indberetninger fra udbydere og andre organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn, og lovovertrædelser, der efterforskes på grundlag af andre indberetninger.

Tilsvarende var det ikke muligt ud fra de modtagne indberetninger at udlede det samlede antal børn, der blev identificeret som ofre for seksuelt misbrug af børn online i EU, opdelt efter køn. Der er bl.a. tale om følgende årsager: Der indberettes data for forskellige perioder, der anvendes forskellige aldersgrænser til at definere børneofre for seksuelt misbrug online, der indsamles ikke statistikker på et sådant detaljeringsniveau på nationalt plan på grund af tekniske eller andre begrænsninger, og der skelnes ikke mellem børneofre for seksuelt misbrug online og offline osv. Nogle medlemsstater medtager også børn, der selv har produceret materialet, i deres statistikker. Endnu vigtigere er det, at statistikkerne ofte ikke skelner mellem ofre, der identificeres på grundlag af indberetninger indgivet af udbydere og organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn i henhold til forordningen, og dem, der identificeres på grundlag af andre årsager og metoder.

Oversigten over antallet af dømte gerningsmænd er også fragmenteret. I visse tilfælde er sådanne data ikke tilgængelige, fordi databaserne ikke har registreret kilden til den oprindelige registrering, og dataene derfor ikke skelner mellem gerningsmænd, der er dømt på grund af indberetninger indgivet i henhold til forordningen, og andre indberetninger. I nogle tilfælde skelner dataene i de nationale IT-systemer heller ikke mellem lovovertrædelser begået online og lovovertrædelser begået offline. Desuden er de statistikker over domfældelser, der indberettes for en bestemt periode, ikke nødvendigvis knyttet til de indberetninger, der er modtaget i den pågældende periode, men kan vedrøre indberetninger fra tidligere perioder. Indsamlede statistikker om antallet af domfældelser kan også afvige fra antallet af dømte gerningsmænd (da én gerningsmand kan have fået flere domme).

De uensartede statistikker, som medlemsstaterne har indsendt, og som tilsyneladende ikke altid systematisk og korrekt indsamler dataene, og alle ovennævnte faktorer gør det således umuligt at få et samlet overblik over de indberetninger om seksuelt misbrug online, der er modtaget, antallet af børn, der er identificeret som ofre for denne forbrydelse, samt antallet af gerningsmænd, der er dømt på EU-plan i henhold til forordningen. Det forhold, at der for de fleste medlemsstaters vedkommende synes at være en betydelig forskel mellem antallet af indberetninger, som NCMEC angiver at have sendt til medlemsstaten, og antallet af indberetninger, som medlemsstaten angiver at have modtaget, tyder på, at dataindsamlingen og indberetningen ikke er fuldstændig. Nogle medlemsstater bekræftede, at deres kompetente myndigheder gennemgår strukturelle ændringer eller omstruktureringer i forbindelse med oprettelsen af nye afdelinger med ansvar for efterforskning af forbrydelser i forbindelse med seksuelt misbrug af børn online. Der er også ved at blive indført nye IT-systemer, og de nationale myndigheder er blevet bedt om at ændre deres registreringsprocedurer og statistikker i visse medlemsstater. Dette bør skabe gunstige betingelser for at få mere nøjagtige statistikker fra medlemsstaterne i fremtiden. Under alle omstændigheder vil Kommissionen efter behov gøre brug af sine beføjelser i henhold til traktaterne for at sikre, at medlemsstaterne overholder deres indberetningsforpligtelser i henhold til den midlertidige forordning.

Generelle betragtninger

Samlet set viser denne rapport betydelige forskelle i både udbydernes og medlemsstaternes indberetning af data vedrørende bekæmpelse af seksuelt misbrug på internettet i henhold til den midlertidige forordning. En større standardisering af de tilgængelige data og indberetningen heraf såsom dem, der er fastsat i forslaget til forordning om forebyggelse og bekæmpelse af seksuelt misbrug 36 af børn, vil bidrage til at få et bedre billede af de relevante aktiviteter i bekæmpelsen af denne kriminalitet. Det ser ud til, at der er behov for en yderligere indsats fra udbydernes og medlemsstaternes side for at sikre dataindsamling og -indberetning i overensstemmelse med kravene i den midlertidige forordning.

De tilgængelige data viser, at det under det nuværende frivillige system til afsløring og indberetning kan forekomme, at materialer, der automatisk markeres som muligt materiale, der viser seksuelt misbrug af børn, efter menneskelig gennemgang viser sig ikke at være det. Dette kan skyldes manglen på et fælles sæt hash og andre indikatorer til påvisning af seksuelt misbrug af børn, der er blevet bekræftet som ulovligt i EU, eller forskellige retlige standarder på tværs af jurisdiktioner, navnlig mellem EU og USA, særlig med hensyn til de relevante definitioner. Dataene tyder også på store variationer i antallet af anmodninger om gennemgang og i succesraterne for gennemgange, som det ikke er muligt at drage konklusioner ud fra, da der mangler oplysninger om navnlig omfanget af anmodningerne om gennemgang og begrundelserne for genetablering.

For så vidt angår kravene i artikel 9, stk. 2, om betingelserne for behandling, fremgår det af de fremlagte oplysninger, at de anvendte teknologier svarer til teknologiske applikationer, der udelukkende er udformet med det formål at afsløre og fjerne materiale, der viser seksuelt misbrug af børn online, og indberette det til de retshåndhævende myndigheder og til organisationer, der handler i offentlighedens interesse mod seksuelt misbrug af børn. Der blev ikke fremlagt oplysninger om, hvorvidt udbredelsen af teknologierne var i overensstemmelse med det aktuelle tekniske niveau og på en måde, der griber mindst muligt ind i privatlivets fred, og om der var gennemført en forudgående konsekvensanalyse vedrørende databeskyttelse, jf. artikel 35 i forordning (EU) 2016/679, og en forudgående høringsprocedure som omhandlet i artikel 36 i nævnte forordning.

For så vidt angår forordningens proportionalitet er det centrale spørgsmål, om der med den midlertidige forordning opnås den balance, som EU-lovgiver har ønsket at finde mellem på den ene side målet af almen interesse om effektiv bekæmpelse af de omhandlede ekstremt alvorlige forbrydelser og behovet for at beskytte børns grundlæggende rettigheder (værdighed, integritet, forbud mod umenneskelig eller nedværdigende behandling, privatliv, børns rettigheder) og på den anden side beskyttelsen af de grundlæggende rettigheder for brugerne af de omhandlede tjenester (privatlivets fred, beskyttelse af personoplysninger, ytringsfrihed, effektive retsmidler). De foreliggende data er utilstrækkelige til at drage endelige konklusioner i denne henseende. Det er ikke muligt og vil heller ikke være hensigtsmæssigt at anvende en numerisk standard ved vurderingen af en sådan proportionalitet med hensyn til antallet af reddede børn i betragtning af den betydelige negative indvirkning på et barns liv og rettigheder, der forårsages af seksuelt misbrug. I lyset af ovenstående er der imidlertid intet, der tyder på, at undtagelsen ikke er forholdsmæssig.

På trods af manglerne i de tilgængelige data, som i et betydeligt antal medlemsstater ikke giver indsigt i brugen af frivillig indberetning, fremgår det klart af de foreliggende data, at tusindvis af børn er blevet identificeret og reddet i rapporteringsperioden, at der blev opnået mere end to tusinde domfældelser, og at millioner af billeder og videoer blev taget ud af omløb, hvilket reducerede den sekundære viktimisering. Det kan derfor konkluderes, at frivillig indberetning bidrog væsentligt til beskyttelsen af et stort antal børn, herunder mod vedvarende misbrug, og det ser ud til, at den midlertidige forordning er effektiv.

(1)

     Twitter indsendte sit bidrag, inden det ændrede navn; det vil blive benævnt "X" i resten af denne rapport.

(2)

     Meta og X præciserede ikke den konkrete artikel udtrykkeligt.

(3)

     Meta og X præciserede ikke den konkrete artikel udtrykkeligt. 

(4)

   De udbydere, der er angivet i parentes, er dem, der specifikt rapporterede om de konkrete foranstaltninger. Hvis der er udbydere, der ikke er opført på listen, betyder det ikke, at de ikke gennemfører denne foranstaltning, men kun at de ikke har nævnt den i deres rapport.

(5)

     X's privatlivspolitik, punkt 4. Så længe opbevarer vi oplysninger, som findes på: https://twitter.com/da/privacy.

(6)

     De udbydere, der er angivet i parentes, er dem, der specifikt rapporterede om de konkrete foranstaltninger. Hvis der er udbydere, der ikke er opført på listen, betyder det ikke, at de ikke gennemfører denne foranstaltning, men kun at de ikke har nævnt den i deres rapport.

(7)

     Oplysningerne om de organisationer, der handler i offentlighedens interesse, og til hvem udbydere indberetter seksuelt misbrug af børn online i henhold til denne forordning, er offentliggjort på https://home-affairs.ec.europa.eu/policies/internal-security/child-sexual-abuse/legal-framework-protect-children_da i overensstemmelse med Kommissionens forpligtelser i henhold til artikel 8, stk. 2, i den midlertidige forordning.

(8)

     Rapport forelagt af Tyskland i henhold til artikel 8 i forordning (EU) 2021/1232, modtaget den 18. oktober 2022. NCMEC offentliggør alle data om modtagne rapporter vedrørende EU-medlemsstaterne, herunder Tyskland, i deres CyberTipline-rapporter efter land. Se: NCMEC, 2021 CyberTipline-rapporter efter land , tilgået i juli 2023; NCMEC, 2022 CyberTipline-rapporter efter land , tilgået i juli 2023.

(9)

     https://www.bka.de/SharedDocs/Kurzmeldungen/DE/Kurzmeldungen/230623_Mindestspeicherfristen_IP-Adressen.html.

(10)

   NCMEC, 2021 CyberTipline-rapporter efter land , tilgået i november 2023.

(11)

   NCMEC, 2022 CyberTipline-rapporter efter land, tilgået i november 2023 .

(12)

     NCMEC-data kan findes her .

(13)

     Se f.eks. en liste over prøvesager i EU, som blev indledt takket være virksomhedernes frivillige indberetning i den konsekvensanalyse , der ledsager forslaget til forordning om forebyggelse og bekæmpelse af seksuelt misbrug af børn (se navnlig bilag 7).

(14)

     Udbyderne betragter ikke metadata som et effektivt redskab til at afsløre seksuelt misbrug af børn. Se navnlig s. 10-11 i R. Pfefferkorn, Stanford Internet Observatory, Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers, 9. september, 2021.

(15)

     Microsoft, Digital Crimes Unit .

(16)

      Testimony of Hany Farid, PhotoDNA developer, to House Committee on Energy and Commerce Fostering a Healthier Internet to Protect Consumers, 16. oktober 2019.  

(17)

   Internet Watch Foundation (IWF), The Annual Report 2022 , s. 129–133.

(18)

      Her og her kan du læse mere om Facebooks værktøj til proaktivt at afsløre børn afbildet nøgne og tidligere ukendt indhold, der viser udnyttelse af børn, ved hjælp af kunstig intelligens og maskinlæring.

(19)

     Pfefferkorn, R.: Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers, Journal of Online Trust and Safety, februar 2022, s. 1-38.

(20)

     Thorn, Thorn's Automated Tool to Remove Child Abuse Content at Scale Expands to More Platforms through AWS Marketplace , 24. maj 2021.  

(21)

     Microsofts projekt Artemis blev udviklet i samarbejde med The Meet Group, Roblox, Kik og Thorn.

(22)

   For yderligere oplysninger henvises til: https://safety.twitch.tv/s/article/Our-Work-to-Combat-Online-Grooming?language=en_US . 

(23)

     Roblox filtrerer opslag og chats for spillere i alderen 12 år og yngre for upassende indhold og for at forhindre, at personoplysninger offentliggøres, f.eks. hjemmeadresser. Dette filtreringssystem dækker alle former for kommunikation på Roblox, både offentlig og privat. Roblox, Safety Features: Chat, Privacy & Filtering , tilgået i juli 2023.

(24)

     Tech Coalition, New Technology to Help Companies Keep Young People Safe , 20. juni 2023.

(25)

     Tech Coalition, New Technology to Help Companies Keep Young People Safe , 20. juni 2023.

(26)

     DALL-E er et AI-system, der kan skabe realistiske billeder og kunst ud fra en beskrivelse på naturligt sprog.

(27)

     Midtour er et generativt AI-program, og tjenesten genererer billeder ud fra naturlige sprogbeskrivelser.

(28)

     Europol, ChatGPT — The impact of Large Language Models on Law Enforcement , 2023, ISBN 978-92-95220-57-7, side 7.

(29)

     Swanson, S. M., ChatGPT Generated Child Sex Abuse When Asked to Write BDSM Scenarios , Vice, 6. marts 2023; Mitchell, A., ChatGPT gives sick child sex abuse answer, breaking its rules, New York Post, 24. juli 2023; Europol, ChatGPT - The impact of Large Language Models on Law Enforcement , 2023, ISBN 978-92-95220-57-7, page 5.

(30)

     Fowler, G.A., Snapchat tried to make a safe AI. It chats with me about booze and sex , The Washington Post, 14. marts 2023; Vincent, J., Instagram is apparently testing an AI chatbot that lets you choose from 30 personalities , The Verge, 7. juli 2023.

(31)

     Crawford, A., Smith, T., Illegal trade in AI child sex abuse images exposed , BBC, 27. juni 2023.

(32)

     Thiel, D., Stroebel, M., og Portnoff, R. (2023). Generative ML and CSAM: Implications and Mitigations . Stanford Digital Repository. Findes på https://purl.stanford.edu/jv206yg3793 . https://doi.org/10.25740/jv206yg3793 . P. 2.

(33)

     Protect Children, Protect Children's research in the dark web is revealing unprecedented data on CSAM users , 6. juni 2021; RAINN, What is Child Sexual Abuse Material (CSAM) , 25. august 2022.

(34)

     Breck Foundation, Is artificial intelligence putting children at risk? , 9. februar 2023, ajourført 3. april 2023.

(35)

     Butler, J., AI tools could be used by predators to "automate child grooming", eSafety commissioner warns , The Guardian, 19. maj 2023.  

(36)

     Forslag til Europa-Parlamentets og Rådets forordning om regler til forebyggelse og bekæmpelse af seksuelt misbrug af børn ( COM/2022/209 final ).