EVROPSKA KOMISIJA

Bruselj, 19.12.2023

COM(2023) 797 final

POROČILO KOMISIJE EVROPSKEMU PARLAMENTU IN SVETU

o izvajanju Uredbe (EU) 2021/1232 Evropskega parlamenta in Sveta z dne 14. julija 2021 o začasnem odstopanju od nekaterih določb Direktive 2002/58/ES glede uporabe tehnologij s strani ponudnikov medosebnih komunikacijskih storitev, neodvisnih od številke, za obdelavo osebnih in drugih podatkov za namene boja proti spolni zlorabi otrok na spletu

KAZALO

SEZNAM POJMOV IN KRATIC    

1.    UVOD    

2.    IZVEDBENI UKREPI    

2.1    Obdelava osebnih podatkov s strani ponudnikov (člen 3(g)(vii))    

2.1.1    Vrsta in količine obdelanih podatkov    

2.1.2 Razlogi za obdelavo na podlagi Uredbe (EU) 2016/679    

2.1.3    Razlogi za prenose osebnih podatkov iz Unije v skladu s Poglavjem V GDPR, kadar je to ustrezno        

2.1.4    Število ugotovljenih primerov spolne zlorabe otrok na spletu, pri čemer se razlikuje med posnetki spolne zlorabe otrok na spletu in pridobivanjem otrok za spolne namene    

2.1.5    Pravna sredstva uporabnikov in izid    

2.1.6    Število in deleži napak (lažno pozitivnih primerov) pri različnih uporabljenih tehnologijah                

2.1.7    Ukrepi, sprejeti za omejitev stopnje napak, in dosežena stopnja napak    

2.1.8    Politika hrambe podatkov in ukrepi, sprejeti za zaščito podatkov na podlagi splošne uredbe o varstvu podatkov    

2.1.9    Imena organizacij, ki delujejo v javnem interesu proti spolni zlorabi otrok, katerih podatki so bili posredovani na podlagi Uredbe    

2.2    Statistični podatki Komisije (člen 8)    

2.2.1 Skupno število prijav odkritih spolnih zlorab otrok na spletu    

2.2.2 Število identificiranih otrok    

2.2.3 Število obsojenih storilcev    

2.3    Razvoj tehnološkega napredka    

2.3.1 Odkrivanje znanih posnetkov spolne zlorabe otrok    

2.3.2 Odkrivanje novih posnetkov spolne zlorabe otrok    

2.3.3 Odkrivanje pridobivanja otrok za spolne namene    

2.3.4 Novi izzivi, ki jih prinašajo klepetalni boti z umetno inteligenco in generatorji umetnin/podob                

3.    SKLEPNE UGOTOVITVE    

SEZNAM POJMOV IN KRATIC

1.UVOD

Komisija mora v skladu s členom 9 začasne uredbe (v nadaljnjem besedilu tudi: Uredba) pripraviti poročilo o izvajanju Uredbe, in sicer na podlagi poročil, ki jih predložijo ponudniki medosebnih komunikacijskih storitev (v nadaljnjem besedilu: ponudniki) o obdelavi osebnih podatkov in o statističnih podatkih, ki jih predložijo države članice. V skladu z navedeno določbo Komisija v poročilu o izvajanju upošteva zlasti naslednje:

(a) ustrezne pogoje za obdelavo zadevnih osebnih podatkov in drugih podatkov, ki se obdelujejo na podlagi Uredbe;

(b) sorazmernost odstopanja, ki ga določa Uredba, vključno z oceno statističnih podatkov, ki jih države članice predložijo na podlagi člena 8 Uredbe;

(c) razvoj na tehnološkem področju, ki zadeva dejavnosti iz Uredbe, in v kolikšni meri se z njim izboljša natančnost ter zmanjšajo število in deleži napak (lažno pozitivnih primerov).

To poročilo o izvajanju na podlagi začasne uredbe temelji na podatkih, pridobljenih s poročili ponudnikov in držav članic v skladu z njenim členom 3(1)(g)(vii) oziroma členom 8. Taka poročila so razkrila velike razlike, kar zadeva razpoložljivost podatkov in vrste zbranih podatkov ter s tem tudi primerljivost podatkov, ki jih zberejo ponudniki in države članice. Ker Uredba ne zagotavlja predloge za poročanje, so ponudniki delili različne vrste informacij, ki niso bile nujno primerljive; službe Komisije so zato izvedle nadaljnje ukrepe, da bi zagotovile pravilno razlago podatkov. Večina držav članic ni mogla pravočasno predložiti podatkov, veliko držav članic pa ni moglo predložiti nobenih podatkov do objave tega poročila. To je pomembno vplivalo na časovnico, popolnost in koristnost poročila. Kljub prizadevanjem za zagotovitev skladnosti in primerljivosti podatkov še vedno obstajajo velike razlike, ki so prikazane v preglednicah v nadaljevanju, ki pa prav tako ne vsebujejo podatkov za vse ponudnike ali države članice o vseh vidikih.

Namen tega poročila o izvajanju je zagotoviti dejanski pregled stanja v zvezi z izvajanjem začasne uredbe, na podlagi razpoložljivih podatkov. Poročilo ne vsebuje razlag Uredbe in se ne opredeljuje glede načina tolmačenja in uporabe Uredbe v praksi.

2.IZVEDBENI UKREPI

2.1Obdelava osebnih podatkov s strani ponudnikov (člen 3(g)(vii))

Člen 3(g)(vii) začasne uredbe določa pogoje, pod katerimi ponudniki, ki delujejo na podlagi odstopanja, določenega v navedenem členu, do 3. februarja 2022 in nato vsako leto do 31. januarja objavijo ter pristojnemu nadzornemu organu in Komisiji predložijo poročilo o obdelavi osebnih podatkov na podlagi Uredbe. Podjetja Google, LinkedIn, Meta, Microsoft in X (prej Twitter) 1 so predložila poročila za leti 2021 in 2022.

2.1.1.Vrsta in količine obdelanih podatkov

Ponudniki so poročali o obdelavi podatkov o vsebini in prometu.

V zvezi s podatki o vsebini, obdelanimi za odkrivanje spolne zlorabe otrok na spletu, so vsi navedeni ponudniki navedli podobe in videoposnetke. Večinoma so za odkrivanje ujemanj s posnetki, pri katerih je bilo predhodno ugotovljeno, da gre za spolno zlorabo otrok, uporabljali tehnologiji za iskanje ujemanj edinstvenega, nerekonvertibilnega digitalnega podpisa PhotoDNA in MD5. Googlovo orodje CSAI Match se je uporabljalo za ustvarjanje digitalnih prstnih odtisov videoposnetkov na platformah in njihovo primerjavo z datotekami v Googlovem/YouTubovem repozitoriju prstnih odtisov (LinkedIn). Na primer, podjetje Google je poročalo tudi o uporabi avtomatizirane tehnologije (strojno učenje z umetno inteligenco) in človeškem pregledu. Podjetji Google in LinkedIn sta potrdili, da sta prepoznali tudi posnetke spolne zlorabe otrok, ki se niso ujemali s posnetki, pri katerih je bilo predhodno ugotovljeno, da gre za spolno zlorabo otrok. Noben od petih ponudnikov, ki so predložili podatke, ni sporočil podatkov, da je odkril pridobivanje otrok za spolne namene s pomočjo odkrivanja besedil v okviru odstopanja, ki ga zagotavlja Uredba.

V zvezi z zbranimi podatki o prometu ter ustreznimi količinami različnih vrst obdelanih podatkov o vsebini in prometu so se poročila ponudnikov precej razlikovala.

Podatki o prometu, ki so jih zbrali ponudniki in jih vključili v poročila v sistemu CyberTipline za ameriški Nacionalni center za pogrešane in izkoriščane otroke („NCMEC“) vključujejo naslednje podatke (vse ali izbor podatkov):

a)podatke, povezane z uporabnikom/poročevalcem/računom (Google, LinkedIn, Microsoft, X);

b)metapodatke, povezane s podatki o vsebini/transakciji (Google, LinkedIn, Microsoft);

c)podatke, povezane z morebitno žrtvijo (Google);

d)podatke o dejanjih zlorabe (Google).

Kar zadeva količine podatkov, obdelanih na podlagi začasne uredbe, je podjetje LinkedIn poročalo o obdelavi 8 milijonov podob in videoposnetkov, ki so izvirali iz EU, med 14. julijem in 31. decembrom 2021, ter o 21 milijonih podob in 63 000 videoposnetkih iz EU leta 2022. Podjetje Microsoft je poročalo o obdelavi, za namene Uredbe, 8,9 milijarde podob in videoposnetkov po vsem svetu med julijem in decembrom 2021 ter o 12,3 milijarde vsebinah po vsem svetu leta 2022; podatki za EU niso bili na voljo, zato ni mogoče oblikovati sklepov za namene tega poročila. Drugi ponudniki niso zagotovili informacij o količinah obdelanih podatkov. Od petih ponudnikov, ki so poročali, je torej samo eden predložil podatke na zahtevani ravni podrobnosti.

Da bi ponazoril splošni okvir, je center NCMEC poročal, da je leta 2022 prejel skupaj 87,2 milijona podob in videoposnetkov z vsega sveta ter 5,1 milijona podob in videoposnetkov iz EU, leta 2021 pa 84,8 milijona podob in videoposnetkov z vsega sveta ter 1,8 milijona podob in videoposnetkov iz EU. To je le gradivo, ki ga je ponudnik opredelil kot možne posnetke spolne zlorabe otrok, zato tega ni mogoče upoštevati kot kazalnik skupne količine podatkov, obdelanih na podlagi začasne uredbe.

2.1.2 Razlogi za obdelavo na podlagi Uredbe (EU) 2016/679

Ponudniki so poročali, da so se opirali na naslednje posebne razloge na podlagi Uredbe (EU) 2016/679 (v nadaljnjem besedilu: GDPR):

·člen 6(1)(d) GDPR, ki določa, da je obdelava potrebna za zaščito življenjskih interesov otrok in tistih, ki so žrtve spolne zlorabe otrok na spletu (Google, Meta, X 2 );

·člen 6(1)(e) GDPR, ki določa, da je obdelava potrebna za opravljanje naloge v javnem interesu (LinkedIn, Microsoft, Meta, X 3 );

·člen 6(1)(f) GDPR, ki določa, da je obdelava potrebna zaradi zakonitih interesov:

I.ponudnika, da odkrije, prepreči ali drugače obravnava spolno zlorabo otrok na spletu pri svojih storitvah ter da zaščiti druge uporabnike, stranke, partnerje in javnost pred tovrstno nezakonito vsebino (Google, Meta);

II.žrtev spolne zlorabe otrok in organizacije, ki ji ponudnik prijavi spolno zlorabo otrok na spletu (npr. center NCMEC), da bi odkril, preprečil in odstranil spolno zlorabo otrok na spletu iz svojih storitev (Google).

2.1.3.Razlogi za prenose osebnih podatkov iz Unije v skladu s Poglavjem V GDPR, kadar je to ustrezno

Vsi ponudniki so poročali, da so uporabljali standardna pogodbena določila, ki jih je Komisija odobrila v skladu členom 46(2)(c) GDPR. Kar zadeva prenose osebnih podatkov centru NCMEC, je podjetje LinkedIn tudi poročalo, da je uporabljalo odstopanje, kolikor je bilo to potrebno, ki ga dovoljuje člen 49(1) GDPR.

2.1.4.Število ugotovljenih primerov spolne zlorabe otrok na spletu, pri čemer se razlikuje med posnetki spolne zlorabe otrok na spletu in pridobivanjem otrok za spolne namene

Preglednica št. 1: Število primerov spolne zlorabe otrok na spletu, ugotovljenih leta 2021

V primeru podjetja X iz predloženih podatkov ni jasno, ali se nanašajo izključno na storitve, ki spadajo na področje uporabe začasne uredbe (medosebne komunikacijske storitve, neodvisne od številke), ali navedeno število zajema tudi druge storitve (na primer storitve informacijske družbe). To velja za vse podatke, povezane s podjetjem X v tem poročilu.

Preglednica št. 2: Število primerov spolne zlorabe otrok na spletu, ugotovljenih leta 2022

2.1.5.Pravna sredstva uporabnikov in izid 

Ponudniki morajo v skladu s členom 3(1)(g)(iv) začasne uredbe uvesti ustrezne postopke in pritožbene mehanizme, da lahko uporabniki vložijo pritožbe. Poleg tega člen 5 Uredbe vsebuje pravila o pravnih sredstvih.

Ponudniki so poročali, da so uvedli take notranje pritožbene postopke in mehanizme za uporabnike, katerih računi so bili omejeni zaradi deljenja posnetkov spolne zlorabe otrok in/ali katerih vsebina je bila odstranjena, ker je šlo za posnetke spolne zlorabe otrok, tako da se lahko pritožijo zoper omejitev/odstranitev in se prouči, ali so bile v njihovem primeru storjene napake.

Poročali so o primerih, ko je uporabnik vložil pritožbo prek notranjega pritožbenega mehanizmu ali pri pravosodnem organu v zvezi z zadevami, ki spadajo na področje uporabe Uredbe v EU, ter o izidih takih pritožb. Noben ponudnik razen podjetja Microsoft (ki v letih 2021 in 2022 ni poročalo o pritožbah, vloženih na navedena načina) ni poročal o ločenih statističnih podatkih glede notranjega mehanizma za pritožbe in pravnih sredstev, zato so v spodnjih preglednicah zajeti notranji pritožbeni postopki in tudi postopki sodnega varstva.

Preglednica št. 3: Število primerov, v katerih je uporabnik vložil pritožbo prek notranjega mehanizma za pritožbe ali pri pravosodnem organu, ter izid takih pritožb v letu 2021

Preglednica št. 4: Število primerov, v katerih je uporabnik vložil pritožbo prek notranjega mehanizma za pritožbe ali pri pravosodnem organu, ter izid takih pritožb v letu 2022

2.1.6.Število in deleži napak (lažno pozitivnih primerov) pri različnih uporabljenih tehnologijah

Ponudniki morajo v skladu s členom 3(1)(e) začasne uredbe zagotoviti, da so uporabljene tehnologije same po sebi dovolj zanesljive, tako da čim bolj zmanjšujejo stopnjo napake pri odkrivanju vsebin, ki predstavljajo spolno zlorabo otrok na spletu.

V zvezi s tem so ponudniki poročali, da tehnologij za odkrivanje spolne zlorabe otrok na spletu ne uporabljajo ločeno. Pri odkrivanju spolne zlorabe otrok na spletu namreč uporabljajo večplastni pristop, saj za večjo natančnost združujejo različne tehnologije odkrivanja. Da bi zmanjšali delež napak ali lažno pozitivnih primerov, vsi ponudniki te tehnologije dopolnjujejo s človeških pregledom. Ponudniki niso sporočili števila ali deležev napak (lažno pozitivnih primerov) za vsako od različnih tehnologij, uporabljenih ločeno, ampak so sporočili zbirne podatke za vse uporabljene tehnologije.

Večina ponudnikov meri število ali deleže napak kot razveljavljene sklepe o izvrševanju, tj. kot splošno stopnjo obnovitve/razveljavitve po pritožbi (npr. stopnja, po kateri je ponudnik obnovil onemogočene račune ali ponovno objavil vsebino po pritožbi uporabnika). Pristop, ki so ga uporabili ponudniki, ne odraža nujno opredelitve „lažno pozitivnih primerov“ v statističnih podatkih.

Sporočene stopnje obnovitve/razveljavitve po pritožbi so naslednje:

Preglednica št. 5: Stopnje obnovitve/razveljavitve po pritožbi

* Obdobja poročanja za leto 2021 se razlikujejo glede na ponudnika.

2.1.7.Ukrepi, sprejeti za omejitev stopnje napak, in dosežena stopnja napak

V skladu s členom 3(1)(e) začasne uredbe morajo biti uporabljene tehnologije same po sebi dovolj zanesljive, posledice napak, če do njih vendarle pride, pa je treba brez odlašanja odpraviti. Poleg tega člen 3(1)(g)(ii) zahteva človeški nadzor in po potrebi človekovo posredovanje.

Vsi ponudniki so poročali, da uporabljajo večplastni pristop za odkrivanje spolne zlorabe otrok na spletu in za boj proti njenemu širjenju. To vključuje uporabo tehnologij za iskanje ujemanj edinstvenega, nerekonvertibilnega digitalnega podpisa (vključno s PhotoDNA) za odkrivanje posnetkov spolne zlorabe otrok v kombinaciji s postopki človeškega pregleda, da se potrdi, ali medijska datoteka (podoba ali videoposnetek) vsebuje posnetke spolne zlorabe otrok, ter tudi človeški nadzor nad obdelavo posnetkov spolne zlorabe otrok.

Ponudniki so poročali, da so uporabljali različne zaščitne in druge ukrepe, da bi omejili in zmanjšali stopnjo napak pri odkrivanju in odstranjevanju spolne zlorabe otrok na spletu ter njenem prijavljanju. Ti vključujejo (neizčrpen seznam) 4 :

I.spremljanje in ocenjevanje kakovosti delovanja orodij za odkrivanje spolne zlorabe otrok, in sicer za povečanje natančnosti (da odkrivajo le spolno zlorabo otrok na spletu) in priklic (da na svojih platformah ne spregledajo spolne zlorabe otrok na spletu) (Google, X);

II.človeški pregled in nadzor: vzorce medijev, ki jih tehnologije za iskanje ujemanj edinstvenega, nerekonvertibilnega digitalnega podpisa odkrijejo kot posnetke spolne zlorabe otrok, pregledajo pregledovalci/usposobljeni analitiki (Google, LinkedIn, Meta, Microsoft);

III.označevanje in pregled obsežnih sklopov (Meta);

IV.uporabo nadaljnjih postopkov ročnega pregleda kot stalnih preverjanj kakovosti edinstvenega, nerekonvertibilnega digitalnega podpisa (LinkedIn, Microsoft);

V.pregledovalci opravijo specializirana intenzivna usposabljanja pod nadzorom svetovalca v zvezi s tem, kako prepoznati vsebino posnetkov spolne zlorabe otrok, da se zagotovi točnost človeškega pregleda (Google);

VI.redna ocenjevanja nadzora kakovosti pregledovalcev in izrečenih obsodb (Google, X);

VII.druge postopke za nadzor kakovosti, da se zmanjšajo napake in, če se pojavijo, nemudoma odpravijo, kot sta neodvisno preverjanje edinstvenega, nerekonvertibilnega digitalnega podpisa (Google, LinkedIn) in človeški pregled vsakega primera še nikoli videnega posnetka spolne zlorabe otrok pred prijavo (Google);

VIII.priprava in redni pregled politik in strategij izvrševanja s strani strokovnjakov, usposobljenih na področju spolne zlorabe otrok na spletu (Google);

IX.sodelovanje pri zagotavljanju kakovosti poročil v sistemu CyberTipline centra NCMEC in lažnih pozitivnih primerih, če obstajajo. (Google, LinkedIn, Meta, Microsoft, X)

2.1.8.Politika hrambe podatkov in ukrepi, sprejeti za zaščito podatkov na podlagi splošne uredbe o varstvu podatkov

Člen 3(1)(h) in (i) začasne uredbe določa, da se ustrezni osebni podatki varno shranijo le za določene posebne namene oziroma da vsebujejo specifikacije v zvezi z obdobjem hrambe. Poleg tega je treba upoštevati veljavne zahteve splošne uredbe o varstvu podatkov.

Ponudniki so poročali, da imajo vzpostavljene trdne politike hrambe podatkov in zaščitne ukrepe za varstvo osebnih podatkov. Politike hrambe podatkov se razlikujejo glede na vrsto podatkov. Navajajo, da je v vsakem primeru obdobje hrambe časovno omejeno, kot se zdi ustrezno za vrsto podatkov in namen obdelave, ter da se podatki ob koncu obdobja hrambe izbrišejo Ponudniki imajo informacije o praksah hrambe podatkov podrobneje opredeljene v svojih politikah zasebnosti/izjavah o zasebnosti in pogodbah o storitvah/uporabi.

Večina ponudnikov (LinkedIn, Meta, Microsoft) uporablja 90-dnevno obdobje hrambe za medije, ki potrjeno vsebujejo posnetke spolne zlorabe otrok, odkrite v okviru področja uporabe Uredbe. V tem obdobju se vsebina, ki je potrjena kot posnetki spolne zlorabe otrok, hrani v ločeni in varni hrambi za posnetke spolne zlorabe otrok, ki jo upravljajo specializirane ekipe (npr. Microsoftova ekipa za kazenski pregon in nacionalno varnost). Ti sistemi hrambe po 90 dneh samodejno izbrišejo shranjeno vsebino s posnetki spolne zlorabe otrok, razen če je bilo obdobje hrambe podaljšano po prejemu zahtevkov za sodni postopek, ki so načeloma povezani z organi kazenskega pregona, ki nadalje ukrepajo na podlagi prijav centra NCMEC.

Podjetje Google je poročalo, da se posnetki spolne zlorabe otrok, odkriti v okviru področja uporabe Uredbe, hranijo toliko časa, kot je nujno potrebno za zadevne namene iz Uredbe, v vsakem primeru pa ne dlje kot 12 mesecev od datuma, ko so bili posnetki spolne zlorabe otrok odkriti in sporočeni, pri čemer se obdobje lahko podaljša na podlagi veljavnega pravnega zahtevka za ohranitev.

Podjetje X (prej Twitter) je poročalo, da informacije in vsebino profilov hrani za čas trajanja uporabniškega računa, osebne podatke, zbrane od uporabnikov, ko ti uporabljajo njihove storitve, pa največ 18 mesecev. Če uporabnik deaktivira račun, podjetje X običajno hrani podatke še dodatnih 30 dni, nato pa račun izbriše. Podatki uporabnika, povezani s pritožbami in kršitvami politike, vključno z informacijami o računih kršiteljev (npr. identifikatorji, uporabljeni za ustvarjanje računa: naslov e-pošte ali telefonska številka), se hranijo za nedoločen čas, da bi se večkratnim kršiteljem politike preprečilo ustvarjanje novih računov in zagotovilo, da kršitelji politik podjetja X ne morejo preprosto počakati do obdobja izbrisa in nato ponovno kršiti politike 5 .

Zaščitni ukrepi za varstvo osebnih podatkov, ki so jih izvedli ponudniki, vključujejo ukrepe, standardne za panogo (vse ali izbor ukrepov), kot so (neizčrpen seznam) 6 :

I.uporaba tehnik deidentifikacije ali psevdonimizacije in anonimizacije podatkov (npr. prikrivanje, zgoščevanje, diferencirana zasebnost) (Goggle, LinkedIn, Meta, Microsoft);

II.zagotavljanje le zgoščenih vrednosti tretjim osebam za namen odkrivanja posnetkov spolne zlorabe otrok (Google, LinkedIn);

III.uporaba za panogo standardnega šifriranja (algoritmi in protokoli) za podatke v tranzitu med infrastrukturo v zasebni lasti in javnimi omrežji (Meta);

IV.izvajanje strategij za upravljanje podatkov/celovitih programov zasebnosti (X (prej Twitter), Google) in strogih notranjih omejitev za dostop do podatkov (Meta) (npr. uporabljajo se za osebje, pogodbenike in posrednike, ki potrebujejo informacije za njihovo obdelavo) ter uporaba kontrolnih seznamov dostopa v orodjih za pregled posnetkov spolne zlorabe otrok in prepovedi edinstvenega, nerekonvertibilnega digitalnega podpisa (Meta) in strogih pogodbenih obveznosti glede zaupnosti, ki se uporabljajo za tiste z dostopom;

V.pregled strategij za anonimizacijo in upravljanje podatkov, tj. izvedba pregledov zasebnosti za opredelitev morebitnih tveganj za zasebnost, ki izhajajo iz zbiranja, obdelave, hrambe in izmenjave osebnih podatkov, dostop do njih in njihovo zmanjšanje, pregled praks varstva podatkov (Microsoft);

VI.vzdrževanje načrtov odzivanja na varnostne incidente za spremljanje, odkrivanje in obravnavanje možnih varnostnih ranljivosti in incidentov v infrastrukturi (Google, Meta).

2.1.9.Imena organizacij, ki delujejo v javnem interesu proti spolni zlorabi otrok, katerih podatki so bili posredovani na podlagi Uredbe

V obeh obdobjih poročanja (od julija/avgusta 2021 do decembra 2021 in od januarja 2022 do decembra 2022) so vsi ponudniki poročali o izmenjavi podatkov, obdelanih na podlagi Uredbe, s centrom NCMEC. Vsi ponudniki, ki so poročali, so Komisiji, v skladu s členom 7(1) začasne uredbe, tudi sporočili, da so centru NCMEC na podlagi Uredbe prijavili spolno zlorabo otrok na spletu 7 .

2.2Statistični podatki Komisije (člen 8)

Države članice morajo v skladu s členom 8(1) začasne uredbe predložiti statistične podatke o:

(a)skupnem številu prijav odkritih spolnih zlorabah otrok na spletu, ki so jih pristojni nacionalni organi preprečevanja, odkrivanja in preiskovanja kaznivih dejanj prejeli od ponudnikov in organizacij, ki delujejo v javnem interesu proti spolni zlorabi otrok, pri čemer se v primeru, da so take informacije na voljo, razlikuje med absolutnim številom primerov in večkrat prijavljenimi primeri ter vrsto ponudnika, pri storitvi katerega je bila odkrita spolna zloraba otrok na spletu;

(b)številu otrok, identificiranih z ukrepi na podlagi člena 3, glede na spol;

(c)številu obsojenih storilcev.

Večina držav članic je sicer zagotovila vsaj delne informacije, vendar veliko držav članic ni vzpostavilo ustreznih sistemov zbiranja in sporočanja podatkov. Zato se statistični podatki, ki so bili predloženi, nanašajo na zelo različna obdobja poročanja, zelo pa se razlikujejo tudi z vidika podrobnosti. Nekatere države članice so predložile letne statistične podatke od datuma začetka veljavnosti Uredbe. Večina jih je poročala za koledarska leta, saj morda nimajo tehničnih sredstev za razlikovanje med zahtevanimi statističnimi podatki po letih od datuma začetka veljavnosti Uredbe. Nekaj držav članic sploh ni predložilo podatkov.

Opozoriti je tudi treba, da se v nekaterih primerih statistični podatki pridobivajo iz tako imenovanih tekočih podatkovnih zbirk ali sistemov dokumentiranja in vodenja zadev, tj. ne iz dejanskih sistemov statističnih podatkov. Podatki se občasno predložijo na podlagi dinamičnih podatkov, kar pomeni, da podatki niso dokončni, tj. se spreminjajo. Spremembe se izvedejo, npr. odvisno od časa pridobivanja (npr. v Sloveniji in na Danskem), ko se zaključi več preiskav in sodnih zadev.

V več državah članica pristojni organi ustanavljajo nove oddelke za preiskovanje kaznivih dejanj, povezanih s spolno zlorabo otrok na spletu, in vzpostavljajo centralno poročanje za spolno zlorabo otrok na spletu (Latvija in Češka). To bi moralo prispevati k natančnejšim statističnim podatkov v prihodnje.

Nemčija je navedla, da ni mogla predložiti statističnih podatkov v skladu s členom 8(1) začasne uredbe, saj je menila, da nima pravne podlage za prostovoljno odkrivanje 8 . Vendar nemški zvezni kriminalistični urad (BKA) na svojem spletišču poroča, da je leta 2022 od centra NCMEC prejel 89 844 prijav, center NCMEC pa poroča, da je nemškim organom poslal 138 193 prijav 9 . Tri države članice niso predložile nobenih podatkov ali utemeljitve, zakaj niso poročale, v skladu z navedeno določbo (Malta, Portugalska in Romunija).

2.2.1 Skupno število prijav odkritih spolnih zlorab otrok na spletu

Večina držav članic je predložila nekaj statističnih podatkov o skupnem številu prijav spolnih zlorab otrok na spletu v skladu s členom 8(1)(a) začasne uredbe. Ker so države članice predložila podatke za različna obdobja poročanja, ni bilo mogoče izračunati skupnega števila prijav odkritih spolnih zlorab otrok na splet, prejetih na ravni EU za katero koli obdobje, kot je čas izvajanja Uredbe.

Države članice so večinoma navedle skupno število prijav, ki so jih nacionalni organi kazenskega pregona prejeli od ponudnikov ali drugih organizacij, ki delujejo v javnem interesu proti spolni zlorabi otrok. Glede na to, da večina ponudnikov s sedežem v ZDA poda prijave centru NCMEC, je večina držav članic poročala, da so večino prijav ali vse prijave prejele od centra NCMEC. Države članice niso navedle števila prijav, na podlagi katerih je mogoče ukrepati, tj. prijav, primernih za preiskavo, so pa nekatere navedle število sproženih postopkov, ki je precej nižje. Razlika med prejetimi prijavami in preiskanimi primeri je bila pripisana več razlogom, npr. da je prijava vsebovala posnetke spolne zlorabe otrok, ni pa vsebovala dovolj informacij za začetek preiskave; združevanje prijav, kadar se več prijav nanaša na določenega osumljenca, ali da gradivo, čeprav prikazuje izkoriščanje, po nacionalnem pravu ni bilo ocenjeno kot kaznivo dejanje. Poleg tega države članice večinoma niso razlikovale med absolutnim številom primerov in večkrat prijavljenimi primeri. V primeru prijav, o katerih je poročal center NCMEC, je center prijave, ki jih je prejel od ponudnikov, že vnaprej razvrstil kot „prijave, na podlagi katerih je mogoče ukrepati“, ali kot „informativne prijave“. Center NCMEC prijavo, na podlagi katere je mogoče ukrepati, opredeljuje kot prijavo, ki vsebuje dovolj informacij za začetek preiskave. To običajno zajema podrobnosti o uporabniku, posnetke in možno lokacijo. Prijava je razvrščena kot „informativna“, če ne vsebuje dovolj informacij ali če posnetki veljajo za viralne in so bili večkrat prijavljeni. Center NCMEC je leta 2022 49 % prijav označil kot „prijave, na podlagi katerih je mogoče ukrepati“, 51 % prijav pa kot „informativne“.

Le nekaj držav članic je navedlo vrsto ponudnikov, pri storitvah katerih je bila odkrita spolna zloraba otrok na spletu (npr. Belgija, Češka, Estonija, Francija in Poljska), le ena država članica pa je predložila podrobno razčlenitev (Belgija).

Slovenija je navedla, da ni mogla predložiti podatkov le o kaznivih dejanjih, preiskanih zaradi prijav ponudnikov in organizacij, ampak je lahko predložila le podatke za vse preiskave spolne zlorabe otrok na spletu ne glede na vir informacij, na podlagi katerih se je začela preiskava.

Preglednica št. 6: Skupno število prijav odkritih spolnih zlorab otrok na spletu, kot so jih sporočile države članice

Glede na to, da je center NCMEC glavni vir prijav, je koristno primerjati podatke o prijavah, ki so jih prejele države članice, s podatki, ki jih je predložil center NCMEC o prijavah, poslanih državam članicam. Center NCMEC je leta 2021 prejel skupaj 29 397 681 prijav iz panoge po vsem svetu, od tega jih je 99,7 % (ali 29 309 106) vsebovalo eno ali več podob ali videoposnetkov spolne zlorabe otrok, 0,15 % (ali 44 155) se jih je nanašalo na pridobivanje otrok za spolne namene, 0,05 % (ali 16 032) pa na trgovanje z otroki za namene spolnega izkoriščanja. Leta 2022 je center NCMEC prejel skupaj 32 059 029 prijav, od tega se jih je 99,5 % (ali 31 901 234) nanašalo na podobe ali videoposnetke spolne zlorabe otrok, 0,25 % (ali 80 524) na pridobivanje otrok za spolne namene in 0,06 % (ali 18 336) na trgovanje z otroki za namene spolnega izkoriščanja. Za EU je razčlenitev naslednja:

Preglednica št. 7: Prijave centra NCMEC o domnevni spolni zlorabi otrok na spletu, poslane državam članicam EU v letih 2021 in 2022

Velika razlika med številom prijav leta 2021 in leta 2022, ki kaže na velik porast prijav leta 2022, je večinoma posledica zmanjšanja prostovoljnega odkrivanja med januarjem in avgustom 2021, ko se začasna uredba še ni uporabljala.

Center NCMEC v svojih statističnih podatkih po državah članicah EU ne razlikuje glede na vir prijave, zlasti ali je izhajala iz medosebne komunikacijske storitve, neodvisne od številke. Vendar pa center NCMEC zagotavlja statistične podatke o skupnem številu prijav v zvezi z EU, ki izhajajo iz medosebnih komunikacijskih storitev, neodvisnih od številke. Leta 2021 je 283 265 prijav, ki so se nanašale na države članice, izhajalo iz storitve klepeta, sporočanja ali elektronske pošte, tj. 51 % vseh prijav v zvezi z EU. Dodatnih 164 645 prijav (30 % vseh) je izhajalo iz družbenih medijev ali spletnih igralnih platform, ki imajo lahko vgrajene tudi storitve sporočanja ali klepeta. Leta 2021 se je 3 565 prijav v zvezi z EU nanašalo na pridobivanje otrok za spolne namene. Leta 2022 je 1 015 231 prijav, ki so se nanašale na države članice, izhajalo iz storitve klepeta, sporočanja ali elektronske pošte, tj. 68 % vseh prijav v zvezi z EU. Dodatnih 325 847 prijav (22 % vseh) je izhajalo iz družbenih medijev ali spletnih igralnih platform, ki imajo lahko vgrajene tudi storitve sporočanja ali klepeta. Leta 2022 se je 7 561 prijav v zvezi z EU nanašalo na pridobivanje otrok za spolne namene. Ponovno, razlike v številu prijav iz medosebnih komunikacijskih storitev, neodvisnih od številke, v letih 2021 in 2022 so posledica zmanjšanja prostovoljnega odkrivanja med januarjem in avgustom 2021, ko se začasna uredba še ni uporabljala.

V številnih primerih se delež prijav po državah članicah v grobem ujema z deležem prebivalstva držav članic glede na prebivalstvo EU kot celoto, kar bi lahko nakazovalo na primerljivo pojavnost spolne zlorabe otrok na spletu v državah članicah. Opazna odstopanja so vidna v primeru Španije in Italije, katerih deleža se zdita nizka v primerjavi z deležem prebivalstva EU v obeh navedenih letih, za deleže prijav za druge države članice pa se zdi, da močno nihajo (npr. za Nemčijo, Poljsko, Nizozemsko in Slovaško). Te spremembe se kot take ne odražajo v poročilih o številu primerov, zato je ponovno težko sklepati o korelaciji med prijavami in preiskavami.

Zaradi različnih obdobij poročanja neposredna primerjava ni mogoča, kljub temu pa obstajajo pomembne razlike med statističnimi podatki, ki jih je predložil center NCMEC, in podatki, ki so jih sporočile države članice. Poleg tega podatkov centra NCMEC za države članice ni mogoče v celoti primerjati s podatki, ki jih je zagotovila panoga in so navedeni v prejšnjem oddelku. Ker so nekatere razlike morda posledica prijav spolne zlorabe otrok na spletu, ki izhajajo iz virov, ki niso medosebna komunikacija, bi bila potrebna dodatna analiza, saj je možno tudi, da ponudniki, razen tistih, ki so Komisiji doslej pošiljali poročila, izvajajo ukrepe prostovoljnega odkrivanja v zvezi z EU, glede na seznam ponudnikov, ki podajajo prijave centru NCMEC 12 . Vendar pa dejstvo, da se za večino držav članic zdi, da obstajajo velike razlike med številom prijav, za katere center NCMEC navaja, da jih je poslal državam članicam, in številom prijav, za katere države članice navajajo, da so jih prejele, kaže, da zbiranje in sporočanje podatkov, ki ju izvajajo države članice, nista popolna.

Pri vsaki zgoraj navedeni prijavi centra NCMEC so bili povezani podobe in videoposnetki spolne zlorabe otrok umaknjeni iz obtoka. To je pomembno zlasti za sedanje in nekdanje žrtve spolne zlorabe otrok. Študije so pokazale, da se žrtve zaradi nadaljnjega kroženja podob in videoposnetkov, ki prikazujejo njihovo zlorabo, težje spoprijemajo s psihološkimi posledicam zlorabe, nadaljnje kroženje pa pomeni sekundarno obliko viktimizacije.

2.2.2 Število identificiranih otrok

Večina držav članic je predložila popolne ali delne statistične podatke o številu identificiranih otrok glede na spol, v skladu s členom 8(1)(b) začasne uredbe. Vendar več držav članic ni predložilo nobenih podatkov ali utemeljitve, zakaj niso poročale, v skladu z navedeno določbo.

Nekaj držav članic ni sporočilo nobenih statističnih podatkov ali so sporočile le delne podatke za obdobje poročanja, vendar so navedle razloge za to. Med navedenimi razlogi so bili naslednji:

–otrok, ki so bili žrtve spolne zlorabe na spletu, ni mogoče prešteti (Francija);

–podatki niso na voljo, ker se niso zbirali v okviru nacionalnega zbiranja statističnih podatkov / nacionalni organi niso zabeležili teh statističnih podatkov (Danska in Litva);

–v nacionalni zbirki statističnih podatkov podatki niso razčlenjeni po spolu (Belgija, Ciper, Češka, Grčija, Irska, Italija, Litva in Nizozemska);

–v obstoječih informacijskih sistemih informacije niso na voljo z zahtevano ravnjo podrobnosti (Finska);

–informacije se ne zbirajo (Nemčija).

Nekatere od držav članic, ki so navedle, da ne morejo predložiti statističnih podatkov, so potrdile, da so bili njihovi nacionalni organi zaprošeni, naj spremenijo postopek registracije za prostovoljne prijave, preiskave in zbiranje statističnih podatkov (Danska) in/ali uporabljajo nove informacijske sisteme, ki bi morali omogočati prijave na zahtevani ravni podrobnosti (Finska).

V eni državi članici pri spodnjih podatkih ni vzpostavljeno razlikovanje med otroki, ki so žrtve spolne zlorabe na spletu, in otroki, ki so žrtve spolne zlorabe zunaj spleta (Madžarska). V nekaterih primerih statistični podatki vključujejo tudi otroke, za katere je bilo ugotovljeno, da so sami ustvarili gradivo in ga prenesli na splet (lastno ustvarjeno gradivo, večinoma videoposnetki) (Češka in Estonija).

Ker so države članice večinoma poročale za različna obdobja poročanja, ni bilo mogoče izračunati skupnega števila otrok, identificiranih kot žrtve spolne zlorabe na spletu v EU, po letih in/ali istem obdobju poročanja.

Preglednica št. 8: Število identificiranih otrok, glede na spol

Za zgornje podatke veljajo številni dodatni pridržki. Obstoječi statistični podatki državam članicam ne omogočajo vedno, da bi razlikovale med podatki o žrtvah, ki so bile identificirane na podlagi prijave ponudnika, in podatki o žrtvah, ki so morda same prijavile kaznivo dejanje ali pa je kaznivo dejanje prijavil nekdo drug, ki je žrtev poznal ali je odkril kaznivo dejanje (kot to navaja Slovenija). Švedska je poročala, da so otroci, ki so bili identificirani prek dnevnikov klepeta, prav tako vključeni v poročanje, čeprav fotografije ali videoposnetki zlorabe nikoli niso bili najdeni ali ni bilo ugotovljeno, da izvirajo od zadevne žrtve.

Na splošno podatki v preglednici n.8 ne ustrezajo nujno obveznostim poročanja iz začasne uredbe, ki se nanašajo le na žrtve, ki so bile rešene zaradi prijav, ki so jih podali ponudniki in organizacije, ki delujejo v javnem interesu proti spolni zlorabi otrok na podlagi Uredbe. Podatki, predloženi v nekaterih primerih, vključujejo žrtve, identificirane iz različnih drugih razlogov in z drugimi sredstvi.

Podatki tako ne omogočajo celovitega pregleda števila otrok, identificiranih kot žrtve spolne zlorabe na spletu v EU.

Poleg tega, tudi če je bila žrtev identificirana, to ne pomeni nujno, da je prišlo do obsodbe, povezane z identifikacijo. V nekaterih primerih je bila žrtev identificirana, a v preiskavi ni bilo mogoče določiti osumljenca ali doseči obsodbe (Švedska).

Kljub temu je iz podatkov mogoče sklepati, da je bilo veliko število žrtev identificiranih zaradi prostovoljne prijave v skladu z začasno uredbo. To potrjujejo poročila organov kazenskega pregona o primerih, ki se pogosto sprožijo le na podlagi prostovoljne prijave 13 .

2.2.3 Število obsojenih storilcev

Večina držav članic je izpolnila svoje obveznosti, dve državi članici pa nista predložili nobenih podatkov ali utemeljitve, zakaj nista poročali, v skladu s členom 8(1) (c) začasne uredbe.

Več držav članic ni predložilo nobenih statističnih podatkov za obdobje poročanja v skladu z navedeno določbo, navedle pa so naslednje razloge:

–podatki še niso na voljo (Belgija in Španija);

–centralna podatkovna zbirka, ki se uporablja za beleženje kaznivih dejanj, ni zahtevala beleženja vrste prvotne prijave (Irska);

–podatki se ne zbirajo (Nemčija).

Države članice so sporočile zelo različne podatke o številu obsojenih storilcev, v zajetem obdobju poročanja pa ni bilo skladnosti, kot to prikazuje preglednica št. 9 spodaj.

Preglednica št. 9: Število obsojenih storilcev

Opozoriti je treba, da se število obsodb ne ujema s številom obsojenih storilcev, saj je lahko oseba obsojena za eno ali več kaznivih dejanj spolne zlorabe otrok na spletu.

Poleg tega statistični podatki o obsodbah, sporočeni za določeno obdobje, niso nujno povezani s prijavami, ki so bile prejete v danem obdobju (tj. obsodba v letu 2022 bi lahko bila povezana s prijavo iz leta 2021 ali 2020, prijava iz leta 2022 pa lahko vodi do obsodbe v letu 2023 ali pozneje). To dejstvo je v svojih poročilih izrecno izpostavilo več držav članic (Irska, Luksemburg in Švedska).

V nekaterih primerih se niso zbirali statistični podatki o tem, ali so prijave sumljivih dejavnosti (npr. prek centra NCMEC) privedle do obsodb, povedano drugače, da so bile obsodbe posledica informacij, ki jih je zagotovil ponudnik ali javna organizacija (Avstrija in Latvija). Samo Estonija je izrecno potrdila, da statistični podatki izkazujejo samo obsodbe, ki so posledica prijav centra NCMEC. Možno je tudi, da so prijave privedle so drugih storilcev, ki so predmet preiskav in so med preiskavami tudi obsojeni (Avstrija).

Večinoma se predvideva, da število sporočenih obsodb izhaja iz zaključka primera, potem ko je bila v pravosodnem sistemu domnevno vložena pritožba. V eni državi članici (Danska), kjer se podatki zbirajo glede na najnovejšo odločbo, podatki niso dokončni, saj so bile pozneje morda zoper odločbe vložene pritožbe.

V nekaterih primerih podatki, ki so vključeni v nacionalne informacijske sisteme in jih države članice sporočajo, ne razlikujejo med kaznivimi dejanji, storjenimi na spletu ali zunaj njega (Avstrija, Luksemburg in Latvija).

Zelo različna poročila, ki so jih predložile države članice, in način zbiranja statističnih podatkov na nacionalni ravni torej ne omogočajo celovitega pregleda števila storilcev, obsojenih zaradi spolne zlorabe otrok na spletu v EU. Trenutno – na podlagi razpoložljivih podatkov – tudi ni mogoče jasno povezati teh obsodb s prijavami, ki so jih podali ponudniki in organizacije, ki delujejo v javnem interesu proti spolni zlorabi otrok, v konkretnih obdobjih poročanja v skladu z Uredbo.

2.3Razvoj tehnološkega napredka

Tehnologije, ki se zdaj uporabljajo za odkrivanje spolne zlorabe otrok na spletu, vključujejo tehnologije in orodja za odkrivanje „znanih“ (tj. že odkritih) posnetkov spolne zlorabe otrok, „novih“ (tj. prej še neodkritih) posnetkov spolne zlorabe otrok in pridobivanja otrok za spolne namene.

Spodaj navedeni primeri vključujejo nekaj najpogosteje uporabljenih orodij in ne predstavljajo izčrpnega seznama. Veliko teh orodij je na voljo ponudnikom, organom kazenskega pregona in drugim organizacijam, kadar je mogoče izkazati legitimen interes. Običajno se ta orodja uporabljajo skupaj s človeškim pregledom, da se zagotovi največja možna natančnost.

V tem oddelku je vključen tudi dodaten razvoj tehnološkega napredka, povezanega z umetno inteligenco.

2.3.1 Odkrivanje znanih posnetkov spolne zlorabe otrok

Obstoječe tehnologije za odkrivanje znanih posnetkov spolne zlorabe otrok se opirajo izključno na samodejno analizo vsebine 14 in običajno temeljijo na zgoščevanju. Tehnologija zgoščevanja je vrsta digitalnega prstnega odtisa. Ustvari edinstven digitalni podpis (znan kot „hash“) podobe, ki se nato primerja s podpisi („hashes“) drugih fotografij, da se najdejo kopije iste podobe. Ta tehnologija zaznava samo ujemajoče se edinstvene digitalne podpise in ne „vidi“ gradiva, ki se ne ujema z edinstvenim digitalnim podpisom. Zgoščene vrednosti tudi niso povratne in z njimi torej ni mogoče poustvariti podobe.

Obstaja veliko različic in izvedb tehnologije zgoščevanja. Orodja, opredeljena kot tista, ki se uporabljajo za odkrivanje znanih posnetkov spolne zlorabe otrok, vključujejo: (i) Microsoftov PhotoDNA ; (ii) Googlov CSAI Match ; (iii) Applov NeuralHash + Private Set Intersection ; (iv) Meta SSN++ ; (v) PDQ in TMK+PDQF ; (vi) MD5 Hash generator (Skype); (vii) Safer (Thorn).

Najpogosteje uporabljeno orodje je Microsoftov PhotoDNA, ki ga uporablja več kot 150 organizacij 15 . Orodje PhotoDNA se uporablja že več kot deset let in ima visoko stopnjo natančnosti. Stopnja lažno pozitivnih primerov je na podlagi testiranja ocenjena na ne več kot en primer na 50 milijard 16 . Stopnja napak orodja PhotoDNA zaradi narave tehnologije ostaja izredno nizka. Tehnologija odkriva izključno kopije že prepoznane vsebine. Prvotno orodje PhotoDNA odkriva znane posnetke spolne zlorabe otrok v podobah, na voljo pa je tudi različica za odkrivanje posnetkov spolne zlorabe otrok v videoposnetkih.

Tehnologija se stalno razvija in izboljšuje. Microsoft je maja 2023 napovedal uvedbo novih zmogljivosti za iskanje ujemanj, ki omogočajo hitrejše iskanje (približno 350-krat hitrejše), hkrati pa znižujejo stroške postopka iskanja ujemanj brez izgube natančnosti. Po navedbah Microsofta nova knjižnica omogoča tudi celovitejše odkrivanje zrcalnih ali zasukanih slik. Poleg tega je organizacija Internet Watch Foundation (IWF) pred kratkim sporočila, da je izboljšala svojo tehnologijo zgoščevanja 17 .

2.3.2 Odkrivanje novih posnetkov spolne zlorabe otrok

Tehnologije, ki se zdaj uporabljajo za odkrivanje novih posnetkov spolne zlorabe otrok, vključujejo klasifikatorje in umetno inteligenco (UI), ki analizirajo podobe in videoposnetke za odkrivanje vzorcev vsebine, ki se ujemajo z vzorci, ustvarjenimi na podlagi že prepoznanih posnetkov spolne zlorabe otrok. Klasifikator je algoritem, ki lahko s prepoznavanjem vzorcev podatke razvrsti v označene razrede ali kategorije informacij. Klasifikatorji za učenje potrebujejo podatke, in več podatkov kot prejmejo, bolj natančni so.

Orodja za odkrivanje novih posnetkov spolne zlorabe otrok vključujejo: (i) Safer (Thorn); (ii) Googlov Content Safety API ; (iii) Facebookova tehnologija umetne inteligence 18 ; (iv) Amazonov Rekognition ; (v) Hivova umetna inteligenca za vizualno vsebino .

Raziskave so pokazale, da so avtomatizirani orodja in sistemi, kot so klasifikatorji, najkoristnejša sredstva za odkrivanje posnetkov spolne zlorabe otrok 19 . Pri odkrivanju novih posnetkov spolne zlorabe otrok je stopnja natančnosti trenutno precej nad 90 %. Na primer, pri podjetju Thorn navajajo, da lahko svoj klasifikator za posnetke spolne zlorabe otrok nastavijo na 99-odstotno stopnjo natančnosti (za znane in nove posnetke spolne zlorabe otrok), kar pomeni, da stopnja lažno pozitivnih primerov znaša 0,1 % 20 . Z večjo uporabo in več povratnimi informacijami se bodo te metrike verjetno še izboljšale.

2.3.3 Odkrivanje pridobivanja otrok za spolne namene

Orodja za odkrivanje pridobivanja otrok za spolne namene v besedilnih komunikacijah izkoriščajo tehnologije izključno za odkrivanje vzorcev, ki nakazujejo možne konkretne elemente za domnevno spolno zlorabo otrok na spletu, ne da bi bila zmožna razbrati vsebino komunikacij. Tehnika se uporablja za besedilne klepete. Pogovori so ocenjeni na podlagi vrste značilnosti in dodeljena jim je skupna ocena verjetnosti, ki nakazuje ocenjeno verjetnost, da pogovor pomeni pridobivanje otrok za spolne namene. Te ocene so determinante, ki jih določijo posamezna podjetja, za označevanje pogovorov za dodatni človeški pregled.

Orodja, ki se uporabljajo za odkrivanje besedil, vključujejo: (i) Microsoftov Project Artemis 21 ; (ii) Amazonov Rekognition ; (iii) Twitchevo tehnologijo Spirit AI (na podlagi obdelave naravnega jezika, klasifikatorjev besedila) 22 ; (iv) Metin notranji interno izdelan klasifikator za „razvrščanje“ na podlagi strojnega učenja (ki interno tehnologijo za analizo jezika združuje z metapodatki); (v) filtriranje klepetov na platformi Roblox 23 ; (vi) tehnično rešitev podjetja Thorn in združenja Tech Coalition, ki temelji na strojnem učenju in klasifikatorjih 24 .

Tako kot za prepoznavanje novih posnetkov spolne zlorabe otrok je tudi za prepoznavanje vsebine pridobivanja otrok za spolne namene treba tehnologijo podučiti s tako vsebino. Dostop do takih učnih podatkov ostaja največji izziv za razvoj in izboljšanje takih tehnologij.

Podjetje Thorn je v partnerstvu z združenjem Tech Coalition in njegovimi člani sprožilo novo pobudo, namenjeno razvoju tehnične rešitve za odkrivanje in obravnavo poskusov pridobivanja otrok za spolne namene prek spleta, ki bo koristna in uporabna za vrsto platform, ki ponujajo besedilne komunikacije. Temeljila bo na ekipnem delu podjetja Thorn na področju razvoja klasifikatorja NLP (obdelava naravnega jezika) ali modela strojnega učenja, ki odkriva in razvršča, kadar spletna vsebina ali vedenje spada v opredeljene „razrede“, povezane s pridobivanjem otrok za spolne namene (na primer izpostavljenost gradivu s spolno vsebino ali prizadevanje za osebno srečanje z mladoletnikom), ter na splošni oceni, kako zelo je pogovor povezan s pridobivanjem otrok za spolne namene 25 .

2.3.4 Novi izzivi, ki jih prinašajo klepetalni boti z umetno inteligenco in generatorji umetnin/podob

Razvoj in izdaja klepetalnih botov z umetno inteligenco, kot je ChatGPT (velik jezikovni model (LLM), ki ga je razvila organizacija OpenAI ), in generatorjev umetnin/podob, kot sta DALL-E 26 in Midjourney 27 , sta deležna velike pozornosti javnosti, predvsem zaradi njihove sposobnosti hitrega zagotavljanja pripravljenih odgovorov ali ustvarjanja realističnih podob, ki jih je mogoče uporabiti v številnih različnih kontekstih. Ta nova orodja so hitro postala vsesplošno priljubljena in uporabljena. Tehnološka podjetja, vključno z Microsoftom in Googlom, financirajo in razvijajo vodilne produkte, nove tehnologije pa se izboljšujejo, tako da se redno uvajajo izboljšane različice.

Te tehnologije podjetjem in javnosti zagotavljajo velike priložnosti, vendar lahko predstavljajo tudi tveganja. Pomisleki v zvezi s takimi produkti vključujejo tudi vprašanje, kako jih bodo storilci kaznivih dejanj morda želeli izkoristiti za zlonamerno uporabo, vključno s spolnim izkoriščanjem otrok.

Kot poroča Europol, so vse informacije, ki jih zagotavlja ChatGPT, sicer prosto dostopne na internetu, vendar to orodje zlonamernim akterjem močno olajšuje, da se „brez predhodnega znanja podučijo o velikem številu potencialnih področij kriminala, od tega, kako vlomiti v stanovanje, do terorizma, kibernetske kriminalitete in spolne zlorabe otrok“. To navedenim osebam omogoča, da bolje razumejo te vrste kaznivih dejanj in jih posledično tudi izvedejo 28 .

Pravila organizacije OpenAI omejujejo zmožnost orodja ChatGPT, da bi se odzvalo na pozive k spolni, sovražni ali nasilni vsebini ali vsebini, ki spodbuja samopoškodovanje. Kljub temu je mogoče te zaščitne ukrepe precej enostavno zaobiti s pisanjem pozivov 29 . Nedavna uvedba klepetalnih botov z umetno inteligenco (npr. v aplikaciji Snapchat) kaže, kako lahko ti klepetalni boti prestopijo mejo do žaljivih ali nevarnih interakcij, vključno s spolno zlorabo otrok 30 . Ker zdaj več podjetij razmišlja o testiranju klepetalnih botov z umetno inteligenco na svojih platformah (Instagram, morebiti WhatsApp in Messenger), je treba skrbno oceniti učinek na uporabnike, zlasti otroke in mlade.

Ta nova orodja zahtevajo tudi ustrezne zaščitne ukrepe, tako da se jih ne zlorablja za ustvarjanje globokih ponaredkov spolne zlorabe otrok z umetno inteligenco 31 . Glede na hitrost razvoja orodij umetne inteligence je verjetno, da bo kmalu postalo precej lažje ustvariti podobe, ki jih ne bo mogoče razlikovati od dejanskih podob. To pomeni več ključnih izzivov za boj proti spolni zlorabi otrok, saj bo lahko zmožnost organov kazenskega pregona za preiskovanje in kazensko preganjanje primerov posnetkov spolne zlorabe otrok in identifikacijo dejanskih žrtev močno ovirana, če bodo na spletu začeli močno prevladovati zelo realistični računalniško ustvarjeni posnetki spolne zlorabe otrok 32 .

Raziskave kažejo, da je dostopanje do posnetkov spolne zlorabe otrok pogosto prvi korak k dejanski zlorabi, ne glede na to, ali posnetki prikazujejo resnično ali le realistično zlorabo in izkoriščanje 33 . Omejevanje razširjanja z umetno inteligenco ustvarjenih globokih ponaredkov spolne zlorabe otrok je torej ključno kot oblika preprečevanja na strani storilca. Še en ključni pomislek je, da lahko tisti, ki pridobivajo otroke za spolne namene, napredne zmogljivosti orodja ChatGPT za ustvarjanje besedila uporabljajo skupaj z obstoječo brezplačno umetno inteligenco, ki pretvori besedila v slike, ter hitro in enostavno ustvarijo vsebino za lažne profile in verodostojne pogovore z mladimi, da bi na spletu nagovarjali otroke. „Sam ChatGPT ljudi ne bo spodbujal k pridobivanju otrok za spolne namene prek spleta, vendar vsem omogoča, da s tehnologijo umetne inteligence izboljšajo pogovore, ki jih imajo z otroki na spletu, tako da postanejo prepričljivejši in se žrtvam zdijo verodostojnejši, kar pripomore k manipulaciji.“ 34 Generativna umetna inteligenca bi lahko prispevala k porastu števila primerov pridobivanja otrok za spolne namene prek spleta in celo k „obsežnejši avtomatizaciji pridobivanja otrok za spolne namene“ 35 .

3.SKLEPNE UGOTOVITVE

Izvedbeni ukrepi, ki so jih sprejeli ponudniki

Iz poročil ponudnikov je razvidno, da so odkrivanje in prijavljanje spolne zlorabe otrok na spletu na podlagi začasne uredbe izvajali s pomočjo različnih tehnologij in postopkov za odkrivanje. Vsi ponudniki so poročali, da so prijave podali centru NCMEC. Kar zadeva vrsto in količine osebnih podatkov, ki so jih ponudniki obravnavali, so poročila pokazala, da so se zbirali različni podatki o prometu in da je bila raven podrobnosti obdelanih količin podatkov različna, kar Komisiji preprečuje, da bi pridobila enotne podatke na ravni EU v zvezi s ponudniki za zadevno obdobje poročanja (julij 2021–31. januar 2023).

Ponudniki niso predložili podatkov o številu in deležih napak (lažno pozitivni primeri) različnih uporabljenih tehnologij, razčlenjenih po uporabljenih tehnologijah, kar pomeni, da uporabljajo večplastni pristop za odkrivanje spolne zlorabe otrok na spletu, ki je dopolnjen s človeškim pregledom. Hkrati so ponudniki vzpostavili širok nabor zaščitnih in drugih ukrepov, da bi pri svojem odkrivanju omejili in znižali stopnjo napak. Še več, ponudniki so poročali, da imajo vzpostavljene politike hrambe podatkov in zaščitne ukrepe za varstvo podatkov, ki so opredeljene v njihovih politikah ali izjavah o varstvu osebnih podatkov ter podprte z zaščitnimi in drugimi ukrepi za varstvo podatkov, standardnimi za panogo.

Izvedbeni ukrepi, ki so jih sprejele države članice

Države članice morajo v skladu z začasno uredbo (njenim členom 8) predložiti tudi ključne statistične podatke o primerih spolne zlorabe otrok na spletu, ki jih odkrijejo in prijavijo organom kazenskega pregona, o številu identificiranih otrok, ki so žrtve, in o številu obsojenih storilcev. Ker so države članice večinoma predložile podatke za različna obdobja poročanja, iz predloženih podatkov ni bilo mogoče izračunati skupnega števila prijav odkrite spolne zlorabe otrok na spletu, prejetih na ravni EU. Poleg tega se lahko prijave, ki so jih države članice prejele in o njih poročale, razlikujejo od prijav, na podlagi katerih je mogoče ukrepati, tj. od prijav, ki jih je mogoče uporabiti za preiskave, ali od števila prijavljenih primerov. Le nekaj držav članic je navedlo vrsto ponudnikov, pri storitvah katerih je bila odkrita spolna zloraba otrok na spletu. V nekaterih primerih nacionalni statistični podatki ne razlikujejo med kaznivimi dejanji, preiskanimi na podlagi prijav ponudnikov in drugih organizacij, ki delujejo v javnem interesu proti spolni zlorabi otrok, in kaznivimi dejanji, preiskanimi na podlagi drugih prijav.

Tako iz prejetih poročil ni bilo mogoče pridobiti podatka o skupnem številu otrok, ki so bili v EU identificirani kot žrtve spolne zlorabe na spletu, glede na spol. Razlogi na primer vključujejo: sporočanje podatkov za različna obdobja; različne starostne omejitve za opredelitev otrok, ki so žrtve spolne zlorabe na spletu; nezbiranje tako podrobnih statističnih podatkov na nacionalni ravni zaradi tehničnih ali drugih omejitev; nerazlikovanje med otroki, ki so žrtve spolne zlorabe na spletu in zunaj njega, itd. Nekaj držav članic v statistične podatke vključuje tudi otroke, ki so sami ustvarili posnetke. Kar je še pomembneje, statistični podatki pogosto ne razlikujejo med žrtvami, identificiranimi na podlagi prijav ponudnikov in organizacij, ki delujejo v javnem interesu proti spolni zlorabi otrok na podlagi Uredbe, in žrtvami, ki so bile identificirane na podlagi drugih razlogov in sredstev.

Tudi pregled števila obsojenih storilcev je razdrobljen. V določenih primerih taki podatki niso na voljo, saj v podatkovnih zbirkah ni zabeležen vir prvotne prijave in zato podatki ne razlikujejo med storilci, obsojenimi na podlagi prijav, podanih na podlagi Uredbe, in na podlagi drugih prijav. V nekaterih primerih podatki, vsebovani v nacionalnih informacijskih sistemih, prav tako ne razlikujejo med kaznivimi dejanji, storjenimi na spletu in zunaj njega. Še več, statistični podatki o obsodbah, sporočeni za določeno obdobje, niso nujno povezani s prijavami, prejetimi v zadevnem obdobju, ampak se lahko nanašajo na prijave iz prejšnjih obdobij. Zbrani statistični podatki o številu obsodb se prav tako lahko razlikujejo od podatkov o številu obsojenih storilcev (en storilec je lahko večkrat obsojen).

Raznoliki statistični podatki, ki so jih predložile države članice, za katere se zdi, da podatkov ne zbirajo vedno sistematično in ustrezno, in vsi navedeni dejavniki torej ne omogočajo celovitega pregleda prejetih prijav spolne zlorabe otrok na spletu, števila otrok, identificiranih kot žrtve tega kaznivega dejanja, ali števila storilcev, obsojenih na ravni EU na podlagi Uredbe. Dejstvo, da se za večino držav članic zdi, da obstajajo velike razlike med številom prijav, za katere center NCMEC navaja, da jih je poslal državam članicam, in številom prijav, za katere države članice navajajo, da so jih prejele, kaže, da zbiranje in sporočanje podatkov nista popolna. Nekatere države članice so potrdile, da so njihovi pristojni organi v postopku strukturnih sprememb ali reorganizacije, povezane z vzpostavljanjem novih oddelkov, pristojnih za preiskovanje kaznivih dejanj, povezanih s spolno zlorabo otrok na spletu. Vzpostavljajo se tudi novi informacijski sistemi, nacionalni organi v nekaterih državah članicah pa so bili pozvani, naj spremenijo svoje postopke registracije in statistične podatke. To bi moralo ustvariti ugodnejše pogoje za natančnejše statistične podatke držav članic v prihodnje. Komisija bo v vsakem primeru uporabila svoja pooblastila iz Pogodb za zagotovitev, da bodo države članice izpolnjevale svoje obveznosti poročanja iz začasne uredbe.

Splošne ugotovitve

Na splošno to poročilo kaže, da ponudniki in države članice zelo različno sporočajo podatke v zvezi z bojem proti spolni zlorabi otrok na spletu na podlagi začasne uredbe. Večja standardizacija razpoložljivih podatkov, na primer tistih, navedenih v predlogu uredbe o preprečevanju spolne zlorabe otrok in boju proti njej 36 , in njihovo sporočanje bi prispevala k pridobitvi boljšega pregleda nad zadevnimi dejavnostmi na področju boja proti temu kaznivemu dejanju. Zdi se, da so potrebna dodatna prizadevanja ponudnikov in držav članic, da se zagotovita zbiranje podatkov in poročanje v skladu z zahtevami začasne uredbe.

Razpoložljivi podatki kažejo, da je v okviru sedanjega sistema prostovoljnega odkrivanja in prijavljanja mogoče, da se za posnetke, ki so samodejno označeni kot možni posnetki spolne zlorabe otrok, po človeškem pregledu izkaže, da to niso. To je lahko posledica neobstoja skupnega nabora edinstvenih digitalnih podpisov in drugih kazalnikov za odkrivanje posnetkov spolne zlorabe otrok, ki so potrjeno nezakoniti v EU, ali različnih pravnih standardov v jurisdikcijah, predvsem med EU in ZDA, zlasti glede ustreznih opredelitev. Podatki izkazujejo tudi velike razlike v številu zahtevkov za pregled in stopnjah uspešnosti pregleda, iz katerih ni mogoče oblikovati sklepov, saj ni dovolj informacij zlasti o obsegu zahtevkov za pregled in razlogih za obnovitev.

Kar zadeva zahteve iz člena 9(2) o pogojih za obdelavo, predložene informacije kažejo, da uporabljene tehnologije ustrezajo tehnološkim aplikacijam, zasnovanim izključno za odkrivanje in odstranjevanje posnetkov spolne zlorabe otrok na spletu ter njihovo prijavljanje organom kazenskega pregona in organizacijam, ki delujejo v javnem interesu proti spolni zlorabi otrok. V zvezi s tem, ali je bila uvedba tehnologij v skladu s stanjem tehnike in izvedena na način, ki čim manj posega v zasebnost, ter v zvezi s tem, ali sta bila izvedena predhodna ocena učinka v zvezi z varstvom podatkov iz člena 35 Uredbe (EU) 2016/679 in postopek predhodnega posvetovanja iz člena 36 navedene uredbe, ni bilo predloženih informacij.

Kar zadeva sorazmernost Uredbe, je osrednje vprašanje, ali začasna uredba dosega ravnovesje, ki si ga je zakonodajalec Unije prizadeval doseči med, na eni strani, doseganjem cilja splošnega interesa v zvezi z učinkovitim bojem proti zadevnim zelo hudim kaznivim dejanjem in potrebo po varstvu temeljnih pravic otrok (dostojanstvo, osebna celovitost, prepoved nečloveškega ali ponižujočega ravnanja, zasebno življenje, pravice otroka) ter, na drugi strani, varstvom temeljnih pravic uporabnikov zajetih storitev (zasebnost, varstvo osebnih podatkov, svoboda izražanja, učinkovita pravna sredstva). Razpoložljivi podatki ne zadoščajo za oblikovanje dokončnih sklepov v zvezi s tem. Številčnega standarda ni mogoče in tudi ne bi bilo ustrezno uporabiti za oceno take sorazmernosti z vidika števila rešenih otrok, saj spolna zloraba močno negativno vpliva na otrokovo življenje in pravice. Kljub temu na podlagi navedenega nič ne kaže na to, da odstopanje ni sorazmerno.

Kljub pomanjkljivostim razpoložljivih podatkov, ki ne omogočajo vpogleda v uporabo prostovoljnih prijav v večjem številu držav članic, je iz podatkov, ki so na voljo, jasno, da je bilo v obdobju poročanja identificiranih več tisoč otrok, da je bilo doseženih več kot 2 000 obsodb in da je bilo iz obtoka odstranjenih več milijonov podob in videoposnetkov, zaradi česar se je zmanjšala sekundarna viktimizacija. Zato je mogoče skleniti, da je prostovoljno prijavljanje pomembno prispevalo k zaščiti velikega števila otrok, tudi pred stalno zlorabo, pri čemer se zdi, da je začasna uredba učinkovita.

(1)

     Podjetje Twitter je poročilo predložilo pred preimenovanjem; v tem poročilu se navaja kot podjetje „X“.

(2)

     Meta in X nista izrecno navedla konkretnega člena.

(3)

     Meta in X nista izrecno navedla konkretnega člena. 

(4)

     Ponudniki, ki so navedeni v oklepajih, so izrecno poročali o konkretnih ukrepih. Če nekateri ponudniki niso navedeni, to ne pomeni, da ne izvajajo tega ukrepa, ampak le, da ga v svojem poročilu niso navedli.

(5)

     Politika zasebnosti podjetja X, 4. How Long We Keep Information (Kako dolgo hranimo informacije?), na voljo na spletnem naslovu: https://twitter.com/en/privacy.

(6)

     Ponudniki, ki so navedeni v oklepajih, so izrecno poročali o konkretnih ukrepih. Če nekateri ponudniki niso navedeni, to ne pomeni, da ne izvajajo tega ukrepa, ampak le, da ga v svojem poročilu niso navedli.

(7)

     Informacije o organizacijah, ki delujejo v javnem interesu in katerim ponudniki prijavijo spolno zlorabo otrok na spletu na podlagi Uredbe, so objavljene na spletnem naslovu  https://home-affairs.ec.europa.eu/policies/internal-security/child-sexual-abuse/legal-framework-protect-children_en v skladu z obveznostmi Komisije na podlagi člena 8(2) začasne uredbe.

(8)

     Poročilo, ki ga je Nemčija predložila v skladu s členom 8 Uredbe (EU) 2021/1232, prejeto 18. oktobra 2022. Center NCMEC v svojih poročilih po državah v sistemu CyberTipline objavlja vse podatke o prejetih prijavah, ki se nanašajo na države članice EU, vključno z Nemčijo. Glej: Center NCMEC, 2021 CyberTipline Reports by Country (Poročila CyberTipline po državah za leto 2021), obiskano julija 2023; center NCMEC, 2022 CyberTipline Reports by Country (Poročila CyberTipline po državah za leto 2022), obiskano julija 2023.

(9)

     https://www.bka.de/SharedDocs/Kurzmeldungen/DE/Kurzmeldungen/230623_Mindestspeicherfristen_IP-Adressen.html

(10)

     Center NCMEC, 2021 CyberTipline Reports by Country  (Poročila CyberTipline po državah za leto 2021), obiskano novembra 2023.

(11)

     Center NCMEC, 2022 CyberTipline Reports by Country (Poročila CyberTipline po državah za leto 2022), obiskano novembra 2023.

(12)

     Podatki centra NCMEC so na voljo tukaj .

(13)

     Glej na primer seznam vzorčnih primerov v EU, ki so bili sproženi zaradi prostovoljne prijave podjetij, v oceni učinka , priloženi predlogu uredbe o preprečevanju spolne zlorabe otrok in boj proti njej (glej zlasti Prilogo 7).

(14)

     Ponudniki menijo, da metapodatki niso učinkovito orodje za odkrivanje posnetkov spolne zlorabe otrok. Glej zlasti strani 10 in 11 dokumenta Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers (Tehnike zaupanja in varnosti, neodvisne od vsebine: rezultati ankete za ponudnike spletnih storitev), Pfefferkorn, R., Stanford Internet Observatory, 9, september 2021.

(15)

     Microsoft, Digital Crimes Unit (Enota za kibernetsko kriminaliteto).

(16)

     Pričanje Hanyja Farida, razvijalca orodja PhotoDNA, pred odborom predstavniškega doma ZDA za energijo in trgovino, Fostering a Healthier Internet to Protect Consumers (Spodbujanje bolj zdravega interneta za zaščito potrošnikov), 16. oktober 2019. 

(17)

   Internet Watch Foundation (IWF), The Annual Report 2022 (Letno poročilo 2022), str. 129–133.

(18)

     Glej tukaj in tukaj za več informacij o Facebookovem orodju za proaktivno odkrivanje otroške golote in še neznane vsebine izkoriščanja otrok s pomočjo umetne inteligence in strojnega učenja.

(19)

     Pfefferkorn, R.: Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers (Tehnike zaupanja in varnosti, neodvisne od vsebine: rezultati ankete za ponudnike spletnih storitev), Journal of Online Trust and Safety, februar 2022, str. 1–38.

(20)

     Thorn, Thorn’s Automated Tool to Remove Child Abuse Content at Scale Expands to More Platforms through AWS Marketplace (Thornovo avtomatizirano orodje za odstranjevanje vsebine spolne zlorabe otrok v ustreznem obsegu se širi na več platform prek tržnice AWS Marketplace), 24. maj 2021.  

(21)

     Microsoftov Project Artemis je bil razvit v sodelovanju s podjetji The Meet Group, Roblox, Kik in Thorn.

(22)

   Za več informacij glej: https://safety.twitch.tv/s/article/Our-Work-to-Combat-Online-Grooming?language=en_US . 

(23)

     Platforma Roblox filtrira objave in klepete igralcev, starih 12 let in mlajših, za odkrivanje neprimerne vsebine in za preprečevanje objave osebnih podatkov, npr. domačih naslovov. Ta sistem filtriranje zajema vsa področja komunikacije na platformi Roblox, javne in zasebne. Roblox, Safety Features: Chat, Privacy & Filtering (Varnostni elementi: klepet, zasebnost in filtriranje), obiskano julija 2023.

(24)

     Tech Coalition, New Technology to Help Companies Keep Young People Safe (Nova tehnologija, ki podjetjem pomaga zaščititi mlade), 20. junij 2023.

(25)

     Tech Coalition, New Technology to Help Companies Keep Young People Safe (Nova tehnologija, ki podjetjem pomaga zaščititi mlade), 20. junij 2023.

(26)

     DALL-E je sistem umetne inteligence, ki lahko ustvari realistične podobe in umetnine na podlagi opisa v naravnem jeziku.

(27)

     Midjourney je generativni program, ki temelji na umetni inteligenci, storitev pa ustvarja podobe na podlagi opisov v naravnem jeziku.

(28)

     Europol, ChatGPT - The impact of Large Language Models on Law Enforcement (ChatGPT – vpliv velikih jezikovnih modelov na kazenski pregon), 2023, ISBN 978-92-95220-57-7, str. 7.

(29)

     Swanson, S. M., ChatGPT Generated Child Sex Abuse When Asked to Write BDSM Scenarios (Spolna zloraba otrok, ki jo je ustvaril ChatGPT kot odgovor na poziv, naj napiše scenarije za BDSM), Vice, 6. marec 2023; Mitchell, A., ChatGPT gives sick child sex abuse answer, breaking its rules (ChatGPT da sprevržen odgovor o spolni zlorabi otrok in prekrši lastna pravila), New York Post, 24. julij 2023; Europol, ChatGPT - The impact of Large Language Models on Law Enforcement (ChatGPT – vpliv velikih jezikovnih modelov na kazenski pregon), 2023, ISBN 978-92-95220-57-7, str. 5.

(30)

     Fowler, G.A., Snapchat tried to make a safe AI. It chats with me about booze and sex (Snapchat je poskusil ustvariti varno umetno inteligenco. Z mano je klepetal o alkoholu in seksu), The Washington Post, 14. marec 2023; Vincent, J., Instagram is apparently testing an AI chatbot that lets you choose from 30 personalities (Instagram očitno testira klepetalni bot z umetno inteligenco, ki omogoča izbiranje med 30 osebnostmi), The Verge, 7. julij 2023.

(31)

     Crawford, A., Smith, T., Illegal trade in AI child sex abuse images exposed (Razkrita nezakonita trgovina s podobami spolne zlorabe otrok, ustvarjenimi z umetno inteligenco), BBC, 27. junij 2023.

(32)

     Thiel, D., Stroebel, M., in Portnoff, R. (2023). Generative ML and CSAM: Implications and Mitigations (Generativno strojno učenje in posnetki spolne zlorabe otrok: posledice in preprečevanje). Stanford Digital Repository. Na voljo na spletnem naslovu https://purl.stanford.edu/jv206yg3793 . https://doi.org/10.25740/jv206yg3793 . Str. 2.

(33)

     Protect Children, Protect Children’s research in the dark web is revealing unprecedented data on CSAM users (Raziskava temnega spleta organizacije Protect Children razkriva podatke brez primere o uporabnikih posnetkov spolne zlorabe otrok), 6. junij 2021; RAINN, What is Child Sexual Abuse Material (CSAM) (Kaj so posnetki spolne zlorabe otrok?), 25. avgust 2022.

(34)

     Breck Foundation, Is artificial intelligence putting children at risk? (Ali umetna inteligenca ogroža otroke?), 9. februar 2023, posodobljeno 3. aprila 2023.

(35)

     Butler, J., AI tools could be used by predators to ‘automate child grooming’, eSafety commissioner warns (Komisarka za e-varnost opozarja, da bi lahko predatorji orodja umetne inteligence izkoriščali za „avtomatizacijo pridobivanja otrok za spolne namene“), The Guardian, 19. maj 2023 .  

(36)

     Predlog uredbe Evropskega parlamenta in Sveta o določitvi pravil za preprečevanje spolne zlorabe otrok in boj proti njej, COM(2022) 209 final .