EUROPSKA KOMISIJA

Bruxelles, 19.12.2023.

COM(2023) 797 final

IZVJEŠĆE KOMISIJE EUROPSKOM PARLAMENTU I VIJEĆU

o provedbi Uredbe (EU) 2021/1232 Europskog parlamenta i Vijeća od 14. srpnja 2021. o privremenom odstupanju od određenih odredbi Direktive 2002/58/EZ u pogledu tehnologija koje pružatelji brojevno neovisnih interpersonalnih komunikacijskih usluga upotrebljavaju za obradu osobnih i drugih podataka u svrhu borbe protiv seksualnog zlostavljanja djece na internetu

SADRŽAJ

POPIS POJMOVA I POKRATA    

1.    UVOD    

2.    PROVEDBENE MJERE    

2.1.    Obrada osobnih podataka koju provode pružatelji (članak 3. točka (g) podtočka vii.)    

2.1.1.    Vrsta i količina obrađenih podataka    

2.1.2. Osnove za obradu u skladu s Uredbom (EU) 2016/679    

2.1.3.    Osnova za prijenose osobnih podataka izvan Unije na temelju poglavlja V. Opće uredbe o zaštiti podataka, prema potrebi    

2.1.4.    Broj utvrđenih slučajeva seksualnog zlostavljanja djece na internetu, uz razliku između materijala koji sadržava seksualno zlostavljanje djece i mamljenja djece    

2.1.5.    Pravna zaštita za korisnike i ishod    

2.1.6.    Broj i omjeri pogrešaka (lažno pozitivni rezultati) raznih tehnologija koje su upotrijebljene    

2.1.7.    Mjere primijenjene za ograničavanje stope pogrešaka i postignuta stopa pogrešaka    

2.1.8.    Politika zadržavanja i zaštitne mjere za zaštitu podataka primijenjene u skladu s Općom uredbom o zaštiti podataka    

2.1.9.    Nazivi organizacija koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece na internetu, a kojima su podaci podijeljeni u skladu s uredbom.    

2.2.    Statistički podaci država članica (članak 8.)    

2.2.1. Ukupan broj prijava otkrivenog seksualnog zlostavljanja djece na internetu    

2.2.2. Broj djece koja su identificirana    

2.2.3. Broj osuđenih počinitelja    

2.3.    Tehnološki napredak    

2.3.1. Otkrivanje poznatog materijala koji sadržava seksualno zlostavljanje djece    

2.3.2. Otkrivanje novog materijala koji sadržava seksualno zlostavljanje djece    

2.3.3. Otkrivanje vrbovanja    

2.3.4. Novi izazovi koje donose chatbotovi s upotrebom umjetne inteligencije i programi koji generiraju umjetnost ili slike    

3.    ZAKLJUČCI    

POPIS POJMOVA I POKRATA

1.UVOD

U skladu s člankom 9. privremene uredbe (dalje u tekstu i „Uredba”) Komisija je dužna sastaviti izvješće o njezinoj provedbi, i to na temelju izvješća koja su dostavili pružatelji interpersonalnih komunikacijskih usluga (dalje u tekstu „pružatelji”) o obradi osobnih podataka i statističkih podataka koje su dostavile države članice. U skladu s prethodno navedenom odredbom Komisija u izvješću o provedbi posebno razmatra:

(a) relevantne uvjete za obradu odgovarajućih osobnih podataka i drugih podataka koji se obrađuju na temelju te uredbe;

(b) proporcionalnost odstupanja predviđenog tom uredbom, uključujući procjenu statističkih podataka koje su podnijele države članice u skladu s člankom 8.;

(c) razvoj tehnološkog napretka u vezi s aktivnostima obuhvaćenima tom uredbom i mjeru u kojoj se takvim razvojem poboljšava točnost i smanjuju broj i omjeri pogrešaka (lažno pozitivni rezultati).

Ovo izvješće o provedbi u skladu s privremenom uredbom temelji se na podacima prikupljenima u izvješćima pružatelja i država članica u skladu s njezinim člankom 3. stavkom 1. točkom (g) podtočkom vii. odnosno člankom 8. U tim su se izvješćima mogle vidjeti znatne razlike u dostupnosti podataka i vrstama prikupljenih podataka, a time i u usporedivosti podataka koje su prikupili pružatelji i države članice. Budući da uredba ne sadržava predložak za izvješćivanje, pružatelji su razmjenjivali različite vrste podataka koje nisu nužno bile usporedive, pa su službe Komisije stoga poduzele daljnje mjere kako bi osigurale pravilno tumačenje tih podataka. Većina država članica nije mogla pravodobno dostaviti podatke, a neke od njih nisu mogle dostaviti nikakve podatke prije objave ovog izvješća. To je znatno utjecalo na vrijeme njegove objave te na njegovu dovršenost i upotrebljivost. Unatoč nastojanjima da se osiguraju usklađenost podataka i usporedivost, i dalje postoje znatne razlike koje su prikazane u tablicama u nastavku, koje isto tako ne sadržavaju podatke po svim točkama za sve pružatelje usluga ili sve države članice.

Ovim se izvješćem o provedbi nastoji pružiti činjenični pregled stanja u vezi s provedbom privremene uredbe na temelju dostupnih podataka. Ovo izvješće ne sadržava tumačenje te uredbe i u njemu se ne iznose nikakvi stavovi u pogledu načina na koji se tumačila i primjenjivala u praksi.

2.PROVEDBENE MJERE

2.1.Obrada osobnih podataka koju provode pružatelji (članak 3. točka (g) podtočka vii.)

U članku 3. točki (g) podtočki vii. privremene uredbe utvrđuju se uvjeti prema kojima pružatelji, postupajući u skladu s odstupanjem iz te uredbe, objavljuju i podnose nadležnom nadzornom tijelu i Komisiji, do 3. veljače 2022., a nakon toga do 31. siječnja svake godine, izvješće o obradi osobnih podataka u skladu s tom uredbom. Google, LinkedIn, Meta, Microsoft i X (bivši Twitter) 1 podnijeli su izvješća za 2021. i 2022.

2.1.1.Vrsta i količina obrađenih podataka

Pružatelji su izvijestili o obradi podataka o sadržaju i podataka o prometu.

Kad je riječ o podacima o sadržaju koji su se obrađivali radi otkrivanja seksualnog zlostavljanja djece na internetu, svi su prethodno navedeni pružatelji naveli fotografije i videozapise. Uglavnom su se oslanjali na tehnologije otkrivanja podudaranja hasheva PhotoDNA i MD5 kako bi otkrili podudaranja s prethodno identificiranim materijalom koji sadržava seksualno zlostavljanje djece (dalje u tekstu „materijal koji sadržava seksualno zlostavljanje djece”). Za izradu digitalnih potpisa videozapisa na platformama i njihovo uspoređivanje s datotekama u repozitoriju potpisa Googlea / YouTubea (LinkedIn) korišten je Googleov alat za utvrđivanje podudaranja CSAI Match. U jednakoj su mjeri navedeni upotreba automatiziranih tehnologija (umjetna inteligencija, strojno učenje) i preispitivanje koje provodi čovjek (npr. podaci koje je dostavio Google). Google i LinkedIn potvrdili su da su identificirali i materijal koji sadržava seksualno zlostavljanje djece koji se nije podudarao s već identificiranim takvim materijalom. Nijedan od pet pružatelja koji su dostavili podatke nije prijavio podatke o mamljenju djece otkrivenom analizom teksta u okviru područja primjene odstupanja iz navedene uredbe.

Izvješća pružatelja znatno su se razlikovala s obzirom na prikupljene podatke o prometu i pripadajuće količine različitih vrsta obrađenih podataka o sadržaju i o prometu.

Podaci o prometu koje su prikupili pružatelji i koji su uključeni u izvješća CyberTipline koja se podnose američkom Nacionalnom centru za nestalu i iskorištavanu djecu (dalje u tekstu „NCMEC”) uključuju (sve ili odabrane) sljedeće podatke:

a)podatke koji se odnose na korisnika / podnositelja prijave / račun (Google, LinkedIn, Microsoft, X);

b)metapodatke koji se odnose na sadržaj / podatke o transakcijama (Google, LinkedIn, Microsoft);

c)podatke koji se odnose na potencijalnu žrtvu (Google);

d)podatke o operacijama zlostavljanja (Google).

Kad je riječ o količini podataka koji se obrađuju u skladu s privremenom uredbom, LinkedIn je izvijestio o obradi 8 milijuna fotografija i videozapisa nastalih u EU-u u razdoblju od 14. srpnja do 31. prosinca 2021. te 21 milijuna fotografija i 63 000 videozapisa nastalih u EU-u 2022. Microsoft je izvijestio da je za potrebe uredbe na globalnoj razini obrađeno 8,9 milijardi fotografija i videozapisa u razdoblju od srpnja do prosinca 2021. te 12,3 milijarde dijelova sadržaja u 2022. Podaci za EU nisu bili dostupni, pa se stoga ne mogu donositi zaključci za potrebe ovog izvješća. Drugi pružatelji nisu dostavili informacije o količinama obrađenih podataka. Od pet pružatelja koji su dostavili izvješća samo je jedan dostavio podatke na odgovarajućoj razini granularnosti.

Kako bi se prikazao cjelokupan kontekst, NCMEC je izvijestio da je zaprimio ukupno 87,2 milijuna fotografija i videozapisa na globalnoj razini i 5,1 milijun fotografija i videozapisa koji se odnose na EU u 2022. te 84,8 milijuna fotografija i videozapisa na globalnoj razini i 1,8 milijuna fotografija i videozapisa koji se odnose na EU u 2021. Riječ je samo o materijalima koje je pružatelj identificirao kao potencijalne materijale koji sadržavaju seksualno zlostavljanje djece, stoga se ne mogu smatrati indikativnima za ukupne količine podataka obrađenih u skladu s privremenom uredbom.

2.1.2. Osnove za obradu u skladu s Uredbom (EU) 2016/679

Pružatelji su izvijestili da su im oslonac bile sljedeće posebne osnove u skladu s Uredbom (EU) 2016/679 (dalje u tekstu „Opća uredba o zaštiti podataka”):

·članak 6. stavak 1. točka (d) Opće uredbe o zaštiti podataka, tj. obrada koja je nužna kako bi se zaštitili životno važni interesi djece i žrtava seksualnog zlostavljanja djece na internetu (Google, Meta, X 2 ),

·članak 6. stavak 1. točka (e) Opće uredbe o zaštiti podataka, tj. obrada koja je nužna za izvršavanje zadaća od javnog interesa (LinkedIn, Microsoft, Meta, X 3 ),

·članak 6. stavak 1. točka (f) Opće uredbe o zaštiti podataka, tj. obrada koja je nužna za potrebe legitimnih interesa:

I.pružatelja kako bi mogao otkriti, spriječiti ili na drugi način suzbiti seksualno zlostavljanje djece na internetu u okviru svojih usluga te kako bi mogao zaštiti druge korisnike, kupce, partnere i javnost od te vrste nezakonitog sadržaja (Google, Meta);

II.žrtava seksualnog zlostavljanja djece i organizacija kojima pružatelj prijavljuje seksualno zlostavljanje djece na internetu (npr. NCMEC) kako bi mogao otkriti, spriječiti i ukloniti seksualno zlostavljanje djece na internetu iz svojih usluga (Google).

2.1.3.Osnova za prijenose osobnih podataka izvan Unije na temelju poglavlja V. Opće uredbe o zaštiti podataka, prema potrebi

Svi su pružatelji izvijestili da se oslanjaju na standardne ugovorne odredbe koje je Komisija odobrila u skladu s člankom 46. stavkom 2. točkom (c) Opće uredbe o zaštiti podataka. Kad je riječ o prijenosima osobnih podataka NCMEC-u, LinkedIn je izvijestio i da se, u mjeri u kojoj je to bilo primjenjivo, oslanjao na odstupanje dopušteno u skladu s člankom 49. stavkom 1. Opće uredbe o zaštiti podataka.

2.1.4.Broj utvrđenih slučajeva seksualnog zlostavljanja djece na internetu, uz razliku između materijala koji sadržava seksualno zlostavljanje djece i mamljenja djece

Tablica br. 1: Broj slučajeva seksualnog zlostavljanja djece na internetu utvrđenih 2021.

U slučaju X-a iz dostavljenih podataka nije jasno odnose li se isključivo na usluge koje ulaze u područje primjene privremene uredbe (brojevno neovisne interpersonalne komunikacijske usluge) ili taj broj obuhvaća i druge usluge (kao što su usluge informacijskog društva). Odnosi se na sve podatke u ovom izvješću povezane s X-om.

Tablica br. 2: Broj slučajeva seksualnog zlostavljanja djece na internetu utvrđenih 2022.

2.1.5.Pravna zaštita za korisnike i ishod 

U skladu s člankom 3. stavkom 1. točkom (g) podtočkom iv. privremene uredbe pružatelji moraju uspostaviti odgovarajuće postupke i mehanizme pravne zaštite kako bi im korisnici mogli podnijeti pritužbe. Osim toga, članak 5. te uredbe sadržava pravila o sudskoj zaštiti.

Pružatelji su izvijestili o provedbi internih postupaka i mehanizama pravne zaštite u slučaju korisnika čiji su računi ograničeni zbog dijeljenja materijala koji sadržava seksualno zlostavljanje djece i/ili s čijih je računa uklonjen sadržaj koji je identificiran kao materijal koji sadržava seksualno zlostavljanje djece, tako da mogu podnijeti žalbu na to ograničenje/uklanjanje i da se njihov slučaj može preispitati zbog pogrešaka.

Izvijestili su o slučajevima u kojima je korisnik podnio pritužbu s pomoću internog mehanizma pravne zaštite ili je podnio pritužbu pravosudnom tijelu zbog pitanja obuhvaćenih područjem primjene uredbe unutar EU-a te o ishodu takvih pritužbi. Nijedan pružatelj osim Microsofta (koji je 2021. i 2022. prijavio 0 pritužbi u oba kanala) nije dostavio zasebne statističke podatke o internoj pravnoj zaštiti i sudskoj zaštiti. Stoga tablice u nastavku obuhvaćaju i postupke interne pravne zaštite i sudske zaštite.

Tablica br. 3: Broj slučajeva u kojima je korisnik podnio pritužbu s pomoću internog mehanizma pravne zaštite ili je podnio pritužbu pravosudnom tijelu te ishod takvih pritužbi 2021.

Tablica br. 4: Broj slučajeva u kojima je korisnik podnio pritužbu s pomoću internog mehanizma pravne zaštite ili je podnio pritužbu pravosudnom tijelu te ishod takvih pritužbi 2022.

2.1.6.Broj i omjeri pogrešaka (lažno pozitivni rezultati) raznih tehnologija koje su upotrijebljene

U skladu s člankom 3. stavkom 1. točkom (e) privremene uredbe pružatelji moraju osigurati da su tehnologije koje se upotrebljavaju dovoljno pouzdane s obzirom na to da u najvećoj mjeri ograničavaju stopu pogrešaka u vezi s otkrivanjem sadržaja koji predstavlja seksualno zlostavljanje djece na internetu.

U tom su pogledu pružatelji izvijestili da za otkrivanje seksualnog zlostavljanja djece na internetu ne primjenjuju svaku tehnologiju zasebno. Umjesto toga provode višeslojni pristup otkrivanju seksualnog zlostavljanja djece na internetu kombiniranjem različitih tehnologija otkrivanja radi veće točnosti. Kako bi smanjili broj pogrešaka odnosno lažno pozitivnih rezultata, svi pružatelji nadopunjuju te tehnologije preispitivanjem koje provodi čovjek. Pružatelji nisu zasebno dostavili broj i omjere pogrešaka (lažno pozitivni rezultati) za svaku tehnologiju koja je upotrijebljena, već su umjesto toga naveli agregirane podatke za sve upotrijebljene tehnologije.

Kako bi utvrdila broj i omjere pogrešaka, većina pružatelja koristi poništavanje odluka o izvršenju, tj. ukupnu stopu vraćanja/poništavanja nakon žalbe (npr. stopa po kojoj je pružatelj ponovno aktivirao onemogućene račune ili sadržaj nakon što je korisnik podnio žalbu). Pristup koji primjenjuju pružatelji ne mora nužno odražavati definiciju „lažnih pozitivnih rezultata” u statističkim podacima.

Prijavljene stope vraćanja/poništavanja nakon žalbe navedene su u nastavku:

Tablica br. 5: Stope vraćanja/poništavanja nakon žalbe

* Razdoblja izvješćivanja 2021. razlikuju se za svakog pružatelja.

2.1.7.Mjere primijenjene za ograničavanje stope pogrešaka i postignuta stopa pogrešaka

U skladu s člankom 3. stavkom 1. točkom (e) privremene uredbe tehnologije koje se upotrebljavaju moraju biti dovoljno pouzdane, a posljedice svih sporadičnih pogrešaka moraju se ispraviti bez odgode. Osim toga, člankom 3. stavkom 1. točkom (g) podtočkom ii. zahtijevaju se ljudski nadzor i, prema potrebi, ljudska intervencija.

Svi pružatelji su izvijestili o primjeni višeslojnog pristupa za otkrivanje i suzbijanje širenja seksualnog zlostavljanja djece na internetu. To uključuje primjenu tehnologija otkrivanja podudaranja hasheva (uključujući PhotoDNA) radi otkrivanja materijala koji sadržava seksualno zlostavljanje djece u kombinaciji s postupcima preispitivanja koje provodi čovjek kako bi se utvrdilo sadržava li medijska datoteka (fotografija ili videozapis) materijal koji sadržava seksualno zlostavljanje djece te ljudski nadzor obrade materijala koji sadržava seksualno zlostavljanje djece.

Pružatelji su izvijestili o primjeni raznih mjera i zaštitnih mehanizama kako bi ograničili i smanjili stopu pogreške pri otkrivanju, uklanjanju i prijavljivanju seksualnog zlostavljanja djece na internetu. Te mjere i mehanizmi uključuju sljedeće (neiscrpan popis) 4 :

I.praćenje i ocjenjivanje kvalitete alata za otkrivanje seksualnog zlostavljanja djece radi veće preciznosti (kako bi otkrivali samo seksualno zlostavljanje djece na internetu) i dohvaćanja podataka (kako ne bi propuštali seksualno zlostavljanje djece na internetu na svojim platformama) (Google, X);

II.preispitivanje i nadzor koje provodi čovjek: revizija primjera medijskih datoteka koje su primjenom tehnologija otkrivanja podudaranja hasheva otkrivene kao materijal koji sadržava seksualno zlostavljanje djece, a koju provode osobe koje pregledavaju materijale ili osposobljeni analitičari (Google, LinkedIn, Meta, Microsoft);

III.označivanje i pregled klastera velikog obujma (Meta);

IV.uvođenje dodatnih postupaka ručnog pregleda kao stalnih provjera kvalitete jedinstvenog digitalnog potpisa (LinkedIn, Microsoft);

V.osobe koje pregledavaju materijale prolaze posebna temeljita osposobljavanja pod vodstvom savjetnika za prepoznavanje materijala koji sadržavaju seksualno zlostavljanje djece kako bi se osigurala točnost preispitivanja koje provodi čovjek (Google);

VI.periodično ocjenjivanje kvalitete rada osoba koje pregledavaju materijale i odluka koje se primjenjuju (Google, X);

VII.druge postupke kontrole kvalitete radi smanjenja broja pogrešaka i hitnih pravnih lijekova, kao što su neovisna provjera jedinstvenog digitalnog potpisa (Google, LinkedIn) i ljudsko preispitivanje svakog još neviđenog materijala koji sadržava seksualno zlostavljanje djece prije prijave (Google);

VIII.razvoj i redovito preispitivanje politika i provedbenih strategija koje provode osposobljeni stručnjaci u području otkrivanja seksualnog zlostavljanja djece na internetu (Google);

IX.sudjelovanje u osiguravanju kvalitete izvješća sustava NCMEC CyberTipline i rješavanju lažno pozitivnih rezultata, prema potrebi (Google, LinkedIn, Meta, Microsoft, X).

2.1.8.Politika zadržavanja i zaštitne mjere za zaštitu podataka primijenjene u skladu s Općom uredbom o zaštiti podataka

U članku 3. stavku 1. točkama (h) i (i) privremene uredbe propisuje se da se relevantni osobni podaci pohranjuju na siguran način samo u određene posebne svrhe i navode se specifikacije povezane s razdobljem pohranjivanja. Osim toga, moraju se poštovati primjenjivi zahtjevi Opće uredbe o zaštiti podataka.

Pružatelji su izvijestili o uvođenju strogih politika zadržavanja podataka i zaštitnih mjera za zaštitu osobnih podataka. Politike zadržavanja podataka razlikuju se prema vrsti podataka. Navode da je razdoblje pohranjivanja u svakom slučaju vremenski ograničeno onako kako se smatra prikladnim s obzirom na vrstu podataka i svrhu obrade te da se na kraju razdoblja pohranjivanja podaci brišu. Detaljnije informacije o praksama zadržavanja podataka pružatelja navedene su u njihovim pravilima/izjavama o privatnosti te u korisničkim ugovorima ili ugovorima o pružanju usluga.

Kad je riječ o medijima za koje je potvrđeno da uključuju materijal koji sadržava seksualno zlostavljanje djece otkriven u okviru područja primjene te uredbe, većina pružatelja (LinkedIn, Meta, Microsoft) primjenjuje politiku zadržavanja od 90 dana. U tom razdoblju sadržaj koji je potvrđen kao materijal koji sadržava seksualno zlostavljanje djece pohranjuje se u posebnom i sigurnom sustavu za pohranjivanje materijala koji sadržava seksualno zlostavljanje djece kojim upravljanju specijalizirani timovi (npr. Microsoftov tim za izvršavanje zakonodavstva i nacionalnu sigurnost). Ti sustavi pohrane automatski brišu pohranjene materijale koji sadržavaju seksualno zlostavljanje djece nakon 90 dana, osim ako je razdoblje pohranjivanja produljeno nakon primitka zakonitih zahtjeva za obradu koji su općenito povezani s agencijama za izvršavanje zakonodavstva koje poduzimaju mjere na temelji izvješća NCMEC-a.

Google je izvijestio da se materijal koji sadržava seksualno zlostavljanje djece otkriven u okviru područja primjene te uredbe ne pohranjuje dulje nego što je nužno za relevantne svrhe na temelju te uredbe, a u svakom slučaju ne dulje od 12 mjeseci od trenutka kad je takav materijal identificiran i prijavljen, uz moguće produljenje na temelju valjanog pravnog zahtjeva za očuvanje.

X (bivši Twitter) izvijestio je da čuva podatke o profilu i njegov sadržaj sve dok postoji korisnički račun, a osobne podatke prikupljene kad korisnici upotrebljavaju njegove usluge najviše 18 mjeseci. Ako korisnik deaktivira račun, X općenito čuva podatke dodatnih 30 dana, a zatim se račun briše. Korisnički podaci povezani s pritužbama i povredama pravila, uključujući informacije o računu počinitelja (npr. identifikatori korišteni pri otvaranju računa: e-adresa ili broj telefona), trajno se zadržavaju kako bi se opetovane prekršitelje pravila spriječilo da stvaraju nove račune, a prekršiteljima pravila platforme X onemogućilo da jednostavno čekaju vrijeme brisanja i da nakon toga nastave kršiti pravila 5 .

Zaštitne mjere za zaštitu osobnih podataka koje provode pružatelji uključuju standardne mjere industrije (ili neke od tih mjera), kao što su (neiscrpan popis) 6 :

I.upotreba tehnika deidentifikacije ili pseudonimizacije i anonimizacije podataka (npr. maskiranje, hashiranje, diferencijalna privatnost) (Google, LinkedIn, Meta, Microsoft);

II.trećim stranama dostavljaju se samo hash vrijednosti radi otkrivanja materijala koji sadržava seksualno zlostavljanje djece (Google, LinkedIn);

III.upotreba standardnog šifriranja industrije (algoritmi i protokoli) za podatke u tranzitu između infrastrukture u privatnom vlasništvu i javnih mreža (Meta);

IV.provedba strategija upravljanja podacima ili sveobuhvatnih programa privatnosti (X, bivši Twitter, Google) i strogih internih ograničenja pristupa podacima (Meta) (npr. primjenjivih na osoblje, dobavljače, posrednike kojima su podaci potrebni kako bi ih mogli obraditi), primjena popisa za kontrolu pristupa u okviru alata za pregled materijala koji sadržava seksualno zlostavljanje djece i zabrane hashiranja (Meta) te stroge ugovorne obveze povjerljivosti koje se primjenjuju na osobe koje imaju pristup;

V.preispitivanje strategija anonimizacije i upravljanja podacima, tj. preispitivanje pravila o privatnosti kako bi se utvrdili, locirali i ublažili potencijalni rizici za privatnost koji proizlaze iz prikupljanja, obrade, pohranjivanja i dijeljenja osobnih podataka, preispitivanje metoda zaštite (Microsoft);

VI.održavanje planova reakcije na sigurnosne incidente za praćenje, otkrivanje i rješavanje svih mogućih sigurnosnih ranjivosti i incidenata u cijeloj infrastrukturi (Google, Meta).

2.1.9.Nazivi organizacija koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece na internetu, a kojima su podaci podijeljeni u skladu s uredbom.

Svi su pružatelji u oba razdoblja izvješćivanja (od srpnja/kolovoza do prosinca 2021. te od siječnja do prosinca 2022.) izvijestili o tome da su se podaci koji su se obrađivali na temelju uredbe razmjenjivali s NCMEC-om. Svi pružatelji koji su dostavili izvješća isto su tako, u skladu s člankom 7. stavkom 1. privremene uredbe, obavijestili Komisiju da su seksualno zlostavljanje djece na internetu u skladu s tom uredbom prijavili NCMEC-u 7 .

2.2.Statistički podaci država članica (članak 8.)

Države članice dužne su u skladu s člankom 8. stavkom 1. privremene uredbe dostaviti statističke podatke o sljedećem:

(a)ukupnom broju prijava otkrivenog seksualnog zlostavljanja djece na internetu koje su pružatelji i organizacije koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece podnijeli nadležnim nacionalnim tijelima za izvršavanje zakonodavstva, uz razlikovanje, ako su takve informacije dostupne, apsolutnog broja slučajeva i onih slučajeva koji su prijavljeni više puta te uz razlikovanje kategorije pružatelja na čijim je uslugama otkriveno seksualno zlostavljanje djece na internetu;

(b)broju djece koja su identificirana mjerama na temelju članka 3., uz razlikovanje prema spolu;

(c)broju osuđenih počinitelja.

Iako je većina država članica dostavila barem djelomične podatke, u mnogim državama članicama nisu uspostavljeni relevantni sustavi prikupljanja podataka i izvješćivanja. Zbog toga se dostavljeni statistički podaci odnose na vrlo različita razdoblja izvješćivanja i znatno se razlikuju kad je riječ o granularnosti. Neke su države članice podnijele godišnje statističke podatke od datuma stupanja na snagu privremene uredbe. Većina ih je dostavila izvješća za kalendarske godine jer možda još nisu imale tehničke mogućnosti za razlikovanje traženih statističkih podataka po godini od datuma stupanja na snagu te uredbe. Nekoliko država članica nije dostavilo nikakve podatke.

Usto valja napomenuti da su u nekim slučajevima statistički podaci pribavljeni iz takozvanih postojećih baza podataka ili iz sustava bilježenja i upravljanja predmetima, odnosno da nisu pribavljeni iz pravih statističkih sustava. Brojke se ponekad pružaju na temelju dinamičkih podataka, što znači da podaci nisu konačni, tj. da su podložni promjenama. Do promjena dolazi, primjerice, ovisno o vremenu prikupljanja (npr. u Sloveniji i Danskoj) nakon završetka većeg broja istraga i sudskih predmeta.

U više država članica nadležna tijela osnivaju nove odjele za istraživanje kaznenih djela povezanih sa seksualnim zlostavljanjem djece na internetu i uspostavljaju centralno izvješćivanje za seksualno zlostavljanje djece na internetu (Latvija, Češka). To bi trebalo olakšati prikupljanje točnijih statističkih podataka u budućnosti.

Njemačka je navela da nije mogla dostaviti statističke podatke u skladu s člankom 8. stavkom 1. privremene uredbe jer je smatrala da nema pravnu osnovu za dobrovoljno otkrivanje 8 . S druge strane, njemački Savezni ured kriminalističke policije na svojoj internetskoj stranici izvješćuje o primitku 89 844 prijave iz NCMEC-a 2022., a NCMEC je naveo da je njemačkim nadležnim tijelima poslao 138 193 prijave 9 . Tri države članice nisu dostavile nikakve podatke ni obrazloženje za to što nisu dostavile izvješće u skladu s navedenom odredbom (Malta, Portugal i Rumunjska).

2.2.1. Ukupan broj prijava otkrivenog seksualnog zlostavljanja djece na internetu

Većina država članica dostavila je određene statističke podatke o ukupnom broju prijava seksualnog zlostavljanja djece na internetu u skladu s člankom 8. stavkom 1. točkom (a) privremene uredbe. Budući da su države članice dostavile podatke za različita razdoblja izvješćivanja, nije se mogao izračunati ukupan broj prijava otkrivenog seksualnog zlostavljanja djece na internetu zaprimljenih na razini EU-a ni za koje razdoblje, kao što je vrijeme provedbe te uredbe.

Države članice uglavnom su dostavile ukupan broj prijava koje su pružatelji ili druge organizacije koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece podnijeli nacionalnim tijelima za izvršavanje zakonodavstva. Budući da većina pružatelja iz SAD-a podnosi prijave NCMEC-u, većina država članica izvijestila je da je sve njihove prijave ili većinu njih dobila od NCMEC-a. Države članice nisu navele broj provedivih prijava, t.j. prijava pogodnih za istragu, no neke su navele broj pokrenutih postupaka, koji je znatno manji. Razlika u broju zaprimljenih prijava i provedenih istraga povezuje se s više razloga, primjerice s time da je određena prijava uključivala materijal koji sadržava seksualno zlostavljanje djece, ali nije sadržavala dovoljno informacija za pokretanje istrage, sa spajanjem prijava ako se više njih odnosi na određenog osumnjičenika ili s time da materijal, iako prikazuje situacije koje uključuju iskorištavanje, nije ocijenjen kao materijal koji predstavlja kazneno djelo na temelju nacionalnog prava. Osim toga, države članice uglavnom nisu razlikovale apsolutni broj slučajeva od onih koji su prijavljeni više puta. U slučajevima u kojima je prijave dostavio NCMEC on je unaprijed kategorizirao prijave koje je zaprimio od pružatelja kao „provedive” ili „informativne”. NCMEC definira provedive prijave kao one koje sadržavaju dostatne podatke za pokretanje istrage. To obično uključuje podatke o korisniku, fotografije i moguću lokaciju. Prijava se kategorizira kao „informativna” ako ne sadržava dostatne podatke ili ako se fotografije smatraju viralnima i već su mnogo puta prijavljene. NCMEC je 2022. označio 49 % prijava kao „provedive”, a 51 % kao „informativne”.

Vrlo je mali broj država članica naveo vrstu pružatelja na čijim je uslugama otkriveno seksualno zlostavljanje djece na internetu (npr. Belgija, Češka, Estonija, Francuska i Poljska), a samo je jedna država članica dostavila detaljnu raščlambu (Belgija).

Slovenija je navela da nije mogla dostaviti brojke koje se odnose samo na kaznena djela za koja je provedena istraga na temelju prijava koje su podnijeli pružatelji i organizacije, već je mogla dostaviti jedino brojke za sve istrage seksualnog zlostavljanja djece na internetu neovisno o izvoru informacija koje su dovele do pokretanja istrage.

Tablica br. 6: Ukupan broj prijava otkrivenog seksualnog zlostavljanja djece na internetu prema izvješćima država članica

S obzirom na to da je NCMEC glavni izvor prijava, korisno je usporediti brojeve prijava koje su zaprimile države članice s onima koje je NCMEC dostavio o prijavama koja su poslane državama članicama. NCMEC je 2021. zaprimio ukupno 29 397 681 prijavu od sudionika iz industrije na globalnoj razini, od čega je 99,7 % (ili 29 309 106) sadržavalo jednu ili više fotografija ili videozapisa seksualnog zlostavljanja djece, 0,15 % (ili 44 155) bilo je povezano s vrbovanjem, a 0,05 % (ili 16 032) s trgovinom djecom u seksualne svrhe. NCMEC je 2022. zaprimio ukupno 32 059 029 prijava, od čega se 99,5 % (ili 31 901 234) odnosilo na fotografije ili videozapise seksualnog zlostavljanja djece, 0,25 % (80 524) na vrbovanje, a 0,06 % (ili 18 336) na trgovinu djecom u seksualne svrhe. U nastavku je navedena raščlamba za EU:

Tablica br. 7: Prijave NCMEC-a o sumnji na seksualno zlostavljanje djece na internetu dostavljene državama članicama EU-a 2021. i 2022.

Znatne razlike između broja prijava 2021. i 2022., koje prikazuju naglo povećanje broja prijava 2022., uvelike su posljedica smanjenja dobrovoljnog otkrivanja u razdoblju od siječnja do kolovoza 2021., kad se privremena uredba još nije primjenjivala.

NCMEC u okviru svojih statističkih podataka po državi članici EU-a ne pravi razliku prema izvoru prijave, konkretno proizlazi li prijava iz brojevno neovisnih interpersonalnih komunikacijskih usluga. Međutim, NCMEC dostavlja statističke podatke o ukupnom broju prijava koje se odnose na EU, a proizlaze iz brojevno neovisnih interpersonalnih komunikacijskih usluga. U 2021. 283 265 prijava koje su se odnosile na države članice proizašle su iz usluga razgovora, slanja poruka ili e-pošte, odnosno 51 % ukupnog broja prijava koje se odnose na EU. Dodatnih 164 645 prijava (30 % ukupnog broja) proizašlo je iz društvenih mreža ili internetskih igraćih platformi, koje također mogu imati integrirane usluge slanja poruka ili razgovora. U 2021. u 3565 prijava koje su se odnosile na EU riječ je bila o vrbovanju. U 2022. 1 015 231 prijava koja se odnosila na države članice proizašla je iz usluga razgovora, slanja poruka ili e-pošte, odnosno 68 % ukupnog broja prijava koje se odnose na EU. Dodatnih 325 847 prijava (22 % ukupnog broja) proizašlo je iz društvenih mreža ili internetskih igraćih platformi, u koje su možda isto tako integrirane usluge slanja poruka ili razgovora. U 2022. u 7561 prijavi koja se odnosila na EU riječ je bila o vrbovanju. I u ovom su slučaju razlike između broja prijava koje proizlaze iz brojevno neovisnih interpersonalnih komunikacijskih usluga 2021. i 2022. posljedica smanjenja dobrovoljnog otkrivanja u razdoblju od siječnja do kolovoza 2021., kad se privremena uredba još nije primjenjivala.

U mnogim slučajevima udio prijava po državi članici otprilike odgovara omjeru stanovništva te države članice u odnosu na stanovništvo EU-a u cjelini, što može ukazivati na usporedivu učestalost seksualnog zlostavljanja djece na internetu u svim državama članicama. Vidljiva su značajna odstupanja kad je riječ o Španjolskoj i Italiji, čiji se postoci čine niskima u odnosu na postotak stanovništva EU-a i u jednoj i u drugoj godini, dok se čini da udio prijava koje se odnose na druge države članice znatno fluktuira (npr. Njemačka, Poljska, Nizozemska, Slovačka). Te se promjene kao takve ne odražavaju na broj slučajeva u izvješćima, pa stoga i dalje nije lako donositi zaključke o korelaciji između prijava i istraga.

Zbog različitih razdoblja izvješćivanja izravna usporedba nije moguća, ali ipak postoje znatne razlike između statističkih podataka koje je dostavio NCMEC i brojki o kojima su izvijestile države članice. Osim toga, NCMEC-ove brojke za države članice isto se tako ne mogu u potpunosti usporediti s brojkama koje su dostavili sudionici iz industrije i koje su navedene u prethodnom odjeljku. Iako se određene razlike mogu pripisati prijavama seksualnog zlostavljanja djece na internetu koje dolaze iz izvora koji nisu interpersonalne komunikacije, to bi zahtijevalo dodatnu analizu jer je isto tako moguće da je riječ o dobrovoljnim mjerama otkrivanja koje se odnose na EU i koje provode pružatelji koji do danas nisu dostavili izvješća Komisiji, s obzirom na popis pružatelja koji dostavljaju izvješća NCMEC-u 12 . Međutim, činjenica da u slučaju većine država članica izgleda postoji znatna razlika između broja prijava za koje NCMEC navodi da su poslane državama članicama i broja prijava za koje države članice navode da su ih primile sugerira da prikupljanje podataka i izvješćivanje koje provode države članice nije potpuno.

Fotografije i videozapisi seksualnog zlostavljanja djece povezani sa svakim od prethodno utvrđenih izvješća NCMEC-a uklonjeni su iz optjecaja. To je posebno važno za žrtve koje trenutačno trpe seksualno zlostavljanje i za osobe koje su preživjele takvo zlostavljanje. Studije su pokazale da ostavljanje fotografija i videozapisa koji prikazuju njihovo zlostavljanje u optjecaju ograničava sposobnost žrtava da prevladaju psihološke posljedice zlostavljanja i vodi sekundarnoj viktimizaciji.

2.2.2. Broj djece koja su identificirana

Većina država članica dostavila je potpune ili djelomične statističke podatke o broju djece koja su identificirana, uz razlikovanje prema spolu, u skladu s člankom 8. stavkom 1. točkom (b) privremene uredbe. Međutim, nekoliko država članica nije dostavilo nikakve podatke ni obrazloženje za to što nisu dostavile izvješće u skladu s navedenom odredbom.

Nekoliko država članica nije dostavilo nikakve statističke podatke ili je dostavilo samo djelomične statističke podatke za razdoblje izvješćivanja, ali navelo je razloge za to. Razlozi uključuju sljedeće:

-djeca žrtve seksualnog zlostavljanja na internetu ne mogu se prebrojati (Francuska),

-podaci nisu dostupni jer nisu pribavljeni u okviru prikupljanja statističkih podataka na nacionalnoj razini ili nacionalna tijela nisu zabilježila te podatke (Danska, Litva),

-podaci se u okviru prikupljanja statističkih podataka na nacionalnoj razini ne razlikuju prema spolu (Belgija, Cipar, Češka, Grčka, Irska, Italija, Litva, Nizozemska),

-podaci u postojećim informacijskim sustavima ne uključuju traženu razinu podrobnosti (Finska),

-podaci se ne prikupljaju (Njemačka).

Nekoliko država članica koje su navele da nisu mogle dostaviti statističke podatke potvrdilo je da se od njihovih nacionalnih tijela tražilo da izmijene svoj postupak registracije za dobrovoljne prijave i istrage te za prikupljanje statističkih podataka (Danska) i/ili ta nacionalna tijela primjenjuju nove informacijske sustave koji bi trebali omogućiti izvješćivanje uz propisanu razinu podrobnosti (Finska).

U jednoj državi članici u podacima navedenima u nastavku nema razlike između djece koja su žrtve seksualnog zlostavljanja na internetu i izvan njega (Mađarska). U određenim slučajevima statistički podaci isto tako obuhvaćaju djecu za koju je utvrđeno da su sama proizvela i učitala taj materijal (samostalno proizvedeni materijal, uglavnom videozapisi) (Češka, Estonija).

Budući da se izvješća država članica uglavnom odnose na različita razdoblja izvješćivanja, nije se mogao izračunati ukupan broj djece koja su identificirana kao žrtve seksualnog zlostavljanja na internetu u EU-u, na godišnjoj razini i/ili u istom razdoblju izvješćivanja.

Tablica br. 8: Broj djece koja su identificirana, uz razlikovanje prema spolu

Na prethodno navedene podatke primjenjuje se niz dodatnih ograničenja. Države članice na temelju postojećih statističkih podataka ne mogu uvijek razdvojiti podatke o žrtvama koje su identificirane na temelju prijava pružatelja od onih koji se, primjerice, odnose na slučajeve u kojima su žrtve same prijavile kazneno djelo ili je to učinio netko tko poznaje žrtvu ili je otkrio kazneno djelo (kako je navela Slovenija). Švedska je navela da su izvješćivanjem obuhvaćena i djeca koja su identificirana s pomoću zapisa razgovora, iako fotografije ili videozapisi zlostavljanja nisu nikad pronađeni niti je utvrđeno da dolaze od te konkretne žrtve.

Općenito govoreći, podaci u tablici br. 8 nisu nužno podaci povezani s obvezama izvješćivanja iz privremene uredbe, koji se odnose samo na žrtve spašene zahvaljujući prijavama koje su podnijeli pružatelji i organizacije koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece u skladu s tom uredbom. Dostavljeni podaci u nekim slučajevima uključuju žrtve koje su identificirane zbog raznih drugih razloga i drugim sredstvima.

Stoga podaci ne omogućuju sveobuhvatan pregled broja djece koja su identificirana kao žrtve seksualnog zlostavljanja djece na internetu u EU-u.

Osim toga, čak i ako je žrtva identificirana, to ne znači nužno da je donesena osuda povezana s tom identifikacijom. U nekim je slučajevima žrtva identificirana, ali u istrazi se nije mogao utvrditi osumnjičenik niti je ona mogla dovesti do osude (Švedska).

Međutim, podaci ukazuju na to da je znatan broj žrtava identificiran zahvaljujući dobrovoljnom prijavljivanju u skladu s privremenom uredbom. To su potvrdila izvješća o predmetima tijela za izvršavanje zakonodavstva, koji se često pokreću isključivo na temelju dobrovoljnog izvješćivanja 13 .

2.2.3. Broj osuđenih počinitelja

Iako je većina država članica ispunila svoje obveze, dvije države članice nisu dostavile nikakve podatke ni obrazloženje za to što nisu dostavile izvješće u skladu s člankom 8. stavkom 1. točkom (c) privremene uredbe.

Nekoliko država članica nije dostavilo nikakve statističke podatke za razdoblje izvješćivanja u skladu s tom odredbom te je navelo sljedeće razloge za to:

-podaci još nisu dostupni (Belgija i Španjolska),

-u središnjoj bazi podataka za evidenciju kaznenih djela nije bilo potrebno zabilježiti prirodu prvog upućivanja (Irska),

-podaci se ne prikupljaju (Njemačka).

Države članice zabilježile su vrlo različite podatke o broju osuđenih počinitelja u razdobljima izvješćivanja koja nisu bila usklađena, kako je prikazano u tablici br. 8.

Tablica br. 9: Broj osuđenih počinitelja

Važno je napomenuti da broj osuda nije jednak broju osuđenih počinitelja jer jedna osoba može biti osuđena za jedno ili više kaznenih djela seksualnog zlostavljanja djece na internetu.

Osim toga, statistički podaci o osudama o kojima se izvješćuje za određeno razdoblje nisu nužno povezani s prijavama koje su zaprimljene u tom konkretnom razdoblju (tj. osuda iz 2022. može primjerice biti povezana s prijavom iz 2021. ili 2020., dok prijava iz 2022. može dovesti do osude tek 2023. ili nakon toga). Tu je činjenicu izričito istaknulo više država članica u svojim izvješćima (Irska, Luksemburg, Švedska).

U nekim slučajevima nisu prikupljeni statistički podaci o tome jesu li do osuda dovele prijave sumnjivih aktivnosti (npr. putem NCMEC-a), odnosno jesu li osude proizašle iz podataka koje je dostavio pružatelj ili javna organizacija (Austrija, Latvija). Samo je Estonija izričito potvrdila da se statistički podaci odnose samo na osude proizašle iz prijava NCMEC-a. Prijave mogu dovesti i do drugih počinitelja koji su predmet istraga i koji su osuđeni u okviru tih istraga (Austrija).

Uglavnom se pretpostavlja da je broj osuda u izvješćima rezultat predmeta koji su okončani vjerojatno nakon što su podnesene žalbe u okviru pravosudnog sustava. U jednoj državi članici (Danska), u kojoj se brojevi pripremaju u skladu s posljednjom odlukom, ti brojevi nisu konačni jer su nakon toga na odluke možda podnesene žalbe.

U određenim slučajevima podaci koji se nalaze u nacionalnim informatičkim sustavima i koje su države članice navele u svojim izvješćima ne uključuju razliku između kaznenih djela koja su počinjena na internetu i izvan njega (Austrija, Luksemburg, Latvija).

Stoga zbog vrlo različitih izvješća koja su podnijele države članice i načina na koji se statistički podaci prikupljaju na nacionalnoj razini nije moguće dati sveobuhvatan pregled broja počinitelja koji su osuđeni za seksualno zlostavljanje djece na internetu u EU-u. U ovom trenutku na temelju raspoloživih podataka nije moguće ni jasno povezati te osude s prijavama koje su podnijeli pružatelji i organizacije koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece u konkretnim razdobljima izvješćivanja u skladu s navedenom uredbom.

2.3.Tehnološki napredak

Tehnologije koje se trenutačno upotrebljavaju za otkrivanje seksualnog zlostavljanja djece na internetu uključuju tehnologije i alate za otkrivanje „poznatog” (tj. prethodno otkrivenog) materijala koji sadržava seksualno zlostavljanje djece, „novog” (tj. onog koji nije prethodno otkriven) materijala koji sadržava seksualno zlostavljanje djece te mamljenja djece (poznatog kao „vrbovanje”).

Primjeri u nastavku neki su od najčešće korištenih alata, no nije riječ o iscrpnom popisu. Mnogi od tih alata stavljeni su na raspolaganje pružateljima, tijelima za izvršavanje zakonodavstva i drugim organizacijama koje mogu dokazati legitimni interes. Ti se alati obično kombiniraju s preispitivanjem koje provodi čovjek kako bi se osigurala najveća moguća točnost.

Ovaj odjeljak uključuje i dodatan tehnološki napredak povezan s umjetnom inteligencijom.

2.3.1. Otkrivanje poznatog materijala koji sadržava seksualno zlostavljanje djece

Postojeće tehnologije za otkrivanje poznatog materijala koji sadržava seksualno zlostavljanje djece oslanjaju se isključivo na automatsku analizu sadržaja 14 i obično se temelje na hashiranju. Tehnologija hashiranja je vrsta digitalnog potpisa. Njome se kreira jedinstveni digitalni potpis fotografije (poznat kao hash ili kontrolni identifikacijski broj), koji se zatim uspoređuje s potpisima (hashevima) drugih fotografija kako bi se pronašle kopije iste fotografije. Tom se tehnologijom otkrivaju samo hashevi koji se podudaraju, a ne „vidi” se nikakav materijal koji se ne podudara s hashem. Isto tako, hash vrijednosti nisu reverzibilne, pa se stoga ne mogu pretvoriti u fotografiju na koju se odnose.

Postoje brojne varijacije i primjene tehnologije hashiranja. Alati koji se upotrebljavaju za otkrivanje poznatog materijala koji sadržava seksualno zlostavljanje djece uključuju: i. Microsoftov PhotoDNA , ii. Googleov CSAI Match , iii. Appleov NeuralHash + Private Set Intersection , iv. Metin SSN++ , v. PDQ i TMK+PDQF , vi. MD5 Hash generator (Skype) i vii. Safer (Thorn).

Najčešće se koristi Microsoftov PhotoDNA, a upotrebljava ga više od 150 organizacija 15 . U upotrebi je više od 10 godina i odlikuje se visokom razinom točnosti. Stopa lažno pozitivnih rezultata procijenjena na temelju testiranja iznosi najviše 1 na 50 milijardi 16 . Stopa pogreške programa PhotoDNA i dalje je izuzetno niska zahvaljujući prirodi te tehnologije, kojom se otkrivaju isključivo kopije prethodno identificiranog sadržaja. Iako izvorni program PhotoDNA otkriva poznati materijal koji sadržava seksualno zlostavljanje djece na fotografijama, dostupna je i verzija za otkrivanje takvog materijala u videozapisima.

Tehnologija se kontinuirano razvija i poboljšava. U svibnju 2023. Microsoft je najavio uvođenje novih mogućnosti za otkrivanje podudaranja koje omogućuju (oko 350 puta) brže pretraživanje, uz istodobno smanjenje troška postupka za otkrivanje podudaranja bez gubitka točnosti. Microsoft je naveo da nova programska biblioteka omogućuje i opsežnije otkrivanje preokrenutih ili rotiranih fotografija. Osim toga, zaklada Internet Watch Foundation izvijestila je o nedavnom poboljšanju svoje tehnologije hashiranja 17 .

2.3.2. Otkrivanje novog materijala koji sadržava seksualno zlostavljanje djece

Tehnologije koje se trenutačno koriste za otkrivanje novog materijala koji sadržava seksualno zlostavljanje djece uključuju klasifikatore i umjetnu inteligenciju koji analiziraju fotografije i videozapise radi otkrivanja uzoraka sadržaja koji se podudaraju s uzorcima nastalima na temelju prethodno identificiranih materijala koji sadržavaju seksualno zlostavljanje djece. Klasifikator je algoritam kojim se podaci razvrstavaju u označene razrede ili kategorije informacija na temelju prepoznavanja uzorka. Klasifikatorima su potrebni podaci za učenje, a njihova se preciznost povećava s količinom unesenih podataka.

Alati za otkrivanje novog materijala koji sadržava seksualno zlostavljanje djece uključuju: i. Safer (Thorn), ii. Googleov klasifikator sigurnosti sadržaja sučelja za programiranje aplikacija , iii. tehnologiju umjetne inteligencije koju koristi Facebook 18 , iv. Amazon Rekognition i v. Hiveovu umjetnu inteligenciju za vizualni sadržaj .

Istraživanje je pokazalo da su automatizirani alati i sustavi kao što su klasifikatori najkorisnija sredstva za otkrivanje materijala koji sadržava seksualno zlostavljanje djece 19 . Stopa točnosti za otkrivanje novog materijala koji sadržava seksualno zlostavljanje djece trenutačno iznosi znatno više od 90 %. Primjerice, Thorn navodi da se njegov klasifikator za materijal koji sadržava seksualno zlostavljanje djece može podesiti na stopu preciznosti od 99 % (za poznati i za novi materijal koji sadržava seksualno zlostavljanje djece), što znači da stopa lažno pozitivnih rezultata iznosi 0,1 % 20 . Ti će se pokazatelji vjerojatno poboljšati uz povećanje upotrebe i povratne informacije.

2.3.3. Otkrivanje vrbovanja

Alati za otkrivanje vrbovanja (mamljenje djece) u komunikaciji koja se temelji na tekstualnim porukama koriste tehnologije isključivo za otkrivanje uzoraka koji ukazuju na moguće konkretne elemente sumnje na seksualno zlostavljanje djece na internetu, a pritom ne mogu donositi zaključke o suštini tog sadržaja. Ta se tehnika primjenjuje na razgovore koji se temelje na tekstualnim porukama. Razgovori se ocjenjuju prema nizu značajki i dodjeljuje im se ukupna ocjena vjerojatnosti koja označava procijenjenu vjerojatnost da razgovor predstavlja vrbovanje. Te ocjene služe kao odrednica, koju utvrđuju pojedinačna društva, s pomoću koje se razgovori označavaju za dodatno preispitivanje koje provodi čovjek.

Alati koji se koriste za operacije otkrivanja teksta uključuju: i. Microsoftov Projekt Artemis 21 , ii. Amazon Rekognition , iii. Spirit AI , tehnologiju koju je razvio Twitch (temelji se na obradi prirodnog teksta, klasifikatori teksta) 22 , iv. interno razvijen Metin klasifikator za „rangiranje”, koji se temelji na strojnom učenju (kombinira internu tehnologiju analize jezika s metapodacima), v. Robloxov alat za filtriranje razgovora 23 i vi. tehničko rješenje koje su razvili Thorn i Tech Coalition na temelju strojnog učenja i klasifikatora 24 .

Kao u slučaju identifikacije novog materijala koji sadržava seksualno zlostavljanje djece, identifikacija sadržaja koji predstavlja vrbovanje zahtijeva da se tehnologija uči s pomoću takvog sadržaja. Pristup takvim podacima za učenje i dalje je najveći problem kad je riječ o razvoju i poboljšanju takvih tehnologija.

Thorn je u partnerstvu s udruženjem Tech Coalition i njegovim članovima pokrenuo novu inicijativu usmjerenu na razvoj tehničkog rješenja za utvrđivanje i suzbijanje pokušaja vrbovanja na internetu, koja će biti korisna i upotrebljiva za niz platformi koje nude komunikaciju koja se temelji na tekstualnim porukama. Temeljit će se na radu Thornova tima na klasifikatoru za obradu prirodnog jezika ili na modelu strojnog učenja, koji otkriva ulaze li internetski sadržaj ili ponašanje u definirane „razrede” koji se odnose na vrbovanje (kao što je izloženost seksualnom materijalu ili traženje susreta uživo s maloljetnom osobom) i provodi kategorizaciju tog sadržaja ili ponašanja te daje ukupnu ocjenu u kojoj je mjeri razgovor povezan s vrbovanjem 25 .

2.3.4. Novi izazovi koje donose chatbotovi s upotrebom umjetne inteligencije i programi koji generiraju umjetnost ili slike

Razvoj i pojava chatbotova s umjetnom inteligencijom, kao što je ChatGPT (veliki jezični model koji je razvio OpenAI ), i programa koji generiraju umjetnost ili slike, kao što su DALL-E 26 i Midjourney 27 , privukli su veliku pozornost javnosti, uglavnom zbog svoje sposobnosti da brzo pruže odgovore spremne za upotrebu ili stvore realistične slike koje se mogu primijeniti u veoma raznolikom kontekstu. Ti su novi alati brzo stekli široku popularnost i primjenu. Vodeće proizvode financiraju i razvijaju tehnološka društva, uključujući Microsoft i Google, a nove tehnologije dorađuju se uz redovitu objavu poboljšanih verzija.

Iako te tehnologije nude velike mogućnosti za poduzeća i građane, mogu predstavljati i rizik za njih. Zabrinutost u pogledu takvih proizvoda uključuje načine na koji ih počinitelji mogu iskoristiti u zlonamjerne svrhe, uključujući seksualno zlostavljanje djece.

Prema izvješću Europola, dok su sve informacije koje pruža ChatGPT besplatno dostupne na internetu, tim se alatom zlonamjernim akterima znatno olakšava da „steknu saznanja o brojnim potencijalnim područjima kriminala bez prethodnog znanja, koja se kreću od toga kako provaliti u nečiji dom, do terorizma, kibernetičkog kriminala i seksualnog zlostavljanja djece”. Time se navedenim osobama omogućuje da bolje razumiju, a zatim i da provedu te vrste kaznenih djela 28 .

Pravila društva OpenAI ograničavaju sposobnost ChatGPT-a da odgovori na upite za seksualni ili nasilni sadržaj ili na sadržaj koji promiče mržnju ili samopovređivanje. Unatoč tomu, te se zaštitne mjere mogu poprilično jednostavno zaobići brzim inženjeringom 29 . Nedavna primjena chatbotova s umjetnom inteligencijom (npr. putem aplikacije Snapchat) pokazuje kako ta komunikacija može dovesti do uvredljivih ili opasnih interakcija, uključujući seksualno zlostavljanje djece 30 . Budući da sve više društava razmatra testiranje chatbota s umjetnom inteligencijom na svojim platformama (Instagram, potencijalno WhatsApp i Messenger), potrebno je pažljivo procijeniti njihov utjecaj na korisnike, a posebice na djecu i mlade.

Ti novi alati jednako tako zahtijevaju odgovarajuće zaštitne mjere kako ih se ne bi zloupotrijebilo za proizvodnju uvjerljivo krivotvorenog materijala koji je stvorila umjetna inteligencija, a sadržava seksualno zlostavljanje djece 31 . S obzirom na tempo razvoja alata umjetne inteligencije uskoro će vjerojatno biti mnogo jednostavnije generirati slike koje nije moguće razlikovati od stvarnih fotografija. To predstavlja nekoliko ključnih problema za suzbijanje seksualnog zlostavljanja djece jer će mogućnosti tijela za izvršavanje zakonodavstva da istražuju i kazneno progone slučajeve koji uključuju materijal koji sadržava seksualno zlostavljanje djece i da identificiraju stvarne žrtve možda biti ozbiljno ugrožene ako na internetu bude prevladavao vrlo realističan računalno generirani materijal koji sadržava seksualno zlostavljanje djece 32 .

Istraživanje je pokazalo da je pristupanje materijalu koji sadržava seksualno zlostavljanje djece često prvi korak prema fizičkom zlostavljanju, bez obzira na to prikazuje li taj materijal stvarno zlostavljanje i iskorištavanje ili je riječ o njihovu realističnom prikazu 33 . Stoga je ograničavanje širenja uvjerljivo krivotvorenog materijala koji je stvorila umjetna inteligencija, a sadržava seksualno zlostavljanje djece, ključni oblik prevencije na strani počinitelja. Drugo ključno pitanje koje zabrinjava jest to da vrbovatelji mogu iskoristiti napredne mogućnosti za kreiranje teksta koje nudi ChatGPT, u kombinaciji s postojećom besplatnom tehnologijom umjetne inteligencije za pretvaranje teksta u sliku, kako bi brzo i jednostavno generirali sadržaj za lažne profile i uvjerljive razgovore s mladima radi ciljanja djece na internetu. „Iako ChatGPT sam po sebi neće potaknuti ljude da postanu vrbovatelji na internetu, on ipak svakome omogućuje da s pomoću tehnologije umjetne inteligencije pospješuje razgovore koje vodi s djecom na internetu kako bi postao uvjerljiviji i vjerodostojniji svojim žrtvama, što olakšava manipulaciju.” 34 Generativna umjetna inteligencija mogla bi doprinijeti porastu broja slučajeva vrbovanja na internetu i čak „u velikoj mjeri automatizirati vrbovanje djece” 35 .

3.ZAKLJUČCI

Provedbene mjere koje poduzimaju pružatelji

Izvješća pružatelja pokazala su da se otkrivanje i prijavljivanje seksualnog zlostavljanja djece na internetu u skladu s privremenom uredbom provodilo primjenom raznih tehnologija i postupaka otkrivanja. Svi su pružatelji izvijestili da su poslali te prijave NCMEC-u. Kad je riječ o vrsti i količinama osobnih podataka s kojima su postupali pružatelji, izvješća su pokazala niz prikupljenih podataka o prometu i različite razine granularnosti obrađenih podataka, zbog čega Komisija ne može pribaviti ujednačene podatke na razini EU-a koji se odnose na pružatelje u predmetnom razdoblju izvješćivanja (od srpnja 2021. do 31. siječnja 2023.).

Pružatelji nisu dostavili broj i omjere pogrešaka (lažno pozitivni rezultati) raznih upotrijebljenih tehnologija raščlanjenih prema pojedinoj tehnologiji, što ukazuje na to da primjenjuju višeslojni pristup otkrivanju seksualnog zlostavljanja djece na internetu dopunjen preispitivanjem koje provodi čovjek. S druge strane, pružatelji uvode niz mjera i zaštitnih mehanizama kako bi se ograničila i smanjila stopa pogreške pri otkrivanju tog zlostavljanja. Osim toga, pružatelji su izvijestili o uvedenim politikama zadržavanja podataka i mehanizmima njihove zaštite, koji su definirani u njihovim pravilima ili izjavama o privatnosti i poduprti standardima industrije o mjerama i mehanizmima zaštite podataka.

Provedbene mjere koje poduzimaju države članice

Privremenom uredbom ujedno se obvezuje države članice (u skladu s njezinim člankom 8.) da dostavljaju ključne statističke podatke o slučajevima seksualnog zlostavljanja djece na internetu koji su otkriveni i prijavljeni njihovim tijelima za izvršavanje zakonodavstva, broju djece koja su identificirana kao žrtve i broju osuđenih počinitelja. Budući da su države članice uglavnom dostavile podatke za različita razdoblja izvješćivanja, na temelju dostavljenih podataka nije se mogao izračunati ukupan broj prijava otkrivenog seksualnog zlostavljanja djece na internetu zaprimljenih na razini EU-a. Osim toga, prijave koja su zaprimile države članice i o kojima su izvijestile mogu se razlikovati od provedivih prijava, tj. od prijava koje se mogu upotrijebiti za istrage, ili od broja prijavljenih slučajeva. Samo je nekoliko država članica navelo vrstu pružatelja na čijim je uslugama otkriveno seksualno zlostavljanje djece na internetu. U određenim slučajevima nacionalni statistički podaci ne uključuju razliku između kaznenih djela koja su bila predmet istrage na temelju prijava koje su podnijeli pružatelji i druge organizacije koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece i kaznenih djela za koja su istrage provedene na temelju drugih prijava.

Stoga iz zaprimljenih izvješća nije bilo moguće izdvojiti ukupan broj djece koja su identificirana kao žrtve seksualnog zlostavljanja na internetu u EU-u uz razlikovanje prema spolu. Neki su od razloga za to sljedeći: dostavljanje podataka za različita razdoblja; različite dobne granice korištene pri definiranju djece kao žrtava seksualnog zlostavljanja na internetu; nacionalni statistički podaci ne prikupljaju se na odgovarajućoj razini podrobnosti zbog tehničkih ili drugih ograničenja; nema razlike između djece koja su identificirana kao žrtve seksualnog zlostavljanja na internetu i izvan njega itd. Neke države članice u svoje statističke podatke uključuju i djecu koja su samostalno proizvela materijal. Što je još važnije, statistički podaci često ne uključuju razliku između žrtava koje su identificirane na temelju prijava koje su podnijeli pružatelji i organizacije koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece u skladu s uredbom i onih koje su identificirane zbog drugih razloga i drugim sredstvima.

Pregled brojeva osuđenih počinitelja također je rascjepkan. U određenim slučajevima takvi podaci nisu dostupni jer u bazama podataka nije zabilježen izvor početnog upućivanja, pa stoga podaci ne uključuju razliku između počinitelja koji su osuđeni na temelju prijava podnesenih u skladu s uredbom i onih osuđenih na temelju drugih prijava. U određenim slučajevima podaci u nacionalnim informatičkim sustavima isto tako ne uključuju razliku između kaznenih djela počinjenih na internetu i onih počinjenih izvan interneta. Štoviše, statistički podaci o osudama prijavljeni za određeno razdoblje nisu nužno povezani s prijavama koje su zaprimljene u tom razdoblju, već se mogu odnositi na prijave iz ranijih razdoblja. Prikupljeni statistički podaci o broju osuda isto se tako mogu razlikovati od broja osuđenih počinitelja (s obzirom na to da jedan počinitelj može biti osuđen više puta).

Neujednačeni statistički podaci koje su dostavile države članice, a koji čini se nisu uvijek prikupljeni sustavno i ispravno, i svi prethodno navedeni čimbenici stoga ne omogućuju sveobuhvatan pregled zaprimljenih prijava seksualnog zlostavljanja djece na internetu, broja djece koja su identificirana kao žrtve tog kaznenog djela ni broja počinitelja osuđenih na razini EU-a u skladu s uredbom. Činjenica da u slučaju većine država članica izgleda postoji znatna razlika između broja prijava za koje NCMEC navodi da su poslane državama članicama i broja prijava za koje države članice navode da su ih primile sugerira da prikupljanje podataka i izvješćivanje nije potpuno. Nekoliko država članica potvrdilo je da su u tijeku strukturne promjene ili reorganizacija njihovih nadležnih tijela koja se odnosi na osnivanje novih odjela odgovornih za istraživanje kaznenih djela povezanih sa seksualnim zlostavljanjem djece na internetu. U nekim državama članicama uvode se i novi informatički sustavi, a od nacionalnih tijela tražilo se da izmijene svoje postupke registracije i statistiku. Time bi se trebali stvoriti povoljni uvjeti za to da države članice u budućnosti mogu pribavljati točnije statističke podatke. Komisija će u svakom slučaju iskoristiti ovlasti koje su joj dodijeljene Ugovorima kako bi se pobrinula da države članice ispunjavaju svoje obveze izvješćivanja u skladu s privremenom uredbom.

Opća razmatranja

Ovo izvješće općenito ukazuje na znatne razlike kad je riječ o izvješćivanju koje pružatelji i države članice provode o podacima koji se odnose na suzbijanje seksualnog zlostavljanja djece na internetu u skladu s privremenom uredbom. Veća standardizacija dostupnih podataka i izvješćivanja o njima, kao što su oni iz Prijedloga uredbe o utvrđivanju pravila za sprečavanje i suzbijanje seksualnog zlostavljanja djece 36 , doprinijela bi stjecanju šire slike o relevantnim aktivnostima u okviru borbe protiv tog kaznenog djela. Čini se da pružatelji i države članice trebaju uložiti dodatan trud kako bi osigurali prikupljanje podataka i izvješćivanje u skladu sa zahtjevima iz privremene uredbe.

Dostupni podaci pokazuju da je u okviru postojećeg sustava dobrovoljnog otkrivanja i prijavljivanja moguće da se za vrijeme preispitivanja koje provodi čovjek utvrdi da materijali koji su automatski označeni kao materijali koji sadržavaju seksualno zlostavljanje djece nisu takvi materijali. To može biti posljedica nedostatka zajedničkog skupa jedinstvenih digitalnih potpisa i drugih pokazatelja za otkrivanje materijala koji sadržavaju seksualno zlostavljanje djece, koji su u EU-u potvrđeni kao nezakoniti, ili različitih pravnih standarda među jurisdikcijama, prije svega između EU-a i SAD-a, osobito kad je riječ o relevantnim definicijama. Podaci ujedno ukazuju na velike razlike u broju zahtjeva za preispitivanje i stopama uspješnosti preispitivanja, što onemogućuje donošenje zaključaka zbog nedostatka informacija prvenstveno o opsegu zahtjevâ za preispitivanje i razlozima vraćanja.

Kad je riječ o zahtjevima iz članka 9. stavka 2. o uvjetima za obradu, dostavljeni podaci ukazuju na to da tehnologije koje se upotrebljavaju odgovaraju tehnološkim aplikacijama koje su osmišljene isključivo za otkrivanje i uklanjanje materijala koji sadržava seksualno zlostavljanje djece na internetu te za njegovo prijavljivanje tijelima za izvršavanje zakonodavstva i organizacijama koje djeluju u javnom interesu protiv seksualnog zlostavljanja djece. Nisu dostavljeni podaci o tome jesu li te tehnologije primijenjene u skladu s najnovijim tehničkim standardima i na način koji najmanje narušava privatnost te o tome jesu li provedeni prethodna procjena učinka na zaštitu podataka iz članka 35. Uredbe (EU) 2016/679 i prethodni postupak savjetovanja iz članka 36. te uredbe.

Kad je riječ o proporcionalnosti te uredbe, glavno je pitanje postiže li se privremenom uredbom ravnoteža koja se u okviru zakonodavstva EU-a nastoji uspostaviti između, s jedne strane, ostvarivanja cilja od općeg interesa koji se odnosi na učinkovito suzbijanje izuzetno teških kaznenih djela o kojima je riječ i potrebe za zaštitom temeljnih prava djece (dostojanstvo, integritet, zabrana nečovječnog ili ponižavajućeg postupanja, privatni život, prava djeteta) i, s druge strane, zaštite temeljnih prava korisnika predmetnih usluga (privatnost, zaštita osobnih podataka, sloboda izražavanja, djelotvoran pravni lijek). Dostupni podaci nisu dostatni za donošenje konačnih zaključaka u tom pogledu. S obzirom na znatan negativan utjecaj seksualnog zlostavljanja na život i prava djeteta pri ocjenjivanju takve proporcionalnosti nije moguće niti bi bilo primjereno primijeniti brojčani standard u smislu broja spašene djece. Međutim, s obzirom na prethodna razmatranja nema naznaka da odstupanje nije proporcionalno.

Unatoč nedostacima dostupnih podataka, koji ne omogućuju uvid u primjenu dobrovoljnih prijava u velikom broju država članica, ti podaci jasno pokazuju da su u razdoblju izvješćivanja identificirane tisuće djece, da je doneseno više od dvije tisuće osuda te da su milijuni fotografija i videozapisa maknuti iz optjecaja, čime se smanjila sekundarna viktimizacija. Stoga se može zaključiti da je dobrovoljno prijavljivanje znatno doprinijelo zaštiti velikog broja djece, među ostalim od kontinuiranog zlostavljanja, te da je privremena uredba djelotvorna.

(1)

Twitter je podnio svoj doprinos prije promjene naziva, a u ostatku ovog izvješća navodit će se kao „X”.

(2)

Meta i X nisu izričito naveli konkretni članak.

(3)

Meta i X nisu izričito naveli konkretni članak.

(4)

     U zagradama su navedeni pružatelji koji su posebno izvijestili o tim konkretnim mjerama. Ako neki pružatelji nisu navedeni, to ne znači da ne provode tu mjeru, već samo da je nisu naveli u svojem izvješću.

(5)

Pravila o privatnosti platforme X, 4. Koliko dugo čuvamo podatke, dostupno na: https://twitter.com/hr/privacy.

(6)

U zagradama su navedeni pružatelji koji su posebno izvijestili o tim konkretnim mjerama. Ako neki pružatelji nisu navedeni, to ne znači da ne provode tu mjeru, već samo da je nisu naveli u svojem izvješću.

(7)

Podaci o organizacijama koje djeluju u javnom interesu i kojima pružatelji prijavljuju seksualno zlostavljanje djece na internetu na temelju te uredbe objavljeni su na https://home-affairs.ec.europa.eu/policies/internal-security/child-sexual-abuse/legal-framework-protect-children_en , u skladu s obvezama Komisije iz članka 8. stavka 2. privremene uredbe.

(8)

Izvješće koje je Njemačka podnijela u skladu s člankom 8. Uredbe (EU) 2021/1232, zaprimljeno 18. listopada 2022. NCMEC sve podatke o zaprimljenim prijavama i podatke povezane s državama članicama EU-a, uključujući Njemačku, objavljuje u svojim izvješćima CyberTipline po zemljama. Vidjeti: NCMEC, 2021 CyberTipline Reports by Country , pristupljeno u srpnju 2023.; NCMEC, 2022 CyberTipline Reports by Country, pristupljeno u srpnju 2023.

(9)

     https://www.bka.de/SharedDocs/Kurzmeldungen/DE/Kurzmeldungen/230623_Mindestspeicherfristen_IP-Adressen.html

(10)

     NCMEC, 2021 CyberTipline Reports by Country , pristupljeno u studenom 2023.

(11)

     NCMEC, 2022 CyberTipline Reports by Country, pristupljeno u studenom 2023.

(12)

Podaci NCMEC-a dostupni su ovdje .

(13)

Vidjeti npr. popis primjera predmeta iz cijelog EU-a koji su pokrenuti zahvaljujući dobrovoljnom prijavljivanju društava iz procjene učinka priložene Prijedlogu uredbe o utvrđivanju pravila za sprečavanje i suzbijanje seksualnog zlostavljanja djece (vidjeti posebice Prilog VII.).

(14)

Pružatelji smatraju da metapodaci nisu učinkovit alat za otkrivanje materijala koji sadržava seksualno zlostavljanje djece. Vidjeti osobito str. 10–11 u Pfefferkorn, R., Stanford Internet Observatory, Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers, 9. rujna 2021.

(15)

Microsoft, Jedinica za kaznena djela na internetu .

(16)

      Testimony of Hany Farid, PhotoDNA developer, to House Committee on Energy and Commerce, Fostering a Healthier Internet to Protect Consumers, 16. listopada 2019.  

(17)

Internet Watch Foundation, The Annual Report 2022 , str. 129–133.

(18)

Više informacija o alatu koji Facebook koristi za proaktivno otkrivanje, s pomoću umjetne inteligencije i strojnog učenja, dječje golotinje i prethodno nepoznatog sadržaja koji uključuje iskorištavanje djece dostupno je ovdje i ovdje .

(19)

Pfefferkorn, R.: Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers, Journal of Online Trust and Safety, veljača 2022., str. 1–38.

(20)

Thorn, Thorn’s Automated Tool to Remove Child Abuse Content at Scale Expands to More Platforms through AWS Marketplace , 24. svibnja 2021.  

(21)

Microsoftov Projekt Artemis razvijen je u suradnji s društvima The Meet Group, Roblox, Kik i Thorn.

(22)

   Više informacija dostupno je na: https://safety.twitch.tv/s/article/Our-Work-to-Combat-Online-Grooming?language=en_US . 

(23)

Roblox filtrira objave i razgovore za igrače u dobi od 12 godina i manje radi otkrivanja neprimjerenog sadržaja i kako bi spriječio objavljivanje osobnih podataka, npr. kućnih adresa. Taj sustav filtriranja obuhvaća sva područja javne i privatne komunikacije u okviru Robloxove platforme. Roblox, Safety Features: Chat, Privacy & Filtering , pristupljeno u srpnju 2023.

(24)

Tech Coalition, New Technology to Help Companies Keep Young People Safe , 20. lipnja 2023.

(25)

Tech Coalition, New Technology to Help Companies Keep Young People Safe , 20. lipnja 2023.

(26)

  DALL-E je sustav umjetne inteligencije koji može stvoriti realistične slike i umjetnost iz opisa na prirodnom jeziku.

(27)

Midjourney je program generativne umjetne inteligencije i usluga koja stvara slike iz opisâ na prirodnom jeziku.

(28)

Europol, ChatGPT – The impact of Large Language Models on Law Enforcement , 2023., ISBN 978-92-95220-57-7, str 7.

(29)

Swanson, S. M., ChatGPT Generated Child Sex Abuse When Asked to Write BDSM Scenarios , Vice, 6. ožujka 2023.; Mitchell, A., ChatGPT gives sick child sex abuse answer, breaking its rules, New York Post, 24. srpnja 2023.; Europol, ChatGPT – The impact of Large Language Models on Law Enforcement , 2023., ISBN 978-92-95220-57-7, str 5.

(30)

Fowler, G.A., Snapchat tried to make a safe AI. It chats with me about booze and sex , The Washington Post, 14. ožujka 2023.; Vincent, J., Instagram is apparently testing an AI chatbot that lets you choose from 30 personalities , The Verge, 7. srpnja 2023.

(31)

Crawford, A., Smith, T., Illegal trade in AI child sex abuse images exposed , BBC, 27. lipnja 2023.

(32)

Thiel, D., Stroebel, M. i Portnoff, R. (2023.). Generative ML and CSAM: Implications and Mitigations . Digitalni repozitorij Stanforda. Dostupno na https://purl.stanford.edu/jv206yg3793 . https://doi.org/10.25740/jv206yg3793 . Str. 2.

(33)

Protect Children, Protect Children’s research in the dark web is revealing unprecedented data on CSAM users , 6. lipnja 2021.; RAINN, What is Child Sexual Abuse Material (CSAM) , 25. kolovoza 2022.

(34)

Breck Foundation, Is artificial intelligence putting children at risk? , 9. veljače 2023., ažurirano 3. travnja 2023.

(35)

Butler, J., AI tools could be used by predators to ‘automate child grooming’, eSafety commissioner warns , The Guardian, 19. svibnja 2023.  

(36)

Prijedlog uredbe Europskog parlamenta i Vijeća o utvrđivanju pravila za sprečavanje i suzbijanje seksualnog zlostavljanja djece, COM(2022) 209 final .