COMMISSIONE EUROPEA

Bruxelles, 19.12.2023

COM(2023) 797 final

RELAZIONE DELLA COMMISSIONE AL PARLAMENTO EUROPEO E AL CONSIGLIO

sull'attuazione del regolamento (UE) 2021/1232 del Parlamento europeo e del Consiglio, del 14 luglio 2021, relativo a una deroga temporanea a talune disposizioni della direttiva 2002/58/CE per quanto riguarda l'uso di tecnologie da parte dei fornitori di servizi di comunicazione interpersonale indipendenti dal numero per il trattamento di dati personali e di altro tipo ai fini della lotta contro gli abusi sessuali online sui minori

INDICE

ELENCO DEI TERMINI E DEGLI ACRONIMI    

1.    INTRODUZIONE    

2.    MISURE DI ATTUAZIONE    

2.1.    Trattamento dei dati personali da parte dei fornitori (articolo 3, lettera g), punto vii))    

2.1.1.    Tipo e volume di dati trattati    

2.1.2. Motivi alla base del trattamento a norma del regolamento (UE) 2016/679    

2.1.3.    Motivi su cui si basano i trasferimenti di dati personali al di fuori dell'Unione a norma
del capo V GDPR, ove applicabile    

2.1.4.    Numero di casi identificati di abusi sessuali online sui minori, con la distinzione fra materiale pedopornografico online e adescamento di minori    

2.1.5.    Ricorsi presentati dagli utenti e relativo esito    

2.1.6.    Numero e tasso di errori (falsi positivi) delle diverse tecnologie utilizzate    

2.1.7.    Misure applicate per limitare il tasso di errore e relativo risultato conseguito    

2.1.8.    Politica di conservazione dei dati e garanzie applicate in materia di protezione
dei dati a norma del GDPR    

2.1.9.    Nomi delle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali
sui minori con le quali sono stati condivisi dati a norma del regolamento    

2.2.    Statistiche degli Stati membri (articolo 8)    

2.2.1. Numero totale di segnalazioni di abusi sessuali online sui minori individuati    

2.2.2. Numero di minori identificati    

2.2.3. Numero di autori di reati condannati    

2.3.    Sviluppi dei progressi tecnologici    

2.3.1. Individuazione di materiale pedopornografico noto    

2.3.2. Individuazione di materiale pedopornografico nuovo    

2.3.3. Individuazione dell'adescamento di minori    

2.3.4. Nuove sfide poste dai chatbot e dai generatori di arte/immagini basati sull'intelligenza artificiale        

3.    CONCLUSIONI    

ELENCO DEI TERMINI E DEGLI ACRONIMI

1.INTRODUZIONE

A norma dell'articolo 9 del regolamento provvisorio (di seguito denominato anche "il regolamento"), la Commissione è tenuta a elaborare una relazione sull'applicazione del regolamento stesso, basandosi sulle relazioni presentate dai fornitori di servizi di comunicazione interpersonale (di seguito denominati "fornitori") in merito al trattamento dei dati personali e sulle statistiche fornite dagli Stati membri. In virtù della suddetta disposizione, nella relazione sull'applicazione la Commissione deve valutare in particolare:

a) le condizioni rilevanti per il trattamento dei dati personali pertinenti e di altri dati trattati a norma del regolamento;

b) la proporzionalità della deroga prevista dal regolamento, inclusa una valutazione delle statistiche presentate dagli Stati membri a norma del relativo articolo 8;

c) gli sviluppi dei progressi tecnologici concernenti le attività contemplate nel regolamento e la misura in cui essi migliorano l'accuratezza e riducono il numero e il tasso di errori (falsi positivi).

La presente relazione sull'applicazione del regolamento provvisorio si basa sui dati ottenuti mediante le relazioni presentate dai fornitori e dagli Stati membri a norma, rispettivamente, dell'articolo 3, paragrafo 1, lettera g), punto vii), e dell'articolo 8. Da tali relazioni sono emerse notevoli disparità per quanto riguarda la disponibilità di dati, i tipi di dati raccolti e di conseguenza anche la comparabilità dei dati raccolti dai fornitori e dagli Stati membri. Poiché il regolamento non fornisce un modello per l'elaborazione delle relazioni, i fornitori hanno condiviso tipi differenti di informazioni che non erano necessariamente comparabili; i servizi della Commissione hanno pertanto richiesto ulteriori informazioni e chiarimenti che consentissero la corretta interpretazione dei dati. La maggior parte degli Stati membri non è stata in grado di fornire dati in tempo utile e taluni non sono riusciti a fornire alcun dato entro la pubblicazione della presente relazione. Ciò ha avuto un impatto significativo sulle tempistiche, sulla completezza e sull'utilità della relazione stessa. Nonostante gli sforzi compiuti per garantire la coerenza e la comparabilità dei dati, permangono notevoli disparità che si riflettono nelle tabelle che seguono, le quali non contengono inoltre dati per tutti i fornitori o gli Stati membri riguardo a tutti i punti trattati.

La presente relazione sull'applicazione mira a fornire una panoramica fattuale dello stato di attuazione del regolamento provvisorio, sulla base dei dati disponibili. La relazione non contiene alcuna interpretazione del regolamento e non prende posizione sul modo in cui è stato interpretato e applicato nella pratica.

2.MISURE DI ATTUAZIONE

2.1.Trattamento dei dati personali da parte dei fornitori (articolo 3, lettera g), punto vii))

L'articolo 3, lettera g), punto vii), del regolamento provvisorio stabilisce le condizioni in base alle quali i fornitori che operano nell'ambito della deroga ivi prevista pubblicano e presentano all'autorità di controllo competente e alla Commissione, entro il 3 febbraio 2022 e successivamente entro il 31 gennaio di ogni anno, una relazione sul trattamento dei dati personali ai sensi del regolamento. Google, LinkedIn, Meta, Microsoft e X (l'ex Twitter) 1 hanno presentato relazioni per il 2021 e il 2022.

2.1.1.Tipo e volume di dati trattati

I fornitori hanno riferito di aver trattato dati sia sul contenuto sia sul traffico.

Per quanto riguarda i dati sul contenuto trattati per individuare gli abusi sessuali online sui minori, tutti i suddetti fornitori hanno menzionato immagini e video. Per individuare corrispondenze con materiale pedopornografico precedentemente identificato, detti fornitori si sono serviti principalmente delle tecnologie di hash matching (raffronto di hash) PhotoDNA e MD5. Lo strumento CSAI Match di Google è stato utilizzato per creare impronte digitali dei video presenti sulle piattaforme e metterli a confronto con i file contenuti nell'archivio di impronte digitali di Google/YouTube (LinkedIn). L'uso di tecnologie automatizzate (apprendimento automatico dell'intelligenza artificiale) e il ricorso alla verifica umana sono stati menzionati in egual misura (ad esempio da Google). Google e LinkedIn hanno confermato di aver identificato anche materiale pedopornografico che non corrispondeva a materiale precedentemente identificato. Nessuno dei cinque fornitori che hanno trasmesso dati ha comunicato dati sull'individuazione dell'adescamento di minori mediante rilevamento del testo nell'ambito di applicazione della deroga prevista dal regolamento provvisorio.

Per quanto riguarda i dati sul traffico raccolti e i volumi dei diversi tipi di dati sul contenuto e sul traffico trattati, le relazioni dei fornitori presentano notevoli differenze.

I dati sul traffico raccolti dai fornitori e inclusi nelle relazioni CyberTipline trasmesse al Centro nazionale per i minori scomparsi e sfruttati (di seguito "NCMEC") degli Stati Uniti comprendono i dati seguenti (o una parte di essi):

a)dati relativi all'utente/al soggetto segnalato/al conto (Google, LinkedIn, Microsoft, X);

b)metadati relativi al contenuto/dati relativi alle operazioni (Google, LinkedIn, Microsoft);

c)dati relativi a una potenziale vittima (Google);

d)dati relativi alle operazioni di abuso (Google).

Per quanto riguarda i volumi di dati trattati a norma del regolamento provvisorio, LinkedIn ha riferito di aver trattato 8 milioni di immagini e video provenienti dall'UE tra il 14 luglio e il 31 dicembre 2021 e 21 milioni di immagini e 63 000 video provenienti dall'UE nel 2022. Microsoft ha riferito di aver trattato, ai fini del regolamento, 8,9 miliardi di immagini e video a livello mondiale tra luglio e dicembre 2021 e 12,3 miliardi di contenuti a livello mondiale nel 2022; non essendo disponibili dati relativi all'UE, non è possibile trarre conclusioni ai fini della presente relazione. Gli altri fornitori non hanno fornito informazioni sui volumi di dati trattati. Dei cinque fornitori che hanno presentato relazioni, pertanto, solo uno ha fornito dati con il livello di granularità richiesto.

Per illustrare il contesto generale, il NCMEC ha riferito di aver ricevuto complessivamente 87,2 milioni di immagini e video a livello mondiale e 5,1 milioni di immagini e video riguardanti l'UE nel 2022, nonché 84,8 milioni di immagini e video a livello mondiale e 1,8 milioni di immagini e video riguardanti l'UE nel 2021. Tali dati riguardano unicamente i contenuti identificati da un fornitore come potenziale materiale pedopornografico e non possono pertanto essere considerati indicativi dei volumi complessivi di dati trattati a norma del regolamento provvisorio.

2.1.2. Motivi alla base del trattamento a norma del regolamento (UE) 2016/679

I fornitori hanno riferito di essersi basati sui seguenti motivi specifici a norma del regolamento (UE) 2016/679 (di seguito "GDPR"):

·articolo 6, paragrafo 1, lettera d), GDPR, ossia trattamento necessario per la salvaguardia degli interessi vitali dei minori e delle vittime di abusi sessuali online sui minori (Google, Meta, X 2 );

·articolo 6, paragrafo 1, lettera e), GDPR, ossia trattamento necessario per l'esecuzione di compiti di interesse pubblico (LinkedIn, Microsoft, Meta, X 3 );

·articolo 6, paragrafo 1, lettera f), GDPR, ossia trattamento necessario per il perseguimento dei legittimi interessi:

I.del fornitore di individuare, prevenire o contrastare in altro modo gli abusi sessuali online sui minori nei suoi servizi e di proteggere altri utenti, clienti, partner e il pubblico da questo tipo di contenuti illegali (Google, Meta);

II.delle vittime di abusi sessuali sui minori e dell'organizzazione alla quale il fornitore segnala gli abusi sessuali online sui minori (ad esempio il NCMEC) di individuare, prevenire ed eliminare gli abusi sessuali online sui minori dai loro servizi (Google).

2.1.3.Motivi su cui si basano i trasferimenti di dati personali al di fuori dell'Unione a norma del capo V GDPR, ove applicabile

Tutti i fornitori hanno riferito di essersi basati su clausole contrattuali tipo approvate dalla Commissione a norma dell'articolo 46, paragrafo 2, lettera c), GDPR. Per i trasferimenti di dati personali al NCMEC, LinkedIn ha altresì riferito di essersi basato, nella misura applicabile, su una deroga ammessa dall'articolo 49, paragrafo 1, GDPR.

2.1.4.Numero di casi identificati di abusi sessuali online sui minori, con la distinzione fra materiale pedopornografico online e adescamento di minori

Tabella n. 1: numero di casi di abusi sessuali online sui minori identificati nel 2021

Nel caso di X, dai dati forniti non emerge chiaramente se il numero indicato si riferisca esclusivamente ai servizi che rientrano nell'ambito di applicazione del regolamento provvisorio (servizi di comunicazione interpersonale indipendenti dal numero) o comprenda anche altri servizi (ad esempio servizi della società dell'informazione). Tale osservazione si applica a tutti i dati relativi a X figuranti nella presente relazione.

Tabella n. 2: numero di casi di abusi sessuali online sui minori identificati nel 2022

2.1.5.Ricorsi presentati dagli utenti e relativo esito 

A norma dell'articolo 3, paragrafo 1, lettera g), punto iv), del regolamento provvisorio, i fornitori devono stabilire procedure e meccanismi di ricorso adeguati per garantire che gli utenti possano presentare loro reclami. L'articolo 5 stabilisce inoltre norme sul ricorso giurisdizionale.

I fornitori hanno riferito di aver istituito simili procedure e meccanismi interni di ricorso a disposizione degli utenti i cui conti siano stati sottoposti a restrizioni a causa della condivisione di materiale pedopornografico e/o i cui contenuti siano stati rimossi in quanto identificati come materiale pedopornografico, in modo che tali utenti abbiano la possibilità di contestare dette misure e far riesaminare il loro caso per individuare eventuali errori.

I fornitori hanno comunicato dati sui casi in cui un utente ha presentato un reclamo in merito a questioni rientranti nell'ambito di applicazione del regolamento attraverso il meccanismo interno di ricorso o rivolgendosi a un'autorità giudiziaria e sull'esito di tali reclami. Nessun fornitore ad eccezione di Microsoft (che ha segnalato 0 reclami attraverso entrambi i canali nel 2021 e nel 2022) ha fornito statistiche distinte sui ricorsi interni e sui ricorsi giurisdizionali; di conseguenza le tabelle che seguono riguardano le procedure di ricorso sia interne sia giurisdizionali.

Tabella n. 3: numero di casi in cui un utente ha presentato un reclamo attraverso il meccanismo interno di ricorso o rivolgendosi a un'autorità giudiziaria ed esito di tali reclami nel 2021

Tabella n. 4: numero di casi in cui un utente ha presentato un reclamo attraverso il meccanismo interno di ricorso o rivolgendosi a un'autorità giudiziaria ed esito di tali reclami nel 2022

2.1.6.Numero e tasso di errori (falsi positivi) delle diverse tecnologie utilizzate

A norma dell'articolo 3, paragrafo 1, lettera e), del regolamento provvisorio, i fornitori devono garantire che le tecnologie utilizzate siano sufficientemente affidabili in quanto limitano il più possibile il tasso di errori relativi all'accertamento di contenuti che rappresentano abusi sessuali online sui minori.

A tale riguardo, i fornitori hanno riferito di non utilizzare ciascuna tecnologia per l'individuazione degli abusi sessuali online sui minori in maniera isolata, ma di attuare piuttosto un approccio a più livelli che combina diverse tecnologie di rilevazione per garantire maggiore accuratezza. Per limitare gli errori o i falsi positivi, tutti i fornitori integrano le tecnologie utilizzate con una verifica umana. I fornitori non hanno comunicato il numero e il tasso di errori (falsi positivi) di ciascuna delle diverse tecnologie utilizzate, fornendo invece dati aggregati riguardanti la totalità delle stesse.

La maggior parte dei fornitori misura il numero e il tasso di errori basandosi sul numero delle decisioni esecutive che sono state revocate, ossia sul tasso complessivo di ripristino/revoca a seguito di ricorso (ad esempio la percentuale di casi in cui il fornitore ha ripristinato contenuti o conti disabilitati a seguito della presentazione di un ricorso da parte dell'utente). L'approccio adottato dai fornitori non riflette necessariamente la definizione di "falsi positivi" nelle statistiche.

Di seguito sono indicati i tassi di ripristino/revoca a seguito di ricorso comunicati dai fornitori.

Tabella n. 5: tassi di ripristino/revoca a seguito di ricorso

*I periodi cui si riferiscono i dati comunicati per il 2021 variano da fornitore a fornitore.

2.1.7.Misure applicate per limitare il tasso di errore e relativo risultato conseguito

A norma dell'articolo 3, paragrafo 1, lettera e), del regolamento provvisorio, le tecnologie utilizzate devono essere sufficientemente affidabili e le conseguenze di eventuali errori occasionali devono essere corrette senza indugio. L'articolo 3, paragrafo 1, lettera g), punto ii), richiede inoltre il controllo e, ove necessario, l'intervento umani.

Tutti i fornitori hanno dichiarato di utilizzare un approccio a più livelli per individuare e contrastare la diffusione degli abusi sessuali online sui minori. Tale approccio prevede l'uso di tecnologie di hash matching (compreso PhotoDNA) per individuare materiale pedopornografico, in combinazione con processi di verifica umana volti a confermare se un file multimediale (immagine o video) contenga effettivamente materiale pedopornografico, cui si affiancano processi di controllo umano sul trattamento di tale materiale.

I fornitori hanno riferito di aver adottato diverse misure e garanzie volte a limitare e ridurre il tasso di errore nell'individuazione, segnalazione e rimozione degli abusi sessuali online sui minori, tra cui (elenco non esaustivo) 4 :

I.monitoraggio e valutazione della qualità delle prestazioni degli strumenti di individuazione degli abusi sessuali sui minori, per migliorarne sia la precisione (affinché individuino solamente abusi sessuali online sui minori) sia il recupero (affinché non sfuggano loro abusi sessuali online sui minori presenti sulle piattaforme) (Google, X);

II.verifica e controllo umani: campioni di contenuti identificati come materiale pedopornografico dalle tecnologie di hash matching sono sottoposti al controllo di verificatori umani/analisti qualificati (Google, LinkedIn, Meta, Microsoft);

III.segnalazione e verifica di cluster ad alto volume (Meta);

IV.introduzione di ulteriori processi di verifica manuale come controlli costanti della qualità degli hash (LinkedIn, Microsoft);

V.organizzazione, sotto la supervisione di un consulente, di valide attività di formazione specialistica destinate ai verificatori umani su come riconoscere il materiale pedopornografico, in modo da garantire l'accuratezza della verifica umana (Google);

VI.valutazioni periodiche di controllo della qualità dei verificatori umani e delle decisioni adottate (Google, X);

VII.altri processi di controllo della qualità volti a ridurre gli errori e correggerli immediatamente, come la verifica indipendente degli hash (Google, LinkedIn) e la verifica umana di ciascun contenuto pedopornografico non precedentemente noto prima della sua segnalazione (Google);

VIII.elaborazione e revisione periodica delle politiche e delle strategie esecutive da parte di esperti specializzati in materia di abusi sessuali online sui minori (Google);

IX.impegno per garantire la qualità delle relazioni CyberTipline del NCMEC e per individuare gli eventuali falsi positivi (Google, LinkedIn, Meta, Microsoft, X).

2.1.8.Politica di conservazione dei dati e garanzie applicate in materia di protezione dei dati a norma del GDPR

All'articolo 3, paragrafo 1, lettera h), il regolamento provvisorio prevede che i dati personali pertinenti siano conservati in modo sicuro unicamente per le finalità ivi indicate e, alla lettera i), stabilisce disposizioni specifiche riguardo al periodo di conservazione. È inoltre necessario garantire il rispetto delle prescrizioni applicabili del GDPR.

I fornitori hanno riferito di aver predisposto solide politiche di conservazione dei dati e garanzie in materia di protezione dei dati personali. Le politiche di conservazione variano a seconda del tipo di dati, ma i fornitori riferiscono che in ogni caso il periodo di conservazione è limitato a un arco di tempo ritenuto opportuno per il tipo di dati e per la finalità del trattamento e che al termine di tale periodo i dati vengono cancellati. Informazioni più dettagliate sulle pratiche di conservazione dei dati adottate dai fornitori sono contenute nelle relative informative sulla privacy e nei relativi contratti di servizio/d'uso.

La maggior parte dei fornitori (LinkedIn, Meta, Microsoft) applica una politica di conservazione di 90 giorni ai contenuti individuati di cui sia stata confermata la natura pedopornografica che rientrano nell'ambito di applicazione del regolamento provvisorio. Durante tale periodo, i contenuti in questione sono conservati in sistemi sicuri e distinti di archiviazione di materiale pedopornografico, gestiti da équipe specializzate (ad esempio il team di Microsoft competente in materia di applicazione della legge e sicurezza nazionale). Tali sistemi di archiviazione cancellano automaticamente il materiale pedopornografico ivi conservato dopo 90 giorni, salvo che il periodo di conservazione sia prorogato, generalmente su richiesta di autorità di contrasto che danno seguito a segnalazioni del NCMEC.

Google ha dichiarato che il materiale pedopornografico individuato che rientra nell'ambito di applicazione del regolamento provvisorio viene conservato per un arco di tempo non superiore a quanto strettamente necessario per le pertinenti finalità indicate nel regolamento e, in ogni caso, non oltre 12 mesi dalla data in cui il materiale pedopornografico è stato identificato e segnalato, ferma restando la possibilità che la durata del periodo di conservazione sia prorogata qualora pervenga una valida richiesta di conservazione per ragioni legali.

X (l'ex Twitter) ha dichiarato di conservare le informazioni e i contenuti del profilo finché il conto dell'utente è attivo e di memorizzare i dati personali raccolti quando l'utente utilizza il servizio per un massimo di 18 mesi. Quando un utente disattiva il proprio conto, X conserva generalmente i dati per altri 30 giorni e successivamente cancella il conto. I dati degli utenti relativi ai reclami e alle violazioni delle politiche, comprese le informazioni dei conti dei trasgressori (ad esempio i dati identificativi utilizzati per creare i conti, come l'indirizzo e-mail o il numero di telefono), sono conservati a tempo indeterminato per garantire che i soggetti recidivi non creino nuovi conti o attendano semplicemente fino alla data di cancellazione dei dati per poi trasgredire nuovamente le politiche 5 .

Le garanzie in materia di protezione dei dati personali predisposte dai fornitori comprendono misure standard del settore (tutte o una selezione di esse), quali (elenco non esaustivo) 6 :

I.uso di tecniche di deidentificazione o pseudonimizzazione e anonimizzazione dei dati (ad esempio mascheratura, hashing, privacy differenziale) (Google, LinkedIn, Meta, Microsoft);

II.fornitura dei soli valori di hash a terzi ai fini dell'individuazione di materiale pedopornografico (Google, LinkedIn);

III.utilizzo della cifratura standard di settore (algoritmi e protocolli) per i dati in transito tra infrastrutture private e reti pubbliche (Meta);

IV.attuazione di strategie di governance dei dati/programmi globali in materia di privacy (X, ex Twitter, Google) e di rigorose restrizioni interne all'accesso ai dati (Meta) (applicate ad esempio al personale, agli appaltatori e agli agenti che necessitano delle informazioni ai fini del loro trattamento), utilizzo di elenchi di controllo degli accessi per tutti gli strumenti di verifica del materiale pedopornografico e divieti relativi agli hash (Meta) e imposizione di rigorosi obblighi contrattuali di riservatezza nei confronti di coloro che vi hanno accesso;

V.riesame delle strategie di anonimizzazione e governance dei dati attraverso l'esecuzione di analisi della riservatezza volte a individuare, gestire e attenuare i potenziali rischi derivanti dalla raccolta, dal trattamento, dalla conservazione e dalla condivisione dei dati personali, riesame delle pratiche di protezione (Microsoft);

VI.predisposizione di piani di risposta agli incidenti relativi alla sicurezza al fine di garantire il monitoraggio, l'individuazione e la gestione di eventuali vulnerabilità e incidenti in tutte le infrastrutture (Google, Meta).

2.1.9.Nomi delle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori con le quali sono stati condivisi dati a norma del regolamento

Tutti i fornitori hanno riferito di aver condiviso con il NCMEC i dati trattati a norma del regolamento provvisorio in entrambi i periodi di riferimento (da luglio/agosto 2021 a dicembre 2021 e da gennaio 2022 a dicembre 2022). Tutti i fornitori che hanno presentato relazioni hanno inoltre comunicato alla Commissione, conformemente all'articolo 7, paragrafo 1, del regolamento provvisorio, di aver segnalato gli abusi sessuali online sui minori a norma del regolamento al NCMEC 7 .

2.2.Statistiche degli Stati membri (articolo 8)

A norma dell'articolo 8, paragrafo 1, del regolamento provvisorio gli Stati membri sono tenuti a fornire statistiche su quanto segue:

(a)il numero totale di segnalazioni di abusi sessuali online sui minori individuati che sono state presentate dai fornitori e da organizzazioni che agiscono nell'interesse pubblico contro l'abuso sui minori alle autorità di contrasto nazionali competenti, distinguendo, laddove tale informazione sia disponibile, tra il numero assoluto di casi e i casi segnalati più volte e il tipo di fornitore nel cui servizio è stato individuato l'abuso sessuale sui minori online;

(b)il numero di minori identificati mediante azioni a norma dell'articolo 3, differenziati per genere;

(c)il numero di autori di reati condannati.

Sebbene la maggior parte degli Stati membri abbia fornito informazioni quantomeno parziali, in molti Stati membri non erano stati istituiti i pertinenti sistemi di raccolta e comunicazione dei dati. Di conseguenza le statistiche fornite riguardano periodi di riferimento molto diversi e differiscono notevolmente in termini di granularità. Diversi Stati membri hanno presentato statistiche annuali a partire dalla data di entrata in vigore del regolamento provvisorio. La maggior parte di essi ha fornito dati basati sugli anni civili, data la probabile mancanza di mezzi tecnici per elaborare le statistiche richieste su base annuale a partire dalla data di entrata in vigore del regolamento. Alcuni Stati membri non hanno fornito alcun dato.

Va inoltre osservato che in alcuni casi i dati statistici sono tratti dalle cosiddette banche dati attuali o da sistemi di registrazione e di gestione dei casi, ossia non da veri e propri sistemi statistici. Le cifre fornite si basano talvolta su dati dinamici, il che significa che i dati non sono definitivi e sono soggetti a cambiamenti. Tali dati variano, ad esempio, in funzione del momento dell'estrazione (ad esempio in Slovenia e Danimarca), man mano che aumenta il numero delle indagini e dei procedimenti giudiziari che giungono a conclusione.

In diversi Stati membri le autorità competenti stanno istituendo nuovi servizi incaricati di indagare sui reati connessi agli abusi sessuali online sui minori e stanno predisponendo sistemi centralizzati per la segnalazione di tali abusi (Lettonia, Cechia). Ciò dovrebbe contribuire alla disponibilità di statistiche più accurate in futuro.

La Germania ha dichiarato di non poter fornire alcuna statistica ai sensi dell'articolo 8, paragrafo 1, del regolamento provvisorio, in quanto riteneva che non vi fosse alcuna base giuridica per l'individuazione volontaria degli abusi 8 . L'Ufficio federale tedesco di polizia giudiziaria (BKA) indica tuttavia sul suo sito web di aver ricevuto 89 844 segnalazioni dal NCMEC nel 2022 e il NCMEC riferisce di aver trasmesso 138 193 segnalazioni alle autorità tedesche 9 . Tre Stati membri non hanno fornito dati né giustificazioni per la mancata comunicazione degli stessi a norma della suddetta disposizione (Malta, Portogallo e Romania).

2.2.1. Numero totale di segnalazioni di abusi sessuali online sui minori individuati

La maggior parte degli Stati membri ha fornito alcune statistiche sul numero totale di segnalazioni di abusi sessuali online sui minori a norma dell'articolo 8, paragrafo 1, lettera a), del regolamento provvisorio. Poiché gli Stati membri hanno fornito dati riguardanti periodi di riferimento diversi, non è stato possibile calcolare il numero totale di segnalazioni di abusi sessuali online sui minori individuati che sono pervenute a livello dell'UE in un determinato periodo, ad esempio nel periodo di attuazione del regolamento.

Gli Stati membri hanno per lo più comunicato il numero totale delle segnalazioni presentate dai fornitori e dalle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori alle autorità di contrasto nazionali. Dato che la maggior parte dei fornitori con sede negli Stati Uniti invia segnalazioni al NCMEC, la maggior parte degli Stati membri ha riferito di aver ricevuto la maggior parte o la totalità delle segnalazioni dal NCMEC. Gli Stati membri non hanno indicato il numero delle segnalazioni "azionabili", cioè idonee a essere oggetto di indagini, ma alcuni hanno comunicato il numero dei casi aperti, che è notevolmente inferiore. La differenza tra le segnalazioni ricevute e i casi oggetto di indagini è stata ricondotta a molteplici fattori, quali: il fatto che la segnalazione riguardasse materiale pedopornografico, ma non contenesse informazioni sufficienti per avviare indagini; il trattamento congiunto di più segnalazioni riguardanti lo stesso sospettato; o il fatto che il materiale, pur mostrando situazioni di sfruttamento, non comportasse un reato ai sensi del diritto nazionale. Gli Stati membri non hanno inoltre operato generalmente una distinzione il numero assoluto di casi e i casi segnalati più volte. Per quanto riguarda le segnalazioni trasmesse dal NCMEC, quest'ultimo aveva già classificato le segnalazioni ricevute dai fornitori come "azionabili" o "informative". Il NCMEC definisce "azionabili" le segnalazioni che forniscono informazioni sufficienti ad avviare indagini, le quali comprendono generalmente informazioni sull'utente, immagini e una possibile collocazione geografica. Le segnalazioni sono classificate come "informative" quando contengono informazioni insufficienti o quando le immagini sono considerate "virali" e sono state segnalate molte volte. Nel 2022 il NCMEC ha classificato il 49 % delle segnalazioni come "azionabili" e il 51 % come "informative".

Solo pochissimi Stati membri hanno indicato il tipo di fornitori sui cui servizi sono stati rilevati gli abusi sessuali online sui minori (ad esempio Belgio, Cechia, Estonia, Francia e Polonia) e solo uno Stato membro ha fornito una ripartizione dettagliata (Belgio).

La Slovenia ha dichiarato di non essere in grado di fornire dati solo sui reati sottoposti a indagini sulla base di segnalazioni presentate dai fornitori e dalle organizzazioni, ma di poter fornire unicamente dati relativi a tutte le indagini sugli abusi sessuali online sui minori, a prescindere dalla fonte delle informazioni che hanno portato all'avvio delle indagini stesse.

Tabella n. 6: numero totale di segnalazioni di abusi sessuali online sui minori individuati, comunicato dagli Stati membri

Dato che il NCMEC è la principale fonte delle segnalazioni, è interessante confrontare i dati sulle segnalazioni ricevute dagli Stati membri con quelli forniti dal NCMEC riguardo alle segnalazioni trasmesse agli Stati membri. Nel 2021 il NCMEC ha ricevuto in totale 29 397 681 segnalazioni dall'industria a livello mondiale, di cui il 99,7 % (ossia 29 309 106) conteneva uno o più video o immagini di abusi sessuali sui minori, lo 0,15 % (ossia 44 155) riguardava l'adescamento e lo 0,05 % (ossia 16 032) era relativo alla tratta di minori a fini sessuali. Nel 2022 il NCMEC ha ricevuto in totale 32 059 029 segnalazioni, di cui il 99,5 % (ossia 31 901 234) riguardava video o immagini di abusi sessuali sui minori, lo 0,25 % (ossia 80 524) concerneva l'adescamento e lo 0,06 % (ossia 18 336) era relativo alla tratta di minori a fini sessuali. La tabella seguente illustra la ripartizione per l'UE.

Tabella n. 7: segnalazioni di presunti abusi sessuali online sui minori trasmesse dal NCMEC agli Stati membri dell'UE nel 2021 e nel 2022

Il notevole aumento delle segnalazioni ricevute nel 2022 rispetto al 2021 è dovuto in gran parte al calo dall'individuazione volontaria degli abusi tra gennaio e agosto 2021, quando il regolamento provvisorio non era ancora applicabile.

Nelle sue statistiche riguardanti ciascuno Stato membro dell'UE, il NCMEC non opera una ripartizione in funzione della fonte della segnalazione, distinguendo in particolare se provenga da un servizio di comunicazione interpersonale indipendente dal numero. Il NCMEC fornisce tuttavia statistiche sul numero complessivo di segnalazioni riguardanti l'UE provenienti da servizi di comunicazione interpersonale indipendenti dal numero. Nel 2021, 283 265 segnalazioni riguardanti gli Stati membri, pari al 51 % di tutte le segnalazioni relative all'UE, provenivano da un servizio di chat, messaggistica o posta elettronica. Altre 164 645 segnalazioni (pari al 30 % del totale) provenivano da piattaforme di social media o di gioco online, che potrebbero disporre anche di servizi integrati di messaggistica o chat. Nel 2021, 3 565 segnalazioni relative all'UE riguardavano l'adescamento di minori. Nel 2022, 1 015 231 segnalazioni riguardanti gli Stati membri, pari al 68 % di tutte le segnalazioni relative all'UE, provenivano da un servizio di chat, messaggistica o posta elettronica. Altre 325 847 segnalazioni (pari al 22 % del totale) provenivano da piattaforme di social media o di gioco online, che potrebbero disporre anche di servizi integrati di messaggistica o chat. Nel 2022, 7 561 segnalazioni relative all'UE riguardavano l'adescamento di minori. Anche in questo caso la notevole differenza tra il numero di segnalazioni presentate nel 2021 e nel 2022 da servizi di comunicazione interpersonale indipendenti dal numero è dovuta al calo dall'individuazione volontaria degli abusi tra gennaio e agosto 2021, quando il regolamento provvisorio non era ancora applicabile.

In molti casi la percentuale di segnalazioni per Stato membro corrisponde grosso modo alla percentuale della popolazione dello Stato membro rispetto alla popolazione complessiva dell'UE, il che potrebbe indicare un'incidenza simile degli abusi sessuali online sui minori nei vari Stati membri. Scostamenti degni di nota sono ravvisabili in relazione alla Spagna e all'Italia, le cui percentuali appaiono basse rispetto alla percentuale della popolazione dell'UE in entrambi gli anni, mentre in altri Stati membri la percentuale delle segnalazioni appare fortemente variabile (ad esempio in Germania, Polonia, Paesi Bassi e Slovacchia). Tali variazioni non trovano corrispondenza nei dati forniti sul numero dei casi ed è quindi ancora una volta difficile trarre conclusioni sulla correlazione tra segnalazioni e indagini.

Alla luce dei diversi periodi di riferimento considerati non è possibile alcun raffronto diretto, ma si rilevano comunque differenze significative tra le statistiche fornite dal NCMEC e i dati comunicati dagli Stati membri. Inoltre i dati forniti dal NCMEC in merito agli Stati membri non possono essere pienamente raffrontati neanche con i dati comunicati dall'industria indicati nella sezione precedente. Sebbene alcune delle differenze possano essere dovute a segnalazioni di abusi sessuali online sui minori provenienti da fonti diverse dai servizi di comunicazione interpersonale, sarebbe opportuna un'ulteriore analisi. È infatti possibile che, dato l'elenco dei fornitori che trasmettono segnalazioni al NCMEC 12 , anche fornitori diversi da quelli che finora hanno presentato relazioni alla Commissione stiano mettendo in atto misure volontarie di individuazione degli abusi riguardanti l'UE. Tuttavia il fatto che per la maggior parte degli Stati membri si rilevi una notevole differenza tra il numero delle segnalazioni che il NCMEC dichiara di aver trasmesso allo Stato membro e il numero delle segnalazioni che lo Stato membro dichiara di aver ricevuto suggerisce che le attività di raccolta e comunicazione dei dati degli Stati membri non sono esaustive.

Per ciascuna segnalazione del NCMEC di cui sopra, le relative immagini e i relativi video di abusi sessuali sui minori sono stati rimossi e tolti dalla circolazione. Ciò è importante in particolare per le attuali vittime e per i sopravvissuti agli abusi sessuali sui minori. Alcuni studi hanno infatti dimostrato che la circolazione persistente di immagini e video che mostrano gli abusi subiti dalle vittime limita la capacità di queste ultime di superare gli effetti psicologici dell'abuso e determina una forma secondaria di vittimizzazione.

2.2.2. Numero di minori identificati

La maggior parte degli Stati membri ha fornito statistiche complete o parziali sul numero di minori identificati, differenziati per genere, a norma dell'articolo 8, paragrafo 1, lettera b), del regolamento provvisorio. Diversi Stati membri non hanno tuttavia fornito dati né giustificazioni per la mancata comunicazione degli stessi a norma della suddetta disposizione.

Alcuni Stati membri non hanno fornito statistiche relative al periodo di riferimento o hanno fornito solo statistiche parziali, ma hanno addotto motivazioni al riguardo, tra le quali figurano le seguenti:

-non è possibile contare i minori che sono vittime di abusi sessuali online (Francia);

-i dati non sono disponibili in quanto non vengono raccolti nell'ambito della rilevazione nazionale di dati statistici / le autorità nazionali non hanno registrato le statistiche in questione (Danimarca, Lituania);

-i dati non vengono disaggregati per genere nell'ambito della rilevazione nazionale di dati statistici (Belgio, Cipro, Cechia, Grecia, Irlanda, Italia, Lituania, Paesi Bassi);

-le informazioni presenti nei sistemi informativi esistenti non dispongono del livello di dettaglio richiesto (Finlandia);

-le informazioni non vengono raccolte (Germania).

Alcuni Stati membri che hanno dichiarato di non essere in grado di fornire le statistiche hanno confermato che le rispettive autorità nazionali sono state invitate a modificare la procedura di registrazione delle segnalazioni volontarie, nonché le modalità di indagine e di raccolta delle statistiche (Danimarca), e/o stanno predisponendo nuovi sistemi informativi che dovrebbero consentire di presentare relazioni con il livello di dettaglio richiesto (Finlandia).

In uno Stato membro, i dati riportati di seguito non distinguono tra minori vittime di abusi sessuali online e offline (Ungheria). In alcuni casi le statistiche comprendono anche i minori che, stando agli accertamenti effettuati, hanno prodotto e caricato autonomamente il materiale individuato (materiale autogenerato, principalmente video) (Cechia, Estonia).

Poiché le relazioni degli Stati membri riguardano periodi di riferimento per lo più diversi tra loro, non è stato possibile calcolare il numero totale di minori identificati come vittime di abusi sessuali online nell'UE all'anno e/o nel corso dello stesso periodo di riferimento.

Tabella n. 8: numero di minori identificati, differenziati per genere

I dati di cui sopra devono essere esaminati alla luce di una serie di ulteriori precisazioni. Non sempre i dati statistici esistenti consentono agli Stati membri di distinguere i casi in cui le vittime sono state identificate sulla base di una segnalazione di un fornitore da quelli in cui, ad esempio, il reato è stato segnalato dalla vittima stessa o da altre persone che conoscevano la vittima o che sono venute a conoscenza del reato (come indicato dalla Slovenia). La Svezia ha riferito che i dati forniti comprendono anche i minori che sono stati identificati mediante trascrizioni di chat, anche qualora non siano mai stati rivenuti video o foto degli abusi o non sia stato accertato che i video o le foto individuati provenissero dalla specifica vittima in questione.

In generale, i dati riportati nella tabella n. 8 non rispondono necessariamente agli obblighi di comunicazione stabiliti dal regolamento provvisorio, che fanno riferimento solo alle vittime soccorse grazie alle segnalazioni presentate dai fornitori e dalle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori ai sensi del regolamento. In alcuni casi i dati forniti comprendono anche le vittime identificate per una serie di altri motivi e con altri mezzi.

Tali dati non consentono dunque di delineare una panoramica completa del numero di minori identificati come vittime di abusi sessuali online nell'UE.

Inoltre, anche nel caso in cui una vittima sia stata identificata, ciò non significa necessariamente che vi sia stata una condanna connessa a tale identificazione. In alcuni casi la vittima è stata identificata, ma le indagini non hanno portato all'individuazione di un sospettato o alla pronuncia di una sentenza di condanna (Svezia).

Dai dati si può tuttavia evincere che un numero significativo di vittime è stato identificato con l'ausilio di segnalazioni volontarie ai sensi del regolamento provvisorio. Ciò è confermato dal fatto che le autorità di contrasto hanno riferito che numerosi casi vengono aperti solo grazie a segnalazioni volontarie 13 .

2.2.3. Numero di autori di reati condannati

Benché la maggior parte degli Stati membri abbia ottemperato ai propri obblighi, due Stati membri non hanno fornito dati né giustificazioni per la mancata comunicazione degli stessi a norma dell'articolo 8, paragrafo 1, lettera c), del regolamento provvisorio.

Diversi Stati membri non hanno fornito statistiche relative al periodo di riferimento a norma della suddetta disposizione, adducendo i motivi seguenti:

-i dati non erano ancora disponibili (Belgio e Spagna);

-la banca dati centrale utilizzata per la registrazione dei reati non richiedeva la registrazione della natura della segnalazione iniziale (Irlanda);

-i dati non vengono raccolti (Germania).

Gli Stati membri hanno fornito dati molto diversificati sul numero di autori di reati condannati e non vi è coerenza nei periodi di riferimento considerati, come illustrato nella tabella n. 8.

Tabella n. 9: numero di autori di reati condannati

È importante osservare che il numero di condanne non equivale al numero di autori di reati condannati, poiché una stessa persona può essere condannata per uno o più reati di abuso sessuale online sui minori.

Inoltre, le statistiche sulle condanne fornite per un determinato periodo non sono necessariamente collegate alle segnalazioni ricevute in quel determinato periodo (ad esempio, una condanna pronunciata nel 2022 potrebbe essere collegata a una segnalazione effettuata nel 2021 o nel 2020 e una segnalazione del 2022 potrebbe portare a una pronuncia di condanna solo nel 2023 o successivamente). Tale circostanza è stata sottolineata esplicitamente nelle relazioni di diversi Stati membri (Irlanda, Lussemburgo, Svezia).

In alcuni casi non sono state raccolte statistiche che illustrino se le segnalazioni di attività sospette (ad esempio tramite il NCMEC) abbiano dato luogo o meno a condanne o, in altri termini, se le condanne pronunciate derivino da informazioni segnalate da un fornitore o da un'organizzazione pubblica (Austria, Lettonia). Solo l'Estonia ha confermato esplicitamente che le statistiche fornite riguardano solo condanne derivanti da segnalazioni del NCMEC. È inoltre possibile che le segnalazioni abbiano portato a identificare ulteriori autori di reati, che sono stati oggetto di indagini e successivamente condannati (Austria).

Nella maggior parte dei casi si presume che il numero delle condanne comunicato coincida con il numero delle sentenze di condanna passate in giudicato, dopo che siano stati eventualmente esperiti i possibili mezzi di impugnazione. In uno Stato membro (Danimarca), laddove le statistiche sono state compilate sulla base delle sentenze più recenti, i numeri non sono definitivi in quanto le sentenze in questione potrebbero essere state successivamente impugnate.

In alcuni casi i dati contenuti nei sistemi informatici nazionali e comunicati dagli Stati membri non distinguono tra reati commessi online e offline (Austria, Lussemburgo, Lettonia).

Le relazioni molto eterogenee presentate dagli Stati membri e il modo in cui i dati statistici vengono raccolti a livello nazionale non consentono dunque di delineare una panoramica completa del numero di autori di reati condannati per abusi sessuali online sui minori nell'UE. Sulla base dei dati disponibili non è inoltre attualmente possibile stabilire chiari legami tra le condanne e le segnalazioni presentate dai fornitori e dalle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori a norma del regolamento provvisorio in specifici periodi di riferimento.

2.3.Sviluppi dei progressi tecnologici

Le tecnologie attualmente utilizzate per individuare gli abusi sessuali online sui minori comprendono tecnologie e strumenti volti a individuare materiale pedopornografico sia "noto" (ossia già individuato in precedenza) che "nuovo" (ossia mai individuato in precedenza) e casi di adescamento di minori.

Gli esempi riportati di seguito includono alcuni degli strumenti maggiormente utilizzati e non costituiscono un elenco esaustivo. Molti di questi strumenti sono messi a disposizione dei fornitori, delle autorità di contrasto e di altre organizzazioni laddove è ravvisabile un interesse legittimo. Di norma l'utilizzo di tali strumenti si accompagna a una verifica umana volta a garantire la massima accuratezza possibile.

La presente sezione illustra inoltre gli ulteriori sviluppi dei progressi tecnologici connessi all'intelligenza artificiale.

2.3.1. Individuazione di materiale pedopornografico noto

Le tecnologie esistenti per individuare materiale pedopornografico noto si avvalgono esclusivamente dell'analisi automatica dei contenuti 14 e si basano generalmente sull'hashing. La tecnologia di hashing consente di creare una firma digitale unica di un'immagine (nota come "hash"), che funziona come una sorta di impronta digitale, la quale che viene poi confrontata con gli hash di altre foto per individuare copie della stessa immagine. Questa tecnologia rileva solo gli hash corrispondenti, senza "vedere" il resto del materiale. I valori di hash sono inoltre irreversibili e non possono quindi essere utilizzati per ricreare un'immagine.

Esistono numerose variazioni e applicazioni della tecnologia di hashing. Tra gli strumenti di cui si rileva l'utilizzo per l'individuazione di materiale pedopornografico noto figurano: i) Microsoft PhotoDNA ; ii) Google CSAI Match ; iii) Apple NeuralHash + Private Set Intersection ; iv) Meta SSN++ ; v) PDQ and TMK+PDQF ; vi) MD5 Hash generator (Skype); vii) Safer (Thorn).

Lo strumento più diffuso è Microsoft PhotoDNA, che viene utilizzato da oltre 150 organizzazioni 15 . PhotoDNA è in uso da oltre dieci anni e garantisce un elevato livello di precisione. Sulla base delle prove effettuate, il tasso di falsi positivi è stimato a non più di uno su 50 miliardi 16 . Il tasso di errore di PhotoDNA rimane estremamente basso a motivo della natura stessa della tecnologia, che rileva esclusivamente copie di contenuti precedentemente identificati. Sebbene la versione originaria di PhotoDNA rilevi la presenza di materiale pedopornografico noto esclusivamente nelle immagini, è disponibile anche una versione in grado di analizzare i video.

La tecnologia è oggetto di costanti sviluppi e miglioramenti. Nel maggio 2023 Microsoft ha annunciato l'introduzione di nuove capacità di raffronto che consentono una ricerca più rapida (di circa 350 volte), riducendo nel contempo i costi del processo di raffronto senza alcuna perdita di accuratezza. Secondo Microsoft, il nuovo archivio di dati consente di individuare in maniera più efficace anche immagini ruotate o speculari. Recentemente la Internet Watch Foundation (IWF) ha inoltre riferito di aver migliorato la sua tecnologia di hashing 17 .

2.3.2. Individuazione di materiale pedopornografico nuovo

Le tecnologie attualmente utilizzate per l'individuazione di materiale pedopornografico nuovo comprendono classificatori e sistemi di intelligenza artificiale (IA) che analizzano immagini e video per rilevare modelli di contenuto che corrispondono a modelli generati sulla base di materiale pedopornografico identificato in precedenza. Un classificatore è un algoritmo che suddivide i dati in classi o categorie di informazioni etichettate attraverso il riconoscimento di modelli. I classificatori devono essere addestrati sulla base di dati e la loro accuratezza migliora quanti più dati vengono utilizzati per il loro addestramento.

Tra gli strumenti utilizzati per individuare materiale pedopornografico nuovo figurano: i) Safer (Thorn); ii) Google Content Safety API ; iii) Facebook's AI technology 18 ; iv) Amazon Rekognition ; v) Hive AI for visual content .

Studi hanno dimostrato che gli strumenti e i sistemi automatizzati, come i classificatori, sono il mezzo più utile per individuare materiale pedopornografico 19 . Per quanto riguarda la rilevazione di materiale pedopornografico nuovo, attualmente il tasso di accuratezza è ben al di sopra del 90 %. Thorn indica ad esempio che il suo classificatore di materiale pedopornografico può essere impostato a un tasso di precisione del 99 % (sia per il materiale noto che per quello nuovo), il che implica un tasso di falsi positivi dello 0,1 % 20 . È probabile che tali parametri miglioreranno man mano che l'uso dello strumento e i feedback ricevuti aumenteranno.

2.3.3. Individuazione dell'adescamento di minori

Gli strumenti per l'individuazione dell'adescamento di minori nelle comunicazioni testuali utilizzano tecnologie volte unicamente a rilevare schemi ricorrenti che evidenziano possibili elementi concreti di presunti abusi sessuali online sui minori, senza essere in grado di dedurre la sostanza del contenuto della comunicazione stessa. Tale tecnica viene applicata alle conversazioni testuali nelle chat, le quali vengono analizzate in funzione di una serie di caratteristiche e ricevono una valutazione compressiva che indica la probabilità stimata che la conversazione costituisca un caso di adescamento di minori. Tali valutazioni sono determinanti per stabilire, in base a criteri definiti dalle singole imprese, se una conversazione debba essere sottoposta a un'ulteriore verifica umana.

Gli strumenti utilizzati per le operazioni di rilevamento del testo comprendono: i) Project Artemis di Microsoft 21 ; ii) Amazon Rekognition ; iii) la tecnologia Spirit AI  di Twitch (basata sul trattamento del linguaggio naturale e su classificatori di testo) 22 ; iv) il classificatore basato sull'apprendimento automatico sviluppato internamente da Meta (che combina la tecnologia di analisi interna del linguaggio con i metadati); v) il sistema di filtraggio delle chat di Roblox 23 ; vi) la soluzione tecnica di Thorn e della Tech Coalition basata sull'apprendimento automatico e sui classificatori 24 .

Come nel caso dell'identificazione di materiale pedopornografico nuovo, per identificare contenuti finalizzati all'adescamento di minori è necessario addestrare la tecnologia sulla base di contenuti analoghi. L'accesso a questo tipo di dati di addestramento rimane la sfida principale per lo sviluppo e il miglioramento di tali tecnologie.

Thorn, in collaborazione con la Tech Coalition e i suoi membri, ha varato una nuova iniziativa volta a sviluppare soluzioni tecniche per individuare e reagire ai tentativi di adescamento online, che saranno utili e disponibili a una serie di piattaforme che offrono sevizi di comunicazione testuale. L'iniziativa si fonderà sul lavoro svolto dal personale di Thorn su un classificatore basato sul trattamento del linguaggio naturale, ossia su un modello di apprendimento automatico, in grado di individuare e classificare contenuti o comportamenti online che rientrano in "classi" definite in relazione all'adescamento (come l'esposizione a materiale sessuale o la ricerca di un incontro di persona con un minore) e di attribuire un punteggio complessivo alla conversazione per stabilire quanto possa configurare un episodio di adescamento 25 .

2.3.4. Nuove sfide poste dai chatbot e dai generatori di arte/immagini basati sull'intelligenza artificiale

Lo sviluppo e la diffusione di chatbot basati sull'IA come ChatGPT (un modello linguistico di grandi dimensioni sviluppato da OpenAI ) e di generatori di arte/immagini come DALL-E 26 e Midjourney 27 hanno attirato fortemente l'attenzione del pubblico, principalmente grazie alla loro capacità di fornire rapidamente risposte pronte all'uso o di creare immagini realistiche che possano essere utilizzate in un vasto numero di contesti diversi. Questi nuovi strumenti hanno acquisito popolarità in breve tempo e il loro uso si è diffuso rapidamente. Le imprese tecnologiche, tra cui Microsoft e Google, finanziano e sviluppano prodotti di punta, perfezionando le nuove tecnologie e introducendo periodicamente versioni migliorate.

Se da un lato tali tecnologie offrono grandi opportunità sia alle imprese che ai cittadini, dall'altro possono anche comportare un rischio per loro. Uno dei motivi di preoccupazione legati a questo genere di prodotti è rappresentato dal fatto che i criminali potrebbero sfruttarli per scopi illeciti, compreso lo sfruttamento sessuale dei minori.

Come sottolineato da Europol, sebbene tutte le informazioni fornite da ChatGPT siano liberamente disponibili su internet, lo strumento rende molto più facile per i malintenzionati acquisire informazioni, senza disporre di alcuna conoscenza pregressa, su un vasto numero di potenziali attività criminose, che vanno dall'introdursi in casa d'altri, al terrorismo, alla criminalità informatica e agli abusi sessuali sui minori. In questo modo tali persone hanno la possibilità di comprendere meglio come commettere tali reati e successivamente di metterli in atto 28 .

Le norme di OpenAI limitano la capacità di ChatGPT di rispondere a richieste riguardanti contenuti sessuali, violenti, che istigano all'odio o che promuovono l'autolesionismo. Tali garanzie possono tuttavia essere aggirate con una certa facilità attraverso un uso strategico del linguaggio utilizzato per formulare le richieste (la cosiddetta "ingegneria dei prompt") 29 . La recente diffusione dei chatbot basati sull'IA (ad esempio da parte di Snapchat) mostra come questi possano anche dare luogo a interazioni offensive o pericolose, compresi abusi sessuali sui minori 30 . Dato che un numero crescente di imprese sta valutando la possibilità di sperimentare l'utilizzo di chatbot basati sull'IA sulle proprie piattaforme (Instagram, potenzialmente WhatsApp e Messenger), l'impatto sugli utenti, in particolare sui bambini e sui giovani, deve essere attentamente valutato.

Sono inoltre necessarie garanzie adeguate affinché i nuovi strumenti non vengano utilizzati impropriamente per produrre materiale pedopornografico realistico ma falso ("deepfake") generato dall'IA 31 . Data la velocità dello sviluppo degli strumenti di IA, è probabile che in breve tempo diverrà molto più semplice generare immagini indistinguibili dalle immagini reali. Tale evoluzione comporta una serie di sfide fondamentali per la lotta contro gli abusi sessuali sui minori, in quanto la capacità delle autorità di contrasto di indagare sui casi di pedopornografia, perseguire i responsabili e identificare le vittime reali potrebbe essere gravemente ostacolata da un'eventuale ampia diffusione online di materiale pedopornografico altamente realistico generato da computer 32 .

Studi hanno dimostrato che l'accesso a materiale pedopornografico è spesso il primo passo verso abusi concreti, a prescindere dal fatto che il materiale ritragga scene di abuso e sfruttamento reali o semplicemente realistiche 33 . Limitare la diffusione di materiale pedopornografico "deepfake" generato dall'IA costituisce dunque una forma cruciale di prevenzione nei confronti degli autori di reati. Un altro motivo fondamentale di preoccupazione è che gli adescatori possano utilizzare le capacità avanzate di produzione di testi di ChatGPT in combinazione con i servizi gratuiti di IA esistenti in grado di generare immagini a partire da testi per produrre rapidamente e con facilità contenuti per profili falsi e conversazioni plausibili con persone giovani allo scopo di adescare minori online. Anche se ChatGPT non incoraggerà di per sé le persone a diventare adescatori online, lo strumento consente a chiunque di alimentare le proprie conversazioni online con minori attraverso la tecnologia dell'IA allo scopo di risultare più persuasivo e credibile per le vittime, contribuendo alla loro manipolazione 34 . L'IA generativa potrebbe contribuire a un aumento dei casi di adescamento online e persino a automatizzare l'adescamento di minori su larga scala 35 .

3.CONCLUSIONI

Misure di attuazione adottate dai fornitori

Dalle relazioni dei fornitori è emerso che questi ultimi hanno adottato misure volte a individuare e segnalare gli abusi sessuali online sui minori a norma del regolamento provvisorio ricorrendo a una serie di tecnologie e processi di rilevazione. Tutti i fornitori hanno dichiarato di aver trasmesso le pertinenti segnalazioni al NCMEC. Per quanto riguarda il tipo e il volume di dati personali trattati dai fornitori, dalle relazioni è emerso che viene raccolta una varietà di dati sul traffico e che il livello di granularità dei volumi di dati trattati è eterogeneo, il che impedisce alla Commissione di ottenere dati uniformi a livello dell'UE per quanto riguarda i fornitori in relazione al periodo di riferimento (luglio 2021-31 gennaio 2023).

I fornitori non hanno comunicato il numero e il tasso di errori (falsi positivi) delle diverse tecnologie utilizzate disaggregati per ciascuna tecnologia, dichiarando di servirsi di un approccio a più livelli per l'individuazione degli abusi sessuali online sui minori, integrato da una verifica umana. Allo stesso tempo i fornitori hanno predisposto un'ampia gamma di misure e garanzie volte a limitare e ridurre il tasso di errore nell'individuazione degli abusi. I fornitori hanno inoltre riferito di disporre di politiche di conservazione dei dati e garanzie in materia di protezione dei dati, definite nelle loro informative sulla privacy e rafforzate dalle garanzie e misure di protezione dei dati standard del settore.

Misure di attuazione adottate dagli Stati membri

Il regolamento provvisorio impone agli Stati membri (a norma dell'articolo 8) di fornire statistiche chiave sui casi di abusi sessuali online sui minori individuati e segnalati alle rispettive autorità di contrasto, sul numero di vittime minorenni identificate e sul numero di autori di reati condannati. Poiché gli Stati membri hanno fornito per lo più dati relativi a periodi di riferimento diversi, non è stato possibile calcolare a partire dai dati comunicati il numero totale di segnalazioni di abusi sessuali online sui minori individuati che sono pervenute a livello dell'UE. Le segnalazioni ricevute e comunicate dagli Stati membri potrebbero inoltre non coincidere con le segnalazioni "azionabili", ossia quelle che potrebbero essere effettivamente utilizzate per lo svolgimento di indagini, o con il numero dei casi segnalati. Solo alcuni Stati membri hanno indicato il tipo di fornitori sui cui servizi sono stati individuati abusi sessuali online su minori. In alcuni casi i dati statistici nazionali non distinguono tra i reati sottoposti a indagini sulla base di segnalazioni presentate dai fornitori e altre organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori e i reati sottoposti a indagini sulla base di altre segnalazioni.

Di conseguenza non è stato possibile evincere dalle relazioni ricevute il numero totale di minori identificati come vittime di abusi sessuali online nell'UE, differenziati per genere. Tra i motivi figurano ad esempio la comunicazione di dati relativi a periodi diversi, i diversi limiti di età utilizzati per definire le vittime di abusi sessuali online sui minori, la mancata raccolta di statistiche con un opportuno livello di dettaglio a livello nazionale a causa di vincoli tecnici o di altro tipo, l'assenza di distinzione tra minori vittime di abusi sessuali online e offline ecc. Alcuni Stati membri includono nelle loro statistiche anche i minori che hanno prodotto materiale autogenerato. Un aspetto ancora più importante è che le statistiche spesso non distinguono tra le vittime identificate sulla base delle segnalazioni presentate dai fornitori e dalle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori a norma del regolamento e quelle identificate sulla base di altri motivi e con altri mezzi.

Anche la panoramica del numero di autori di reati condannati è frammentata. In alcuni casi tali dati non sono disponibili in quanto nelle banche dati non è stata registrata la fonte della segnalazione iniziale e pertanto i dati non distinguono tra autori di reati condannati sulla base di segnalazioni presentate a norma del regolamento e autori di reati condannati sulla base di altre segnalazioni. In alcuni casi i dati contenuti nei sistemi informatici nazionali non distinguono neppure tra reati commessi online e offline. Le statistiche sulle condanne fornite in relazione un determinato periodo non sono inoltre necessariamente collegate alle segnalazioni ricevute nello stesso periodo, ma potrebbero essere collegate a segnalazioni effettuate in periodi precedenti. Anche le statistiche raccolte sul numero delle condanne potrebbero non coincidere con il numero degli autori di reati condannati (dato che una stessa persona potrebbe aver ricevuto più condanne).

L'eterogeneità delle statistiche fornite dagli Stati membri, che non sempre raccolgono i dati in modo sistematico e adeguato, e tutti i fattori summenzionati non consentono dunque di delineare una panoramica completa delle segnalazioni di abusi sessuali online sui minori ricevute, del numero di minori identificati come vittime di tale reato o del numero di autori di reati condannati a livello dell'UE a norma del regolamento. Il fatto che per la maggior parte degli Stati membri si rilevi una notevole differenza tra il numero delle segnalazioni che il NCMEC dichiara di aver trasmesso allo Stato membro e il numero delle segnalazioni che lo Stato membro dichiara di aver ricevuto suggerisce che le attività di raccolta e comunicazione dei dati non sono esaustive. Alcuni Stati membri hanno confermato di aver dato impulso a modifiche strutturali o riorganizzazioni delle proprie autorità competenti legate alla creazione di nuovi servizi responsabili di condurre indagini sui reati connessi agli abusi sessuali online sui minori. In alcuni Stati membri si stanno inoltre introducendo nuovi sistemi informatici e alle autorità nazionali è stato chiesto di modificare le loro procedure di registrazione e le loro statistiche. Ciò dovrebbe creare condizioni favorevoli per disporre in futuro di statistiche più accurate da parte degli Stati membri. In ogni caso la Commissione farà uso dei poteri che i trattati le conferiscono ove ciò sia necessario a garantire che gli Stati membri rispettino i loro obblighi di comunicazione a norma del regolamento provvisorio.

Considerazioni generali

Nel complesso, la presente relazione mette in luce notevoli disparità nella comunicazione dei dati relativi alla lotta contro gli abusi sessuali online sui minori a norma del regolamento provvisorio da parte sia dei fornitori che degli Stati membri. Una maggiore standardizzazione dei dati disponibili e della loro comunicazione, come previsto nella proposta di regolamento per la prevenzione e la lotta contro l'abuso sessuale su minori 36 , contribuirebbe a delineare un quadro migliore delle attività pertinenti alla lotta contro tale reato. Emerge inoltre la necessità di ulteriori sforzi da parte dei fornitori e degli Stati membri per garantire che i dati vengano raccolti e comunicati conformemente alle prescrizioni del regolamento provvisorio.

I dati disponibili mostrano che, nell'ambito dell'attuale sistema di individuazione e segnalazione volontarie di abusi sessuali online sui minori, è possibile che contenuti identificati con modalità automatiche come possibile materiale pedopornografico risultino non essere di natura pedopornografica a seguito di una verifica umana. Ciò può essere dovuto alla mancanza di un insieme comune di hash e di altri indicatori per individuare materiale pedopornografico la cui illegalità sia stata confermata nell'UE, o alla diversità delle norme giuridiche previste dai vari ordinamenti, in particolare tra il diritto dell'UE e quello degli Stati Uniti, segnatamente per quanto riguarda le definizioni pertinenti. Dai dati emergono inoltre notevoli differenze nel numero di richieste di riesame e nei tassi di accoglimento di tali istanze, che non consentono di trarre conclusioni al riguardo, data la mancanza di informazioni in particolare sulla portata delle richieste di riesame e sui motivi del ripristino di contenuti.

Per quanto riguarda le disposizioni dell'articolo 9, paragrafo 2, sulle condizioni per il trattamento, le informazioni fornite indicano che le tecnologie utilizzate corrispondono ad applicazioni tecnologiche concepite al solo scopo di individuare e rimuovere materiale pedopornografico online e di segnalarlo alle autorità di contrasto e alle organizzazioni che agiscono nell'interesse pubblico contro gli abusi sessuali sui minori. Non sono state fornite informazioni a conferma del fatto che le tecnologie utilizzate fossero conformi allo stato dell'arte e le meno invasive della vita privata, né informazioni in merito allo svolgimento di una valutazione d'impatto preventiva sulla protezione dei dati a norma dell'articolo 35 del regolamento (UE) 2016/679 e di una procedura di consultazione preventiva di cui all'articolo 36 di tale regolamento.

Per quanto riguarda la proporzionalità del regolamento provvisorio, la questione centrale è se il regolamento raggiunga l'equilibrio che il legislatore dell'Unione intendeva garantire tra, da un lato, il conseguimento dell'obiettivo di interesse generale di contrastare efficacemente i reati estremamente gravi di cui trattasi e la necessità di tutelare i diritti fondamentali dei minori (dignità, integrità, divieto di trattamenti inumani o degradanti, vita privata, diritti del minore) e, dall'altro, la salvaguardia dei diritti fondamentali degli utenti dei servizi interessati (riservatezza, protezione dei dati personali, libertà di espressione, ricorso effettivo). I dati disponibili non sono sufficienti per trarre conclusioni definitive al riguardo. Non è possibile né sarebbe opportuno utilizzare uno standard numerico per valutare la proporzionalità in funzione del numero dei minori soccorsi, dato il significativo impatto negativo sulla vita e sui diritti dei minori cagionato dagli abusi sessuali. Ciononostante, alla luce di quanto precede, non vi sono indicazioni del fatto che la deroga non sia proporzionata.

Malgrado le carenze dei dati disponibili, che non consentono di tracciare un quadro dell'uso delle segnalazioni volontarie in un numero considerevole di Stati membri, dai dati disponibili emerge chiaramente che nel periodo di riferimento sono stati identificati migliaia di minori, sono state pronunciate più di due migliaia di condanne e sono stati tolti dalla circolazione milioni di immagini e video, riducendo la vittimizzazione secondaria. Si può pertanto concludere che le segnalazioni volontarie hanno contribuito in misura significativa alla protezione di un numero considerevole di minori, anche da abusi in corso. In tal senso, il regolamento provvisorio appare efficace.

(1)

     Twitter ha trasmesso il proprio contributo prima del cambiamento di denominazione; nel prosieguo della presente relazione verrà utilizzata la denominazione "X".

(2)

     Meta e X non hanno fatto esplicito riferimento all'articolo in questione.

(3)

     Meta e X non hanno fatto esplicito riferimento all'articolo in questione. 

(4)

   I fornitori indicati tra parentesi sono quelli che hanno comunicato le specifiche misure menzionate. Se taluni prestatori non figurano nell'elenco, ciò non significa che non attuino la misura in questione, ma solo che non l'hanno menzionata nella loro relazione.

(5)

     Informativa sulla privacy di X, "4. Per quanto tempo conserviamo le informazioni", consultabile all'indirizzo:

(6)

     I fornitori indicati tra parentesi sono quelli che hanno comunicato le specifiche misure menzionate. Se taluni prestatori non figurano nell'elenco, ciò non significa che non attuino la misura in questione, ma solo che non l'hanno menzionata nella loro relazione.

(7)

     Le informazioni sulle organizzazioni che agiscono nell'interesse pubblico a cui i fornitori segnalano gli abusi sessuali online sui minori a norma del regolamento provvisorio sono pubblicate all'indirizzo https://home-affairs.ec.europa.eu/policies/internal-security/child-sexual-abuse/legal-framework-protect-children_en?prefLang=it , conformemente agli obblighi in capo alla Commissione di cui all'articolo 8, paragrafo 2, del regolamento.

(8)

     Relazione presentata dalla Germania a norma dell'articolo 8 del regolamento (UE) 2021/1232, ricevuta il 18 ottobre 2022. Il NCMEC pubblica tutti i dati sulle segnalazioni ricevute e relative agli Stati membri dell'UE, compresa la Germania, nelle relazioni CyberTipline per paese. Cfr. NCMEC, 2021 CyberTipline Reports by Country , fonte consultata a luglio 2023; NCMEC, 2022 CyberTipline Reports by Country, fonte consultata a luglio 2023.

(9)

     https://www.bka.de/SharedDocs/Kurzmeldungen/DE/Kurzmeldungen/230623_Mindestspeicherfristen_IP-Adressen.html

(10)

   NCMEC, 2021 CyberTipline Reports by Country , fonte consultata a novembre 2023.

(11)

   NCMEC, 2022 CyberTipline Reports by Country, fonte consultata a novembre 2023.

(12)

     I dati del NCMEC sono disponibili qui .

(13)

     Ad esempio, un elenco di casi selezionati a campione in tutta l'UE che sono stati aperti grazie a segnalazioni volontarie da parte di imprese è consultabile nella valutazione d'impatto che accompagna la proposta di regolamento per la prevenzione e la lotta contro l'abuso sessuale su minori (cfr. in particolare l'allegato 7).

(14)

     I fornitori non considerano i metadati uno strumento efficace per individuare materiale pedopornografico. Cfr. in particolare pagg. 10-11 di Pfefferkorn R., Stanford Internet Observatory, "Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers", 9 settembre 2021.

(15)

     Microsoft, Digital Crimes Unit .

(16)

      Testimonianza di Hany Farid, sviluppatore di PhotoDNA, resa dinanzi alla commissione per l'energia e il commercio della Camera dei rappresentanti del Congresso degli Stati Uniti, dal titolo "Fostering a Healthier Internet to Protect Consumers", 16 ottobre 2019.  

(17)

     Internet Watch Foundation (IWF), " The Annual Report 2022 ", pagg. 129-133.

(18)

     Cfr. qui e qui per ottenere maggiori informazioni sullo strumento di Facebook volto a individuare in modo proattivo contenuti precedentemente sconosciuti che ritraggono scene di nudità minorile e di sfruttamento di minori utilizzando l'IA e l'apprendimento automatico.

(19)

     Pfefferkorn, R.: "Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers", Journal of Online Trust and Safety, febbraio 2022, pagg. 1-38.

(20)

     Thorn, " Thorn's Automated Tool to Remove Child Abuse Content at Scale Expands to More Platforms through AWS Marketplace ", 24 maggio 2021.

(21)

     Lo strumento Project Artemis di Microsoft è stato sviluppato in collaborazione con The Meet Group, Roblox, Kik e Thorn.

(22)

   Per maggiori informazioni, cfr.: https://safety.twitch.tv/s/article/Our-Work-to-Combat-Online-Grooming?language=it  

(23)

     Roblox filtra i post e le chat dei giocatori di età pari e inferiore a 12 anni per rilevare la presenza di contenuti inappropriati e impedire la diffusione di informazioni personali, come ad esempio l'indirizzo della propria abitazione. Il sistema di filtraggio si applica a tutte le comunicazioni scambiate attraverso Roblox, sia pubbliche che private. Roblox, " Funzioni di sicurezza: chat, privacy e filtri ", fonte consultata a luglio 2023.

(24)

     Tech Coalition, " New Technology to Help Companies Keep Young People Safe ", 20 giugno 2023.

(25)

     Tech Coalition, " New Technology to Help Companies Keep Young People Safe ", 20 giugno 2023.

(26)

     DALL-E è un sistema di IA in grado di creare immagini realistiche e artistiche a partire da una descrizione formulata utilizzando il linguaggio naturale.

(27)

     Midjourney è un programma e un servizio di IA generativa che crea immagini a partire da descrizioni formulate utilizzando il linguaggio naturale.

(28)

     Europol, " ChatGPT - The impact of Large Language Models on Law Enforcement ", 2023, ISBN 978-92-95220-57-7, pag. 7.

(29)

     Swanson, S. M., " ChatGPT Generated Child Sex Abuse When Asked to Write BDSM Scenarios " , Vice, 6 marzo 2023; Mitchell, A., " ChatGPT gives sick child sex abuse answer, breaking its rules", New York Post, 24 luglio 2023; Europol, " ChatGPT - The impact of Large Language Models on Law Enforcement ", 2023, ISBN 978-92-95220-57-7, pag. 5.

(30)

     Fowler G.A., " Snapchat tried to make a safe AI. It chats with me about booze and sex ", The Washington Post, 14 marzo 2023; Vincent, J., " Instagram is apparently testing an AI chatbot that lets you choose from 30 personalities ", The Verge, 7 luglio 2023.

(31)

     Crawford A., Smith T., " Illegal trade in AI child sex abuse images exposed ", BBC, 27 giugno 2023.

(32)

     Thiel, D., Stroebel, M., e Portnoff, R. (2023), "  Generative ML and CSAM: Implications and Mitigations ", Stanford Digital Repository, disponibile agli indirizzi https://purl.stanford.edu/jv206yg3793 , https://doi.org/10.25740/jv206yg3793 , pag. 2.

(33)

     Protect Children, " Protect Children's research in the dark web is revealing unprecedented data on CSAM users ", 6 giugno 2021; " RAINN, What is Child Sexual Abuse Material (CSAM) ", 25 agosto 2022.

(34)

     Breck Foundation, " Is artificial intelligence putting children at risk? " , 9 febbraio 2023, aggiornato il 3 aprile 2023.

(35)

     Butler J., " AI tools could be used by predators to 'automate child grooming', eSafety commissioner warns " , The Guardian, 19 maggio 2023.

(36)

     Proposta di regolamento del Parlamento europeo e del Consiglio che stabilisce norme per la prevenzione e la lotta contro l'abuso sessuale su minori ( COM(2022) 209 final ).