Bruxelles, le 19.12.2023

COM(2023) 797 final

RAPPORT DE LA COMMISSION AU PARLEMENT EUROPÉEN ET AU CONSEIL

sur la mise en œuvre du règlement (UE) 2021/1232 du Parlement européen et du Conseil du 14 juillet 2021 relatif à une dérogation temporaire à certaines dispositions de la directive 2002/58/CE en ce qui concerne l’utilisation de technologies par les fournisseurs de services de communications interpersonnelles non fondés sur la numérotation pour le traitement de données à caractère personnel et d’autres données aux fins de la lutte contre les abus sexuels commis contre des enfants en ligne


TABLE DES MATIÈRES

TERMINOLOGIE ET ACRONYMES    

1.    INTRODUCTION    

2.    MESURES DE MISE EN ŒUVRE    

2.1.    Traitement des données à caractère personnel par les fournisseurs [article 3, paragraphe 1, point g) vii)]    

2.1.1.    Type et volumes de données traitées    

2.1.2. Motifs justifiant le traitement en vertu du règlement (UE) 2016/679    

2.1.3.    Motif justifiant les transferts de données à caractère personnel en dehors de l’Union en vertu du chapitre V du RGPD, le cas échéant    

2.1.4.    Nombre de cas d’abus sexuels commis contre des enfants en ligne, recensés en établissant une distinction entre les contenus pédopornographiques et la sollicitation d’enfants    

2.1.5.    Recours introduits par les utilisateurs et suites qui leur ont été réservées    

2.1.6.    Nombre et ratio d’erreurs (faux positifs) des différentes technologies utilisées    

2.1.7.    Mesures appliquées pour limiter le taux d’erreurs, et taux d’erreurs atteint    

2.1.8.    Politique de conservation et garanties en matière de protection des données appliquées en vertu du RGPD    

2.1.9.    Nom des organismes agissant dans l’intérêt public contre les abus sexuels commis sur des enfants avec lesquels des données ont été partagées en vertu du règlement provisoire.    

2.2.    Statistiques des États membres (article 8)    

2.2.1. Nombre total de signalements d’abus sexuels commis contre des enfants en ligne    

2.2.2. Nombre d’enfants identifiés    

2.2.3. Nombre d’auteurs condamnés    

2.3.    Évolution des progrès technologiques    

2.3.1. Détection des contenus pédopornographiques connus    

2.3.2. Détection des nouveaux contenus pédopornographiques    

2.3.3. Détection du pédopiégeage    

2.3.4. Nouveaux défis posés par les chatbots (agents conversationnels reposant sur l’intelligence artificielle) et les générateurs d’images/de visuels    

3.    CONCLUSION    

TERMINOLOGIE ET ACRONYMES

Terme/acronyme

Définition

IA

Intelligence artificielle

API (application programming interfaces)

Interfaces de programmation d’application

CG-CSAM (computer-generated child sexual abuse material)

Contenus pédopornographiques générés par ordinateur

ChatGPT (Chat Generative Pre-trained Transformer)

Générateur de contenus reposant sur l’intelligence artificielle. Développé par OpenAI, ChatGPT est un agent conversationnel (chatbot) reposant sur les grands modèles de langage (LLM) qui permet à ses utilisateurs d’affiner un discours et de tenir une conversation en fonction de la longueur, du format, du style, du degré de détail et de la langue souhaités.

Classificateurs

Forme d’intelligence artificielle. Algorithme qui trie les données en classes ou en catégories.

Classificateur de l’API «Content Safety»

Le classificateur de l’API «Content Safety» mis au point par Google utilise l’accès programmatique et l’intelligence artificielle pour classer et hiérarchiser des milliards d’images en vue de les examiner.

CSA (child sexual abuse)

Abus sexuels commis sur des enfants

CSAI Match

Mise au point par les ingénieurs de YouTube, CSAI Match est une technologie qui sert à repérer la remise en ligne de contenus pédopornographiques précédemment décelés dans des vidéos.

CSAM (child sexual abuse material)

Matériel relatif à des abus sexuels sur enfants (images et vidéos montrant des scènes d’abus sexuels commis sur des enfants)

Directive contre l’exploitation sexuelle des enfants

Directive 2011/93/UE du Parlement européen et du Conseil du 13 décembre 2011 relative à la lutte contre les abus sexuels et l’exploitation sexuelle des enfants, ainsi que la pédopornographie et remplaçant la décision-cadre 2004/68/JAI du Conseil (JO L 335 du 17.12.2011, p. 1)

CSEA (child sexual exploitation and abuse)

Exploitation sexuelle des enfants et violences sexuelles commises à leur encontre

Abus sexuels commis contre des enfants en ligne

Expression regroupant les trois types d’abus sexuels commis sur des enfants définis dans la directive contre l’exploitation sexuelle des enfants, à savoir: la pédopornographie, le spectacle pornographique et la sollicitation d’enfants (pédopiégeage), tels que définis dans le règlement provisoire (article 2, point 4)

UE

Union européenne

RGPD

Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) (JO L 119 du 4.5.2016, p. 1)

Pédopiégeage

Agissements d’un prédateur qui établit une relation de confiance avec un enfant dans le but de l’exploiter sexuellement ou de commettre des abus sexuels à son encontre. Comportement anciennement désigné par l’expression «sollicitation d’enfants», telle que définie à l’article 6 de la directive contre l’exploitation sexuelle des enfants.

Code de hachage

Code qui résulte de la transformation, au moyen d’un algorithme mathématique (la «fonction de hachage»), des données figurant dans un fichier en une séquence alphanumérique qui devient la signature unique de ce fichier, également dénommée «valeur de hachage».

Règlement provisoire

Règlement (UE) 2021/1232 du Parlement européen et du Conseil du 14 juillet 2021 relatif à une dérogation temporaire à certaines dispositions de la directive 2002/58/CE en ce qui concerne l’utilisation de technologies par les fournisseurs de services de communications interpersonnelles non fondés sur la numérotation pour le traitement de données à caractère personnel et d’autres données aux fins de la lutte contre les abus sexuels commis contre des enfants en ligne (JO L 274 du 30.7.2021, p. 41)

LLM (large language model)

Grand modèle de langage. Le LLM est un modèle reposant sur l’intelligence artificielle entraîné, au moyen d’algorithmes de deep learning (apprentissage profond), à reconnaître, à générer, à traduire et/ou à résumer de grands volumes d’écrits et de données textuelles.

MD5

Algorithme de chiffrement qui sert à authentifier les messages sur Ιnternet

SSN++ de Meta

Développé par Meta, SSN++ est un modèle d’IA qui permet de détecter les quasi-doublons.

NCMEC

Le National Center for Missing & Exploited Children est un organisme privé à but non lucratif établi aux États-Unis auquel les fournisseurs de services en ligne sont tenus de signaler, en vertu de la loi américaine, les cas potentiels d’abus sexuels commis contre des enfants dont ils sont témoins sur leurs réseaux.

PDQ et TMK+PDQF

Outils utilisés par Facebook pour détecter les contenus préjudiciables. PDQ est une technologie de mise en correspondance de photos; TMK+PDQF est une technologie de mise en correspondance de vidéos.

PhotoDNA

Outil de reconnaissance d’images le plus communément utilisé. Disponible gratuitement moyennant la signature d’un contrat de licence, il repose sur la technologie du hachage et est conçu pour éviter son utilisation abusive à d’autres fins que la détection des abus sexuels commis contre des enfants.

1.INTRODUCTION

En vertu de l’article 9 du règlement provisoire (ci-après également dénommé le «règlement»), la Commission est tenue d’élaborer un rapport relatif à la mise en œuvre dudit règlement, sur la base des rapports présentés par les fournisseurs de services de communications interpersonnelles (ci-après les «fournisseurs») concernant le traitement qu’ils réservent aux données à caractère personnel et sur la base des statistiques fournies par les États membres. Selon les termes de la disposition susmentionnée, dans ce rapport de mise en œuvre, la Commission examine en particulier:

a) les conditions relatives au traitement des données à caractère personnel et autres données énoncées dans le règlement;

b) la proportionnalité de la dérogation prévue dans le règlement, y compris une analyse des statistiques fournies par les États membres en vertu de son article 8;

c) l’évolution des progrès technologiques relatifs aux activités couvertes par le règlement et la mesure dans laquelle cette évolution améliore la précision et diminue le nombre et le ratio d’erreurs (faux positifs).

Le présent rapport de mise en œuvre établi au titre du règlement provisoire s’appuie sur les données communiquées par les fournisseurs et les États membres en vertu, respectivement, de l’article 3, paragraphe 1, point g) vii), et de l’article 8 dudit règlement. Les informations communiquées ont mis en lumière d’importantes disparités en ce qui concerne la disponibilité des données, la nature des données recueillies et, partant, la comparabilité des données recueillies par les fournisseurs et les États membres. Le règlement ne contenant aucun modèle de rapport, les fournisseurs ont communiqué des informations de nature différente qui n’étaient pas forcément comparables; les services de la Commission ont donc entrepris des activités de suivi afin de garantir l’interprétation correcte des données. La majorité des États membres n’ont pas pu fournir de données dans les délais impartis et certains d’entre eux n’ont pas été en mesure d’en fournir avant la publication du présent rapport, ce qui a eu d’importantes répercussions sur sa date de publication, son exhaustivité et son utilité. Malgré les efforts déployés pour garantir la cohérence des données et leur comparabilité, d’importantes disparités subsistent. Elles apparaissent dans les tableaux présentés ci-dessous. En outre, tous les fournisseurs et tous les États membres n’ont pas systématiquement fourni des données sur tous les points.

Le présent rapport de mise en œuvre vise à donner, sur la base des données disponibles, un aperçu factuel de l’état d’avancement de la mise en œuvre du règlement provisoire. Dans ce rapport, les services de la Commission ne suggèrent aucune interprétation du règlement et n’émettent aucun avis sur la manière dont il a été interprété et appliqué dans la pratique.



2.MESURES DE MISE EN ŒUVRE

2.1.Traitement des données à caractère personnel par les fournisseurs [article 3, paragraphe 1, point g) vii)]

L’article 3, paragraphe 1, point g) vii), du règlement provisoire fixe les conditions dans lesquelles les fournisseurs agissant en vertu de la dérogation qu’il prévoit doivent publier et soumettre à l’autorité de contrôle compétente ainsi qu’à la Commission, au plus tard le 3 février 2022, et au plus tard le 31 janvier de chaque année par la suite, un rapport sur le traitement des données à caractère personnel dans le cadre de ce règlement. Google, LinkedIn, Meta, Microsoft et X (ex-Twitter) 1 ont présenté des rapports pour 2021 et 2022.

2.1.1.Type et volumes de données traitées

Les fournisseurs ont déclaré traiter à la fois des données relatives au contenu et des données relatives au trafic.

En ce qui concerne les données relatives au contenu traitées pour détecter les abus sexuels commis contre des enfants en ligne, tous les fournisseurs susmentionnés ont indiqué traiter des images et des vidéos. À cet effet, ils ont principalement eu recours aux technologies de comparaison PhotoDNA et MD5, reposant sur le hachage, pour détecter les correspondances de contenus pédopornographiques précédemment répertoriés: (ci-après le «matériel relatif à des abus sexuels sur enfants») L’outil CSAI Match de Google a été utilisé pour générer l’empreinte numérique des vidéos publiées sur les plateformes et les comparer avec les fichiers figurant dans le répertoire d’empreintes numériques de Google/YouTube (LinkedIn). Le recours à la technologie automatisée (apprentissage automatique reposant sur l’intelligence artificielle) et la vérification humaine ont également été mentionnés (par Google notamment). Google et LinkedIn ont confirmé procéder également au repérage de contenus pédopornographiques ne correspondant pas à des contenus précédemment répertoriés. Aucun des cinq fournisseurs ayant fourni des données n’a indiqué avoir procédé à la détection, par analyse textuelle, d’actes de sollicitation d’enfants dans le cadre de la dérogation prévue par le règlement.

En ce qui concerne les données recueillies relatives au trafic et le volume respectif des différents types de données traitées en matière de contenu et de trafic, les rapports des fournisseurs varient considérablement.

Parmi les données relatives au trafic collectées par les fournisseurs et communiquées dans les rapports CyberTipline transmis au NCMEC (National Center for Missing and Exploited Children) figurent les données suivantes (en tout ou en partie):

a)des données relatives à l’utilisateur/à la personne signalée/au compte (Google, LinkedIn, Microsoft, X);

b)des métadonnées relatives au contenu/aux transactions (Google, LinkedIn, Microsoft);

c)des données relatives aux victimes potentielles (Google);

d)des données relatives aux actes abusifs (Google).

Pour ce qui est du volume des données traitées dans le cadre du règlement provisoire, LinkedIn a signalé avoir traité 8 millions d’images et de vidéos provenant de l’UE entre le 14 juillet et le 31 décembre 2021, ainsi que 21 millions d’images et 63 000 vidéos provenant de l’UE en 2022. Microsoft a signalé avoir traité, aux fins du règlement, 8,9 milliards d’images et de vidéos provenant du monde entier entre juillet et décembre 2021, et 12,3 milliards d’éléments de contenu provenant du monde entier en 2022. Les chiffres relatifs à l’UE n’étant pas disponibles, aucune conclusion ne peut être tirée aux fins du présent rapport. Les autres fournisseurs n’ont pas fourni d’informations sur le volume des données traitées. Par conséquent, sur les cinq fournisseurs ayant présenté un rapport, un seul a fourni des données présentant le degré de détail requis.

Afin de pouvoir mieux cerner le contexte global, il convient de préciser que le NCMEC a indiqué avoir reçu au total 87,2 millions d’images et de vidéos provenant du monde entier et 5,1 millions d’images et de vidéos provenant de l’UE en 2022, ainsi que 84,8 millions d’images et de vidéos provenant du monde entier et 1,8 million d’images et de vidéos provenant de l’UE en 2021. Il s’agit là uniquement des contenus ayant été repérés par les fournisseurs comme constituant potentiellement du matériel pédopornographique; ces chiffres ne peuvent donc pas être considérés comme représentatifs des volumes globaux de données traitées au titre du règlement provisoire.

2.1.2. Motifs justifiant le traitement en vertu du règlement (UE) 2016/679

Les fournisseurs ont déclaré s’appuyer sur les motifs spécifiques prévus aux articles suivants du règlement (UE) 2016/679 (ci-après le «RGPD»):

·l’article 6, paragraphe 1, point d), du RGPD, dans le sens où le traitement est nécessaire à la sauvegarde des intérêts vitaux des enfants et des victimes d’abus sexuels commis contre des enfants en ligne (Google, Meta, X 2 );

·l’article 6, paragraphe 1, point e), du RGPD, dans le sens où le traitement est nécessaire à l’exécution d’une mission d’intérêt public (LinkedIn, Microsoft, Meta, X 3 );

·l’article 6, paragraphe 1, point f), du RGPD, dans le sens où le traitement est nécessaire aux fins des intérêts légitimes poursuivis par:

I.les fournisseurs, s’agissant de détecter, de prévenir ou de combattre d’une quelconque manière les abus sexuels commis sur leurs services en ligne à l’encontre d’enfants, et de protéger les autres utilisateurs, clients, partenaires ainsi que le public contre ce genre de contenu illicite (Google, Meta);

II.les enfants victimes d’abus sexuels et les organismes auxquels les fournisseurs signalent les abus sexuels commis contre des enfants en ligne (le NCMEC, par exemple), s’agissant de détecter, d’empêcher et de bloquer la publication de contenus pédopornographiques sur leurs services (Google).

2.1.3.Motif justifiant les transferts de données à caractère personnel en dehors de l’Union en vertu du chapitre V du RGPD, le cas échéant

Tous les fournisseurs ont déclaré s’appuyer sur des clauses contractuelles types approuvées par la Commission conformément à l’article 46, paragraphe 2, point c), du RGPD. En ce qui concerne les transferts de données à caractère personnel au NCMEC, LinkedIn a également indiqué s’appuyer, le cas échéant, sur une dérogation prévue à l’article 49, paragraphe 1, du RGPD.



2.1.4.Nombre de cas d’abus sexuels commis contre des enfants en ligne, recensés en établissant une distinction entre les contenus pédopornographiques et la sollicitation d’enfants

Tableau nº 1: nombre de cas d’abus sexuels commis contre des enfants en ligne recensés en 2021

Fournisseur

Nombre d’éléments contenant du matériel pédopornographique recensés en 2021

Remarques

Google

33 comptes Google Chat

Nombre de comptes Google Chat appartenant à des utilisateurs de l’UE sur lesquels des abus sexuels commis contre des enfants en ligne ont été détectés au moyen de technologies automatisées au cours de la période comprise entre le 2 août 2021 et le 31 décembre 2021. Aucune donnée n’a été fournie quant au nombre d’éléments de contenu détectés.

LinkedIn

31 éléments de contenu

31 éléments ayant fait l’objet d’une vérification manuelle se sont avérés être des contenus pédopornographiques et ont été communiqués au NCMEC; 6 de ces éléments étaient des contenus pédopornographiques précédemment répertoriés; les 25 éléments restants étaient des contenus inconnus.

Meta

340 000 comptes

Nombre de comptes détectés entre le 8 novembre 2021 et le 31 décembre 2021 depuis lesquels au moins un élément contenant du matériel pédopornographique a été envoyé dans un fil de discussion incluant un utilisateur provenant de l’UE.

Microsoft

6 600 éléments de contenu

6 600 éléments (images individuelles ou vidéos) confirmés comme étant des contenus pédopornographiques, détectés dans l’Union européenne sur plus de 20 000 contenus détectés dans le monde entre juillet 2021 et décembre 2021.

X (ex-Twitter)

532 898 comptes

Nombre de comptes (de l’UE ou du monde entier, origine non précisée) désactivés pour violation de la politique de X en matière d’exploitation sexuelle des enfants entre le 2 août 2021 et le 31 décembre 2021.

Dans le cas des données fournies par X, rien n’indique si elles concernent exclusivement des services relevant du champ d’application du règlement provisoire (services de communications interpersonnelles non fondés sur la numérotation) ou si le chiffre communiqué comprend également d’autres services (tels que les services de la société de l’information). C’est le cas de toutes les données relatives à X figurant dans le présent rapport.

Tableau nº 2: nombre de cas d’abus sexuels commis contre des enfants en ligne recensés en 2022

Fournisseur

Nombre d’éléments contenant du matériel pédopornographique recensés en 2022

Remarques

Google

2 045 éléments de contenu

Contenus détectés au moyen de technologies automatisées dans 752 comptes Google appartenant à des utilisateurs provenant de l’UE et signalés au NCMEC.

LinkedIn

2 éléments de contenu

LinkedIn a détecté 2 images et 0 vidéo confirmées comme étant des contenus pédopornographiques.

Meta

6,6 millions d’éléments de contenu

Nombre de contenus pédopornographiques ayant fait l’objet d’une sanction après avoir été détectés au moyen de la technologie de mise en correspondance des contenus développée par Meta, dans des fils

de discussion incluant au moins un utilisateur provenant de l’UE.

Microsoft

12 800 éléments de contenu

12 800 éléments (images individuelles ou vidéos) confirmés comme étant des contenus pédopornographiques, détectés dans l’UE sur plus de 50 000 contenus détectés dans le monde en 2022.

X (ex-Twitter)

2 348 712 comptes

Nombre de comptes (de l’UE ou du monde entier, origine non précisée) désactivés pour violation de la politique de X en matière d’exploitation sexuelle des enfants.

2.1.5.Recours introduits par les utilisateurs et suites qui leur ont été réservées

Conformément à l’article 3, paragraphe 1, point g) iv), du règlement provisoire, les fournisseurs doivent mettre en place des procédures et des mécanismes de recours appropriés pour garantir aux utilisateurs la possibilité d’introduire une réclamation auprès d’eux. En outre, l’article 5 du règlement prévoit des règles relatives aux recours juridictionnels.

Les fournisseurs ont indiqué avoir établi des procédures et des mécanismes de recours internes au bénéfice des utilisateurs dont le compte a été bloqué pour avoir partagé des contenus pédopornographiques et/ou dont les contenus ont été supprimés car reconnus comme constituant du matériel pédopornographique, afin qu’ils puissent former un recours contre cette restriction ou cette suppression et faire réexaminer leur dossier.

Les fournisseurs ont signalé les cas dans lesquels les utilisateurs ont introduit des réclamations au moyen du mécanisme de recours interne ou auprès d’une autorité judiciaire concernant les questions relevant du champ d’application du règlement au sein de l’UE et ont communiqué les suites réservées à ces réclamations. Aucun fournisseur (à l’exception de Microsoft qui, dans un cas comme dans l’autre, n’a signalé aucune plainte, ni en 2021, ni en 2022) n’a communiqué de statistiques distinctes indiquant le nombre de recours internes et le nombre de recours juridictionnels.

Tableau nº 3: nombre de réclamations introduites par des utilisateurs au moyen du mécanisme de recours interne ou auprès d’une autorité judiciaire et issue de ces réclamations en 2021

Fournisseur

Nombre de réclamations introduites par des utilisateurs

Nombre de comptes réactivés

Nombre de contenus restaurés

Remarques

Google

8

0

s.o.

Comptes Google Chat désactivés pour abus sexuels commis contre des enfants en ligne, pour lesquels l’utilisateur a introduit un recours: 8. Aucun de ces comptes n’a été réactivé.

LinkedIn

0

s.o.

s.o.

Meta

4 900

s.o.

207

4 900 recours introduits par des utilisateurs. À l’issue de ces recours, 207 utilisateurs ont vu leur compte débloqué et leur contenu restauré.

Microsoft

0

s.o.

s.o.

X (ex-Twitter)

± 90 000

± 3 000

s.o.

± 90 000 recours. X a réactivé environ 3 000 des comptes concernés.

Tableau nº 4: nombre de réclamations introduites par des utilisateurs au moyen du mécanisme de recours interne ou auprès d’une autorité judiciaire et issue de ces réclamations en 2022

Fournisseur

Nombre de réclamations introduites par des utilisateurs

Nombre de comptes réactivés

Nombre de contenus restaurés

Remarques

Google

378

0

s.o.

Comptes Google désactivés pour abus sexuels commis contre des enfants en ligne, pour lesquels l’utilisateur a introduit un recours: 378. Aucun de ces comptes n’a été réactivé.

LinkedIn

0

s.o.

s.o.

Meta

29 000

s.o.

3 700

Les utilisateurs ont introduit des recours contre les sanctions appliquées à quelque 29 000 contenus partagés. À l’issue de ces recours, environ 3 700 éléments de contenu ont été restaurés et les comptes concernés ont été débloqués.

Microsoft

0

s.o.

s.o.

X (ex-Twitter)

± 430 000

± 4 000

s.o.

± 430 000 recours. X a réactivé environ 4 000 des comptes concernés.

2.1.6.Nombre et ratio d’erreurs (faux positifs) des différentes technologies utilisées

Conformément à l’article 3, paragraphe 1, point e), du règlement provisoire, les fournisseurs doivent veiller à ce que les technologies utilisées soient suffisamment fiables en ce qu’elles limitent le plus possible le taux d’erreurs en ce qui concerne la détection de contenus représentant des abus sexuels commis contre des enfants en ligne.

À cet égard, les fournisseurs ont indiqué que, pour détecter les abus sexuels commis contre des enfants en ligne, ils ne recourraient pas à chacune des technologies de manière séparée, mais appliquaient une méthode à plusieurs niveaux associant différentes technologies de détection afin d’accroître la précision. Afin de réduire le taux d’erreurs ou de faux positifs, tous les fournisseurs y ajoutent la vérification humaine. Les fournisseurs n’ont pas fourni séparément le nombre et le ratio d’erreurs (faux positifs) pour chacune des technologies utilisées, mais ont communiqué des données agrégées regroupant l’ensemble des technologies utilisées.

La plupart des fournisseurs calculent le nombre et le ratio d’erreurs en fonction du nombre de sanctions annulées, c’est-à-dire en fonction du nombre de comptes débloqués ou de contenus restaurés par rapport au nombre total de recours introduits. La méthode employée par les fournisseurs ne correspond pas nécessairement à la définition de «faux positif» en statistique.

Les taux de restauration/de réactivation déclarés par rapport au nombre de recours introduits figurent ci-dessous.

Tableau nº 5: taux de restauration/de réactivation à la suite des recours introduits

2021*

2022

Fournisseur

% de comptes réactivés par rapport au nombre de recours introduits

% de comptes réactivés par rapport au nombre de comptes suspendus

% de comptes réactivés par rapport au nombre de recours introduits

% de comptes réactivés par rapport au nombre de comptes suspendus

Remarques

Google

0 % (0 sur 8)

0 % (0 sur 33)

0 % (0 sur 378)

0 %

(voir remarques)

Le nombre de comptes suspendus en 2022 n’a pas été communiqué. En lieu et place, c’est le nombre de contenus détectés et communiqués au NCMEC qui a été fourni: 2 045. Aucun compte n’a été réactivé à la suite des recours introduits.

LinkedIn

0 %

0 %

0 %

0 %

Aucun recours introduit. Pour la période comprise entre le 13 juillet 2021 et le 31 décembre 2021, LinkedIn a également indiqué que, sur les 75 éléments examinés car suspectés de constituer du matériel pédopornographique provenant de l’UE, le caractère pédopornographique de 31 contenus a été confirmé par vérification humaine. LinkedIn n’a pas communiqué de données en la matière pour 2022.

Meta

4,22 %

(207 sur 4 900)

0,06 %

(207 sur 340 000)

Voir remarques

Voir remarques

Aucune des informations fournies ne permet de déterminer précisément la portée et l’objet des recours ainsi que les motifs justifiant l’annulation des sanctions.

Pour 2022, les chiffres fournis se rapportaient aux éléments de contenu et non aux comptes:

-nombre de contenus suspendus («sanctionnés»): 6,6 millions;

-nombre de contenus ayant fait l’objet d’un recours: 29 000;

-nombre de contenus restaurés: 3 700.

Dès lors:

-le pourcentage d’éléments de contenu restaurés par rapport au nombre de recours introduits s’élève à 12,8 % (3 700 sur 29 000);

-le pourcentage d’éléments de contenu restaurés par rapport au nombre d’éléments suspendus s’élève à 0,06 % (3 700 sur 6,6 millions).

Microsoft

0 %

-

-

-

Données insuffisantes pour permettre le calcul du taux de restauration/de réactivation par rapport au nombre de recours introduits. En 2022: 17 décisions de modération de contenu ont été annulées au total; aucun chiffre n’a été communiqué quant au nombre total de recours introduits.

X (ex-Twitter)

1,43 %

(100 sur 7 000)

0,06 %

(100 sur 166 000)

2,17 %

(500 sur 23 000)

0,10 %

(500 sur 501 000)

Au second semestre de l’année 2021, environ 166 000 utilisateurs ont été bloqués au moyen d’outils automatisés pour avoir publié des contenus pédopornographiques. Environ 7 000 d’entre eux ont introduit un recours, et quelque 100 décisions ont été annulées à la suite de ces recours.

En 2022, 501 000 utilisateurs ont été bloqués au moyen d’outils automatisés pour avoir publié des contenus pédopornographiques. Environ 23 000 d’entre eux ont introduit un recours, et quelque 500 décisions ont été annulées à la suite de ces recours.

* Les périodes de référence en 2021 varient d’un fournisseur à l’autre.

2.1.7.Mesures appliquées pour limiter le taux d’erreurs, et taux d’erreurs atteint

Conformément à l’article 3, paragraphe 1, point e), du règlement provisoire, les technologies utilisées doivent être suffisamment fiables et les conséquences d’éventuelles erreurs occasionnelles doivent être corrigées sans délai. En outre, l’article 3, paragraphe 1, point g) ii), exige un contrôle humain et, si nécessaire, une intervention humaine.

Tous les fournisseurs ont indiqué qu’ils employaient une méthode stratifiée pour détecter les abus commis contre des enfants en ligne et empêcher leur propagation. Pour détecter les contenus pédopornographiques, ils recourent notamment à des technologies de mise en correspondance reposant sur le hachage (telles que PhotoDNA) associées à des processus de vérification humaine afin de confirmer si les fichiers multimédia (images et vidéos) contiennent du matériel pédopornographique, et ils procèdent également à un contrôle humain du traitement des contenus pédopornographiques.

Les fournisseurs ont déclaré qu’ils appliquaient différentes mesures et garanties pour limiter et réduire le taux d’erreurs au moment de détecter, de signaler et de supprimer les contenus pédopornographiques présents en ligne. Parmi ces mesures figurent (liste non exhaustive) 4 :

I.le suivi et l’évaluation de la performance des outils de détection des abus sexuels commis sur des enfants afin d’en affiner la précision (pour qu’ils détectent uniquement les abus sexuels commis contre des enfants en ligne), d’une part, et de garantir qu’aucun des contenus pédopornographiques publiés sur les plateformes des fournisseurs ne passe inaperçu, d’autre part (Google, X);

II.l’analyse, par des examinateurs humains formés à cette tâche, d’échantillons de contenus détectés comme constituant du matériel pédopornographique au moyen de technologies de mise en correspondance reposant sur le hachage (Google, LinkedIn, Meta, Microsoft);

III.le marquage et l’analyse de gros volumes de données regroupées en grappe (Meta);

IV.le déploiement de nouveaux processus de vérification manuelle pour contrôler de manière permanente la performance des outils reposant sur le hachage (LinkedIn, Microsoft);

V.le recours à des examinateurs humains ayant suivi des formations spécialisées intensives sous la direction d’experts en la matière pour apprendre à reconnaître les contenus pédopornographiques, afin de garantir l’exactitude des vérifications effectuées par l’être humain (Google);

VI.l’évaluation périodique du contrôle de la qualité des examinateurs humains et des sanctions appliquées (Google, X);

VII.d’autres processus de contrôle de la qualité visant à réduire les erreurs et à y remédier immédiatement, tels que la vérification indépendante du hachage (Google, LinkedIn) ou la vérification humaine, avant leur signalement, de tous les nouveaux contenus pédopornographiques n’ayant encore jamais été détectés auparavant (Google);

VIII.l’élaboration et l’examen régulier des politiques et des stratégies de contrôle par des experts spécialisés dans le domaine des abus commis contre des enfants en ligne (Google);

IX.le dialogue avec le NCMEC concernant la qualité du rapport CyberTipline et les éventuels faux positifs (Google, LinkedIn, Meta, Microsoft, X).

2.1.8.Politique de conservation et garanties en matière de protection des données appliquées en vertu du RGPD

Le règlement provisoire exige, à l’article 3, paragraphe 1, point h), que les données à caractère personnel pertinentes ne soient stockées qu’à certaines fins bien spécifiques, et ce de manière sécurisée, et précise, à l’article 3, paragraphe 1, point i), la durée pendant laquelle ces données peuvent être stockées. En outre, les exigences applicables du RGPD doivent être respectées.

Les fournisseurs ont déclaré avoir mis en place des politiques fortes en matière de conservation et des garanties solides en matière de protection des données à caractère personnel. Les politiques de conservation des données varient en fonction de la nature de ces dernières. Les fournisseurs indiquent que, quel que soit le type de données, la durée de stockage est limitée dans le temps et déterminée en fonction de la nature des données et de la finalité du traitement; les données sont ensuite effacées une fois la période de stockage écoulée. Les pratiques en matière de conservation des données sont définies plus en détail dans les politiques/les déclarations des fournisseurs relatives à la protection de la vie privée et dans les contrats de services passés avec les utilisateurs.

La plupart des fournisseurs (LinkedIn, Meta, Microsoft) appliquent une politique de conservation de 90 jours pour les supports qui s’avèrent contenir du matériel pédopornographique, détectés dans le cadre du règlement. Pendant ce laps de temps, les éléments qui s’avèrent être des contenus pédopornographiques sont stockés dans un répertoire distinct et sécurisé établi à cet effet et géré par des équipes spécialisées (telles que l’équipe de Microsoft chargée de veiller au maintien de l’ordre public et à la sécurité nationale). Les contenus pédopornographiques stockés sont automatiquement supprimés de ces systèmes de stockage après 90 jours, sauf prolongement de la durée de stockage en raison de demandes introduites dans le cadre de procédures judiciaires émanant généralement des services répressifs enquêtant sur les affaires signalées au NCMEC.

Google a déclaré ne conserver les contenus pédopornographiques détectés dans le cadre du règlement que pour la durée strictement nécessaire aux fins pertinentes de ce dernier et, en tout état de cause, pour une durée n’excédant pas 12 mois à compter de la date à laquelle le contenu pédopornographique a été détecté et signalé, avec une possibilité de prolonger la durée de stockage afin de satisfaire à une requête légale en ce sens.

X (ex-Twitter) a déclaré conserver les informations et les contenus relatifs aux profils pendant toute la durée de vie des comptes d’utilisateurs; les données à caractère personnel recueillies lorsque les utilisateurs utilisent les services de X sont, quant à elles, conservées pendant une durée maximale de 18 mois. Lorsqu’un utilisateur désactive son compte, X conserve généralement les données pendant 30 jours supplémentaires avant de supprimer le compte. l’adresse électronique ou le numéro de téléphone), sont conservées indéfiniment pour empêcher les récidivistes de créer de nouveaux comptes et garantir que les utilisateurs ne respectant pas les politiques de X ne puissent pas simplement attendre la fin du délai de conservation pour ensuite enfreindre à nouveau ces politiques 5 .

Parmi les garanties en matière de protection des données à caractère personnel mises en œuvre par les fournisseurs figurent (en tout ou en partie) des mesures classiques généralement appliquées dans le secteur, telles que (liste non exhaustive) 6 :

I.le recours à des techniques de dépersonnalisation ou de pseudonymisation ainsi qu’à l’anonymisation des données (par exemple le masquage, le hachage ou la confidentialité différentielle) (Google, LinkedIn, Meta, Microsoft);

II.le recours exclusif aux valeurs de hachage lorsque des données doivent être communiquées à des tiers aux fins de la détection des contenus pédopornographiques (Google, LinkedIn);

III.le recours aux méthodes classiques de chiffrement habituellement utilisées dans le secteur (algorithmes et protocoles) pour les données transitant entre infrastructures privées et réseaux publics (Meta);

IV.la mise en œuvre de stratégies de gouvernance des données/de programmes complets de protection de la vie privée [X, (ex-Twitter), Google], la mise en place de conditions d’accès strictes et restrictives aux données en interne (Meta) (applicables, par exemple, au personnel, aux prestataires ou aux agents qui ont besoin d’accéder à ces informations pour pouvoir les traiter), l’utilisation de listes de contrôle pour accéder à l’ensemble des outils destinés à examiner les contenus pédopornographiques et à les bloquer sur la base de l’analyse des valeurs de hachage (Meta), et l’imposition d’obligations contractuelles strictes en matière de confidentialité aux personnes ayant accès aux données;

V.l’analyse des stratégies d’anonymisation et de gouvernance des données, c’est-à-dire la vérification des mécanismes de protection de la vie privée afin de détecter, de cerner et d’atténuer les risques potentiels en la matière liés à la collecte, au traitement, au stockage et au partage des données à caractère personnel, ainsi que l’examen des pratiques en matière de protection de la vie privée (Microsoft);

VI.la définition de plans d’intervention à mettre en œuvre en cas d’incident mettant en péril la sécurité pour pouvoir surveiller, détecter et traiter tout éventuel point de vulnérabilité ou incident portant atteinte à la sécurité dans l’ensemble des infrastructures (Google, Meta).

2.1.9.Nom des organismes agissant dans l’intérêt public contre les abus sexuels commis sur des enfants avec lesquels des données ont été partagées en vertu du règlement provisoire.

Au cours des deux périodes de référence (de juillet/août 2021 à décembre 2021 et de janvier 2022 à décembre 2022), tous les fournisseurs ont déclaré avoir communiqué au NCMEC les données traitées au titre du règlement provisoire. Tous les fournisseurs ayant présenté un rapport ont en outre informé la Commission, conformément à l’article 7, paragraphe 1, du règlement provisoire, qu’ils avaient signalé au NCMEC, au titre dudit règlement, des abus sexuels commis contre des enfants en ligne 7 .

2.2.Statistiques des États membres (article 8)

Conformément à l’article 8, paragraphe 1, du règlement intérimaire, les États membres sont tenus de fournir des statistiques sur les aspects suivants:

(a)le nombre total de signalements d’abus sexuels commis contre des enfants en ligne qui ont été transmis aux autorités répressives nationales compétentes par les fournisseurs et par des organismes agissant dans l’intérêt public contre les abus sexuels commis contre des enfants, en établissant une distinction, lorsque ces informations sont disponibles, entre le nombre absolu de cas et les cas signalés à plusieurs reprises et en précisant le type de fournisseur sur les services duquel des abus sexuels commis contre des enfants en ligne ont été détectés;

(b)le nombre d’enfants identifiés grâce aux mesures prises en vertu de l’article 3, ventilé par sexe;

(c)le nombre d’auteurs condamnés.

Si la plupart des États membres ont fourni au moins des informations partielles, bon nombre d’entre eux ont omis de mettre en place les systèmes de collecte et de communication de données pertinents. Dès lors, les statistiques fournies, le cas échéant, se rapportent à des périodes de référence très diverses et leur degré de détail varie considérablement. Certains États membres ont présenté des statistiques annuelles à compter de la date d’entrée en vigueur du règlement. La plupart d’entre eux ont dressé leurs rapports par année civile car ils ne disposaient sans doute pas des moyens techniques leur permettant d’établir les statistiques demandées par année à compter de la date d’entrée en vigueur du règlement. Quelques États membres n’ont fourni aucune donnée.

Il convient également de noter que, dans certains cas, les données statistiques proviennent de bases de données désignées comme «actuelles» ou de systèmes de journalisation et de gestion des incidents, et non de véritables outils statistiques. Les chiffres communiqués sont parfois obtenus à partir de données dynamiques; ces données ne sont donc pas définitives et peuvent être amenées à évoluer. Par exemple, les données sont susceptibles de changer en fonction du moment où elles sont extraites (c’est notamment le cas pour la Slovénie et le Danemark), à mesure que les enquêtes et les procédures judiciaires sont clôturées.

Dans plusieurs États membres, les autorités compétentes créent actuellement de nouveaux services chargés d’enquêter sur les infractions en matière d’abus sexuels commis contre des enfants en ligne et mettent en place des systèmes centraux de signalements en la matière (Lettonie, Tchéquie). Des données statistiques plus fiables devraient ainsi être disponibles à l’avenir.

L’Allemagne a déclaré qu’elle ne pouvait fournir aucune donnée statistique conformément à l’article 8, paragraphe 1, du règlement provisoire, car elle estimait ne disposer d’aucun cadre juridique pour la détection volontaire 8 . Toutefois, l’Office fédéral allemand de la police criminelle (BKA) indique sur son site internet avoir reçu 89 844 signalements de la part du NCMEC en 2022, et le NCMEC indique avoir transmis 138 193 signalements aux autorités allemandes 9 . Trois États membres n’ont communiqué aucune donnée au titre de cette disposition et n’ont fourni aucune explication pour s’en justifier (Malte, le Portugal et la Roumanie).

2.2.1. Nombre total de signalements d’abus sexuels commis contre des enfants en ligne

La plupart des États membres ont fourni des statistiques sur le nombre total de signalements d’abus sexuels commis contre des enfants en ligne, conformément à l’article 8, paragraphe 1, point a), du règlement provisoire. Les données fournies par les États membres se rapportant à des périodes de référence différentes, il n’a pas été possible de calculer le nombre total de signalements d’abus sexuels commis contre des enfants en ligne reçus au niveau de l’UE au cours d’une période donnée telle que celle correspondant à la mise en œuvre du règlement.

Les États membres ont principalement fourni aux autorités répressives nationales le nombre total de signalements reçus de la part de fournisseurs ou d’autres organismes agissant dans l’intérêt public contre les abus sexuels commis contre des enfants. La plupart des fournisseurs établis aux États-Unis effectuant des signalements au NCMEC, la majeure partie des États membres a déclaré recevoir la plupart ou la totalité des signalements les concernant de la part du NCMEC. Les États membres n’ont pas indiqué le nombre de signalements susceptibles de faire l’objet d’une action ou d’une enquête, mais certains ont indiqué le nombre de dossiers ouverts, lequel est nettement inférieur. Plusieurs raisons ont été invoquées pour expliquer la différence entre le nombre de signalements reçus et le nombre d’enquêtes ouvertes, par exemple le fait que les éléments signalés contenaient effectivement du matériel pédopornographique, mais que les informations fournies n’étaient pas suffisantes pour pouvoir ouvrir une enquête; ou le fait que les contenus signalés, bien que montrant des scènes d’exploitation, n’étaient pas considérés comme constituant des infractions pénales au regard du droit national. En outre, la plupart des États membres n’ont pas opéré de distinction entre le nombre total de cas détectés dans l’absolu et le nombre de cas signalés à plusieurs reprises. Lorsqu’il transmet les signalements qu’il a reçus de la part des fournisseurs, le NCMEC les classe déjà en deux catégories: «signalements exploitables» ou «signalements communiqués à titre informatif». Le NCMEC considère comme «exploitables» les signalements contenant suffisamment d’informations pour qu’une enquête puisse être ouverte. Ces signalements contiennent généralement des informations relatives à l’utilisateur, des images et une localisation éventuelle. Les signalements sont classés comme «communiqués à titre informatif» lorsque les informations qu’ils contiennent sont insuffisantes ou lorsque les images recensées sont considérées comme virales et ont été signalées à de nombreuses reprises. En 2022, le NCMEC a classé 49 % des signalements dans la catégorie «signalements exploitables», et 51 % dans la catégorie «signalements communiqués à titre informatif».

Seuls quelques États membres (comme la Belgique, la Tchéquie, l’Estonie, la France et la Pologne) ont indiqué le type de fournisseur sur les services duquel des abus sexuels commis contre des enfants en ligne ont été détectés, et un seul État membre (la Belgique) a fourni une ventilation détaillée.

La Slovénie a indiqué qu’elle ne pouvait pas fournir les chiffres qui concernent exclusivement les infractions ayant fait l’objet d’une enquête à la suite de signalements effectués par des fournisseurs et des organisations, et qu’elle ne pouvait fournir que ceux de l’ensemble des enquêtes relatives aux abus sexuels commis contre des enfants en ligne, quelle que soit l’origine des informations ayant conduit à l’ouverture de l’enquête.

Tableau nº 6: nombre total de signalements d’abus sexuels commis contre des enfants en ligne déclarés par les États membres

Pays

Période de référence

Nombre total de signalements d’abus sexuels commis contre des enfants en ligne

Origine des signalements

Remarques

Autriche

De 2021 à 2022

16 311

NCMEC

Belgique

Du 1er août 2021 au 31 juillet 2022

26 226

Signalements provenant de fournisseurs (réseaux sociaux) et de la ligne d’assistance «Childfocus»

Bulgarie

De 2021 à 2022

9 120

Fournisseurs et ligne d’assistance INHOPE par l’intermédiaire de «Safenet» et d’autres canaux

Parmi ces signalements, 9 112 alertes concernaient des pages web contenant du matériel pédopornographique, hébergées par des fournisseurs bulgares.

Croatie

Du 1er janvier 2021 au 31 octobre 2022

9 044

NCMEC

Chypre

Du 1er juillet 2021 au 31 décembre 2022

3 570

NCMEC

Tchéquie

Du 1er janvier 2022 au 31 juillet 2022

13 279

NCMEC

Danemark

Du 2 août 2021 au 20 janvier 2023

10 744

NCMEC

Estonie

-

-

NCMEC, ligne d’assistance internationale «Child Helpline» (116 111)

L’Estonie a indiqué que les statistiques de la police et des gardes-frontières, y compris celles du NCMEC, n’étaient pas rendues publiques. Pour 2021, l’Estonie a signalé 360 crimes sexuels sans contact contre des enfants. En outre, 86 % de l’ensemble des crimes sexuels sans contact ont été commis sur Internet ou au moyen d’outils informatiques.  

Finlande

2022

25 000

NCMEC et Save the Children

France

Du 1er août 2021 au 1er août 2022

120 000

NCMEC

Allemagne

-

-

-

Données non disponibles/non communiquées.

Grèce

De 2021 à 2022

142

Le NCMEC, la ligne d’assistance grecque pour les contenus illicites sur Internet, SafeLine, la commission nationale grecque des télécommunications et des postes (EETT), la ligne nationale «SOS 1056», l’organisation «Le sourire de l’enfant», le médiateur grec

Hongrie

2022

0

Aucun des signalement transmis par les fournisseurs n’a été effectué au titre du règlement provisoire.

Irlande

De 2021 à 2022

15 355

NCMEC

Italie

2022

4 607

Non précisé

Lettonie

Du 1er août 2022 au 6 mars 2023

Entre 115 et 220 signalements par mois environ

Fournisseurs et organismes non établis en Lettonie agissant dans l’intérêt public contre les abus sexuels commis contre des enfants (principalement le NCMEC), et fournisseurs et organismes établis en Lettonie (principalement le Centre letton pour un internet plus sûr)

Lituanie

Du 1er janvier 2021 au 30 juin 2022

4 142

Non précisé

Luxembourg

De 2021 à 2022

2 491

Non précisé

Malte

-

-

-

Données non transmises/communiquées.

Pays-Bas

2021

36 537

Fournisseurs et organismes agissant dans l’intérêt public contre les abus sexuels commis sur des enfants

Pologne

Du 3 août 2021 au 3 août 2023

227

Fournisseurs et organismes agissant dans l’intérêt public contre les abus sexuels commis sur des enfants

Pour la période allant du 3 août 2022 au 3 août 2023, la Pologne a fait mention d’un signalement de pédopiégeage et de 105 signalements de contenus pédopornographiques.

Portugal

-

-

-

Données non communiquées.

Roumanie

-

-

-

Données non communiquées.

Slovaquie

Du 1er août 2021 au 31 juillet 2022

7 206

Fournisseurs et organismes agissant dans l’intérêt public contre les abus sexuels commis sur des enfants

Slovénie

Du 1er janvier 2021 au 14 juillet 2023

452

Ce chiffre correspond aux infractions pénales liées à des activités sur Internet. À l’heure actuelle, les données statistiques existantes ne permettent pas à la Slovénie de distinguer les données relatives aux infractions ayant fait l’objet d’une enquête à la suite de signalements effectués par des fournisseurs et des organisations de celles relatives à d’autres signalements.

Espagne

2022

31 474

Organismes agissant dans l’intérêt public contre les abus sexuels commis sur des enfants

Suède

D’août 2021 au 31 décembre 2022

32 830

Principalement le NCMEC

Le NCMEC principalement étant à l’origine des signalements, il est intéressant de comparer les chiffres relatifs aux signalements communiqués par les États membres avec ceux fournis par le NCMEC concernant les signalements envoyés aux États membres. À l’échelle mondiale, le NCMEC a reçu du secteur 29 397 681 signalements au total en 2021, dont 99,7 % (soit 29 309 106) contenant une ou plusieurs images ou vidéos à caractère pédopornographique, 0,15 % (soit 44 155) concernant des cas de pédopiégeage et 0,05 % (soit 16 032) concernant des cas de traite sexuelle d’enfants. En 2022, le NCMEC a reçu un total de 32 059 029 signalements, dont 99,5 % (soit 31 901 234) concernant des images ou des vidéos à caractère pédopornographique, 0,25 % (80 524) concernant des cas de pédopiégeage et 0,06 % (ou 18 336) concernant de cas de traite sexuelle d’enfants. La répartition au sein de l’UE est telle qu’indiquée ci-dessous.

Tableau nº 7: cas présumés d’abus sexuels commis contre des enfants en ligne signalés par le NCMEC aux États membres de l’UE en 2021 et 2022

Pays

Nombre total de cas signalés en 2021 10

% par rapport au nombre total de cas signalés en UE en 2021

Nombre total de cas signalés en 2022 11

% par rapport au nombre total de cas signalés en UE en 2022

% par rapport à la population de l’UE

Autriche

7 580

1,36 %

18 501

1,23 %

2,00 %

Belgique

15 762

2,84 %

50 255

3,34 %

2,60 %

Bulgarie

13 584

2,44 %

31 937

2,12 %

1,53 %

Croatie

4 744

0,85 %

11 693

0,78 %

0,86 %

Chypre

2 657

0,48 %

7 361

0,49 %

0,20 %

Tchéquie

15 004

2,70 %

61 994

4,12 %

2,36 %

Danemark

5 891

1,06 %

30 215

2,01 %

1,31 %

Estonie

2 729

0,49 %

6 408

0,43 %

0,30 %

Finlande

6 079

1,09 %

10 904

0,73 %

1,24 %

France

98 233

17,67 %

227 465

15,13 %

15,16 %

Allemagne

79 701

14,34 %

138 193

9,19 %

18,59 %

Grèce

14 616

2,63 %

43 345

2,88 %

2,37 %

Hongrie

31 710

5,70 %

109 434

7,28 %

2,16 %

Irlande

7 327

1,32 %

19 770

1,31 %

1,13 %

Italie

37 480

6,74 %

96 512

6,42 %

13,32 %

Lettonie

1 537

0,28 %

3 688

0,25 %

0,42 %

Lituanie

3 509

0,63 %

16 603

1,10 %

0,63 %

Luxembourg

2 005

0,36 %

2 004

0,13 %

0,14 %

Malte

750

0,13 %

4 713

0,31 %

0,12 %

Pays-Bas

36 790

6,62 %

57 012

3,79 %

3,96 %

Pologne

37 758

6,79 %

235 310

15,65 %

8,41 %

Portugal

34 415

6,19 %

42 674

2,84 %

2,31 %

Roumanie

32 765

5,89 %

96 287

6,40 %

4,25 %

Slovaquie

7 275

1,31 %

39 748

2,64 %

1,21 %

Slovénie

3 162

0,57 %

14 795

0,98 %

0,47 %

Espagne

33 136

5,96 %

77 727

5,17 %

10,60 %

Suède

19 635

3,53 %

48 883

3,25 %

2,33 %

Total

555 834

1 503 431

Les écarts importants observés entre 2021 et 2022 au niveau du nombre de signalements, qui font apparaître une forte augmentation en 2022, sont en grande partie dus à la diminution du volume de détection volontaire entre janvier et août 2021, période au cours de laquelle le règlement provisoire n’était pas encore d’application.

Dans ses statistiques par État membre de l’UE, le NCMEC n’établit pas de distinction en fonction de l’origine du signalement; en particulier, il n’indique pas si le signalement émane d’un service de communications interpersonnelles non fondé sur la numérotation. Le NCMEC fournit toutefois des statistiques sur le nombre total de signalements relatifs à l’UE émanant de services de communications interpersonnelles non fondés sur la numérotation. En 2021, 283 265 des signalements relatifs aux États membres, soit 51 % de l’ensemble des signalements concernant l’UE, émanaient de services de conversation en ligne, de messagerie instantanée ou de courrier électronique. 164 645 des signalements (soit 30 % du total) provenaient, quant à eux, de plateformes de réseaux sociaux ou de jeux en ligne, lesquelles proposent parfois également des services intégrés de messagerie ou de discussion en ligne. En 2021, 3 565 des signalements relatifs à l’UE concernaient des cas de pédopiégeage. En 2022, 1 015 231 des signalements relatifs aux États membres, soit 68 % de l’ensemble des signalements concernant l’UE, émanaient de services de conversation en ligne, de messagerie instantanée ou de courrier électronique. 325 847 des signalements (soit 22 % du total) provenaient, quant à eux, de plateformes de réseaux sociaux ou de jeux en ligne, lesquelles proposent parfois également des services intégrés de messagerie ou de discussion en ligne. En 2022, 7 561 des signalements relatifs à l’UE concernaient des cas de pédopiégeage. Là encore, les écarts observés entre 2021 et 2022 au niveau du nombre de signalements émanant de services de communications interpersonnelles non fondés sur la numérotation sont dus à la diminution du volume de détection volontaire entre janvier et août 2021, période au cours de laquelle le règlement provisoire n’était pas encore d’application.

Dans de nombreux cas, la proportion de signalements par État membre correspond approximativement au pourcentage de la population de l’État membre concerné par rapport à la population totale de l’UE, ce qui pourrait indiquer une fréquence comparable des abus sexuels commis contre des enfants en ligne dans tous les États membres. Des écarts notables sont observés pour l’Espagne et l’Italie, dont la proportion de signalements semble faible au regard du pourcentage de leur population par rapport à la population de l’UE, tant en 2021 qu’en 2022, tandis que la proportion de signalements pour d’autres États membres (tels que l’Allemagne, la Pologne, les Pays-Bas et la Slovaquie) semble fluctuer considérablement. Ces variations ne sont pas prises en considération en tant que telles dans les rapports sur le nombre de cas observés; à nouveau, il est donc difficile de tirer des conclusions sur la corrélation entre les signalements reçus et les enquêtes menées.

Étant donné les différentes périodes de référence utilisées, il est impossible d’établir une correspondance directe, mais d’importants écarts sont néanmoins observés entre les statistiques fournies par le NCMEC et les chiffres communiqués par les États membres. En outre, les chiffres fournis par le NCMEC concernant les États membres ne peuvent pas non plus être totalement rapprochés de ceux communiqués par le secteur, indiqués dans la section précédente. Si certaines des différences observées peuvent peut-être être dues aux signalements d’abus sexuels commis contre des enfants en ligne émanant de sources autres que les services de communications interpersonnelles, cette question nécessiterait une analyse plus approfondie car, eu égard à la liste des fournisseurs effectuant des signalements au NCMEC 12 , il est également possible que des fournisseurs autres que ceux qui ont présenté un rapport à la Commission à ce jour aient pris des mesures de détection volontaire concernant l’UE. Néanmoins, le fait que, pour la plupart des États membres, un écart important soit observé entre le nombre de signalements que le NCMEC déclare avoir été transmis aux États membres et le nombre de signalements que les États membres affirment avoir reçus porte à croire que les données recueillies et communiquées par les États membres ne sont pas complètes.

Pour chacun des signalements du NCMEC recensés ci-dessus, les images et les vidéos à caractère pédopornographique qui y sont associées ont été supprimées et retirées de la circulation. Cette mesure est particulièrement importante pour les victimes actuelles d’abus sexuels commis contre les enfants, et pour celles qui y ont survécu. Des études ont démontré que le fait que les images et les vidéos des abus subis restent en circulation diminue la capacité des victimes à surmonter les conséquences psychologiques de ces abus et provoque un phénomène de victimisation secondaire.

2.2.2. Nombre d’enfants identifiés

La plupart des États membres ont fourni des statistiques complètes ou partielles sur le nombre d’enfants identifiés, ventilé par sexe, conformément à l’article 8, paragraphe 1, point b), du règlement provisoire. Toutefois, plusieurs États membres n’ont communiqué aucune donnée au titre de cette disposition et n’ont fourni aucune explication à cet égard.

Plusieurs États membres n’ont communiqué aucune statistique ou n’ont fourni que des statistiques partielles pour la période de référence, mais en ont expliqué les raisons. Les raisons invoquées sont notamment les suivantes:

-le nombre d’enfants victimes d’abus sexuels en ligne ne peut pas être déterminé (France);

-les données ne sont pas disponibles car elles n’ont pas été recueillies dans le cadre de la collecte nationale de données statistiques/les autorités nationales n’ont pas enregistré ces statistiques (Danemark, Lituanie);

-les données ne sont pas ventilées par sexe dans la collecte nationale de données statistiques (Belgique, Chypre, Tchéquie, Grèce, Irlande, Italie, Lituanie, Pays-Bas);

-les informations disponibles dans les systèmes d’information existants ne présentent pas le degré de détail requis (Finlande);

-ces informations ne sont pas recueillies (Allemagne).

Parmi les États membres qui ont indiqué ne pas être en mesure de fournir des statistiques, quelques-uns ont confirmé que leurs autorités nationales avaient été invitées à modifier leur procédure d’enregistrement des signalements volontaires et des enquêtes ainsi que leur méthode de collecte des statistiques (Danemark), et/ou que ces autorités étaient en train de déployer de nouveaux systèmes d’information qui devraient permettre l’établissement de rapports présentant le degré de détail requis (Finlande).

Pour l’un des États membres, les données ci-dessous concernent à la fois les enfants victimes d’abus sexuels en ligne et hors ligne (Hongrie). Dans certains cas, les statistiques incluent également les enfants dont il a été constaté qu’ils ont produit et mis en ligne eux-mêmes les contenus concernés (matériel auto-généré, principalement des vidéos) (Tchéquie, Estonie).

La plupart des États membres ayant utilisé des périodes de référence différentes, il n’a pas été possible de calculer le nombre total d’enfants identifiés en tant que victimes d’abus sexuels en ligne dans l’UE, par an ou au cours d’une même période de référence.

Tableau nº 8: nombre d’enfants identifiés, ventilé par sexe

Pays

Période de référence

Filles

Garçons

Total

Remarques

Autriche

De 2021 à 2022

11

6

17

Belgique

De 2021 à 2022

-

-

63

Données ventilées par sexe non disponibles.

Bulgarie

2022

50

12

62

Croatie

Du 1er janvier 2021 au 31 octobre 2022

20

0

20

Chypre

2022

-

-

102

Données ventilées par sexe non disponibles.

Tchéquie

2022

-

-

30

Données ventilées par sexe non disponibles.

Danemark

-

-

-

-

Données non disponibles.

Estonie

2021

6

12

18

Finlande

-

-

-

-

Données non disponibles.

France

-

-

-

-

Données non disponibles.

Allemagne

-

-

-

-

Données non disponibles.

Grèce

De 2021 à 2022

-

-

4

Données ventilées par sexe non disponibles.

Hongrie

De 2021 à 2022

379

47

426

Impossible de faire la distinction entre les enfants victimes d’abus sexuels en ligne et hors ligne. Seuls les enfants de moins de 16 ans sont inclus.

Irlande

De 2021 à 2022

-

-

101

Les données pour 2021 (50 victimes) ne peuvent pas être ventilées par sexe. Les données ventilées par sexe pour 2022 sont les suivantes: 25 enfants de sexe féminin et 26 enfants de sexe masculin.

Italie

2022

-

-

385

Données ventilées par sexe non disponibles.

Lettonie

Du 1er août 2022 au 6 mars 2023

1

-

1

Lituanie

-

-

-

-

Données non disponibles.

Luxembourg

De 2021 à 2022

0

0

0

Malte

-

-

-

-

Données non transmises/communiquées.

Pays-Bas

2021

-

-

222

Données ventilées par sexe non disponibles.

Pologne

2022

2 368

487

3 014

Pour 2022, les données issues du système d’information de la police nationale polonaise font état de 3 014 victimes d’infractions en matière d’abus sexuels commis contre des enfants (2 368 de sexe féminin, 487 de sexe masculin et 159 dont le sexe n’est pas précisé).

Portugal

-

-

-

-

Données non transmises/communiquées.

Roumanie

-

-

-

-

Données non communiquées/transmises.

Slovaquie

D’août 2021 à juillet 2022

13

8

21

Slovénie

Du 1er janvier 2021 au 14 juillet 2023

220

85

305

Espagne

2022

80

39

119

Suède

2022

8

4

12

TOTAL POUR L’ENSEMBLE DES ÉTATS MEMBRES

Du 1er janvier 2021 au 6 mars 2023

3 156

700

4 922

Il convient d’envisager les données ci-dessus avec encore davantage de prudence. Les données statistiques existantes ne permettent pas toujours aux États membres de ventiler les données en fonction de la provenance du signalement: la victime peut avoir été identifiée à la suite d’un signalement effectué par un fournisseur, mais elle peut aussi, par exemple, avoir signalé elle-même l’infraction, ou encore l’infraction peut avoir été signalée par un tiers connaissant la victime ou ayant détecté l’infraction (comme mentionné par la Slovénie). La Suède a indiqué que les enfants identifiés au moyen des historiques de discussion en ligne sont également inclus dans les chiffres communiqués, même lorsqu’aucune photo ou vidéo de l’abus n’a été trouvée ou confirmée comme provenant de la victime concernée.

Dans l’ensemble, les données figurant dans le tableau nº 8 ne répondent pas nécessairement aux obligations prévues par le règlement provisoire en matière de rapports, qui ne concernent que les victimes secourues grâce aux signalements envoyés par les fournisseurs et les organisations agissant dans l’intérêt public contre les abus sexuels commis contre des enfants au titre du règlement. Dans certains cas, les données fournies incluent des victimes identifiées pour toute une série d’autres raisons et par divers autres moyens.

Ces données ne permettent donc pas d’avoir une idée exacte du nombre d’enfants identifiés en tant que victimes d’abus sexuels en ligne dans l’UE.

En outre, même lorsqu’une victime a été identifiée, cela ne signifie pas forcément qu’une condamnation s’en est suivie. Dans certains cas, la victime a été identifiée, mais l’enquête n’a pas permis d’identifier l’auteur ni de le condamner (Suède).

Néanmoins, on peut déduire des données communiquées que de très nombreuses victimes ont pu être identifiées grâce au signalement volontaire effectué au titre du règlement provisoire. Les rapports communiqués par les autorités répressives concernant les actions en justice le confirment, car ces affaires ne sont souvent portées devant la justice qu’à la suite d’un signalement volontaire 13 .

2.2.3. Nombre d’auteurs condamnés

Si plupart des États membres se sont acquittés de leurs obligations, deux États membres n’ont fourni aucune donnée ni explication justifiant le fait qu’ils n’ont pas communiqué d’informations conformément à l’article 8, paragraphe 1, point c), du règlement provisoire.

Plusieurs États membres n’ont fourni aucune statistique pour la période de référence au titre de cette disposition, pour les raisons suivantes:

-données non encore disponibles (Belgique et Espagne);

-la base de données centrale utilisée pour enregistrer les infractions n’exigeait pas de préciser la nature du signalement initial (Irlande);

-données non recueillies (Allemagne).

Les données communiquées par les États membres quant au nombre d’auteurs condamnés sont très variées et les périodes de référence utilisées ne sont pas cohérentes entre elles, comme le montre le tableau nº 9 ci-dessous.

Tableau nº 9: nombre d’auteurs condamnés

Pays

Période de référence

Nombre de condamnations

Remarques

Autriche

2021

850

Dans les données communiquées, aucune distinction n’est opérée entre les infractions commises en ligne et celles commises hors ligne.

Belgique

-

-

Données non disponibles.

Bulgarie

De 2021 à 2022

52

Croatie

-

-

Données non disponibles.

Chypre

2022

0

Aucune condamnation à ce jour.

Tchéquie

Du 1er janvier 2022 au 31 juillet 2022

20

Danemark

Du 2 août 2021 au 20 janvier 2023

224

Estonie

2021

2

Ce chiffre ne comprend que les condamnations prononcées à la suite de signalements effectués par le NCMEC.

Finlande

2021

240

France

Du 4 août 2021 au 3 août 2022

820

Allemagne

-

-

Données non disponibles.

Grèce

De 2021 à 2022

62

Hongrie

De 2021 à 2022

126

Irlande

-

-

Données non disponibles.

Italie

De 2021 à 2022

5 835

Dans les données communiquées, aucune distinction n’est opérée entre les infractions commises en ligne et celles commises hors ligne.

Lettonie

De 2021 à 2022

33

Dans les données communiquées, aucune distinction n’est opérée entre les infractions commises en ligne et celles commises hors ligne.

Lituanie

Du 1er janvier 2021 au 30 juin 2022

10

Luxembourg

2022

11

Dans les données communiquées, aucune distinction n’est opérée entre les infractions commises en ligne et celles commises hors ligne.

Malte

-

-

Données non transmises/communiquées.

Pays-Bas

2021

217

Pologne

Du second semestre de 2021 au premier semestre de 2022 / année 2022 / premier semestre de 2023

185 / 194 / 81

Portugal

-

-

Données non transmises/communiquées.

Roumanie

-

-

Données non transmises/communiquées.

Slovaquie

2021

10

Slovénie

De 2021 à 2022

45

Espagne

2022

-

Données non disponibles.

Suède

2022

55

Il convient de noter que le nombre de condamnations ne correspond pas au nombre d’auteurs condamnés puisqu’une même personne peut être condamnée pour une ou plusieurs infractions d’abus sexuels commis contre des enfants en ligne.

De plus, les statistiques relatives aux condamnations déclarées pour une période donnée ne se rapportent pas forcément aux signalements reçus au cours de cette période (une condamnation prononcée en 2022, par exemple, peut concerner un signalement reçu en 2021 ou 2020, et un signalement datant de 2022 peut ne déboucher sur une condamnation qu’en 2023, voire plus tard). Ce fait a été explicitement souligné par plusieurs États membres dans leurs rapports (Irlande, Luxembourg, Suède).

Dans certains cas, aucune des données recueillies ne permet de savoir si les signalements d’activités suspectes (par l’intermédiaire du NCMEC, par exemple) ont donné lieu à des condamnations ou, en d’autres termes, si les condamnations prononcées résultent de signalements effectués par un fournisseur ou une organisation publique (Autriche, Lettonie). Seule l’Estonie a explicitement confirmé que ses statistiques ne comprenaient que les condamnations prononcées à la suite de signalements transmis par le NCMEC. Les signalements ont aussi parfois permis d’identifier d’autres auteurs, mis en examen et condamnés au cours des enquêtes (Autriche).

Dans la plupart des cas, il est présumé que le nombre de condamnations signalées est calculé en tenant compte du moment où l’affaire a débouché sur un jugement définitif après avoir, vraisemblablement, fait l’objet d’un recours en justice. Dans l’un des États membres (le Danemark), où les chiffres signalés correspondent au jugement le plus récent, les données ne sont pas définitives puisque les décisions ont pu faire l’objet d’un recours par la suite.

Quelquefois, dans les données issues des systèmes informatiques nationaux communiquées par les États membres, aucune distinction n’est établie entre les infractions commises en ligne et celles commises hors ligne (Autriche, Luxembourg, Lettonie).

La très grande diversité des rapports présentés par les États membres et la manière dont les données statistiques sont recueillies au niveau national ne permettent donc pas de dresser un tableau complet du nombre d’auteurs condamnés pour abus sexuels commis contre des enfants en ligne dans l’UE. Par ailleurs, les données actuellement disponibles ne permettent pas non plus d’établir un lien clair entre ces condamnations et les signalements effectués par les fournisseurs et les organisations agissant dans l’intérêt public contre les abus sexuels commis contre des enfants au cours de périodes de référence précises, comme le voudrait le règlement.

2.3.Évolution des progrès technologiques

Parmi les technologies actuellement utilisées pour détecter les abus sexuels commis contre des enfants en ligne figurent les technologies et les outils permettant de détecter les contenus pédopornographiques «connus» (déjà détectés par le passé), ceux permettant de détecter les contenus pédopornographiques «nouveaux» (non détectés par le passé) et ceux permettant de détecter les sollicitations d’enfants (également désignées sous le terme de «pédopiégeage»).

Les exemples donnés ci-dessous figurent parmi les outils les plus communément utilisés; ils ne constituent pas une liste exhaustive. Bon nombre de ces outils sont mis à la disposition des fournisseurs, des autorités répressives et d’autres organisations dont l’intérêt légitime peut être démontré. En règle générale, le recours à ces outils est conjugué avec la vérification humaine afin de garantir le plus haut degré de précision possible.

La présente section traite également d’autres évolutions en matière de progrès technologique dans le domaine de l’intelligence artificielle.

2.3.1. Détection des contenus pédopornographiques connus

Les technologies actuellement disponibles pour détecter les contenus pédopornographiques connus reposent exclusivement sur une analyse automatique des contenus 14 et recourent au hachage, pour la plupart. Le hachage est une technologie permettant de relever des empreintes numériques. Il permet d’attribuer à une image une signature numérique unique (appelée «code de hachage») qui est ensuite comparée à celle d’autres images afin d’en trouver les éventuelles copies. Cet outil ne détecte que les codes de hachage correspondant à celui de l’image concernée et ignore tous les autres contenus. En outre, les valeurs de hachage ne sont pas réversibles; elles ne peuvent donc pas être utilisées pour recréer une image.

Il existe de nombreuses variantes des technologies de hachage et de nombreuses applications différentes en sont faites. Parmi les moyens utilisés pour détecter les contenus pédopornographiques connus, on recense les outils suivants: (i) PhotoDNA de Microsoft ; (ii) CSAI Match de Google ; (iii) Apple NeuralHash + Private Set Intersection ; (iv) Meta SSN++ ; (v) PDQ et TMK+PDQF ; (vi) MD5 Hash generator (Skype); (vii) Safer (Thorn).

L’outil le plus communément utilisé est PhotoDNA de Microsoft, auquel plus de 150 organisations ont recours 15 . PhotoDNA est utilisé depuis plus de 10 ans et offre un degré élevé de précision. D’après les tests effectués, le taux de faux positifs obtenu par cet outil est estimé à 1 sur 50 milliards, tout au plus 16 . La technologie PhotoDNA affiche un taux d’erreur extrêmement faible en raison de sa nature. En effet, elle détecte exclusivement les copies de contenus déjà détectés par le passé. La version originale de PhotoDNA permet de détecter le matériel pédopornographique connu contenu dans les images, et une autre version permettant de détecter le matériel pédopornographique connu dans les vidéos est également disponible.

Cette technologie évolue constamment et fait sans cesse l’objet d’améliorations. En mai 2023, Microsoft a annoncé le déploiement d’un outil de mise en correspondance plus performant permettant d’exécuter des recherches plus rapidement (environ 350 fois plus vite), tout en réduisant le coût du processus de mise en correspondance sans perte de précision. Selon Microsoft, la nouvelle bibliothèque permet également une détection plus complète incluant les images retournées ou pivotées. En outre, l’Internet Watch Foundation (IWF) a déclaré avoir récemment apporté des améliorations à son outil de hachage 17 .

2.3.2. Détection des nouveaux contenus pédopornographiques

Parmi les technologies actuellement utilisées pour détecter les nouveaux contenus pédopornographiques figurent les classificateurs et l’intelligence artificielle (IA) qui permettent d’analyser les images et les vidéos afin de détecter les structures types de contenu qui correspondent aux schémas générés à partir des contenus pédopornographiques précédemment répertoriés. Un classificateur est un algorithme qui trie les données en classes étiquetées, ou catégories d’informations, grâce à la reconnaissance de modèles. Les classificateurs ont besoin d’informations sur lesquelles s’entraîner et leur précision s’améliore à mesure que le volume de données qui leur est soumis augmente.

Parmi les outils permettant de détecter les nouveaux contenus pédopornographiques figurent: (i) Safer (Thorn); (ii) l’API «Content Safety» de Google ; (iii) la technologie d’IA de Facebook 18 ; (iv) Amazon Rekognition ; (v) Hive AI pour contenu visuel .

Des recherches ont montré que les outils et les systèmes automatisés tels que les classificateurs constituent les moyens les plus efficaces pour détecter les contenus pédopornographiques 19 . En ce qui concerne la détection de matériel pédopornographique nouveau, le taux de précision est nettement supérieur à 90 % à l’heure actuelle. Par exemple, Thorn indique que son classificateur de contenus pédopornographiques peut être réglé de sorte à obtenir un taux de précision de 99 % (tant pour le matériel connu que pour le matériel nouveau), soit un taux de faux positifs de 0,1 % 20 . Ces chiffres sont susceptibles de s’améliorer à mesure que l’outil est utilisé et grâce aux commentaires formulés par ses utilisateurs.

2.3.3. Détection du pédopiégeage

Les outils de détection du pédopiégeage (sollicitation d’enfants) dans les communications textuelles reposent sur des technologies servant uniquement à détecter les schémas révélateurs d’éventuels indices concrets laissant soupçonner des abus sexuels commis contre des enfants en ligne, sans pouvoir remonter à la teneur du contenu. Cette technique est appliquée aux conversations textuelles dans les messageries instantanées. Les conversations sont évaluées en fonction d’une série de caractéristiques et se voient attribuer une note globale indiquant le degré estimé de probabilité qu’il s’agisse de pédopiégeage. Cette note, fixée par chaque entreprise individuellement, sert d’indicateur pour repérer les conversations nécessitant une vérification humaine ultérieure.

Parmi les outils utilisés pour procéder à des analyses textuelles figurent: (i) le projet Artemis de Microsoft 21 ; (ii) Amazon Rekognition ; (iii) la technologie d' intelligence artificielle Spirit de Twitch (basée sur le NLP, classificateurs de textes) 22 ; (Iv) classificateur de «classement» d’apprentissage automatique construit en interne (combinant les technologies d’analyse linguistique interne et les métadonnées); (v) filtrage des chats Roblox 23 ; (vi) Thorn et la solution technique de la Tech Coalition fondée sur l’apprentissage automatique et les classificateurs 24 .

À l’instar de la détection des nouveaux contenus pédopornographiques, celle du pédopiégeage nécessite d’entraîner l’outil à traiter ce genre de contenus. L’accès à des données permettant d’entraîner ces technologies reste la principale difficulté pour pouvoir les faire évoluer et les améliorer.

Thorn, en partenariat avec la Tech Coalition et ses membres, a lancé une nouvelle initiative visant à mettre au point une solution technique permettant de déceler et de contrer les tentatives de pédopiégeage en ligne, qui sera utile et accessible à toute une série de plateformes proposant des services de communication textuelle. Cette technologie se fondera sur les travaux réalisés par l’équipe de Thorn en vue d’élaborer un classificateur automatique de textes basé sur le NLP (traitement du langage naturel), ou un modèle d’apprentissage automatique, qui détecte et catégorise les contenus ou les comportements en ligne en fonction de leur appartenance à des «catégories» prédéfinies s’apparentant à du pédopiégeage (par exemple, exposition à des contenus à caractère sexuel ou tentative de rencontre en personne avec un mineur), et reposera également sur l’attribution d’une note globale aux conversations en fonction de leur degré de ressemblance avec du pédopiégeage 25 .

2.3.4. Nouveaux défis posés par les chatbots (agents conversationnels reposant sur l’intelligence artificielle) et les générateurs d’images/de visuels

Le développement et le déploiement de chatbots intelligents tels que ChatGPT [grand modèle de langage (LLM) mis au point par OpenAI ] et de générateurs de visuels/d’images tels que DALL-E 26 et Midjourney 27 ont retenu toute l’attention du public, principalement en raison de la capacité de ces outils à fournir rapidement des réponses prêtes à l’emploi ou à créer des images réalistes pouvant être utilisées dans un grand nombre de contextes différents. Ces nouveaux outils sont rapidement devenus très populaires et leur usage s’est vite généralisé. Les produits phares sont financés et mis au point par des entreprises technologiques telles que Microsoft et Google, les nouvelles technologies sont sans cesse affinées, et des versions améliorées sont régulièrement mises sur le marché.

Si ces technologies offrent de grandes possibilités tant aux entreprises qu’aux particuliers, elles peuvent également comporter des risques. Les préoccupations concernant ces produits sont notamment liées au fait que des malfaiteurs pourraient vouloir les exploiter à des fins répréhensibles telles que l’exploitation sexuelle d’enfants.

Comme l’a déclaré Europol, si toutes les informations fournies par ChatGPT sont librement accessibles sur Internet, cet outil facilite amplement la tâche aux individus malveillants ne disposant d’aucune connaissance préalable qui souhaitent découvrir un grand nombre de domaines criminels potentiels et apprendre, par exemple, comment entrer par effraction dans une maison ou comment commettre des actes de terrorisme, de cybercriminalité ou de pédophilie. Ces individus peuvent ainsi mieux comprendre comment perpétrer des actes criminels de ce genre 28 .

Les règles d’OpenAI restreignent la capacité de ChatGPT à répondre aux invites qui lui demandent de produire des contenus à caractère sexuel, haineux, violent ou encourageant l’automutilation. Néanmoins, ces garde-fous peuvent être contournés assez facilement par l’ingénierie d’invite 29 . Le déploiement récent des chatbots intelligents (tels que celui de Snapchat) montre leur capacité à outrepasser les limites et à tenir des propos injurieux ou dangereux, y compris dans des situations d’abus sexuel à l’encontre d’enfants 30 . Un nombre croissant d’entreprises envisageant de tester les chatbots intelligents sur leurs plateformes (Instagram, et potentiellement WhatsApp et Messenger), il convient d’examiner soigneusement leur incidence sur les utilisateurs, en particulier les enfants et les jeunes.

Ces nouveaux outils requièrent également la mise en place de garanties adéquates afin d’empêcher qu’ils ne soient utilisés à mauvais escient pour produire de faux contenus pédopornographiques générés par l’IA 31 . Compte tenu du rythme auquel évoluent les outils reposant sur l’IA, il est probable qu’il sera bientôt nettement plus facile de générer des images artificielles impossibles à distinguer des images réelles. Cela pose plusieurs difficultés majeures en matière de lutte contre les abus sexuels commis contre des enfants, car la capacité des services répressifs à enquêter et à engager des poursuites dans les affaires liées à la publication de contenus pédopornographiques et leur aptitude à identifier les vraies victimes pourraient être sérieusement entravées si la présence en ligne de matériel pédopornographique hautement réaliste généré par ordinateur se généralise 32 .

Des recherches ont montré que la consultation de matériel pédopornographique est souvent la première étape avant le passage à l’acte, que les scènes d’abus ou d’exploitation visionnées soient réelles ou reproduites de manière réaliste 33 . Empêcher la diffusion des contenus pédopornographiques générés par l’IA constitue donc un acte de prévention essentiel pour ne pas inciter à la délinquance. En outre, le fait que les pédopiégeurs puissent recourir aux capacités avancées de génération de texte que possède ChatGPT ainsi qu’aux applications d’intelligence artificielle permettant de transformer du texte en images, accessibles gratuitement, pour générer rapidement et facilement du contenu à insérer dans de faux profils ainsi que des conversations plausibles afin de piéger des enfants en ligne constitue également une préoccupation centrale. Si ChatGPT en tant que tel n’incitera pas ses utilisateurs à se livrer à des actes de pédopiégeage en ligne, cette technologie reposant sur l’intelligence artificielle permet néanmoins à quiconque de tenir des conversations en ligne avec des enfants en les rendant plus convaincantes et plus crédibles pour leurs victimes, facilitant ainsi leur manipulation 34 . L’IA générative pourrait faire augmenter le nombre de cas de pédopiégeage en ligne, voire permettre d’automatiser le pédopiégeage à grande échelle 35 .

3.CONCLUSION

Mesures de mise en œuvre prises par les fournisseurs

Dans leurs rapports, les fournisseurs ont montré qu’ils avaient procédé à la détection et au signalement d’abus sexuels commis contre des enfants en ligne au titre du règlement provisoire en recourant à toute une série de technologies et de procédés de détection. Tous les fournisseurs ont déclaré transmettre ces signalements au NCMEC. Pour ce qui est de la nature et du volume des données à caractère personnel traitées par les fournisseurs, les rapports contenaient toute une gamme de données recueillies concernant le trafic et présentaient un degré de détail variable en ce qui concerne les volumes de données traitées, ce qui empêche la Commission d’obtenir des données unifiées au niveau de l’UE concernant les fournisseurs pour la période de référence visée (de juillet 2021 jusqu’au 31 janvier 2023).

Les fournisseurs n’ont pas communiqué le nombre et le taux d’erreurs (faux positifs) correspondant aux différentes technologies utilisées, ventilés par technologie, et ont indiqué qu’ils appliquaient une méthode stratifiée pour détecter les abus sexuels commis contre des enfants en ligne, complétée par une vérification humaine. Dans le même temps, les fournisseurs mettent en place un large éventail de mesures et de garanties pour limiter et réduire le taux d’erreur au moment de leur détection. En outre, les fournisseurs ont déclaré disposer de politiques de conservation des données et de garanties en matière de protection des données, définies dans leurs politiques ou dans leurs déclarations relatives à la protection de la vie privée et étayées par les garanties et les mesures communes au secteur en matière de protection des données.

Mesures de mise en œuvre prises par les États membres

Le règlement provisoire impose également aux États membres (en vertu de son article 8) de fournir les principales données statistiques relatives aux cas d’abus sexuels commis contre des enfants en ligne détectés et signalés aux autorités répressives nationales, au nombre d’enfants identifiés et au nombre d’auteurs condamnés. Les États membres ayant, pour la plupart, fourni des données se rapportant à des périodes de référence différentes, il n’a pas été possible de calculer, à partir des données communiquées, le nombre total de signalements d’abus sexuels commis contre des enfants en ligne reçus au niveau de l’UE. En outre, les signalements reçus et déclarés par les États membres peuvent ne pas être tous exploitables, c’est-à-dire utilisables à des fins d’enquêtes, et ne pas correspondre au nombre d’actions en justice signalées. Seuls quelques États membres ont indiqué le type de fournisseur sur les services duquel des abus sexuels commis contre des enfants en ligne ont été détectés. Dans certains cas, parmi les données statistiques nationales, aucune distinction n’est opérée entre les infractions ayant fait l’objet d’une enquête à la suite de signalements effectués par des fournisseurs et d’autres organisations agissant dans l’intérêt public contre les abus sexuels commis contre des enfants, et les infractions ayant fait l’objet d’une enquête à la suite d’autres signalements.

Par conséquent, il n’a pas été possible d’établir, à partir des rapports reçus, le nombre total d’enfants identifiés en tant que victimes d’abus sexuels en ligne dans l’UE, ventilé par sexe. Les raisons sont notamment les suivantes: les données communiquées se rapportent à des périodes différentes; les limites d’âge appliquées pour définir la notion d’enfant victime d’abus sexuels en ligne sont différentes; les États membres ne recueillent pas de statistiques présentant ce degré de détail en raison de limites techniques ou d’autres contraintes; les enfants victimes d’abus sexuels en ligne ne sont pas distingués de ceux victimes d’abus sexuels hors ligne etc. Certains États membres incluent également dans leurs statistiques les enfants qui ont produit du matériel auto-généré. Plus important encore, bien souvent dans les statistiques, aucune distinction n’est établie entre les victimes identifiées à la suite de signalements effectués par des fournisseurs et des organisations agissant dans l’intérêt public contre les abus sexuels commis contre des enfants au titre du règlement et celles identifiées pour d’autres raisons et par d’autres moyens.

L’aperçu du nombre d’auteurs condamnés est également fragmenté. Dans certains cas, cette information n’est pas disponible, car l’origine du signalement initial n’a pas été précisée dans les bases de données et, par conséquent, aucune distinction n’est opérée entre les auteurs condamnés à la suite de signalements effectués au titre du règlement et ceux condamnés à la suite d’autres signalements. Parfois, au niveau des données figurant dans les systèmes informatiques nationaux, aucune distinction n’est établie non plus entre les infractions commises en ligne et celles commises hors ligne. En outre, les statistiques relatives aux condamnations déclarées pour une période donnée ne se rapportent pas forcément aux signalements reçus au cours de cette période, mais peuvent concerner des signalements datant de périodes antérieures. Les statistiques recueillies quant au nombre de condamnations peuvent également différer de celles relatives au nombre d’auteurs condamnés (un même auteur pouvant avoir été condamné plusieurs fois).

Le caractère hétérogène des statistiques présentées par les États membres – qui, manifestement, ne recueillent pas toujours systématiquement et correctement les données – et l’ensemble des facteurs susmentionnés ne permettent donc pas de dresser un tableau complet des signalements reçus, du nombre d’enfants reconnus en tant que victimes d’abus sexuels en ligne, ni du nombre d’auteurs condamnés au niveau de l’UE, comme le voudrait le règlement. Le fait que, pour la plupart des États membres, un écart important est observé entre le nombre de signalements que le NCMEC déclare avoir été transmis aux États membres et le nombre de signalements que les États membres affirment avoir reçus laisse à penser que les données recueillies et communiquées ne sont pas complètes. Certains États membres ont confirmé que leurs autorités compétentes en la matière connaissaient une phase de changements structurels ou de réorganisation en raison de la création de nouveaux services chargés d’enquêter sur les infractions liées aux abus sexuels commis contre des enfants en ligne. De nouveaux systèmes informatiques sont également mis en place et les autorités nationales ont été invitées à modifier leurs procédures d’enregistrement et leurs statistiques, dans certains États membres. Les États membres devraient ainsi être en mesure de fournir des statistiques plus fiables à l’avenir. En tout état de cause, la Commission fera usage des pouvoirs que lui confèrent les traités afin de veiller à ce que les États membres s’acquittent des obligations que leur impose le règlement provisoire en matière de rapports.

Considérations d’ordre général

Dans l’ensemble, le présent rapport fait apparaître des disparités considérables au niveau des données communiquées au titre du règlement provisoire, tant par les fournisseurs que par les États membres, en matière de lutte contre les abus sexuels commis contre des enfants en ligne. Une normalisation accrue des données disponibles et des modalités de communication, telles que celles prévues dans la proposition de règlement visant à prévenir et à combattre les abus sexuels sur enfants 36 , contribuerait à mieux cerner les activités menées en vue de lutter contre ces actes. Des efforts supplémentaires de la part des fournisseurs et des États membres s’avèrent nécessaires afin de garantir la collecte et la communication de données conformément aux exigences du règlement provisoire.

Les données disponibles montrent que, dans le système de détection et de signalement volontaire tel qu’il existe actuellement, certains contenus repérés par les outils automatiques comme constituant du matériel pédopornographique peuvent, après vérification humaine, s’avérer ne pas en être. Cela peut s’expliquer par l’absence d’un recueil commun de codes de hachages et d’autres indicateurs permettant de détecter les contenus pédopornographiques considérés comme illicites dans l’UE, ou par l’application de normes différentes d’un ordre juridique à l’autre, notamment entre l’UE et les États-Unis, en particulier au niveau des définitions applicables. Les données font également apparaître d’importants écarts en ce qui concerne le nombre de demandes de réexamen et leur taux d’aboutissement, ce qui empêche de tirer des conclusions compte tenu du manque d’informations disponibles concernant la teneur des demandes de réexamen des décisions rendues et le motif de leur annulation.

En ce qui concerne les conditions prévues à l’article 9, paragraphe 2, du RGPD, en matière de traitement des données, les informations fournies indiquent que les technologies utilisées sont des applications conçues dans l’unique but de détecter et de supprimer le matériel pédopornographique présent en ligne et de le signaler aux autorités répressives ainsi qu’aux organisations agissant dans l’intérêt public contre les abus sexuels commis contre des enfants. Aucune information n’a été fournie quant à la question de savoir si le déploiement de ces technologies était conforme à l’état des connaissances et effectué de la manière la moins intrusive possible pour la vie privée, et si une analyse d’impact relative à la protection des données telle que visée à l’article 35 du règlement (UE) 2016/679 et une procédure de consultation telle que visée à l’article 36 dudit règlement avaient été menées préalablement.

En ce qui concerne la proportionnalité du règlement, la question centrale est celle de savoir si le règlement provisoire atteint l’équilibre que le législateur de l’Union a voulu établir entre, d’une part, la réalisation de l’objectif d’intérêt général consistant à lutter efficacement contre les crimes extrêmement graves en cause et la nécessité de protéger les droits fondamentaux des enfants (dignité, intégrité, protection contre les traitements inhumains ou dégradants, protection de la vie privée, droits de l’enfance) et, d’autre part, la sauvegarde des droits fondamentaux des utilisateurs des services visés (protection de la vie privée, protection des données à caractère personnel, liberté d’expression et droit à un recours effectif). Les données disponibles sont insuffisantes pour permettre de tirer des conclusions définitives à cet égard. Compte tenu de l’ampleur des répercussions négatives que les abus sexuels ont sur la vie et les droits des enfants, il est impossible d’apprécier cette proportionnalité en fonction du nombre d’enfants secourus, et il ne serait pas opportun de le faire. Néanmoins, à la lumière de ce qui précède, rien n’indique que la dérogation n’est pas proportionnée.

Malgré les lacunes qu’elles présentent et qui empêchent de comprendre la mesure dans laquelle les signalements volontaires sont utilisés dans un nombre représentatif d’États membres, il ressort clairement des données disponibles que des milliers d’enfants ont été identifiés au cours de la période de référence, que plus de deux mille condamnations ont été prononcées et que des millions d’images et de vidéos ont été retirées de la circulation, réduisant ainsi le phénomène de victimisation secondaire. Il peut dès lors être conclu que le signalement volontaire a fortement contribué à la protection d’un grand nombre d’enfants, y compris contre les abus répétés, et il apparaît que le règlement provisoire est efficace.

(1)

     Twitter a présenté son rapport avant son changement d’appellation; il sera dénommé «X» dans la suite du présent rapport.

(2)

Meta et X n’ont pas explicitement mentionné l’article en question.

(3)

Meta et X n’ont pas explicitement mentionné l’article en question.

(4)

   Les fournisseurs entre parenthèses sont ceux qui ont spécifiquement déclaré prendre les mesures concrètes mentionnées. Le fait que le nom de certains fournisseurs n’apparaisse pas ne signifie pas qu’ils ne mettent pas en œuvre la mesure visée, mais indique simplement qu’ils ne l’ont pas mentionnée dans leur rapport.

(5)

Politique de confidentialité de X, article 4. Combien de temps conservons‑nous les informations?, consultable à l’adresse suivante: https://twitter.com/en/privacy

(6)

   Les fournisseurs entre parenthèses sont ceux qui ont spécifiquement déclaré prendre les mesures concrètes mentionnées. Le fait que le nom de certains fournisseurs n’apparaisse pas ne signifie pas qu’ils ne mettent pas en œuvre la mesure visée, mais indique simplement qu’ils ne l’ont pas mentionnée dans leur rapport.

(7)

Les informations relatives aux organismes agissant dans l’intérêt public auxquels les fournisseurs signalent les abus sexuels commis contre des enfants en ligne au titre du règlement provisoire ont été publiées à l’adresse https://home-affairs.ec.europa.eu/policies/internal-security/child-sexual-abuse/legal-framework-protect-children_en , conformément aux obligations qui incombent à la Commission au titre de l’article 8, paragraphe 2, du règlement provisoire.

(8)

Rapport présenté par l’Allemagne conformément à l’article 8 du règlement (UE) 2021/1232, reçu le 18 octobre 2022. Le NCMEC publie toutes les données relatives aux signalements qu’il reçoit et qui concernent les États membres de l’UE, y compris l’Allemagne, dans les rapports CyberTipline par pays. Voir:    NCMEC, rapport CyberTipline par pays relatif à 2021 , consulté en juillet 2023.    NCMEC, rapport CyberTipline par pays relatif à 2022, consulté en juillet 2023.

(9)

     https://www.bka.de/SharedDocs/Kurzmeldungen/DE/Kurzmeldungen/230623_Mindestspeicherfristen_IP-Adressen.html

(10)

   NCMEC, rapport CyberTipline par pays relatif à 2021 , consulté en novembre 2023.

(11)

   NCMEC, rapport CyberTipline par pays relatif à 2022, consulté en novembre 2023.

(12)

Les données recueillies par le NCMEC sont consultables ici .

(13)

Voir, à titre d’exemple, la liste d’affaires types portées devant la justice, partout dans l’UE, grâce au signalement volontaire effectué par les entreprises figurant dans l’ analyse d’impact accompagnant la proposition de règlement visant à prévenir et à combattre les abus sexuels commis contre des enfants (annexe 7).

(14)

Les fournisseurs considèrent que les métadonnées ne constituent pas un outil efficace pour détecter les contenus à caractère pédopornographiques. Voir, en particulier: Pfefferkorn, R. (9 septembre 2021). Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers. Stanford Internet Observatory, p. 10-11.

(15)

Microsoft, Digital Crimes Unit .

(16)

      Communication du 16 octobre 2019 intitulée «Fostering a Healthier Internet to Protect Consumers», adressée par Hany Farid, développeur de PhotoDNA, à la commission de l’énergie et du commerce.

(17)

Internet Watch Foundation (IWF), rapport annuel de 2022 , p. 129-133.

(18)

Voir ici et ici pour de plus amples informations sur l’outil mis au point par Facebook afin de détecter de manière proactive, à l’aide de l’intelligence artificielle et de l’apprentissage automatique, les images d’enfants nus et les contenus pédopornographiques jusque-là inconnus.

(19)

Pfefferkorn, R. (2022). Content-Oblivious Trust and Safety Techniques: Results from a Survey of Online Service Providers. Journal of Online Trust and Safety, p. 1-38.

(20)

Thorn, Thorn’s Automated Tool to Remove Child Abuse Content at Scale Expands to More Platforms through AWS Marketplace , 24 mai 2021.

(21)

Le projet Artemis de Microsoft a été développé en collaboration avec The Meet Group, Roblox, Kik et Thorn.

(22)

   Pour de plus amples informations, voir: https://safety.twitch.tv/s/article/Our-Work-to-Combat-Online-Grooming?language=en_US  

(23)

Roblox filtre les publications et les discussions pour les joueurs âgés de 12 ans et moins afin d’empêcher que des contenus inappropriés ne leur parviennent et que leurs informations à caractère personnel telles que l’adresse de leur domicile ne soient publiées. Ce système de filtrage s’applique à tous les types de communications sur Roblox, qu’elles soient publiques ou privées. Roblox, Fonctionnalités de sécurité: chat, confidentialité et filtrage , consulté en juillet 2023.

(24)

Tech Coalition, New Technology to Help Companies Keep Young People Safe , 20 juin 2023.

(25)

Tech Coalition, New Technology to Help Companies Keep Young People Safe , 20 juin 2023.

(26)

 DALL-E est un programme d’intelligence artificielle capable de créer des images et des visuels réalistes à partir d’une description textuelle dans un langage naturel.

(27)

Midjourney est un programme et un service d’intelligence artificielle qui permet de générer des images à partir d’une description textuelle dans un langage naturel.

(28)

Europol, ChatGPT - The impact of Large Language Models on Law Enforcement , 2023, ISBN 978-92-95220-57-7, p. 7.

(29)

     Swanson, S. M., ChatGPT Generated Child Sex Abuse When Asked to Write BDSM Scenarios , Vice, 6   mars 2023; Mitchell, A., ChatGPT gives sick child sex abuse answer, breaking its rules, New York Post, 24   juillet 2023; Europol, ChatGPT - The impact of Large Language Models on Law Enforcement , 2023, ISBN 978-92-95220-57-7, p. 5.

(30)

Fowler, G.A., Snapchat tried to make a safe AI. It chats with me about booze and sex , The Washington Post, 14 mars 2023; Vincent, J., Instagram is apparently testing an AI chatbot that lets you choose from 30 personalities , The Verge, 7 juillet 2023.

(31)

Crawford, A., Smith, T., Illegal trade in AI child sex abuse images exposed , BBC, 27 juin 2023.

(32)

Thiel, D., Stroebel, M., et Portnoff, R. (2023). Generative ML and CSAM: Implications and Mitigations . Stanford Digital Repository. Disponible à l’adresse suivante: https://purl.stanford.edu/jv206yg3793 . https://doi.org/10.25740/jv206yg3793 . Page 2.

(33)

     Protect Children, Protect Children’s research in the dark web is revealing unprecedented data on CSAM users , 6 juin 2021; RAINN, What is Child Sexual Abuse Material (CSAM) , 25 août 2022.

(34)

Breck Foundation, Is artificial intelligence putting children at risk? , 9 février 2023, mis à jour le 3 avril 2023.

(35)

Butler, J., AI tools could be used by predators to ‘automate child grooming’, eSafety commissioner warns , The Guardian, 19 mai 2023.

(36)

Proposition de règlement du Parlement européen et du Conseil établissant des règles en vue de prévenir et de combattre les abus sexuels sur enfants ( COM/2022/209 final ).