Détection de grooming
La détection de grooming vise à identifier automatiquement les tentatives de manipulation d'enfants en ligne. Voici ses limites techniques et les débats autour.
Définition
Le grooming désigne le processus par lequel un adulte manipule psychologiquement un mineur en vue de commettre un abus sexuel. Ce processus se déroule souvent en ligne, via des messageries, des jeux en ligne, ou des réseaux sociaux. Il peut s'étaler sur des semaines ou des mois avant de déboucher sur une agression physique ou numérique.
La détection de grooming est la troisième catégorie de contenus visée par le règlement CSAR, aux côtés du CSAM connu et du CSAM nouveau. Elle repose sur des algorithmes d'analyse conversationnelle censés identifier automatiquement les patterns de manipulation caractéristiques.
Techniquement, c'est la plus complexe et la plus controversée des trois catégories.
Le mécanisme technique
La détection de grooming repose sur des algorithmes d'intelligence artificielle entraînés sur des corpus de conversations identifiées comme problématiques.
L'algorithme analyse le déroulement de la conversation entre deux utilisateurs. Il identifie des marqueurs linguistiques : compliments répétés à un mineur, questions sur l'environnement familial de l'enfant, propositions de secret, escalade progressive vers des sujets intimes, tentative d'isolement.
Quand un score de "risque de grooming" atteint un seuil défini, l'algorithme génère un signalement. Ce signalement peut ensuite être transmis aux autorités compétentes pour vérification.
Le principe est séduisant sur le papier. En pratique, il pose des difficultés techniques et éthiques massives.
Les limites techniques structurelles
La distinction impossible entre conversations légitimes et suspectes. Les échanges entre un parent et son enfant sur des sujets sensibles, entre un professionnel de santé et un patient mineur, ou entre deux adolescents ayant une relation consentie, peuvent présenter des patterns linguistiques très similaires à ceux du grooming. L'algorithme n'a pas le contexte nécessaire pour distinguer ces situations.
Les faux positifs massifs. Les études officielles disponibles montrent que les algorithmes actuels génèrent entre 40 % et 60 % de signalements sans intérêt pénal. Sur les échanges familiaux, les échanges scolaires, les échanges médicaux, les taux de faux positifs peuvent être encore plus élevés.
L'impossibilité de vérifier à grande échelle. Chaque signalement suppose une revue humaine par des agents formés. À l'échelle européenne, avec 450 millions d'utilisateurs et potentiellement des dizaines de millions de signalements par an, cette revue est structurellement impossible à effectuer correctement.
L'adaptation des criminels réels. Les prédateurs sérieux, informés que ces algorithmes existent, modifient leur langage pour les contourner. Ils apprennent à mener leurs conversations en utilisant des formulations qui n'activent pas les patterns détectés. Résultat : les criminels sérieux échappent au filet, tandis que les conversations normales entre utilisateurs légitimes sont surdétectées.
Les enjeux éthiques
Au-delà des limites techniques, la détection de grooming pose des enjeux éthiques spécifiques.
La surveillance de la parole intime. Contrairement à la détection de CSAM (qui porte sur des fichiers), la détection de grooming porte sur le contenu conversationnel. C'est une forme de surveillance particulièrement intrusive : les mots, les tournures, les émotions exprimées deviennent des objets d'analyse.
L'effet chilling. Sachant que leurs conversations peuvent être analysées, les utilisateurs modifient leur comportement. Ils s'auto-censurent. Les parents hésitent à aborder certains sujets avec leurs enfants adolescents. Les professionnels réfléchissent à deux fois avant de traiter de questions sensibles. Cet "effet chilling" a des conséquences sociales importantes qui vont bien au-delà du sujet des abus sur enfants.
La stigmatisation des faux positifs. Une personne signalée à tort par un algorithme peut faire l'objet d'une enquête administrative ou pénale. Même si l'enquête aboutit à un non-lieu, l'expérience elle-même est traumatisante. Sur des dizaines de millions de faux positifs potentiels par an, ce sont des vies humaines qui peuvent être bouleversées.
Ce que ça change pour vous
En pratique, la détection de grooming signifie qu'une part importante de vos échanges familiaux, professionnels ou personnels pourrait être analysée par des algorithmes cherchant à identifier des patterns de manipulation.
Les échanges les plus à risque de faux positifs sont ceux qui traitent de sujets intimes ou sensibles avec des mineurs : discussions parent-enfant sur la puberté, échanges entre adolescents, consultations médicales à distance, communications entre enseignants et élèves.
Le chiffrement personnel permet de soustraire ces échanges à l'analyse algorithmique. Le contenu chiffré est illisible pour tout algorithme, quel que soit son degré de sophistication.