Hugging Face héberge des centaines d’outils de génération de contenu sexuel non consenti

Hugging Face est une entreprise américaine qui héberge une plateforme open source dédiée à l'intelligence artificielle (IA).

Elle met à disposition des utilisateurs des modèles d'IA, des bases de données et des environnements de test.

Ces outils permettent notamment de générer du contenu à partir de données, comme des images ou des textes.

La plateforme est largement utilisée par des développeurs, des chercheurs et des entreprises pour créer ou tester des applications basées sur l'IA.

Cependant, selon une enquête récente, Hugging Face n'a mis en place aucun mécanisme de modération pour empêcher l'utilisation de ses outils à des fins illégales ou problématiques, comme la génération de contenus sexuels non consentis.

Une étude menée par l'ONG AI Forensics révèle que Hugging Face héberge des centaines d'outils capables de générer des contenus sexuels non consentis.

Parmi ces outils, certains permettent de créer des images ou des vidéos à caractère pédocriminel.

L'ONG a utilisé une méthode appelée pot de miel pour analyser les requêtes des utilisateurs : en une semaine, 73 % des demandes étaient à caractère sexuel, et 60 % concernaient des contenus probablement non consentis.

Ces chiffres illustrent l'ampleur du problème et l'absence de contrôle sur la plateforme.

L'Internet Watch Foundation (IWF) avait déjà alerté en mars 2026 sur la multiplication de ces contenus, soulignant leur impact sur les enquêtes policières et la banalisation des violences sexuelles.

Contrairement à d'autres plateformes, Hugging Face n'a pas implémenté de système de modération pour filtrer les outils ou les requêtes problématiques.

Cela signifie que des utilisateurs peuvent accéder librement à des modèles d'IA permettant de générer des contenus illégaux ou nuisibles, sans aucune restriction.

Cette absence de garde-fous pose un défi majeur, car ces outils peuvent être utilisés pour créer des contenus réalistes et difficiles à distinguer de vraies images pédopornographiques.

Les équipes policières, comme l'explique l'ex-commandante de police Véronique Béchu, perdent un temps précieux à analyser ces faux contenus, ce qui retarde la protection des victimes réelles.

L'Union européenne travaille actuellement sur un règlement appelé AI Act, qui vise à encadrer l'utilisation des systèmes d'IA.

Dans ce cadre, elle a interdit explicitement les systèmes dits de nudification, c'est-à-dire les outils permettant de générer des images ou vidéos à caractère sexuel sans le consentement des personnes concernées.

Cette interdiction s'inscrit dans une volonté de protéger les individus contre les usages malveillants de l'IA.

Cependant, des plateformes comme Hugging Face, qui hébergent des outils similaires, ne semblent pas encore alignées sur ces nouvelles règles, malgré leur portée géographique et leur influence dans le domaine de l'IA.