Grok aurait généré 7 000 deepfakes pédocriminels d’une mineure pour son beau-père
L’affaire des deepfakes pédocriminels générés par l’IA Grok de SpaceXAI révèle une faille systémique dans la régulation des outils d’intelligence artificielle, où la promesse d’un filtrage des contenus illégaux se heurte à des usages criminels facilités par des modèles accessibles et des protocoles de signalement défaillants. Ce cas illustre comment l’innovation technologique, lorsqu’elle n’est pas encadrée par des garde-fous robustes, peut devenir un vecteur de victimisation systémique, notamment pour des mineurs déjà vulnérabilisés par des abus réels.
Quels outils et acteurs sont directement mis en cause dans la génération de ces deepfakes pédocriminels ?
Les entreprises SpaceXAI (via son modèle Grok) et Stability AI (via ses modèles Stable Diffusion SD 1.0 et 1.5) sont accusées d’avoir permis la création de milliers de contenus pédocriminels (CSAM) représentant cinq jeunes femmes mineures. Grok a été utilisé par un beau-père pour générer plus de 7 000 images explicites d’une mineure, tandis que Stability AI est visée pour ses modèles à poids ouverts, entraînés sur des bases de données incluant des contenus pédocriminels, rendant leur contournement des filtres plus aisé.
Pourquoi les modèles à poids ouverts comme Stable Diffusion sont-ils particulièrement problématiques dans ce contexte ?
Les modèles à poids ouverts, comme ceux de Stability AI, partagent publiquement leurs paramètres d’apprentissage, ce qui permet à des utilisateurs malveillants de les adapter pour contourner les restrictions de génération de contenus illégaux. Dans le cas présent, les avocats des plaignantes soulignent que ces modèles, entraînés sur des données incluant des CSAM (notamment via la base LAION-5B), conservent une capacité intrinsèque à produire de tels contenus, même après des ajustements techniques.
Quelles défaillances institutionnelles cette affaire met-elle en lumière ?
L’enquête révèle plusieurs dysfonctionnements : SpaceXAI n’a pas fourni aux autorités les deepfakes générés malgré son obligation de signalement, transmettant initialement l’information à une cellule de lutte contre la cybercriminalité du mauvais État ; le beau-père, auteur des abus, s’est suicidé avant d’être inculpé, privant la justice des preuves numériques nécessaires. Ces lacunes illustrent l’insuffisance des mécanismes de traçabilité et de collaboration entre plateformes technologiques et institutions judiciaires.
Ce que ça pourrait changer
Cette affaire pourrait accélérer l’adoption de régulations plus strictes sur les modèles d’IA, notamment en imposant des audits indépendants des données d’entraînement et des mécanismes de blocage systématique des requêtes à risque. Elle souligne aussi l’urgence d’une harmonisation internationale des protocoles de signalement et de coopération judiciaire, alors que les outils d’IA générative se démocratisent sans garde-fous adaptés. Enfin, elle interroge la responsabilité pénale des entreprises technologiques face à l’usage criminel de leurs produits, au-delà des simples obligations de modération.
