Ablation, ablitération : c’est quoi cette technique pour « débrider » les IA génératives ?
Ablitérer un modèle de langage permet de supprimer une (plus ou moins grande) partie des protections contre des demandes qu’il juge déplacées, dangereuses ou malveillantes. Mais comment ça fonctionne exactement ? Quelles sont les conséquences ? Next vous explique.
Les IA génératives, comme les grands modèles de langage (LLM), fonctionnent grâce à un processus en plusieurs étapes. D’abord, elles sont entraînées sur d’énormes quantités de données, souvent issues de l’intégralité du web. Cet entraînement permet d’ajuster des centaines de milliards de paramètres (ou poids), qui sont des valeurs numériques associées aux connexions entre les neurones artificiels du modèle. Plus il y a de paramètres, plus le modèle peut stocker de connaissances et devenir performant. Par exemple, un modèle récent peut contenir jusqu’à plusieurs centaines de milliards de paramètres, ce qui lui permet de traiter des requêtes complexes comme générer un texte ou répondre à une question technique. Cette phase initiale ne définit pas encore les limites éthiques ou sécuritaires de l’IA, mais elle pose les bases de ses capacités.
Après l’entraînement initial, les IA génératives subissent une phase de fine-tuning (affinage) et d’alignement, qui consiste à ajuster leurs réponses pour qu’elles respectent des règles éthiques et légales. Cette étape utilise des exemples de comportements acceptables et inacceptables, comme demander des informations sur un produit chimique ou des conseils pour s’en protéger, par opposition à des demandes de fabrication de substances dangereuses. L’alignement ne fonctionne pas en ajoutant un simple « non » ou « oui » aux réponses, mais en intégrant un vecteur (une direction dans l’espace des données) qui influence toutes les couches du modèle. Si une requête ou une réponse dépasse un seuil de risque prédéfini, l’IA refusera de répondre. Par exemple, un modèle comme Shieldstral de Mistral peut servir de classificateur, un algorithme qui étiquette automatiquement les prompts ou les réponses en fonction de leur dangerosité, avant qu’ils ne soient traités par le LLM.
Malgré les protections mises en place, il est possible de contourner les refus des IA génératives. Trois méthodes principales existent. La première, le jailbreak, consiste à reformuler une requête pour éviter d’éveiller les soupçons du classificateur, sans modifier le modèle lui-même. La deuxième, l’ablitération, implique une modification ciblée du modèle pour qu’il perde ses inhibitions et accepte des demandes normalement refusées. Enfin, la troisième méthode, plus radicale, consiste à réentraîner le modèle sur des données ne contenant aucune notion de refus, ce qui supprime les garde-fous éthiques. Ces techniques sont souvent utilisées pour contourner les restrictions des modèles comme ChatGPT, mais elles soulèvent des questions éthiques et légales, notamment sur la responsabilité en cas d’usage malveillant.
Les méthodes de contournement des protections des IA génératives, comme l’ablitération, posent des défis majeurs. Elles peuvent permettre d’obtenir des réponses dangereuses, comme des instructions pour fabriquer des armes, des substances illicites ou des outils de cyberattaque, malgré les garde-fous initialement mis en place. Par exemple, un modèle modifié pourrait accepter une demande de tuto pour créer un *malware* (logiciel malveillant), alors qu’un modèle standard la refuserait. Ces techniques remettent en cause l’efficacité des systèmes de modération, qui reposent sur une combinaison de classificateurs et de vecteurs d’alignement. Cependant, elles restent limitées par la complexité des modèles et la nécessité de comprendre leur architecture interne, ce qui les rend accessibles principalement à des experts ou à des organisations disposant de ressources importantes.
