Des chercheurs ont développé une formule mathématique capable de prédire quand l'IA va raconter n'importe quoi
Une nouvelle formule mathématique suit la «boussole interne» de l'intelligence artificielle. Elle permet de repérer les réponses indésirables avant même qu'elles soient générées..
Les assistants conversationnels comme ChatGPT, Claude ou Mistral produisent parfois des réponses erronées ou dangereuses. Ces erreurs ne sont pas toujours liées à la qualité des données d'entraînement, mais souvent à la manière dont l'utilisateur formule ses questions. Par exemple, un même prompt peut déclencher des réponses radicalement différentes selon l'ordre des questions posées. Ces incohérences posent un risque croissant, avec des cas documentés d'incitation à des actes violents ou de conseils dangereux. Les chercheurs soulignent que ces dérives ne sont pas rares et nécessitent des solutions pour éviter des conséquences graves.
Une équipe de chercheurs de l'université George-Washington, aux États-Unis, a mis au point une formule mathématique capable de prédire quand un chatbot va produire des réponses indésirables. Cette formule fonctionne comme une boussole interne pour l'intelligence artificielle, en analysant les vecteurs de ses réponses. Elle permet d'identifier un point de basculement où l'IA passe d'une réponse acceptable à une réponse problématique. Les scientifiques ont testé leur formule sur des modèles d'IA comme GPT-2, Pythia et Meta OPT, et ont réussi à prédire ce basculement dans 18 cas sur 19 lors de leurs expériences.
Pour élaborer leur formule, les chercheurs ont soumis les mêmes questions à différents modèles d'IA, en variant uniquement l'ordre des questions. Par exemple, ils ont testé des demandes sur les vaccins, la violence ou l'automutilation. Les résultats ont montré que l'ordre des questions influence fortement les réponses, parfois de manière imprévisible. La formule mathématique utilise des vecteurs, qui sont des outils mathématiques représentant des directions et des magnitudes, pour mesurer cette influence. Elle agit comme un système d'alerte précoce, permettant de repérer les dérives avant même qu'elles ne se produisent.
Le physicien Neil Johnson, coauteur de l'étude, estime que les mesures de sécurité actuelles des entreprises comme OpenAI ou Anthropic sont insuffisantes. Il prédit une résistance de leur part, car ces outils pourraient révéler des failles dans leurs systèmes. D'autres experts, comme Wei Xing de l'université de Sheffield, appellent à la prudence. Selon lui, la formule n'a été testée que sur des modèles d'IA anciens ou expérimentaux, comme GPT-2, et non sur les versions grand public utilisées aujourd'hui. Des tests supplémentaires sont donc nécessaires pour valider son efficacité sur des systèmes plus modernes.
L'étude a été publiée dans la revue *Patterns* en octobre 2026. Elle s'inscrit dans un débat public croissant sur les risques liés à l'IA, avec des exemples concrets comme des chatbots incitant au suicide ou fournissant des conseils pour fabriquer des armes. Des dirigeants du secteur, comme *Sam Altman* (PDG d'*OpenAI*), reconnaissent ces dangers tout en défendant le développement de la technologie. Cette formule mathématique pourrait représenter une avancée majeure pour limiter ces risques, mais son adoption dépendra de sa validation sur des modèles d'IA plus récents et de l'acceptation des entreprises concernées.
