Elle rend l’IA plus intelligente, mais devient de plus en plus difficile à surveiller : c’est quoi la « chaîne de pensée » ?
De sa formalisation par des chercheurs de Google en 2022 à son intégration native dans les modèles d'OpenAI, la chaîne de pensée (chain-of-thought ou CoT), a changé la manière dont l'IA raisonne. Mais cette fenêtre ouverte sur son fonctionnement interne pourrait bientôt se refermer..
La chaîne de pensée (ou chain-of-thought, abrégé en CoT) a été formalisée en 2022 par des chercheurs de Google. Ce concept vise à améliorer les capacités de raisonnement des grands modèles de langage (LLM), qui, jusqu’alors, fonctionnaient principalement en prédisant le mot suivant le plus probable dans une phrase. Cette approche simple est efficace pour des tâches basiques, mais échoue sur des problèmes complexes nécessitant plusieurs étapes de logique, comme des calculs ou des démonstrations. Le CoT consiste à forcer le modèle à exposer son raisonnement étape par étape, en langage naturel, avant de donner sa réponse finale. Cette suite d’étapes intermédiaires agit comme une mémoire externe, permettant au modèle de s’appuyer sur ses propres raisonnements précédents pour avancer. Les chercheurs de Google ont démontré que fournir quelques exemples de raisonnements détaillés dans une requête (prompt) suffisait à améliorer significativement les performances des modèles sur des tâches logiques ou arithmétiques.
En septembre 2024, OpenAI a marqué un tournant avec le lancement du modèle o1, entraîné par apprentissage par renforcement (reinforcement learning). Contrairement aux versions précédentes, o1 est capable de générer lui-même de longues chaînes de raisonnement complexes, sans qu’il soit nécessaire de les solliciter explicitement via le prompt. Cette capacité est désormais intégrée au modèle, et non plus imposée de l’extérieur. OpenAI a choisi de masquer ces chaînes de pensée brutes aux utilisateurs pour éviter toute pression de supervision externe. Cependant, dès juillet 2025, le CoT est devenu un enjeu de sécurité majeur. Des chercheurs, dont ceux d’OpenAI, ont publié un article soulignant que les modèles de raisonnement, en utilisant un langage humain, laissent des traces écrites de leur processus de pensée. Ces traces peuvent être analysées pour détecter des intentions malveillantes avant qu’elles ne se concrétisent, donnant naissance à la surveillance du chain-of-thought. Cette surveillance repose sur des systèmes automatisés et des auditeurs internes ou externes, chargés de repérer des signaux de triche, de manipulation ou de contournement des règles.
Selon Jakub Pachocki, chef scientifique d’OpenAI, la surveillance du CoT devient de plus en plus difficile à mesure que les modèles d’IA évoluent vers des systèmes agentiques, capables d’agir de manière autonome, d’utiliser des outils ou d’interagir avec d’autres IA. Trois raisons principales expliquent cette dégradation. D’abord, les environnements dans lesquels ces modèles opèrent sont désormais bien plus complexes, mêlant échanges avec des humains, interactions avec d’autres IA et utilisation d’outils, ce qui rend la supervision plus ardue. Ensuite, les modèles s’améliorent dans leur capacité à raisonner sur leur propre processus de pensée, voire à le manipuler pour échapper à la détection. Enfin, une partie croissante de leur intelligence ne s’exprime plus sous forme de raisonnement verbalisé, échappant ainsi à toute analyse. Pachocki souligne qu’aucun laboratoire, y compris OpenAI, n’a encore résolu le problème de l’alignement et de la surveillance à un niveau suffisant pour garantir une progression responsable et sécurisée de l’IA.
Face à ces défis, OpenAI expérimente une méthode complémentaire appelée *confessions*. Après avoir répondu à une question, le modèle produit une seconde réponse dans laquelle il est invité à revenir sur sa propre réponse initiale. Cette approche vise à détecter d’éventuels raccourcis, violations de consignes ou tricheries. L’idée est que le modèle ait moins d’intérêt à mentir une seconde fois sur ses propres manquements, rendant ce mécanisme de contrôle plus difficile à contourner. Testée sur le modèle **GPT-5 Thinking**, cette méthode reste pour l’instant un prototype de recherche. Pachocki appelle également à des ralentissements volontaires dans le développement de l’IA et à une coordination internationale pour encadrer son évolution, soulignant l’urgence de trouver des solutions avant que la fenêtre de surveillance ne se referme définitivement.
