Elle rend l’IA plus intelligente, mais devient de plus en plus difficile à surveiller : c’est quoi la « chaîne de pensée » ?

De sa formalisation par des chercheurs de Google en 2022 à son intégration native dans les modèles d'OpenAI, la chaîne de pensée (chain-of-thought ou CoT), a changé la manière dont l'IA raisonne. Mais cette fenêtre ouverte sur son fonctionnement interne pourrait bientôt se refermer.

Résumé

Origine du CoT

La chaîne de pensée (ou chain-of-thought, abrégé en CoT) a été formalisée en 2022 par des chercheurs de Google.

Ce concept vise à améliorer les capacités de raisonnement des grands modèles de langage (LLM), qui, jusqu’alors, fonctionnaient principalement en prédisant le mot suivant le plus probable dans une phrase.

Cette approche simple est efficace pour des tâches basiques, mais échoue sur des problèmes complexes nécessitant plusieurs étapes de logique, comme des calculs ou des démonstrations.

Le CoT consiste à forcer le modèle à exposer son raisonnement étape par étape, en langage naturel, avant de donner sa réponse finale.

Cette suite d’étapes intermédiaires agit comme une mémoire externe, permettant au modèle de s’appuyer sur ses propres raisonnements précédents pour avancer.

Les chercheurs de Google ont démontré que fournir quelques exemples de raisonnements détaillés dans une requête (prompt) suffisait à améliorer significativement les performances des modèles sur des tâches logiques ou arithmétiques.