La foire à la saucisse des benchmarks IA… peut-on leur faire confiance ?

Les modèles d’intelligence artificielle (IA) générative, comme ChatGPT d’OpenAI ou Claude d’Anthropic, sont régulièrement comparés à travers des benchmarks (tests standardisés) qui affichent des performances impressionnantes. Pourtant, ces chiffres, souvent mis en avant dans des communiqués ou des blogs, soulèvent des questions sur leur fiabilité. Une analyse de plus d’une dizaine de sources, incluant des entreprises comme Moonshot IA (Kimi K3) ou Qwen (3.8-Max), ainsi que des tests indépendants menés par Artificial Analysis, révèle que les résultats varient considérablement selon les méthodes de mesure et les données utilisées. Ces écarts remettent en cause la transparence et la comparabilité des benchmarks, essentiels pour évaluer objectivement les progrès de l’IA.

Le benchmark SWE-bench Pro, développé par Scale AI en 2025, est présenté comme un outil rigoureux pour évaluer les agents d’IA spécialisés en ingénierie logicielle. Il est souvent cité comme une référence, mais il existe en réalité trois versions distinctes : le Public Set (731 tâches, 11 dépôts), le Held-out Set (858 tâches, 12 dépôts) et le Commercial ou Private Set (276 tâches, 18 dépôts). Ces versions diffèrent par leur niveau de difficulté et l’accès aux données. Le Public Set est accessible à tous, ce qui permet aux développeurs d’optimiser leurs modèles, tandis que le Private Set utilise des données inédites pour éviter les biais. Le Held-out Set sert de contrôle surprise. La confusion entre ces versions fausse souvent les comparaisons.

Le Public Set de SWE-bench Pro, bien que transparent, présente un inconvénient majeur : sa disponibilité publique permet aux modèles d’IA d’être entraînés ou optimisés spécifiquement pour ce jeu de données. Cela crée un biais de surapprentissage (overfitting), où les performances mesurées ne reflètent pas la capacité réelle du modèle à généraliser. À l’inverse, le Private Set utilise des tâches inconnues des modèles, offrant une évaluation plus réaliste. Pourtant, ce dernier est moins utilisé dans les annonces commerciales, car ses résultats sont moins flatteurs pour les entreprises. Les scores affichés dans les communiqués reposent donc souvent sur des données biaisées, ce qui fausse la perception des performances réelles.

Scale AI, l’entreprise derrière SWE-bench Pro, présente ce benchmark comme un successeur amélioré de SWE-bench, lancé en 2023 par des chercheurs de Princeton et Stanford. La version Pro se distingue par des tâches plus diversifiées et une difficulté accrue, avec un code que les modèles n’ont jamais rencontré. Cependant, la société ne précise pas toujours quelle version des données est utilisée dans ses annonces. Cette opacité rend difficile la comparaison objective entre les modèles. Par exemple, un score élevé sur le Public Set peut donner l’illusion d’une supériorité technique, alors qu’il ne reflète pas la capacité à résoudre des problèmes inédits, comme le ferait un Private Set.

Les résultats des benchmarks varient non seulement en fonction des jeux de données, mais aussi selon qui les réalise. Par exemple, Artificial Analysis, une société indépendante spécialisée dans l’évaluation des modèles d’IA, publie régulièrement des classements qui diffèrent de ceux d’OpenAI ou d’Anthropic. Ces écarts s’expliquent par des méthodologies distinctes : choix des tâches, paramètres de test, ou encore sélection des données. Ainsi, un même modèle peut obtenir des scores radicalement différents selon l’organisme qui l’évalue. Cette variabilité rend les comparaisons hasardeuses et soulève des questions sur la standardisation des méthodes de mesure dans le domaine de l’IA.