La foire à la saucisse des benchmarks IA… peut-on leur faire confiance ?
Les modèles d’intelligence artificielle générative s’appuient sur des benchmarks pour légitimer leurs performances, mais leur fiabilité reste un sujet de controverse. Entre jeux de données publics, ensembles privés et méthodes de mesure opaques, la transparence des évaluations devient un enjeu central pour les acteurs du secteur et les utilisateurs. Cet emballement autour des scores ne masque-t-il pas une course aux annonces plus qu’à l’innovation réelle ?
Quels sont les principaux acteurs impliqués dans la publication et l’évaluation des benchmarks IA mentionnés dans l’article ?
L’article cite OpenAI, Anthropic, Moonshot AI et Qwen comme principaux acteurs commerciaux du secteur, ainsi que Scale AI pour le développement de SWE-bench Pro, et Artificial Analysis pour des tests indépendants. Ces entités utilisent des benchmarks pour comparer leurs modèles, mais leurs méthodes et données diffèrent souvent.
En quoi la distinction entre Public Set, Held-out Set et Private Set dans SWE-bench Pro influence-t-elle la fiabilité des résultats ?
Le Public Set (731 tâches) permet des optimisations par les modèles, car ses données sont accessibles à tous, ce qui fausse la comparaison. Le Held-out Set (858 tâches) sert de contrôle surprise, tandis que le Private Set (276 tâches) propose des données inédites, censées refléter une évaluation plus réaliste. Pourtant, ces distinctions sont rarement précisées dans les annonces, rendant les scores non comparables.
Pourquoi les benchmarks comme SWE-bench ou SWE-bench Pro sont-ils si controversés dans l’écosystème de l’IA générative ?
Leur controverse tient à leur manque de standardisation : mêmes jeux de données, mêmes noms de benchmarks, mais des scores variables selon les acteurs et leurs méthodes. Les données utilisées (publiques ou privées) et les conditions de test (paramètres, optimisations) ne sont pas toujours transparentes, ce qui alimente les soupçons de manipulation ou de présentation biaisée des performances.
Ce que ça pourrait changer
Cette opacité des benchmarks pourrait éroder la confiance des utilisateurs et des investisseurs dans les annonces des acteurs de l’IA, au profit d’une course aux scores plus qu’à des progrès tangibles. Elle risque aussi de favoriser les modèles les plus agressifs en marketing, plutôt que ceux réellement performants. Sans régulation ou standardisation, le secteur pourrait entrer dans une phase de défiance généralisée.
