NapseflowNapseflow
AccueilContenusÉditionsComprendreActualités
Concept

SWE-bench Pro

Version « professionnelle » de *SWE-bench*, développée par Scale AI en 2025. Il propose trois ensembles de tests (*Public Set*, *Held-out Set*, *Private Set*) pour évaluer les modèles sur des tâches plus complexes et inédites.

Catégorie : Numérique

Articles liés (1)

La foire à la saucisse des benchmarks IA… peut-on leur faire confiance ?

Les benchmarks sur l’IA générative sont largement utilisés par les sociétés, mais veulent-ils dire quelque chose ? Oui, à condition d’avoir l’ensemble des détails et des conditions des tests, qui ne sont que rarement mis en avant. La prudence est donc de mise. Les modèles d’IA générative se succèdent à un rythme important, avec pléthore […]

Lire l'édition complète →
1 mo

Ce contenu a été généré par intelligence artificielle à partir de l'article source. Il peut contenir des erreurs ou imprécisions.