SWE-bench Pro

La foire à la saucisse des benchmarks IA… peut-on leur faire confiance ?

Les benchmarks sur l’IA générative sont largement utilisés par les sociétés, mais veulent-ils dire quelque chose ? Oui, à condition d’avoir l’ensemble des détails et des conditions des tests, qui ne sont que rarement mis en avant. La prudence est donc de mise. Les modèles d’IA générative se succèdent à un rythme important, avec pléthore […]