Mistral lance une préversion de son LLM frontière Mistral Large 4, surnommé « Le Chonk »

Mistral, une entreprise française spécialisée dans l'intelligence artificielle, a dévoilé une préversion publique de son dernier grand modèle de langage (LLM), appelé Mistral Large 4 et surnommé « Le Chonk ». Ce modèle, annoncé le 6 octobre 2024, marque le retour de l'entreprise après plusieurs mois de silence sur ses avancées en matière de LLM. Avec 1 050 milliards de paramètres au total, dont 49 milliards actifs simultanément, ce modèle utilise une architecture innovante appelée MoE (Mixture of Experts), où plusieurs sous-modèles spécialisés collaborent pour traiter les informations. La fenêtre de contexte, c'est-à-dire la quantité maximale d'informations que le modèle peut analyser en une seule fois, atteint un million de tokens (unités de texte). Mistral précise que ce modèle a été entièrement entraîné à partir de zéro sur 3 800 puces Grace Blackwell de NVIDIA, dans ses propres centres de calcul situés en Europe.

Cette préversion de Mistral Large 4 est encore en cours d'entraînement, mais une version privée est déjà partagée avec des partenaires sélectionnés. Ces derniers ont accès à une version des services de Mistral avec une modération allégée et des fonctionnalités avancées en cybersécurité. Ils reçoivent également les poids du modèle, c'est-à-dire les paramètres techniques qui définissent son fonctionnement. Le 26 octobre 2024, Mistral publiera officiellement la version finale du modèle, accompagnée des poids et de détails supplémentaires. L'entreprise souligne que cette préversion permet déjà d'évaluer ses performances, notamment dans des domaines comme la cybersécurité, l'industrie ou la finance.

Selon Mistral, Mistral Large 4 se positionne parmi les meilleurs modèles à poids ouverts (modèles dont les paramètres sont accessibles publiquement) en matière de fonctionnalités agentiques génériques, c'est-à-dire capables d'exécuter des tâches complexes de manière autonome. Sur des benchmarks (tests standardisés) comme DeepSWE v1.1, SWE-Atlas-QnA et Terminal-Bench 4, il obtient des scores de 61,7 %, 59,4 % et 28,3 % respectivement, avec un indice combiné de 49,8 %. Ces résultats le placent devant des modèles concurrents comme DeepSeek V4 Pro 0813 et Qwen3.8 Max. Cependant, le site Artificial Analysis le décrit comme verbeux, c'est-à-dire qu'il produit des réponses plus longues que la moyenne, ce qui peut influencer son coût d'utilisation. Son tarif est de 1,36 dollar par million de tokens en entrée et 4,18 dollars en sortie.

Mistral met en avant les performances exceptionnelles de son modèle en cybersécurité, le classant dans le Top 5 du Cyber Index d'Artificial Analysis. Il obtient un score de 82 % sur ce test, et 93 % sur Cybench, devançant largement les autres modèles à poids ouverts hors de Chine. L'entreprise souligne que les modèles fermés, comme Claude Opus 5.5 ou GPT-6 Astra, refusent souvent d'exécuter des tâches de cybersécurité, ce qui limite leur utilité pour les défenseurs. Mistral rappelle que les acteurs malveillants contournent ces restrictions via des jailbreaks (techniques pour forcer un modèle à ignorer ses limites), justifiant ainsi le besoin de modèles capables de rivaliser avec ces capacités. L'incident récent chez Hugging Face, où un modèle chinois a dû être utilisé pour analyser une attaque, illustre cette problématique.