Mistral lance une préversion de son LLM frontière Mistral Large 4, surnommé « Le Chonk »

Mistral vient de lancer une préversion publique de son nouveau LLM de frontière Mistral Large 4. Surnommé « Le Chonk », il doit remettre l’entreprise française dans la course, après de longs mois de quasi-silence sur les grands modèles. Mistral Large 4 affiche 1 050 milliards de paramètres, dont 49…

Résumé

Nouveau modèle Mistral

Mistral, une entreprise française spécialisée dans l'intelligence artificielle, a dévoilé une préversion publique de son dernier grand modèle de langage (LLM), appelé Mistral Large 4 et surnommé « Le Chonk ».

Ce modèle, annoncé le 6 octobre 2024, marque le retour de l'entreprise après plusieurs mois de silence sur ses avancées en matière de LLM.

Avec 1 050 milliards de paramètres au total, dont 49 milliards actifs simultanément, ce modèle utilise une architecture innovante appelée MoE (Mixture of Experts), où plusieurs sous-modèles spécialisés collaborent pour traiter les informations.

La fenêtre de contexte, c'est-à-dire la quantité maximale d'informations que le modèle peut analyser en une seule fois, atteint un million de tokens (unités de texte).

Mistral précise que ce modèle a été entièrement entraîné à partir de zéro sur 3 800 puces Grace Blackwell de NVIDIA, dans ses propres centres de calcul situés en Europe.