T@LC : on a voulu tester Kimi K3 (1 562 Go) en « local », on a failli finir ruinés
Installer le modèle open source Kimi K3 en « local » c’est faisable ? Non… Et en louant des GPU pour rester maître de ses données ? En théorie, oui… mais la facture risque de vous faire mal au porte-monnaie avec plus de 1 000 euros… par jour. C’est donc aujourd’hui que Moonshot AI publie les […].
Moonshot AI a publié les poids du modèle d'intelligence artificielle Kimi K3, un modèle open source doté de 2 800 milliards de paramètres. Ces paramètres, aussi appelés poids des neurones, représentent les nombres qui définissent la façon dont le modèle traite les informations. Avec une taille de 1 562 Go, ce modèle est conçu pour être utilisé en local ou sur une machine louée, permettant ainsi de garder le contrôle total sur les données et les prompts (les questions ou instructions envoyées au modèle) sans dépendre des serveurs de l'entreprise. Cependant, son déploiement nécessite des ressources matérielles importantes, notamment en termes de mémoire vive et de puissance de calcul.
Pour exécuter Kimi K3 en local, il est idéalement nécessaire de charger ses paramètres en mémoire, de préférence celle d'un GPU (un processeur spécialisé pour les calculs graphiques et parallèles). Cependant, louer des instances GPU pour faire tourner ce modèle représente un coût très élevé. Selon les tests réalisés, la location d'un GPU capable de gérer Kimi K3 coûte plus de 1 000 € par jour, soit environ 60 € de l'heure. Sur une base mensuelle, cela peut atteindre jusqu'à 43 800 €, comme le montre l'exemple d'une facture de note de frais citée dans l'article. Ce montant équivaut au salaire journalier moyen d'un manager de transition ou d'un directeur de programme à Paris.
Bien que Kimi K3 offre des performances exceptionnelles, notamment grâce à ses 2 800 milliards de paramètres, son utilisation en local ou via des GPU loués est économiquement prohibitive pour la plupart des utilisateurs. Les coûts de location des GPU, bien que permettant de maîtriser ses données, rendent le modèle inaccessible pour un usage quotidien ou à grande échelle. L'article souligne que même avec une gestion optimisée des ressources, le budget nécessaire pour exploiter ce modèle dépasse largement celui d'un abonnement classique à un LLM provider (un fournisseur de modèles de langage comme Mistral, Llama ou d'autres).
L'article met en lumière les limites pratiques de l'utilisation de Kimi K3 en *local* ou via des GPU loués. Si cette approche permet de conserver la confidentialité des données, elle est réservée à des cas d'usage très spécifiques, comme des projets de recherche ou des entreprises disposant d'un budget conséquent. Pour la majorité des utilisateurs, recourir à des *LLM providers* classiques reste plus économique, même si cela implique de confier ses données à des serveurs externes. Le modèle Kimi K3, malgré ses performances, reste donc un outil de niche en raison de ses contraintes techniques et financières.
