Modération : on a testé Shieldstral de Mistral sur un million de commentaires Next
Mistral vient d’annoncer son modèle local (avec des poids ouverts) pour la modération. Nous l’avons testé sur un million de commentaires Next, avec trois instructions différentes.
Shieldstral-1.0-3B est un modèle d'intelligence artificielle développé par Mistral, une entreprise française spécialisée dans l'IA. Ce modèle compte 3,8 milliards de paramètres, des variables internes qui déterminent son fonctionnement. Pour fonctionner, il nécessite 7,7 Go de mémoire, ce qui est relativement modeste comparé à d'autres modèles plus lourds. Mistral est une startup européenne qui se distingue par son approche locale et respectueuse de la confidentialité des données. Dans cet article, le modèle est testé en local, c'est-à-dire sur une machine dédiée, sans envoyer les données vers des serveurs externes. Cela garantit que les commentaires analysés restent confidentiels et ne sont pas utilisés à d'autres fins.
Pour exécuter Shieldstral, les auteurs ont utilisé un serveur équipé d'une carte graphique RTX 4000 Ada dotée de 20 Go de mémoire. Cette configuration est largement suffisante pour charger les 7,7 Go du modèle et laisser de la marge pour le traitement des données. Le modèle a été déployé en inférence locale, ce qui signifie qu'il a analysé les commentaires sans dépendre d'une connexion internet ou d'un service cloud. Chaque test a porté sur un million de commentaires extraits de la base de données de Next, un site d'actualité technologique francophone. Le traitement complet de ces données a pris entre 4h30 et 5 heures par test, soit un temps de calcul important pour un volume aussi conséquent.
Les auteurs ont réalisé trois passes distinctes pour tester Shieldstral, chacune avec une instruction différente adaptée à un contexte spécifique. La première, appelée Passe Next, s'appuie sur les règles internes du site Next, qui interdisent les insultes, le hors-sujet, la publicité non sollicitée ou les propos haineux. La deuxième, la Passe édito, adopte une approche plus tolérante en autorisant le désaccord franc, l'humour ou la critique sévère, tout en sanctionnant les attaques personnelles ou les trolls. La troisième, la Passe légale, se base sur le droit français, notamment la loi de 1881 sur la liberté de la presse, et ne sanctionne que les infractions pénales avérées comme la diffamation ou l'incitation à la haine.
Les trois passes ont permis d'analyser un million de commentaires chacune, avec des résultats variables selon la méthode appliquée. La Passe Next a signalé entre 0,3 % et 5,2 % des commentaires, tandis que la Passe édito et la Passe légale ont affiché des taux similaires. Ces chiffres montrent que Shieldstral peut adapter sa sévérité en fonction des consignes fournies. Les auteurs précisent que ces résultats sont préliminaires et qu'il est possible d'affiner les instructions pour améliorer la précision du modèle. L'expérience illustre aussi la flexibilité des modèles d'IA, capables de s'adapter à des cadres réglementaires ou éditoriaux différents.
L'article s'inscrit dans un débat plus large sur la modération des contenus en ligne, un sujet crucial pour les médias et les plateformes numériques. La modération automatique, comme celle testée ici, vise à réduire la charge de travail des modérateurs humains tout en garantissant un environnement respectueux et conforme à la loi. Shieldstral, développé par une entreprise française, représente une alternative locale aux solutions étrangères souvent dominées par des acteurs américains. L'expérience menée sur Next montre que l'IA peut être un outil puissant, mais que son efficacité dépend largement des règles et des instructions qui lui sont données.
