« Sous le capot, ce sont des LLM » : le modèle d’IA Jev a beau ne pas écrire, il n’échappe pas à l’injection de prompt
L’IA générative, souvent présentée comme une solution infaillible, se heurte à ses propres limites structurelles. Une étude récente révèle que Jev, un modèle d’IA conçu pour éviter les erreurs de génération textuelle en privilégiant des décisions probabilistes, reste vulnérable aux injections de prompt, une faille pourtant associée aux LLM classiques. Cette exposition interroge la promesse d’une IA plus sûre, dès lors que sa sécurité repose sur une approche différente mais pas nécessairement plus robuste.
En quoi l’injection de prompt menace-t-elle un modèle comme Jev, alors qu’il ne produit pas de texte libre ?
L’injection de prompt exploite la manière dont le modèle interprète le texte, et non sa capacité à en générer. Jev, bien qu’il ne produise pas de réponses sous forme de phrases, repose sur une architecture de Large Language Model (LLM) pour analyser les requêtes. Les chercheurs de HiddenLayer ont démontré qu’une simple bannière publicitaire malveillante pouvait détourner un agent utilisant Jev, prouvant que la sécurité du modèle dépend moins de sa restitution que de sa résistance aux manipulations sémantiques.
Quelles techniques ont permis de contourner les protections de Jev dans les tests de HiddenLayer ?
Deux méthodes ont été utilisées. D’abord, une fausse publicité insérée dans une page web a suffi à tromper un agent basé sur Jev, qui a cliqué sur un bouton malveillant au lieu de valider une commande. Ensuite, la technique TokenBreak a modifié des requêtes toxiques en altérant leur forme sans en changer le sens, réduisant leur score de toxicité et permettant leur passage à travers un filtre de sécurité utilisant Jev.
Pourquoi TypeSafe AI, l’entreprise derrière Jev, n’a-t-elle pas réagi aux résultats de l’étude ?
L’article ne précise pas les raisons de l’absence de réaction de TypeSafe AI. Cependant, les chercheurs de HiddenLayer soulignent que les vulnérabilités identifiées remettent en cause une partie des promesses de Jev, notamment sa prétendue immunité aux hallucinations et aux erreurs de type. Une absence de réponse pourrait refléter une stratégie de communication en attente de contre-arguments techniques, ou une sous-estimation initiale de ces risques.
Ce que ça pourrait changer
Cette révélation pourrait ébranler la confiance dans les modèles d’IA conçus pour contourner les limites des LLM traditionnels, en montrant que leurs avantages revendiqués (rapidité, coût réduit) ne suffisent pas à garantir une sécurité absolue. Les entreprises développant des agents IA devront désormais intégrer des mécanismes de protection bien plus robustes contre les manipulations, au-delà des promesses marketing. À plus long terme, cette faille pourrait freiner l’adoption de solutions perçues comme des alternatives « sûres » aux LLM classiques, surtout dans des secteurs critiques comme la cybersécurité ou les systèmes autonomes.
