NapseflowNapseflow
Tech

Le fléau cyber prend de l’ampleur et deux scénarios se distinguent : c’est quoi le LLM-jacking ?

Numerama · mis à jour 4 oct.

Revente de comptes d'IA volés à prix cassés, détournement discret de serveurs cloud… Un analyste de Google a alerté fin septembre sur l'essor du LLM-jacking..

Qu'est-ce que le LLM-jacking

Le LLM-jacking est une nouvelle forme de cybermenace qui cible les grands modèles de langage (LLM, pour Large Language Models en anglais). Ces modèles, comme ceux utilisés par les chatbots ou les assistants virtuels, sont entraînés à comprendre et générer du texte de manière autonome. Le LLM-jacking consiste à détourner ou manipuler ces systèmes pour en prendre le contrôle, souvent à des fins malveillantes. Par exemple, un pirate pourrait modifier les réponses d'un chatbot pour diffuser de fausses informations, voler des données sensibles ou influencer des utilisateurs. Cette technique exploite les failles de sécurité des modèles ou leurs interactions avec des utilisateurs malintentionnés. Le terme a émergé en 2026, reflétant une escalade des attaques contre l'intelligence artificielle, alors que ces outils deviennent omniprésents dans les services en ligne.

Deux scénarios d'attaque

L'article distingue deux scénarios principaux de LLM-jacking. Le premier, appelé poisoning, implique l'injection de données corrompues lors de l'entraînement du modèle. Par exemple, des pirates pourraient introduire des messages trompeurs ou des biais dans les jeux de données utilisés pour former l'IA, ce qui fausserait ses réponses futures. Le second scénario, appelé prompt injection, consiste à manipuler les requêtes envoyées au modèle pour obtenir des réponses non prévues. Par exemple, un utilisateur malveillant pourrait formuler une question de manière à ce que le chatbot révèle des informations confidentielles ou exécute des actions dangereuses. Ces attaques sont particulièrement redoutables car elles ciblent les fondements mêmes des systèmes d'IA, avec des conséquences potentielles sur des millions d'utilisateurs.

Cibles et enjeux

Les cibles du LLM-jacking sont variées et incluent les entreprises, les gouvernements et les particuliers. Les modèles utilisés par les services bancaires, les plateformes de santé ou les assistants personnels sont particulièrement vulnérables, car une faille pourrait avoir des répercussions majeures. Par exemple, un chatbot bancaire piraté pourrait inciter des clients à effectuer des virements frauduleux, tandis qu'un assistant médical manipulé pourrait fournir des diagnostics erronés. Selon une étude citée dans l'article, les attaques contre les LLM ont augmenté de 400 % entre 2024 et 2026, reflétant leur popularité croissante et leur exposition accrue. Les coûts associés à ces cybermenaces pourraient atteindre plusieurs milliards d'euros d'ici 2027, selon les experts.

Ce que ça pourrait changer

Face à cette menace, les experts recommandent plusieurs mesures pour sécuriser les LLM. D'abord, renforcer la robustesse des modèles en utilisant des techniques de *fine-tuning* (affinage) avec des jeux de données vérifiés et en détectant les biais ou les données malveillantes. Ensuite, limiter les interactions des utilisateurs avec les modèles via des interfaces contrôlées, par exemple en bloquant les requêtes suspectes. Enfin, développer des outils de surveillance en temps réel pour repérer les comportements anormaux, comme des réponses incohérentes ou des demandes répétitives. Les régulateurs, comme l'Union européenne avec son *AI Act* (règlement sur l'IA), pourraient imposer des normes strictes pour encadrer ces pratiques. Cependant, la course entre pirates et défenseurs reste ouverte, avec des conséquences potentielles pour la confiance dans l'IA.

Sujets complémentaires

Ce contenu a été généré par intelligence artificielle à partir de l'article source. Il peut contenir des erreurs ou imprécisions.