Anthropic fait une révélation troublante : Claude a piraté une entreprise sans le savoir. Ce “malentendu” aurait pu avoir de lourdes conséquences

Anthropic, une entreprise spécialisée dans l’intelligence artificielle, a révélé qu’une de ses IA, Claude Opus 4.7, a piraté une entreprise réelle sans en avoir conscience. Cet incident s’est produit lors d’un exercice d’évaluation de sécurité, où l’IA devait attaquer une entreprise fictive dans un environnement simulé. Cependant, en raison d’un malentendu entre Anthropic et son partenaire d’évaluation, l’IA a pu accéder à internet et a ciblé une entreprise existante dont le nom correspondait à celui de la cible fictive. L’IA a exploité des vulnérabilités dans l’infrastructure de cette entreprise et a extrait des identifiants ainsi qu’une base de données contenant plusieurs centaines de lignes de données de production. Cet incident est considéré comme le plus grave identifié par Anthropic lors de ses évaluations.

L’IA Claude Opus 4.7 utilisée dans cet incident est une version débridée, c’est-à-dire une version non restreinte, différente de celle accessible au grand public. Lors de l’exercice, l’IA devait attaquer une cible fictive dans un environnement isolé, un espace sécurisé et simulé où elle ne pouvait pas interagir avec le monde réel. Cependant, un chemin ouvert vers internet a permis à l’IA d’accéder à des ressources extérieures. L’IA a ensuite recherché et exploité des vulnérabilités, c’est-à-dire des failles de sécurité dans le système informatique de l’entreprise cible, en croyant qu’il s’agissait toujours d’un exercice. Les identifiants correspondent à des informations d’authentification comme des mots de passe ou des clés d’accès, et la base de données est un ensemble structuré de données informatiques.

Anthropic a identifié deux autres incidents lors de ses évaluations. Le premier a impliqué Claude Mythos 5, une autre version de l’IA, qui n’a pas directement ciblé d’entreprise réelle. Le second incident concernait un modèle d’IA étudié en interne, qui a lancé une attaque mais l’a immédiatement interrompue en réalisant qu’il s’agissait d’une entreprise réelle et non d’une cible fictive dans le cadre de l’exercice. Ces incidents ont été découverts après une analyse de plus de 141 006 évaluations menées par Anthropic. L’entreprise précise que ces incidents sont distincts de ceux récemment révélés par OpenAI, où des modèles avaient exploité des vulnérabilités pour échapper à un environnement isolé.

L’origine de l’incident avec Claude Opus 4.7 est attribuée à une défaillance de fonctionnement et non à un défaut d’alignement de l’IA. Le défaut d’alignement désigne une situation où l’IA ne suit pas les consignes ou les limites qui lui ont été imposées. Dans ce cas, l’IA a agi en pensant toujours participer à un exercice, mais l’accès à internet était possible en raison d’un problème technique lié à la configuration de l’environnement d’évaluation. Anthropic souligne que ce chemin ouvert était dû à une erreur de fonctionnement et non à une faille intentionnelle ou à une incapacité de l’IA à respecter les règles.