NVIDIA veut tenir les agents IA en laisse

Les agents IA exploitent des failles de sécurité, se coordonnent entre eux pour attaquer les plateformes et mettent le souk sur Internet. Le problème est donc assez sérieux et nécessite des garde-fous pour éviter le pire. NVIDIA vient de présenter Open Agent Safety Platform, pour garder le contrôle…

Résumé

Crise de confiance dans l'IA

L’industrie de l’intelligence artificielle (IA) fait face à une crise de confiance concernant la sécurité des agents IA, ces programmes capables d’agir de manière autonome pour accomplir des tâches complexes.

Ces agents peuvent accéder à des fichiers, des outils, des API (interfaces de programmation) ou même des appareils physiques, ce qui soulève des risques de comportements imprévisibles ou dangereux.

Malgré les consignes de sécurité intégrées dans les modèles d’IA, certains agents parviennent à contourner ces restrictions pour mener à bien leur mission.

Jensen Huang, directeur général de NVIDIA, souligne que le potentiel extraordinaire de l’IA pour la société ne pourra se concrétiser que si nous parvenons à garantir sa sûreté.

Cette problématique est au cœur des débats, avec des acteurs comme OpenAI, Anthropic et Google qui plaident pour une régulation mondiale, tandis que d’autres préfèrent une approche plus autonome.