NapseflowNapseflow
Sciences

Jack Clark, co-fondateur de l'IA Claude : « un bouton d'arrêt d'urgence devrait être rendu obligatoire sur toutes les IA »

Science & Vie · mis à jour 19 sept.

Alors que des alertes en série secouent l'industrie, le cofondateur d'Anthropic demande aux législateurs d'imposer un arrêt d'urgence IA vérifiable sur tous les systèmes d'intelligence artificielle..

Jack Clark et l'IA Claude

Jack Clark est un expert en intelligence artificielle (IA) et co-fondateur de l'entreprise Anthropic, qui développe l'IA nommée Claude. Cette IA est conçue pour répondre à des questions, rédiger des textes ou analyser des données, comme d'autres assistants conversationnels. Clark est reconnu dans le milieu technologique pour son approche prudente et responsable des avancées en IA. Dans cet article, il alerte sur les risques liés à l'absence de mécanismes de contrôle sur les systèmes d'IA, comparant leur développement à une course effrénée sans freins. Son propos s'inscrit dans un débat plus large sur la régulation des technologies d'IA, notamment celles capables de générer des contenus ou de prendre des décisions de manière autonome.

Bouton d'arrêt obligatoire

Jack Clark propose d'imposer un bouton d'arrêt d'urgence sur toutes les IA avancées. Ce mécanisme permettrait à un utilisateur ou à un régulateur d'interrompre instantanément le fonctionnement d'une IA en cas de comportement imprévu ou dangereux. L'idée s'inspire des normes de sécurité dans d'autres domaines, comme l'aéronautique ou l'industrie nucléaire, où des dispositifs similaires existent pour éviter les catastrophes. Clark souligne que sans ce contrôle, les IA pourraient échapper à la supervision humaine, avec des conséquences imprévisibles. Il compare cette situation à celle d'un véhicule sans frein, où le conducteur perdrait tout contrôle en cas de problème. Son appel vise à anticiper les risques avant qu'ils ne deviennent incontrôlables.

Risques des IA non régulées

Les IA modernes, comme Claude, sont capables d'apprendre et de s'améliorer en analysant d'énormes quantités de données. Cependant, leur fonctionnement reste opaque, même pour leurs créateurs : on parle alors de boîte noire. Cette opacité rend difficile la prédiction de leurs comportements dans des situations extrêmes. Clark cite l'exemple d'une IA qui pourrait, malgré ses bonnes intentions, prendre des décisions néfastes en raison d'un biais dans ses données d'entraînement. Sans mécanisme d'arrêt, il serait impossible d'intervenir à temps. Le risque n'est pas seulement théorique : des incidents impliquant des IA ont déjà été rapportés, comme des réponses inappropriées ou des erreurs critiques dans des domaines sensibles.

Appel à la régulation mondiale

Clark ne limite pas son appel à un seul pays ou entreprise. Il insiste sur la nécessité d'une régulation mondiale et obligatoire pour les IA avancées. Selon lui, les gouvernements et les organisations internationales doivent collaborer pour établir des normes communes, similaires à celles encadrant l'aviation ou le nucléaire. Sans cadre international, les entreprises pourraient contourner les règles en déplaçant leurs activités vers des pays moins stricts. Clark évoque aussi le rôle des régulateurs, comme l'Union européenne, qui travaille sur des lois pour encadrer l'IA, notamment avec l'AI Act (projet de loi sur l'IA). Son objectif est d'éviter une course aux armements technologiques où la sécurité serait sacrifiée au profit de la performance.

Ce que ça pourrait changer

L'appel de Clark intervient dans un contexte où les IA génératives (comme les chatbots) se démocratisent rapidement. En 2026, des millions de personnes les utilisent quotidiennement, sans toujours comprendre leurs limites. Les entreprises du secteur, comme *Anthropic*, *OpenAI* ou *Google*, ont déjà intégré des garde-fous, mais ceux-ci restent volontaires et inégaux. Clark souligne que ces mesures ne suffisent pas, car elles dépendent de la bonne volonté des acteurs privés. Pour lui, une obligation légale est la seule façon de garantir un niveau minimal de sécurité. Il compare cette situation à celle des voitures autonomes, où des accidents ont déjà eu lieu, poussant les régulateurs à imposer des normes strictes avant une généralisation.

Sujets complémentaires
How I Survived Late-Stage Cancer (A Fun Story)
Discover Odoo 👉 https://www.odoo.com/r/EgUR The first app is free for life. Thanks to Odoo for sponsoring this video! Support another year of kurzgesagt with a brand new 12,027 Human Era Calendar: https://shop.kgs.link/calendar27 You get twelve months of human-made artwork for your walls, and we get to keep creating free, high-quality videos for everyone. Sound good? 👉👈 Sources & further reading: https://sites.google.com/view/sources-cisplatin/ Hi! I am Philipp Dettmer, the founder of kurzgesagt, and back in 2018, I was being treated for a stage 3 B testicular cancer. This was a very serious situation, but it is not a sad story! In fact, going through chemotherapy was one of the most interesting experiences of my life. I was treated with Cisplatin, which, in a nutshell, put my body through a controlled medical violence. This toxic chemotherapy agent is a hero and a villain of this story, but it absolutely saved my life. So what exactly is Cisplatin, and what was my body going t
En 2007, une institutrice a découvert un immense nuage de gaz sur une image de galaxie : Hubble a ensuite étudié sa trouvaille
Certains trous noirs peuvent briller davantage que des galaxies entières, avant de perdre progressivement leur éclat. Mais leur lumière ne disparaît pas toujours avec eux. C'est notamment le cas de Hanny's Voorwerp, un immense nuage de gaz découvert près d'une galaxie lointaine. Encore illuminé par le rayonnement d'un quasar aujourd'hui éteint, il conserve la trace de son ancienne activité. The post En 2007, une institutrice a découvert un immense nuage de gaz sur une image de galaxie : Hubble a ensuite étudié sa trouvaille appeared first on Science et vie.

Ce contenu a été généré par intelligence artificielle à partir de l'article source. Il peut contenir des erreurs ou imprécisions.