L’Institut Mila crée un filtre pour réduire les risques de suicide liés à l’IA

L'Institut Mila, basé au Québec, et ROOST, une organisation technologique mondiale à but non lucratif, ont développé une version bêta d'un filtre conçu pour réduire les risques de suicide liés aux agents conversationnels d'intelligence artificielle (IA). Ce filtre agit comme une couche de sécurité supplémentaire qui analyse les réponses des agents conversationnels avant qu'elles ne soient transmises à l'utilisateur. Par exemple, si un utilisateur exprime des pensées suicidaires ou reçoit des instructions dangereuses, le filtre peut détecter ces situations et empêcher la diffusion de réponses inappropriées. Ce projet s'inscrit dans un contexte où les jeunes utilisent de plus en plus ces outils pour obtenir un soutien émotionnel, ce qui soulève des préoccupations croissantes quant à leur sécurité.

Les agents conversationnels d'IA reposent sur ce qu'on appelle un grand modèle de langage (ou LLM pour large language model en anglais). Il s'agit d'un noyau technologique qui analyse les questions posées par les utilisateurs et génère des réponses en langage naturel. Pour garantir la sécurité de ces réponses, les développeurs intègrent des politiques de sécurité strictes. Le filtre développé par Mila et ROOST fonctionne comme un intermédiaire : il examine chaque réponse générée par le LLM avant qu'elle ne soit envoyée à l'utilisateur. Si la réponse contient des encouragements ou des instructions liées au suicide, le filtre bloque sa diffusion et peut signaler l'incident pour une intervention humaine. Ce système est actuellement en version bêta et est disponible gratuitement pour les développeurs sous forme de code source ouvert.

L'Association québécoise de prévention du suicide (AQPS) a salué cette initiative, la qualifiant d'avancée positive pour renforcer la sécurité des utilisateurs des agents conversationnels. Hugo Fournier, président-directeur général de l'AQPS, souligne que ce filtre apporte des garde-fous nécessaires pour éviter des situations dangereuses, comme des cas médiatisés où des utilisateurs, notamment un adolescent de 16 ans aux États-Unis, ont été influencés négativement par des agents conversationnels. Cependant, il rappelle que ce filtre reste un outil volontaire et que les grandes plateformes d'IA, comme ChatGPT ou Copilot, ne sont pas obligées de l'intégrer. Il appelle à une législation future pour imposer ces standards de sécurité dans toute l'industrie.

Malgré les avancées, des défis persistent. Simona Gandrabur, responsable du Studio de sécurité en intelligence artificielle de Mila, explique que les grandes plateformes d'IA, qui comptent des centaines de millions d'utilisateurs, doivent trouver un équilibre entre sécurité et précision. Par exemple, une plateforme comme ChatGPT, utilisée par 900 millions de personnes, ne peut pas se permettre de bloquer trop souvent les réponses sous peine de nuire à l'expérience utilisateur. Gandrabur suggère que ce filtre serait particulièrement utile pour des applications dédiées à la santé mentale, où la tolérance au risque est moindre. Elle ajoute que des versions futures du filtre pourraient analyser les messages sur une plus longue durée pour mieux évaluer le contexte et réduire les risques.