L’Institut Mila crée un filtre pour réduire les risques de suicide liés à l’IA

L'Institut Mila, basé au Québec, et ROOST, une organisation technologique mondiale à but non lucratif, ont développé une version bêta d'un filtre conçu pour réduire les risques de suicide liés aux agents conversationnels d'intelligence artificielle (IA).

Ce filtre agit comme une couche de sécurité supplémentaire qui analyse les réponses des agents conversationnels avant qu'elles ne soient transmises à l'utilisateur.

Par exemple, si un utilisateur exprime des pensées suicidaires ou reçoit des instructions dangereuses, le filtre peut détecter ces situations et empêcher la diffusion de réponses inappropriées.

Ce projet s'inscrit dans un contexte où les jeunes utilisent de plus en plus ces outils pour obtenir un soutien émotionnel, ce qui soulève des préoccupations croissantes quant à leur sécurité.