« Benchmarks de sécurité de l’IA » : pourquoi Meta fait sonder ChatGPT et Gemini par de faux comptes d’ados
Pendant des mois, des prestataires payés par Meta se seraient fait passer pour des mineurs afin de tester les limites des chatbots concurrents. Un dispositif interne dévoilé par le média américain WIRED..
Meta aurait utilisé des prestataires pour créer de faux comptes d'adolescents afin de tester les limites de sécurité des chatbots concurrents comme ChatGPT, Gemini et Character.AI. Ce projet interne, nommé « Cannes », visait à évaluer leurs réponses face à des scénarios impliquant des mineurs en détresse ou des situations sensibles.
Plus de 45 000 prompts ont été soumis, incluant des requêtes anodines ou extrêmes : une collégienne enceinte cherchant des pilules abortives, un élève témoin de violence, ou des demandes sur le suicide et les troubles alimentaires. Ces tests visaient à identifier les failles de sécurité des IA concurrentes.
Google et Character.AI ont dénoncé une violation de leurs conditions d'utilisation, affirmant n'avoir jamais autorisé ces tests. OpenAI a indiqué étudier la situation. Meta, de son côté, défend cette pratique comme une méthode standard pour améliorer la sécurité des services numériques.
Meta justifie ces tests par la volonté d'améliorer la sécurité de ses propres services et de garantir des expériences adaptées aux mineurs. L'entreprise considère ces évaluations comme une pratique courante dans l'industrie, bien que les concurrents contestent cette approche.
D'anciens prestataires ont exprimé des craintes quant aux conséquences juridiques de certains scénarios testés. Ce dispositif soulève des questions sur les limites éthiques des tests de sécurité, notamment lorsque des situations fictives mais sensibles sont simulées sans consentement des plateformes ciblées.
