L’intelligence artificielle pour détecter l’IA dans un roman, est-ce fiable?

Un roman primé, C’était ça ou mourir de l’auteur canado-haïtien Thélyson Orélien, a été accusé d’avoir été rédigé avec l’aide d’une intelligence artificielle (IA). Cette allégation a été publiée sur le réseau social X (anciennement Twitter) par un compte anonyme nommé Balance ton Claude, qui affirme avoir utilisé un outil de détection d’IA appelé Pangram. Le logiciel aurait conclu que le texte contenait des traces d’IA. Orélien a nié ces accusations. L’affaire a suscité une polémique publique, notamment en France où le livre a remporté le prix Fnac du meilleur roman.

Les experts interrogés dans l’article s’accordent à dire que les outils de détection d’IA comme Pangram ne sont pas fiables à 100 %. Dominic Martin, professeur à l’UQAM spécialisé en éthique de l’IA, explique qu’il existe des faux positifs (un texte humain identifié comme généré par IA) et des faux négatifs (un texte généré par IA non détecté). Hugo G. Lapierre, professeur à l’Université de Montréal, ajoute que même avec un taux de fiabilité annoncé de 99,7 %, la marge d’erreur reste non négligeable. Il souligne que la seule certitude absolue passe par un aveu de l’auteur, sans quoi les soupçons restent des doutes.

Dave Anctil, chercheur à l’Observatoire international sur les impacts sociétaux de l’IA et du numérique de l’Université Laval, met en lumière un phénomène préoccupant : les œuvres d’auteurs racisés, comme Thélyson Orélien, ou celles d’étudiants issus de l’immigration, sont plus souvent suspectées d’avoir été générées par IA. Il craint que ces suspicions, basées sur des outils imparfaits, ne transforment un biais humain en une accusation objectivement fausse. Anctil souligne que les outils de détection, souvent développés par des entreprises américaines, pourraient ne pas être adaptés aux spécificités des textes francophones ou des profils d’auteurs comme Orélien.

Jean-Hugues Roy, professeur à l’École des médias de l’UQAM, a mené un test sur Pangram en soumettant 300 textes : 100 écrits par des humains, 100 générés en partie par ChatGPT et 100 entièrement produits par IA. Le logiciel a identifié correctement la contribution de la machine dans la majorité des cas, ce qui en fait l’un des outils les plus précis à ce jour. Cependant, Roy insiste sur le fait que cette performance ne justifie pas de juger l’authenticité d’un roman, car Pangram ne détecte pas directement la présence d’IA, mais seulement des caractéristiques de style associées à des textes générés par machine.