Controverse Thélyson Orélien : ce qu’il faut savoir sur Pangram
Selon un test effectué avec Pangram, 94 % du roman C’était ça ou mourir a été généré à l’aide de l’IA..
Pangram est un outil de détection de textes générés par intelligence artificielle (IA). Contrairement à d'autres détecteurs, il a été conçu en utilisant des millions de textes écrits par des humains, puis reformulés par des modèles d'IA. Cette méthode permet à Pangram d'identifier statistiquement les différences entre un texte humain et un texte produit par une IA. Les concepteurs de Pangram affirment que leur outil est plus fiable que ses concurrents, notamment grâce à un taux de faux positifs très faible. Un faux positif désigne un texte écrit par un humain mais identifié à tort comme généré par IA. Par exemple, en 2024, Pangram affichait un taux de faux positifs de 2 %, mais ce taux a depuis diminué à 0,0026 % pour les textes en français et quasi 0 % pour les textes littéraires en anglais. Pangram est donc optimisé pour minimiser les erreurs d'identification des textes humains.
La fiabilité de Pangram a été testée par Marzena Karpinska, professeure à l'Université Simon Fraser en Colombie-Britannique, et son équipe en 2024. Leurs résultats ont montré que Pangram était l'un des rares détecteurs d'IA dignes de confiance, contrairement à la plupart des autres outils disponibles. Selon Karpinska, Pangram est particulièrement performant pour les textes littéraires, car ceux-ci varient davantage dans leur structure que des articles de journaux ou des recettes. L'IA a tendance à reproduire des schémas répétitifs, ce qui la rend plus facile à détecter. Par exemple, pour les textes littéraires en français, le taux de faux positifs de Pangram est aujourd'hui de 0,0026 %, et il est quasi nul pour les textes littéraires en anglais. Cependant, il n'existe pas encore de données spécifiques pour les textes littéraires en français.
Le roman C’était ça ou mourir de Thélyson Orélien, un écrivain canado-haïtien, a été soumis au détecteur Pangram. Le résultat indique que 94 % du texte a été généré à l'aide d'IA. Cependant, cela ne signifie pas que le texte est entièrement produit par une IA. En effet, générer un roman de plusieurs centaines de pages avec une seule instruction (prompt) n'est pas réaliste. Il est probable que l'auteur ait utilisé l'IA comme outil d'assistance, puis retravaillé le texte manuellement. Pangram est conçu pour être conservateur, ce qui signifie qu'il privilégie la détection de l'IA même si le doute persiste. Marzena Karpinska précise qu'il n'y a pas de certitude absolue, mais une forte probabilité que le texte ait bénéficié d'une assistance importante de l'IA. À l'inverse, six autres romans nommés au prix Goncourt et disponibles en version numérique au Québec ont été détectés comme 100 % humains par Pangram.
Thélyson Orélien et ses éditeurs ont contesté les résultats de Pangram. L'auteur a suggéré que son style caribéen pourrait fausser les résultats, mais Marzena Karpinska rejette cette hypothèse. Elle explique que même après traduction en anglais, Pangram identifie toujours le texte comme généré par IA, ce qui n'est pas le cas pour des textes humains traduits. Filip van Droogenbroeck, professeur à l'université Vrije Universiteit Brussel, a mené des tests similaires et arrive aux mêmes conclusions : les faux positifs sont extrêmement rares avec Pangram. Les Éditions du Boréal, éditeur québécois du roman, ont soutenu Orélien en affirmant que le travail éditorial avait été réalisé sans aucune intervention de l'IA. Orélien a également mentionné avoir terminé le premier manuscrit de son roman en 2019, bien avant l'existence d'outils comme ChatGPT.
Certains éditeurs, comme Grasset en France, ont critiqué la fiabilité des détecteurs d'IA en affirmant qu'ils identifient des textes humains classiques, comme la Bible, comme étant générés par IA. Marzena Karpinska explique que cela peut arriver avec des extraits très courts de textes anciens, car ces textes sont souvent cités dans les banques d'entraînement des modèles d'IA. Cependant, Pangram ne présente pas ce problème : lorsque des chapitres entiers de la Bible ou neuf œuvres classiques de la littérature française (de Maupassant à Foucault) ont été soumis à l'outil, Pangram les a tous identifiés comme 100 % humains. Pangram est donc optimisé pour éviter les erreurs sur les textes littéraires reconnus. Certains internautes ont également tenté de modifier légèrement le texte d'Orélien pour échapper à la détection, et Pangram a alors classé le texte comme 100 % humain. Karpinska précise que cela illustre la difficulté de tromper Pangram, car l'outil est conçu pour minimiser les faux positifs tout en augmentant légèrement le risque de faux négatifs.
