Quand les IA lisent si bien les PDF qu’il devient difficile de les départager

Les formulaires PDF, comme les contrats ou les déclarations, sont souvent conçus pour être lus par des humains mais doivent ensuite être interprétés par des machines pour extraire des données ou engager des actions. Ces documents combinent texte, tableaux, signatures, notes et parfois des éléments manuscrits. Leur complexité réside dans leur structure visuelle, qui va bien au-delà d’une simple suite de mots. Par exemple, un formulaire peut inclure des colonnes, des cases à cocher ou des logos, ce qui rend leur lecture automatique difficile. Les machines doivent non seulement reconnaître le texte, mais aussi comprendre l’ordre de lecture et la hiérarchie des informations. Les auteurs de l’article, dont Bruno Rigal, Victor Dupriez, Alexis Mignon et Ronan Le Hy, soulignent que cette tâche, autrefois réservée aux humains, devient un enjeu majeur avec l’évolution des intelligences artificielles (IA).

Les modèles d’IA spécialisés dans la lecture de documents, comme gemini 3.1 (sorti le 19 février 2026), lighton-ocr2 (20 janvier 2026), chandra-ocr-2 (18 mars 2026) ou glm-ocr (27 janvier 2026), ont réalisé des progrès spectaculaires ces dernières années. Ils parviennent désormais à interpréter des documents complexes avec une précision accrue, réduisant les erreurs de transcription comme les mots manquants ou les colonnes mélangées. Cependant, cette amélioration pose un nouveau défi : évaluer correctement leurs performances devient plus difficile. En effet, les différences entre les transcriptions produites par deux modèles ne reflètent pas toujours une erreur. Par exemple, un tableau peut être converti en texte de plusieurs manières sans altérer le sens du document. Les méthodes d’évaluation traditionnelles, qui comparent mot à mot les résultats, ne sont plus adaptées à ce niveau de performance.

Les bancs d’essai (benchmarks) classiques, utilisés pour mesurer les performances des modèles, se heurtent à une limite majeure : ils considèrent toute différence entre une transcription et une référence comme une erreur, même si cette différence n’a pas d’impact sur la compréhension ou l’usage du document. Par exemple, une légende déplacée ou une liste transformée en paragraphe peut être pénalisée, alors qu’un humain ou une machine n’y verrait aucune conséquence. Les auteurs de l’étude, issus de Probayes, OpenValue et du groupe La Poste, expliquent que cette approche ne permet plus de distinguer les vraies erreurs des variations de présentation. Ils citent l’exemple d’un formulaire avec des champs encadrés : faut-il les transcrire comme des tableaux ou simplement comme du texte ? Aucune réponse universelle ne s’impose, ce qui rend l’évaluation subjective.

Pour répondre à ces limites, l’équipe pluridisciplinaire a développé une méthode d’évaluation plus fine, centrée sur l’essentiel : la présence d’informations importantes, la cohérence des tableaux et l’ordre de lecture. Plutôt que de comparer mot à mot, ils évaluent si le sens global du document est préservé. Par exemple, ils vérifient si une information critique n’a pas disparu ou si un tableau conserve sa structure. Cette approche nécessite un pipeline de normalisation strict pour distinguer les vraies faiblesses des modèles des simples variations de mise en page. Les chercheurs ont également créé une interface d’annotation pour visualiser rapidement les erreurs et identifier les modes de défaillance récurrents. Leur jeu de données, fr-bench-pdf2md, est disponible sur Hugging Face pour permettre à d’autres équipes de tester leurs modèles.

Les tests menés sur des documents français particulièrement difficiles (petits caractères, longues pages, tableaux denses, manuscrits) révèlent deux tendances. D’abord, les modèles de Google, Gemini Pro et Flash, conservent une avance significative sur les cas les plus complexes, y compris face aux versions récentes de GPT. Ensuite, des modèles plus légers et spécialisés, comme LightOnOCR, Chandra OCR ou dots.ocr, ont réalisé des progrès remarquables sur des documents de difficulté moyenne. Ces modèles sont moins coûteux, plus faciles à déployer localement et adaptés aux besoins de confidentialité ou d’autonomie. Cependant, les figures, schémas et textes manuscrits très visuels restent mal traités. Les auteurs soulignent que le problème n’est plus de savoir si les machines savent lire, mais si elles savent interpréter correctement les documents.

L’article met en lumière un paradoxe : plus les modèles d’IA deviennent performants, plus il est difficile de mesurer objectivement leurs progrès. Les bancs d’essai traditionnels, conçus pour des systèmes moins avancés, risquent de masquer des améliorations réelles ou, à l’inverse, de surévaluer des écarts sans importance. Les auteurs citent une étude (Don’t Make Your LLM an Evaluation Benchmark Cheater, 2023) qui montre que les performances affichées par les modèles ne se traduisent pas toujours en résultats concrets dans des situations réelles. Ils appellent donc à repenser les méthodes d’évaluation pour qu’elles reflètent mieux les besoins des utilisateurs finaux. Cette problématique dépasse le cadre de la transcription de documents et s’applique à l’ensemble des modèles de langage avancés (LLM, pour Large Language Models).