Google DeepMind transforme la langue des signes en texte sur les Pixel 11
La réorganisation de Google DeepMind n’empêche pas le labo IA du géant du web de continuer à produire des technologies inédites. À l’occasion de la présentation de la nouvelle gamme Pixel 11, DeepMind a dévoilé un nouveau modèle qui transcrit le langage des signes en texte.
Les smartphones Google Pixel 11, sortis en août 2026, deviennent les premiers appareils Android à intégrer une fonction innovante appelée SL2T (Sign-Language-to-Text). Ce système, développé par Google DeepMind, permet aux personnes sourdes ou malentendantes de communiquer en langue des signes devant leur écran plutôt que de taper du texte. Grâce à cette technologie, elles peuvent effectuer des recherches sur internet, rédiger des messages, interagir avec l’assistant d’IA Gemini ou participer à des conversations en utilisant directement leur langue des signes. Cette fonction est présentée comme plus naturelle, rapide et agréable que la saisie manuelle de texte.
Les langues des signes, comme l’ASL (American Sign Language ou langue des signes américaine), ne sont pas de simples traductions mot à mot des langues orales. Elles possèdent leur propre grammaire, leur vocabulaire et utilisent l’ensemble du corps : les mains, le visage, les mouvements de la tête, le torse et l’espace environnant. Par exemple, une même expression peut changer de sens selon la position des mains ou l’expression faciale. Il existe plus de 200 langues des signes différentes dans le monde. Leur complexité rend leur transcription en texte particulièrement difficile, car elles combinent des mouvements rapides et simultanés, nécessitant une analyse fine et en temps réel.
Pour créer le modèle SL2T, Google DeepMind a dû relever deux défis majeurs. Le premier est d’ordre linguistique : les langues des signes ne suivent pas les règles des langues parlées, ce qui rend leur modélisation complexe. Le second est visuel : le système doit analyser des mouvements corporels rapides et simultanés, comme les gestes des mains, les expressions faciales ou la posture. Les tentatives précédentes, comme les gants de traduction, ont échoué car elles réduisaient les langues des signes à une simple transcription de mots avec les mains, ignorant leur richesse et leur complexité.
Le modèle SL2T a été entraîné sur plus de 100 000 heures de données issues de 50 langues des signes différentes. Un quart de ces données concernait spécifiquement l’ASL. L’entraînement sur des langues variées a permis au modèle d’identifier des structures communes, améliorant ainsi ses performances par rapport à des modèles spécialisés sur une seule langue. Google souligne que cette approche a permis de surpasser les systèmes monolingues existants. L’objectif était de créer un outil capable de s’adapter à la diversité des langues des signes et des dialectes.
Pour garantir la confidentialité des utilisateurs, le système SL2T ne fonctionne pas directement à partir de la vidéo brute. Il utilise un outil appelé MediaPipe Holistic, développé par Google, qui analyse les points clés du corps (mains, visage, posture) en temps réel. Ces données sont traitées localement sur l’appareil avant d’être envoyées au serveur. La vidéo originale est immédiatement supprimée après extraction des points de repère, ce qui limite les risques de fuite de données personnelles. Cette méthode permet également de réduire la latence, essentielle pour une interaction fluide.
Contrairement à d’autres approches qui utilisent des gloses (annotations intermédiaires simplifiées), le modèle SL2T traduit directement les mouvements corporels en texte. Cette méthode évite les limites imposées par un vocabulaire restreint et permet d’améliorer la qualité de la traduction au fur et à mesure que davantage de données sont collectées. Google affirme que SL2T obtient les meilleurs résultats sur les tests standards de traduction de l’ASL vers l’anglais, comme le jeu de données FLEURS-ASL. Le modèle a été optimisé pour des usages réels, avec une faible latence, une réduction des erreurs et une prise en compte des signeurs gauchers.
Pour développer SL2T, Google a créé l’AI Sign Language Advisory Committee (AISLAC), un comité réunissant des organisations internationales de personnes sourdes ou malentendantes ainsi que des experts du domaine. Ce groupe a pour mission d’évaluer l’impact de la technologie et de garantir son accessibilité. Un rapport d’impact a été publié à l’occasion du lancement de la version 1.0 du modèle SL2T, soulignant l’importance de cette innovation pour l’inclusion. Google insiste sur la nécessité de collaborer avec les communautés concernées pour éviter les biais et améliorer en continu le système.
Actuellement, l’*ASL* est la seule langue des signes prise en charge par *SL2T*, mais Google prévoit d’étendre cette fonction à d’autres langues dans les mois à venir. La société travaille également à l’adaptation du modèle pour fonctionner sur d’autres appareils que les Pixel 11. L’objectif est de rendre cette technologie accessible à un public plus large, tout en continuant à améliorer sa précision et sa rapidité. Cette innovation s’inscrit dans une démarche plus large visant à rendre les outils numériques plus inclusifs pour les personnes sourdes ou malentendantes.
