Contrôle humain des systèmes d'IA : encore faut-il pouvoir le prouver. Par Mohand Ouidja, Avocat.
L’entrée en vigueur progressive de l’AI Act européen, repoussée à 2027-2028, laisse ouverte une question cruciale : comment prouver que le contrôle humain sur les systèmes d’IA à haut risque ne se réduit pas à une simple validation formelle ? Entre exigences juridiques strictes et réalités opérationnelles, la frontière entre supervision effective et automation bias reste floue, posant un défi inédit pour les entreprises et les régulateurs.
Quelles sont les exigences concrètes de l’AI Act concernant le contrôle humain sur les systèmes à haut risque ?
L’article 14 impose que ces systèmes soient conçus pour permettre une supervision effective par des humains, avec des obligations précises : comprendre les limites du système, surveiller son fonctionnement, interpréter ses résultats, et disposer de l’autorité pour ignorer, remplacer ou inverser une sortie. L’article 26 renforce cette exigence en exigeant que les opérateurs soient compétents, formés et soutenus, tandis que l’article 12 impose des capacités d’enregistrement automatique des événements pour assurer la traçabilité.
Pourquoi une simple validation humaine dans un workflow ne suffit-elle pas à garantir un contrôle réel, selon l’article ?
Parce que le droit européen, tant dans l’AI Act que dans le RGPD, exige que l’intervention humaine soit substantielle et non symbolique. Un collaborateur peut confirmer une recommandation automatisée sans pouvoir la contester réellement, notamment si le système limite ses options, si les informations présentées sont insuffisantes, ou si la procédure ne lui accorde pas l’autorité nécessaire pour s’écarter de la sortie du système.
Quels éléments de preuve sont nécessaires pour reconstruire une décision contestée impliquant une IA à haut risque ?
Il faut distinguer la preuve de conception (procédures, formations, droits d’override) de la preuve d’exécution (traces montrant l’identité de l’opérateur, la version du système utilisé, les informations consultées, l’action réalisée et son écart éventuel par rapport à la recommandation). Les logs techniques seuls ne suffisent pas : ils doivent être complétés par des éléments contextuels pour démontrer que l’humain a exercé un jugement autonome.
Comment l’arrêt SCHUFA Holding (2023) éclaire-t-il les limites du contrôle humain dans les décisions automatisées ?
La Cour de justice a jugé que même une décision formellement prise par un humain peut relever du RGPD si elle repose de manière déterminante sur une évaluation automatisée (comme un score de solvabilité). Cela révèle que la présence d’un humain dans la boucle ne garantit pas l’absence d’influence excessive de l’IA, surtout lorsque les opérateurs manquent d’informations ou de moyens pour contester les résultats.
Ce que ça pourrait changer
Les entreprises devront anticiper non seulement la conformité juridique, mais aussi la preuve opérationnelle de leur contrôle humain, sous peine de voir leurs décisions contestées sur le fond. Les régulateurs pourraient exiger des audits plus poussés des processus internes, tandis que les systèmes d’IA devront intégrer des mécanismes de transparence et d’auditabilité renforcés pour éviter les risques de validation de façade.
