Can AI feel safer than human advice for consumers who face discrimination?
KEY TAKEAWAYS A study highlights that consumers who have experienced discrimination are more likely to turn to AI-based recommendations rather than human advice. The fear of being judged or feeling embarrassed can lead people to use AI.
Une étude récente montre que les consommateurs ayant subi des discriminations privilégient les recommandations d’intelligence artificielle (IA) plutôt que les conseils humains. Ce phénomène s’explique par un mécanisme émotionnel : l’embarras. Les personnes victimes de traitements inéquitables dans des contextes publics (comme les concessions automobiles ou les services financiers) se sentent jugées et choisissent l’IA, perçue comme neutre et exempte de biais. Cette préférence pour l’IA, appelée « algorithme appreciation », contraste avec le phénomène plus courant d’« algorithme aversion », où les humains préfèrent généralement les conseils humains, même lorsque l’IA est plus performante. Dans cette étude, les participants exposés à des situations discriminatoires ont rapporté des niveaux d’embarras plus élevés, ce qui a directement influencé leur choix de recourir à l’IA pour éviter de nouvelles interactions humaines potentiellement humiliantes.
La discrimination dans les contextes de consommation n’est pas rare et peut prendre des formes variées, comme des conditions moins favorables pour certains groupes lors de l’accès au crédit ou aux assurances. Contrairement à une différence de traitement justifiée (par exemple, un service premium pour un client fidèle), la discrimination repose sur des critères illégitimes et non pertinents, tels que la couleur de peau, l’origine ethnique ou le genre. Elle peut être implicite (non intentionnelle) ou explicite, mais ses conséquences psychologiques sont réelles : elle génère du stress, altère le sentiment de justice et influence les comportements futurs. Par exemple, une étude citée dans l’article montre que des groupes spécifiques subissent des conditions moins avantageuses dans des services similaires, avec des impacts économiques et sociaux mesurables.
L’embarras est une émotion sociale qui survient lorsque les individus perçoivent un jugement négatif de la part d’autrui. Dans le cadre de cette étude, les participants ayant ressenti une discrimination ont rapporté des niveaux d’embarras plus élevés. Ce sentiment les pousse à éviter les interactions humaines, perçues comme risquées, et à se tourner vers l’IA, considérée comme un refuge. Les chercheurs ont mené une expérience sur un campus universitaire où des « agents » (en réalité des participants à l’étude) ont évalué des demandes de prêt. Ceux ayant été questionnés sur leur couleur de peau (sans lien avec leur dossier) ont ressenti une discrimination et ont ensuite choisi à 60 % l’évaluation par IA plutôt que par un humain lors d’une phase ultérieure. Ce mécanisme est particulièrement marqué dans les situations publiques, où les choix sont visibles par d’autres.
L’IA est souvent perçue comme plus neutre, objective et moins sujette aux biais que les humains. Cette perception explique pourquoi les consommateurs discriminés lui font davantage confiance. Cependant, cette vision est simpliste : les algorithmes peuvent reproduire ou amplifier des biais s’ils sont entraînés sur des données partiales ou mal conçues. Par exemple, un algorithme utilisé dans le secteur bancaire pourrait défavoriser certains groupes si les données historiques reflètent des discriminations passées. Malgré cela, pour les personnes ayant vécu des expériences discriminatoires, l’IA reste une alternative perçue comme plus sûre, car elle limite le risque de jugement subjectif. Cette préférence s’atténue lorsque les décisions sont prises en privé, sans exposition sociale.
Les entreprises, notamment dans les secteurs sensibles comme la banque, la santé ou le service client, pourraient tirer parti de ces résultats en proposant des alternatives basées sur l’IA pour les consommateurs ayant vécu des discriminations. Cela permettrait à ces derniers de se sentir plus à l’aise et de reprendre le contrôle après des expériences négatives. Par exemple, une banque pourrait offrir un assistant virtuel pour les demandes de crédit, réduisant ainsi le stress lié aux interactions humaines. Cependant, cette approche comporte un risque majeur : si l’IA elle-même est biaisée, elle pourrait perpétuer ou aggraver les discriminations. Les organisations doivent donc veiller à ce que leurs systèmes d’IA soient conçus de manière équitable, en utilisant des données diversifiées et des audits réguliers pour détecter les biais potentiels.
Bien que l’IA puisse offrir une solution perçue comme plus sûre pour les consommateurs discriminés, son adoption ne doit pas être considérée comme une solution miracle. Les biais dans les algorithmes sont souvent difficiles à détecter, car ils peuvent être intégrés de manière subtile dans les données d’entraînement ou les règles de décision. Par exemple, un algorithme utilisé pour évaluer des profils de risque en assurance pourrait défavoriser certaines minorités si les données historiques reflètent des pratiques discriminatoires passées. Les entreprises et les régulateurs doivent donc mettre en place des mécanismes de transparence et de responsabilité pour garantir que l’IA ne reproduise pas les inégalités qu’elle est censée atténuer. Sans cette vigilance, l’IA pourrait devenir un outil de discrimination *invisible*, encore plus difficile à contester que les biais humains.
