Des millions de Noirs touchés par les préjugés raciaux dans les algorithmes de soins de santé

Un algorithme largement utilisé dans les hôpitaux américains pour attribuer des soins de santé aux patients a été systématiquement discriminant envers les Noirs, selon une analyse approfondie.

L’étude, publiée dans Science le 24 octobre, a conclu que l’algorithme risquait moins de renvoyer les Noirs que les Blancs également malades vers des programmes visant à améliorer les soins dispensés aux patients ayant des besoins médicaux complexes. Les hôpitaux et les assureurs utilisent l'algorithme et d'autres outils similaires pour aider à gérer les soins d'environ 200 millions de personnes aux États-Unis chaque année.

Ce type d’étude est rare, car les chercheurs n’ont souvent pas accès aux algorithmes propriétaires et aux nombreuses données de santé sensibles nécessaires pour les tester pleinement, déclare Milena Gianfrancesco, épidémiologiste à l’Université de Californie à San Francisco, qui a étudié les sources de biais. dans les dossiers médicaux électroniques. Mais des études et des rapports anecdotiques de moindre envergure ont documenté des pratiques injustes et utilisées dans tous les domaines, de la justice pénale à l'éducation et aux soins de santé.

«C'est alarmant», déclare Gianfrancesco de la dernière étude. "Nous avons besoin d'un meilleur moyen d'évaluer réellement la santé des patients."

Ziad Obermeyer, qui étudie l’apprentissage automatique et la gestion des soins de santé à l’Université de Californie à Berkeley, et son équipe sont tombés sur le problème tout en examinant l’impact des programmes qui fournissent des ressources supplémentaires et une surveillance médicale plus étroite aux personnes atteintes de problèmes de santé multiples, se chevauchant parfois. problèmes.

Examiner les hypothèses

Lorsqu'Obermeyer et ses collègues ont procédé à des contrôles statistiques de routine sur les données reçues d'un grand hôpital, ils ont été surpris de constater que les scores de risque des personnes qui s'identifiaient en tant que Noirs étaient généralement plus bas que ceux des Blancs également atteints. En conséquence, les personnes noires étaient moins susceptibles d'être référées vers des programmes offrant des soins plus personnalisés.

Les chercheurs ont découvert que l’algorithme attribuait aux patients des scores de risque basés sur le coût total des soins de santé accumulés en un an. Selon eux, cette hypothèse pourrait sembler raisonnable, car des coûts de soins de santé plus élevés sont généralement associés à des besoins de santé plus importants. La personne noire moyenne dans l'ensemble de données utilisé par les scientifiques avait des coûts de soins de santé globaux similaires à ceux de la personne blanche moyenne.

Cependant, un examen plus approfondi des données a révélé que le Noir moyen était également beaucoup plus malade que le Blanc moyen, avec une prévalence plus élevée de problèmes tels que le diabète, l’anémie, l’insuffisance rénale et l’hypertension. Dans l'ensemble, les données ont montré que les soins fournis aux personnes noires coûtaient en moyenne 1 800 USD de moins par an que les soins prodigués à une personne de race blanche souffrant du même nombre de problèmes de santé chroniques.

Les scientifiques spéculent que cette réduction de l'accès aux soins est due aux effets du racisme systémique, allant de la méfiance à l'égard du système de santé à la discrimination raciale directe de la part des prestataires de soins de santé.

Et parce que l'algorithme assignait des personnes à des catégories à haut risque en fonction des coûts, ces biais étaient répercutés dans ses résultats: les Noirs devaient être plus malades que les Blancs avant d'être référés pour une aide supplémentaire. Seulement 17,7% des patients auxquels l’algorithme avait été attribué pour recevoir des soins supplémentaires étaient noirs. Les chercheurs ont calculé que la proportion serait de 46,5% si l’algorithme était non biaisé.

Recherche de solutions

Lorsque Obermeyer et son équipe ont communiqué leurs résultats aux développeurs de l’algorithme, la société a répété leur analyse et obtenu les mêmes résultats. Obermeyer, qui a choisi de garder le nom de l'entreprise confidentiel, collabore avec l'entreprise – sans salaire – pour améliorer l'algorithme.

Avec son équipe, il a travaillé avec l'entreprise pour rechercher des variables autres que les coûts de soins de santé pouvant être utilisés pour calculer les besoins médicaux d'une personne, et a répété leur analyse après avoir modifié l'algorithme en conséquence. Ils ont constaté que ces changements réduisaient les biais de 84%.

Mais trouver de telles solutions pour les algorithmes – dans le domaine de la santé et au-delà – n’est pas une tâche facile, explique Obermeyer. «Ces solutions sont faciles au sens de l’ingénierie logicielle: vous devez simplement réexécuter l’algorithme avec une autre variable», explique-t-il. «Mais la partie difficile est: quelle est cette autre variable? Comment travaillez-vous autour du préjugé et de l'injustice inhérents à cette société? "

Ceci est dû en partie à un manque de diversité parmi les concepteurs d'algorithmes et à un manque de formation sur le contexte social et historique de leurs travaux, déclare Ruha Benjamin, auteur de Course après la technologie (2019) et sociologue à l'Université de Princeton, dans le New Jersey.

«Nous ne pouvons pas compter sur les personnes qui conçoivent actuellement ces systèmes pour anticiper ou atténuer tous les inconvénients liés à l’automatisation», dit-elle.

Selon Rayid Ghani, informaticien à la Carnegie Mellon University de Pittsburgh, en Pennsylvanie, les développeurs doivent effectuer régulièrement des tests tels que ceux du groupe Obermeyer avant de déployer un algorithme qui affecte des vies humaines. Ce type d'audit est plus courant maintenant, dit-il, car les rapports sur les algorithmes biaisés se sont généralisés.

«Faites-vous plus maintenant qu'habituellement? Oui, dit Ghani. «En ont-ils assez? Non."

Il pense que les résultats de ces audits doivent toujours être comparés aux prises de décision humaines avant de supposer qu'un algorithme aggrave les choses. Ghani dit que son équipe a réalisé des analyses non publiées comparant les algorithmes utilisés en santé publique, en justice pénale et en éducation à la prise de décision humaine. Ils ont constaté que les systèmes d'apprentissage automatique étaient biaisés – mais moins que les personnes.

«Nous utilisons toujours ces algorithmes appelés humains qui sont vraiment biaisés», déclare Ghani. "Nous les avons testés et savons qu’ils sont horribles, mais nous les utilisons toujours pour prendre des décisions très importantes chaque jour."