Naming and Diffusing the Understanding Objection in Healthcare Artificial Intelligence

Abstract

Informed consent is often argued to be one of the more significant potential problems for the implementation and widespread onboarding of artificial intelligence (AI) and machine learning in healthcare decision-making. This is because of the concern revolving around whether, and to what degree, patients can understand what contributes to the decision-making process when an algorithm is involved. In this paper, I address what I call the Understanding Objection, which is the idea that AI systems will cause problems for the informational criteria involved in proper informed consent. I demonstrate that collaboration with clinicians in a human-in-the-loop partnership can alleviate these concerns around understanding, regardless how one conceptualizes the scope of understanding. Importantly, I argue that the human clinicians must be the second reader in the partnership to avoid institutional deference to the machine and best promote clinicians as the experts in the process.

Keywords:

• artificial intelligence,
• clinical ethics,
• consent,
• clinical decision-making,
• radiology,
• understanding,
• human-in-the-loop

Résumé

Le consentement éclairé est souvent considéré comme l’un des problèmes potentiels les plus importants pour la mise en oeuvre et l’intégration généralisée de l’intelligence artificielle (IA) et de l’apprentissage automatique dans la prise de décision en matière de soins de santé. En effet, on se demande si, et dans quelle mesure, les patients peuvent comprendre ce qui contribue au processus de prise de décision lorsqu’un algorithme est impliqué. Dans cet article, j’aborde ce que j’appelle l’objection de la compréhension, c’est-à-dire l’idée que les systèmes d’IA causeront des problèmes pour les critères d’information impliqués dans un consentement éclairé approprié. Je démontre que la collaboration avec les cliniciens dans le cadre d’un partenariat humain dans la boucle peut atténuer ces préoccupations concernant la compréhension, quelle que soit la manière dont on conceptualise la portée de la compréhension. Surtout, je soutiens que les cliniciens humains doivent être le deuxième lecteur dans le partenariat afin d’éviter la déférence institutionnelle envers la machine et de promouvoir au mieux les cliniciens en tant qu’experts dans le processus.

Mots-clés :

• intelligence artificielle,
• éthique clinique,
• consentement,
• prise de décision clinique,
• radiologie,
• compréhension,
• humain dans la boucle