Ethical Dimensions of Artificial Intelligence Chatbots Use in Rare Disease Diagnosis: A Scoping Review

Abstract

Introduction: A rare disease is a health condition affecting a small percentage of the population, characterized by its low prevalence and the potential to result in chronic disabilities. Symptoms of these diseases may overlap with those of more prevalent conditions, complicating the diagnostic process. Additionally, many rare diseases are genetically inherited, and their diagnosis often requires specialized medical expertise and advanced diagnostic tools, highlighting the need for targeted approaches in healthcare. Consequently, the integration of artificial intelligence (AI) tools, including chatbots, presents a promising opportunity to support diagnostic processes in healthcare. However, their use raises ethical concerns, particularly related to data privacy, patient confidentiality, and the transparency of AI-driven recommendations. Objective: This study explores the ethical issues arising from the use of AI chatbots in rare disease diagnosis. Method: We conducted a scoping review related to ethical issues raised using chatbots in rare diseases diagnosis, searching databases and reference lists between January 1, 2010, and February 10, 2024. Results: Following screening process, six studies were included in the review. Data were grouped into four themes: 1) trust in AI chatbot; 2) humanization/dehumanization of AI; 3) data security and commercialization; and 4) psychometric considerations. Discussion: AI chatbots hold promise for diagnosing rare diseases, but challenges like data scarcity, diagnostic accuracy, and trust remain. Addressing these issues, particularly through improved data representativeness and enhanced collaboration with healthcare professionals, is crucial for the effective integration of AI in clinical practice. Future research should focus on overcoming these limitations to ensure AI can serve as a reliable decision-support tool in rare disease diagnosis.

Keywords:

• artificial intelligence,
• chatbot,
• rare disease,
• diagnosis,
• ethical issues

Résumé

Introduction : Une maladie rare est une affection qui touche un faible pourcentage de la population, caractérisée par sa faible prévalence et son potentiel à entraîner des incapacités chroniques. Les symptômes de ces maladies peuvent se chevaucher avec ceux d’affections plus courantes, ce qui complique le processus diagnostique. De plus, de nombreuses maladies rares sont d’origine génétique, et leur diagnostic nécessite souvent une expertise médicale spécialisée ainsi que des outils diagnostiques avancés, ce qui souligne la nécessité d’approches ciblées en santé. Par conséquent, l’intégration d’outils d’intelligence artificielle (IA), y compris les agents conversationnels (chatbots), représente une opportunité prometteuse pour soutenir les processus diagnostiques en soins de santé. Toutefois, leur utilisation soulève des enjeux éthiques, notamment en matière de protection des données, de confidentialité des patients et de transparence des recommandations générées par l’IA. Objectif : Cette étude explore les enjeux éthiques liés à l’utilisation de chatbots d’IA dans le diagnostic des maladies rares. Méthode : Nous avons réalisé une revue de portée portant sur les enjeux éthiques associés à l’utilisation de chatbots dans le diagnostic des maladies rares, en consultant des bases de données et des listes de références entre le 1er janvier 2010 et le 10 février 2024. Résultats : À la suite du processus de sélection, six études ont été incluses dans la revue. Les données ont été regroupées en quatre thèmes : 1) la confiance envers les chatbots d’IA; 2) l’humanisation/déshumanisation de l’IA; 3) la sécurité des données et leur commercialisation; et 4) les considérations psychométriques. Discussion : Les chatbots d’IA présentent un potentiel prometteur pour le diagnostic des maladies rares, mais des défis subsistent, notamment la rareté des données, la précision diagnostique et la confiance. Il est essentiel de répondre à ces enjeux, en particulier en améliorant la représentativité des données et en renforçant la collaboration avec les professionnels de la santé, afin de permettre une intégration efficace de l’IA dans la pratique clinique. Les recherches futures devraient se concentrer sur la résolution de ces limites afin de garantir que l’IA puisse servir d’outil fiable d’aide à la décision dans le diagnostic des maladies rares.

Mots-clés :

• intelligence artificielle,
• chatbot,
• maladie rare,
• diagnostic,
• questions éthiques