Comparaison des réponses d’une intelligence artificielle généraliste et de sa version entrainée par la littérature scientifique aux questions de patients lombalgiques : etude pilote expérimentale

Details

Supervisors

Pitance, Laurent ; Christe Guillaume

Faculty

Faculté des sciences de la motricité

Degree label

Master [60] en kinésithérapie et réadaptation
Master [60] en kinésithérapie et réadaptation

Abstract

Introduction - L’intelligence artificielle (IA) modifie l’accès à l’information en matière de santé. Les outils issus de l’IA sont sollicités par les patients en quête d’informations concernant des pathologies telles que la lombalgie. Cette évolution soulève la nécessité d’évaluer la qualité et la fiabilité des informations fournies. Matériel et Méthodes – Vingt-trois questions représentatives des interrogations de patients souffrant de lombalgie ont été soumises à deux chatbots : ChatGPT-4 et LombalgIA, sa version enrichie par de la littérature scientifique. Trois experts ont évalué, en aveugle, la qualité et la validité des réponses fournies selon trois critères : (1) la validité scientifique, (2) la nature aidante et (3) la nature délétère de la réponse, dans le but de tester et comparer ChatGPT-4 et LombalgIA. Résultats - Les scores obtenus par ChatGPT-4, variant de 55 à 58 sur un maximum possible de 92, se sont avérés inférieurs à ceux de LombalgIA qui variaient de 72 à 74. Une proportion de 65% des réponses fournies par ChatGPT-4 était insatisfaisantes sur au moins un critère contre moins de 10% pour LombalgIA. Conclusion - LombalgIA est plus fiable pour transmettre des informations de qualité du point de vue scientifique et d’une nature aidante par rapport à ChatGPT-4 confirmant l’intérêt de son enrichissement. Il reste souhaitable pour les patients de demander des précisions à des professionnels de santé car les chatbots testés, en particulier ChatGPT-4, peuvent véhiculer des messages délétères, susceptibles de générer de l’inquiétude ou des comportements inadéquats.