Évaluation des chatbots en santé : proposition d'un cadre méthodologique multidimensionnel adapté aux exigences du domaine médical

Details

Supervisors

Lebleu Julien

Faculty

Faculté des sciences de la motricité

Degree label

Master [60] en kinésithérapie et réadaptation
Master [60] en kinésithérapie et réadaptation

Abstract

frL'intégration des agents conversationnels en santé, en particulier ceux reposant sur des modèles de langage, suscite un intérêt croissant en raison de leur potentiel à améliorer l'accès aux soins, l'éducation thérapeutique et l'accompagnement des patients. Toutefois, leur utilisation dans des contextes cliniques soulève des enjeux majeurs en termes de performance, de fiabilité, de sécurité et d'éthique. Ce mémoire propose un cadre méthodologique structuré pour évaluer la performance de ces chatbots en contexte médical, fondé sur cinq dimensions clés : l'exactitude, la connaissance médicale, la fiabilité, l'expérience utilisateur et la conformité éthique et juridique. Après un état de l'art, deux cas d'usage (post- opératoire aigu et pathologies chroniques) sont analysés au moyen d'un pipeline d'évaluation semi-automatisé intégrant benchmarks, LLMs comme évaluateurs et retours utilisateurs. Ce travail souligne la nécessité d'outils d'évaluation adaptés, capables de refléter la complexité des situations cliniques, et appelle à une approche responsable dans le développement et l'implémentation de ces technologies. En offrant un cadre d'évaluation modulable, ce travail vise à contribuer à la mise en place de standards d'évaluation plus robustes pour les systèmes d'IA en santé