Peut-on faire confiance aux conseils médicaux d'un chatbot IA ? Ce que révèlent les nouveaux tests

Il y a quelques années, les chatbots IA étaient une curiosité en médecine. Aujourd'hui, des médecins les consultent pour rédiger des notes, des patients leur décrivent leurs symptômes, et des systèmes hospitaliers les déploient pour accélérer les décisions de triage. Derrière cette adoption rapide se cache une question gênante : comment sait-on réellement à quel point ces systèmes sont fiables ?

En théorie, la réponse devrait venir des tests de référence (benchmarks) — des examens standardisés mesurant la fréquence à laquelle un modèle d'IA répond correctement à des questions médicales. Mais certains développeurs du secteur estiment que ces tests eux-mêmes présentent de sérieuses failles. Un modèle peut obtenir un bon score à un examen médical à choix multiples et échouer face au récit confus et contradictoire d'un vrai patient décrivant ses symptômes.

Une partie du problème vient du fait que l'on compare, avec le même étalon, des grands modèles de langage généralistes et des systèmes conçus spécifiquement pour la médecine. Un chatbot généraliste, entraîné sur un vaste corpus de textes, peut produire des réponses fluides et assurées — et cette fluidité peut être confondue avec l'exactitude médicale. Les systèmes à vocation clinique, entraînés sur des jeux de données plus restreints, se montrent souvent plus prudents, ce qui peut les faire paraître « moins utiles » lors des mêmes tests.

Cette distinction a des conséquences bien réelles hors du laboratoire. Un chatbot qui aide un médecin à élargir un diagnostic différentiel et une application qui s'adresse directement à un patient évaluant ses propres symptômes présentent des profils de risque très différents. Une erreur dans le premier cas est filtrée par un clinicien expérimenté ; une erreur dans le second peut atteindre directement le patient.

Un consensus grandissant se dégage chez les développeurs : les systèmes d'évaluation actuels ne parviennent pas à saisir la complexité des situations cliniques réelles. Les tests standards proposent généralement des questions nettes, à réponse unique correcte — alors que la pratique médicale réelle est faite d'informations incomplètes, de symptômes contradictoires et de pression temporelle. Qu'un modèle excelle à des questions d'examen ne révèle pas comment il gère l'incertitude.

Certains chercheurs proposent plutôt des tests axés sur la sécurité : mesurer si un modèle sait dire « je ne sais pas » ou orienter un patient vers un médecin humain, plutôt que de se limiter à son taux de réussite brut. C'est une capacité plus difficile à mesurer, mais bien plus déterminante sur le plan clinique.

Du côté des patients, les enjeux sont encore plus concrets. Une personne qui décrit ses symptômes à un chatbot ne peut pas toujours savoir si la réponse obtenue relève d'un jugement expert ou d'une simple estimation statistique. Cette ambiguïté devient particulièrement dangereuse face à des maladies rares ou des situations nécessitant une prise en charge urgente.

Les systèmes de santé qui adoptent ces outils tentent de trouver un équilibre prudent : capter les gains d'efficacité sans compromettre la sécurité des patients. Certains hôpitaux n'utilisent l'IA que comme une couche de « second avis », laissant systématiquement la décision finale à un clinicien.

Les experts s'accordent largement sur la nécessité, pour le secteur, de développer des normes d'évaluation partagées et auditées de manière indépendante. Sans cela, chaque entreprise conçoit son propre test et proclame son propre succès — rendant presque impossible, pour les patients comme pour les médecins, de savoir à quel point faire confiance à tel ou tel système.

Pour l'instant, le conseil le plus pratique pour les patients est le suivant : considérer l'information médicale fournie par un chatbot comme un point de départ, non comme un verdict final. La technologie progresse peut-être rapidement, mais les outils censés en certifier la fiabilité n'ont pas encore rattrapé ce rythme.