¿Se puede confiar en el consejo médico de un chatbot de IA? Lo que muestran los nuevos test

Hace apenas unos años, los chatbots de IA eran una curiosidad en medicina. Hoy, los médicos los consultan para redactar notas, los pacientes les describen sus síntomas y los sistemas hospitalarios los despliegan para agilizar las decisiones de triaje. Detrás de esta rápida adopción se esconde una pregunta incómoda: ¿cómo sabemos realmente cuán fiables son estos sistemas?

En teoría, la respuesta deberían darla los test de referencia (benchmarks): exámenes estandarizados que miden con qué frecuencia un modelo de IA responde correctamente a preguntas médicas. Pero algunos desarrolladores del sector sostienen que esos mismos test presentan fallas serias. Un modelo puede obtener buena puntuación en un examen médico de opción múltiple y, sin embargo, fallar ante el relato confuso y contradictorio de un paciente real describiendo sus síntomas.

Parte del problema surge de comparar, con la misma vara, a los grandes modelos de lenguaje de propósito general con sistemas diseñados específicamente para medicina. Un chatbot generalista, entrenado con un vasto conjunto de textos, puede producir respuestas fluidas y seguras, y esa fluidez puede confundirse con precisión médica. Los sistemas de enfoque clínico, entrenados con conjuntos de datos más acotados, suelen mostrarse más cautelosos, lo que puede hacerlos parecer "menos útiles" en las mismas pruebas.

Esa distinción tiene consecuencias muy reales fuera del laboratorio. Un chatbot que ayuda a un médico a ampliar un diagnóstico diferencial y una aplicación que habla directamente con un paciente que evalúa sus propios síntomas presentan perfiles de riesgo muy distintos. Un error en el primer caso queda filtrado por un clínico experimentado; un error en el segundo puede llegar directamente al paciente.

Existe un consenso creciente entre los desarrolladores: los sistemas de evaluación actuales no logran captar la complejidad de los entornos clínicos reales. Las pruebas estándar suelen presentar preguntas claras, con una única respuesta correcta, mientras que la práctica médica real está llena de información incompleta, síntomas contradictorios y presión de tiempo. Que un modelo sobresalga en preguntas de examen no revela cómo maneja la incertidumbre.

Algunos investigadores proponen en cambio pruebas centradas en la seguridad: medir si un modelo sabe decir "no lo sé" o derivar a un paciente a un médico humano, en lugar de limitarse a su tasa de aciertos bruta. Es una capacidad más difícil de medir, pero clínicamente mucho más determinante.

Del lado del paciente, los riesgos son aún más concretos. Alguien que describe sus síntomas a un chatbot no siempre puede distinguir si la respuesta que recibe es un juicio experto o una estimación estadística. Esa ambigüedad se vuelve especialmente peligrosa ante enfermedades raras o situaciones que requieren atención urgente.

Los sistemas de salud que adoptan estas herramientas intentan mantener un equilibrio cuidadoso: capturar las ganancias de eficiencia sin comprometer la seguridad del paciente. Algunos hospitales usan la IA únicamente como una capa de "segunda opinión", dejando siempre la decisión final en manos de un clínico.

Los expertos coinciden en gran medida en que el sector necesita estándares de evaluación compartidos y auditados de forma independiente. Sin ellos, cada empresa diseña su propia prueba y declara su propio éxito, lo que hace casi imposible que pacientes y médicos sepan cuánto confiar en un sistema determinado.

Por ahora, el consejo más práctico para los pacientes es este: tratar la información médica de un chatbot como un punto de partida, no como la última palabra. La tecnología puede estar avanzando con rapidez, pero las herramientas creadas para certificarla como segura todavía no le han dado alcance.