Por qué la supervisión de IA con «humano en el bucle» falla en la práctica

A medida que los agentes de IA asumen tareas cada vez más consecuentes —enviar correos, editar código, mover dinero, ejecutar cambios en bases de datos—, la respuesta de seguridad estándar ha sido mantener a un «humano en el bucle»: una persona que revisa y aprueba la acción propuesta por el agente antes de que surta efecto. Los ingenieros que construyen estos sistemas informan cada vez más que el diseño funciona bien en demostraciones y empieza a fallar a gran escala.

El problema de fondo es de volumen más que de capacidad. Un único agente de IA que trabaja en una única tarea puede generar un flujo modesto y revisable de acciones propuestas. Pero cuando las organizaciones despliegan agentes en decenas de flujos de trabajo simultáneamente, el número de solicitudes de aprobación que llegan a un mismo revisor humano puede subir a cientos por día, muy por encima de lo que una persona puede evaluar de forma significativa una por una.

Lo que suele ocurrir después resulta familiar para cualquiera que haya estudiado la automatización en otros campos de alto riesgo: los revisores, ante un volumen insostenible de solicitudes de aprobación, empiezan a aprobar más rápido y de forma más superficial. Al principio de una implementación, un humano puede leer con cuidado la acción propuesta por un agente antes de aprobarla. Semanas después, ante docenas de solicitudes similares por hora, esa misma persona suele pulsar «aprobar» tras una simple mirada, a veces sin siquiera leer la solicitud en detalle.

Este patrón tiene un nombre en la ingeniería de seguridad: la complacencia con la automatización, estudiada primero extensamente en la aviación, donde se descubrió que los pilotos que supervisaban aviones en gran medida autopilotados perdían la vigilancia precisamente porque la automatización funcionaba de forma fiable la mayor parte del tiempo. La paradoja es que cuanto más fiable se vuelve un agente de IA en tareas rutinarias, más se erosiona la atención de su revisor humano, justo hasta el raro momento en que el agente comete un error.

A diferencia de un piloto, sin embargo, un humano que aprueba las acciones de un agente de IA en un flujo de trabajo empresarial a menudo no ha recibido formación formal sobre qué buscar, no cuenta con práctica en simulador para casos límite, ni forma parte de una cultura institucional de vigilancia como la que la aviación ha tardado décadas en construir. El «humano en el bucle» suele ser simplemente el empleado en cuya cola cayó la solicitud de aprobación.

Los ingenieros que trabajan en este problema sostienen que la frase «humano en el bucle» se ha convertido en una especie de casilla de cumplimiento normativo: un patrón de diseño que permite a un equipo afirmar que existe supervisión, sin preguntarse si esa supervisión funciona como se pretendía una vez que llega un volumen de uso real. Un sistema que técnicamente requiere aprobación humana pero la recibe como un clic reflejo aporta poca seguridad real más allá de no tener ningún paso de revisión.

Algunos equipos están respondiendo repensando qué se escala a un humano en primer lugar, en lugar de dirigir cada acción del agente a la misma cola de revisión sin importar el riesgo. Bajo este enfoque, las acciones de bajo riesgo y fácilmente reversibles avanzan de forma automática, mientras el sistema reserva la atención humana específicamente para acciones de alta consecuencia, difíciles de revertir o inusuales respecto al comportamiento habitual del agente, un enfoque más cercano a cómo los bancos marcan transacciones para revisión antifraude en lugar de aprobar manualmente cada compra.

Otros están experimentando con cambios en las herramientas pensados para hacer la revisión realmente más rápida sin volverla vacía de contenido: mostrar exactamente qué cambió desde una solicitud anterior similar, señalar cuando la acción propuesta por un agente se desvía de su patrón habitual, e introducir fricción deliberada —una breve pausa obligatoria, un resumen que el revisor deba redactar con sus propias palabras— para el número más reducido de aprobaciones genuinamente de alto riesgo.

La tensión de fondo que describen los ingenieros es difícil de resolver mediante el diseño: un proceso de revisión lo bastante rápido para seguir el ritmo de producción de un agente de IA es, casi por definición, demasiado rápido para que un humano examine cada elemento de forma significativa, mientras que un proceso de revisión lo bastante riguroso para detectar problemas reales es demasiado lento para igualar el ritmo que los sistemas agénticos están diseñados para ofrecer.

Nada de esto aboga por eliminar por completo la supervisión humana de los agentes de IA, aclaran con cuidado los ingenieros que participan en el debate; más bien aboga por tratar el «humano en el bucle» como un problema de ingeniería que hay que diseñar bien, prestando atención al volumen de revisión, los criterios de escalado y la fatiga del revisor, en lugar de como una simple casilla que, una vez añadida a un diagrama de sistema, se supone que cumplirá su función indefinidamente.