Caso: supervisión humana que funcionó de verdad
"Siempre hay un humano en el circuito", me aseguró un proveedor sanitario sobre su herramienta de triaje con IA. Sobre el papel, cierto — una enfermera confirmaba cada recomendación. En la práctica, la supervisión estaba hueca.
La herramienta acertaba tan a menudo que confirmarla se volvió reflejo. Cientos de veces por turno, la enfermera pulsaba aceptar. La supervisión humana genuina había degenerado en sellar por inercia — la conocida trampa de la automatización, donde un sistema fiable entrena a su supervisor para dejar de supervisar.
ISO 42001 pide supervisión humana significativa, y significativa es la palabra clave. Un humano que no puede discrepar de forma realista no es supervisión; es decoración proporcionando un consuelo falso.
La rediseñamos. La herramienta pasó a mostrar su confianza y su razonamiento, no solo un veredicto. Los casos de baja confianza o inusuales se marcaban para revisión genuina; los rutinarios fluían más rápido. La atención de la enfermera se gastaba donde el juicio importaba de verdad, y discrepar se hizo fácil y sin culpa.
Las tasas de corrección subieron de casi cero a significativas — la prueba de que la supervisión por fin era real. La lección: un humano en el circuito no vale nada si el circuito no está diseñado para que importe.