Informe
Lo que un gobierno nunca debe delegar a un algoritmo
Puntos clave
- Las grandes fallas de la automatización pública fueron fallas de arquitectura de decisión, no de algoritmos.
- La supervisión humana real tiene cinco condiciones y dos métricas; sin ellas, es teatro.
- Seis decisiones no se delegan nunca; el resto se clasifica con dos preguntas: ¿cuánto afecta derechos? ¿qué tan reversible es el error?
- La regla de contradicción es la protección más barata: definir por procedimiento qué pasa cuando el ciudadano y el sistema afirman cosas incompatibles.
Robodebt, los subsidios neerlandeses, las calificaciones británicas y el caso Horizon comparten una causa: las personas dejaron de decidir y empezaron a firmar. Seis decisiones indelegables y una matriz para todas las demás.
Los mayores desastres documentados de la automatización pública no fueron fallas técnicas exóticas. En Australia, un esquema automatizado emitió más de 470.000 cobros erróneos a beneficiarios de asistencia social; la comisión real que lo investigó lo declaró ilegal en 2023. En Países Bajos, un sistema de detección de fraude señaló injustamente a cerca de 26.000 familias y contribuyó a la caída del gobierno. En el Reino Unido, un algoritmo rebajó el 39,1 % de las calificaciones de acceso a la universidad en 2020 — y fue retirado en una semana. En todos los casos, los sistemas hicieron aquello para lo que fueron configurados. Lo que falló fue la arquitectura de decisión: nadie con autoridad revisaba el caso individual.
De esa evidencia extraemos una regla y dos herramientas.
La regla: la supervisión no se declara; se diseña
Poner a una persona “en el circuito” no garantiza nada. La investigación sobre sesgo de automatización lo documenta desde hace décadas: las personas tienden a aceptar lo que el sistema recomienda, incluso cuando otra evidencia lo contradice. Un revisor sin tiempo, sin información completa y sin autoridad real para apartarse produce firmas, no juicios.
La supervisión efectiva tiene cinco condiciones verificables: competencia (entiende el sistema y sus límites), información (ve el caso completo, no solo la recomendación), tiempo (la carga de trabajo permite examinar), autoridad (disentir no cuesta nada) y registro (cada intervención queda documentada). Y dos métricas la delatan: si la tasa de aceptación ronda el 100 %, la supervisión es nominal; si la tasa de casos derivados a decisión humana es cero, el sistema está tratando casos que no entiende.
Seis decisiones que no se delegan
Con independencia de la calidad del sistema, seis categorías deben permanecer en manos humanas:
- La decisión final sobre derechos fundamentales — salud, libertad, asilo, custodia.
- Las sanciones — toda sanción exige valorar circunstancias individuales, que es justo lo que la automatización a escala elimina.
- El uso de la fuerza.
- Las decisiones judiciales de fondo — los sistemas pueden ordenar expedientes; la valoración probatoria y la decisión pertenecen al juez.
- Los casos atípicos — lo que se aparta del dominio de diseño del sistema va a una persona, no se fuerza dentro del modelo.
- La responsabilidad — ningún diseño convierte “lo decidió el sistema” en una respuesta válida.
No es una preferencia de diseño: se deriva del debido proceso y de la motivación exigible a los actos públicos.
La matriz: todo lo demás, caso por caso
Fuera de esas seis categorías, el nivel de automatización admisible depende de dos variables que cualquier entidad puede evaluar: el impacto sobre derechos y la reversibilidad del error. Impacto alto con error difícil de revertir: decisión humana plena. Impacto alto con error corregible: decisión humana con apoyo del sistema. Impacto bajo: automatización con revisión por muestreo o con monitoreo, según la reversibilidad.
La lógica coincide con la directiva canadiense de decisiones automatizadas, que gradúa la intervención humana según el impacto desde 2019. La diferencia de nuestra matriz es la segunda dimensión: un error masivo pero corregible en días admite más automatización que un error individual que deja a alguien sin una prestación durante meses.
Por qué importa
Colombia ya tiene las piezas jurídicas —debido proceso constitucional, motivación de los actos, el principio de “control humano de las decisiones” del Marco Ético— y ya tiene el debate en casa: un juez de Cartagena usó un sistema generativo en una sentencia de tutela en 2023, y el caso está bajo revisión de la Corte Constitucional. La frontera de delegación dejó de ser teórica.
Para las entidades, la implicación es práctica: clasificar cada sistema en la matriz antes de discutir tecnología, excluir por escrito lo indelegable, dotar la supervisión con las cinco condiciones y medir —y publicar— las dos tasas. Nada de eso requiere una ley nueva. Requiere decidir que la palabra “supervisión” signifique algo.
El costo de no hacerlo ya está tasado: el acuerdo judicial de Robodebt superó los 1.800 millones de dólares australianos. La supervisión competente es más barata que el litigio — y mucho más barata que la confianza perdida.
El documento completo —con su metodología, sus fuentes y sus limitaciones— está disponible en el PDF descargable de esta página.