Informe
Catorce fallas de IA pública, un solo patrón
Puntos clave
- Las fallas de IA pública materializan riesgos conocidos e ignorados, no sorpresas técnicas.
- La combinación letal es error a escala más incapacidad organizacional de verlo.
- El tiempo de detección —función directa de la transparencia— decide si un error cuesta una semana o una década.
- Predicción social y biometría son las categorías de mayor riesgo específico para la región; exigen el estándar máximo o la renuncia.
- Colombia no aparece en el catálogo con un escándalo propio: la ventana para prevenir sigue abierta. Los ingredientes ya están presentes.
De COMPAS a Robodebt, de Salta a los chatbots municipales: ninguna de las fallas documentadas fue un accidente técnico imprevisible. Todas materializaron riesgos conocidos que alguien señaló a tiempo — y nadie escuchó.
La mejor literatura sobre riesgos de la inteligencia artificial pública no está en los manuales: está en los expedientes. Catalogamos catorce fallas documentadas de sistemas automatizados en el sector público —con fuentes oficiales, judiciales o de investigación verificable— y el hallazgo transversal incomoda a los dos bandos del debate.
A los entusiastas: ninguna de las fallas fue un accidente imprevisible. Todas materializaron riesgos conocidos, señalados a tiempo por funcionarios, auditores, académicos o afectados que no fueron escuchados. En Robodebt, abogados internos advirtieron la ilegalidad desde el inicio. En el caso Horizon, los afectados denunciaron el sistema durante dos décadas.
A los escépticos: ninguna falla prueba que la tecnología sea inutilizable. Prueban que la variable decisiva es institucional. El mismo tipo de sistema que en un contexto produjo un escándalo nacional opera en otro con salvaguardas y resultados aceptables.
Cuatro familias de riesgo
El catálogo se deja ordenar en una taxonomía de cuatro familias. Riesgos de resultado: el sistema decide mal — error, sesgo, degradación silenciosa cuando la realidad cambia. Riesgos de proceso: nadie puede verificar ni corregir — opacidad, ausencia de impugnación, supervisión nominal, y la variante letal: la ilegalidad automatizada, una regla jurídicamente inválida ejecutada a escala perfecta. Riesgos institucionales: la entidad pierde el control de su función — dependencia del proveedor, capacidad interna que se atrofia, continuidad. Riesgos sociales: el daño excede el caso individual — vigilancia, exclusión, confianza destruida.
La falla típica es compuesta: once de los catorce casos materializaron tres o más familias a la vez. El error técnico casi nunca basta para el desastre; se requiere además la ceguera organizacional. Esa es una buena noticia operativa: las salvaguardas de proceso —impugnación, supervisión real, auditoría— protegen incluso cuando el sistema falla.
El tiempo de detección multiplica el daño
Compare dos casos. El algoritmo de calificaciones británico se corrigió en una semana: el daño fue serio pero acotado. Horizon tardó más de dos décadas: el daño incluyó prisión y quiebras, documentados por la investigación pública británica. La variable no fue la gravedad del error técnico — el de las calificaciones era mayor. Fue la existencia de ventanas para verlo y revertirlo. La opacidad convierte errores en escándalos; el escrutinio temprano los convierte en correcciones.
La lección regional: fallar antes, en la pregunta
Los casos latinoamericanos del catálogo —la predicción de embarazo adolescente en Salta, el sistema de riesgo de niñez en Chile, el reconocimiento facial suspendido judicialmente en Buenos Aires— comparten un patrón propio: sistemas de predicción o vigilancia sobre poblaciones vulnerables, con salvaguardas débiles y evaluación tardía. No son historias de modelos mal calibrados sino de proyectos que no debían existir en la forma propuesta. La primera línea de defensa regional no es la auditoría de modelos; es la pregunta de proporcionalidad: ¿debe existir este sistema, para este problema, sobre esta población?
Hay una segunda cara: en los tres casos, la corrección funcionó — y vino de afuera. Academia, sociedad civil y jueces detuvieron lo que los controles internos no vieron. La conclusión institucional es doble: fortalecer los controles internos para no depender del rescate externo, y proteger la transparencia que hace posible ese rescate.
Por qué importa
Prevenir es más barato que cualquier alternativa, y el catálogo ya existe: los informes finales de Robodebt, los subsidios neerlandeses y Horizon son bienes públicos gratuitos, pagados por otros. Una entidad que evalúe sus proyectos contra las cuatro familias —y que se haga la pregunta del pre-mortem: “si en dos años este sistema es nuestro escándalo, ¿qué habrá fallado?”— evita los errores más caros del repertorio conocido.
El riesgo de leer este catálogo como argumento contra la IA es real, y conviene descartarlo explícitamente: la parálisis también tiene víctimas — los servicios que no mejoran, los fraudes que no se detectan. El catálogo es el argumento contra la IA sin salvaguardas. La diferencia entre ambas lecturas es, exactamente, todo nuestro trabajo.
El documento completo —con su metodología, sus fuentes y sus limitaciones— está disponible en el PDF descargable de esta página.