¿Qué debería significar en realidad «confianza: 0,86»?

Adjuntamos valores de confianza a las afirmaciones, así que le debemos al lector una definición: una confianza declarada es una promesa sobre frecuencia — de las afirmaciones que marcamos 0,86, unas 86 de cada 100 deberían resultar ciertas. Este es el estándar que exigimos a esos números, y de dónde viene.

Varias de nuestras afirmaciones publicadas llevan un número —confianza: 0,86, confianza: 0,41—. Números así son fáciles de imprimir y fáciles de abusar, así que esta nota dice con claridad qué están obligados a significar los nuestros, y qué los probaría falsos.

La definición: la confianza es una promesa sobre frecuencia

Una confianza declarada está calibrada cuando coincide con la realidad a la larga: de todas las afirmaciones marcadas 0,86, unas 86 de cada 100 resultan ciertas; de las marcadas 0,41, unas 41 de cada 100. Esa es toda la definición. Un número de confianza no es un estado de ánimo, un énfasis ni un suavizante retórico: es una predicción verificable sobre un conjunto de afirmaciones, y cualquiera que lleve la cuenta puede auditarla.

Fig. 1 · La forma de la calibración (ilustrativa, no medida). Un registro calibrado se ubica sobre la diagonal.

Este estándar no lo inventó la industria de la IA. Viene de la única profesión que ha publicado juicios probabilísticos, en público y bajo puntuación, durante medio siglo: el pronóstico del tiempo. Cuando los investigadores examinaron los pronósticos de lluvia en EE. UU., encontraron que las probabilidades declaradas por los meteorólogos seguían notablemente bien las frecuencias observadas: cuando decían 70% de probabilidad de lluvia, llovía cerca del 70% de las veces (Murphy y Winkler, 1977). Los meteorólogos no se calibraron por ser humildes ni brillantes. Se calibraron porque alguien llevaba la cuenta.

La misma disciplina construyó los resultados más sólidos en la investigación sobre el juicio: los pronosticadores que siguen su propia precisión y se corrigen ante los errores superan de forma confiable a los expertos con credenciales que nunca se verifican (Tetlock y Gardner, Superforecasting, 2015).

Qué pueden y qué no pueden prometer las máquinas

¿Pueden los modelos de IA producir una confianza calibrada? En parte — y la respuesta parcial es justo por lo que importa un estándar humano. Se ha demostrado que los modelos grandes pueden estimar la probabilidad de que sus propias respuestas sean correctas con una calibración mejor que el azar (Kadavath et al., 2022). Pero la calibración es frágil: el propio informe técnico de OpenAI señaló que el entrenamiento usado para hacer a GPT-4 más útil empeoró de forma medible su calibración (OpenAI, 2023). A un modelo se lo puede inclinar hacia la seguridad como a un vocero — y por las mismas razones.

Por eso tratamos la confianza declarada por una máquina como un insumo, nunca como un veredicto. El número con el que sale una afirmación es uno que una persona revisó y estuvo dispuesta a respaldar con su historial.

Las bandas que usamos, en palabras claras

Confianza declarada	Lo que le estamos diciendo
0,90 o más	Nos sorprendería estar equivocados. Varias fuentes independientes coinciden.
0,70 – 0,89	Sólida, con vacíos nombrados. Actúe sobre ella, pero lea los supuestos.
0,40 – 0,69	Genuinamente incierta. La afirmación sirve sobre todo por lo que le indica verificar.
Menos de 0,40	Declarada para ser cuestionada. La publicamos porque esconder una creencia débil es peor que mostrarla.

Dos compromisos se siguen. Primero: estos números son auditables — cada afirmación con un valor de confianza es pública, así que cualquiera puede llevar nuestra cuenta, y nuestra política de correcciones aplica cuando un conjunto se aparta de su promesa. Segundo: no imprimiremos precisión falsa. Una afirmación que no podamos poner honestamente en una banda recibe palabras («no lo sabemos»), no un decimal.

Una fotografía de larga exposición del cielo nocturno muestra cómo se ve la medición repetida: los puntos se vuelven arcos, y el patrón solo aparece a lo largo de muchas exposiciones. La calibración es igual. Ninguna afirmación aislada puede probar honesto un número de confianza — solo el registro puede. Por eso publicamos el nuestro.

Fuentes

Murphy, A. H., & Winkler, R. L. (1977). Reliability of Subjective Probability Forecasts of Precipitation and Temperature. Journal of the Royal Statistical Society, Series C. doi.org/10.2307/2346866
Kadavath, S., et al. (2022). Language Models (Mostly) Know What They Know. arxiv.org/abs/2207.05221
OpenAI (2023). GPT-4 Technical Report — calibración antes y después del post-entrenamiento. arxiv.org/abs/2303.08774
Tetlock, P., & Gardner, D. (2015). Superforecasting: The Art and Science of Prediction.