Siete preguntas que toda respuesta de IA debería superar

Es fácil quedar impresionado por un sistema de IA. Es mucho más difícil saber si uno debería confiar en él. Queríamos una prueba lo bastante simple para recordarla y lo bastante estricta para que signifique algo, así que la escribimos, y aplicamos nuestro propio trabajo a ella antes que el de nadie.

Antes de que una recomendación valga una decisión real, tiene que poder responder siete preguntas.

1. ¿Por qué se recomendó esto? El razonamiento tiene que estar a la vista, no solo la conclusión.
2. ¿Qué evidencia lo respalda? Fuentes, citadas y abiertas a inspección.
3. ¿Qué supuso? Los supuestos declarados con claridad, no enterrados.
4. ¿Qué sigue siendo incierto? Lo que no se sabe, nombrado, y también cuánto pesa.
5. ¿Quién responde? Una persona concreta, identificable antes de los hechos, no ubicada después del daño.
6. ¿Cómo se puede cuestionar? Una vía real para objetarla o corregirla.
7. ¿Cómo puede mejorar? Qué cambiaría la respuesta, y cómo mejora con el tiempo.

Si un sistema no puede responderlas, todavía no merece confianza, por capaz o convincente que suene.

Note lo que la prueba no es. No pregunta si la respuesta es impresionante, ni rápida, ni siquiera, por sí sola, correcta. Una respuesta correcta que no se puede verificar sigue siendo una apuesta; una respuesta cuidadosa que muestra su trabajo se puede sostener incluso cuando resulta equivocada, porque se ve cómo, y se corrige.

Publicamos a propósito la primera versión temprana e imperfecta —v0.1— para ser los primeros en ser medidos con ella, y la revisamos en público. No vendemos certificados por cumplirla. La cumplimos nosotros, a la vista, e invitamos a cualquiera a aplicárnosla.

Esa última parte es el punto. Un estándar que uno impone a otros es un arma. Un estándar que uno se aplica a sí mismo es una promesa.