Esta semana, Artificial Analysis publicó los resultados de dos modelos del mismo laboratorio, Thinking Machines Lab: Inkling e Inkling Small. El menor le ganó al mayor en la prueba de trabajo real. Ese mismo menor saca nota negativa en una prueba de conocimiento — es decir, se equivoca más de lo que acierta.
Ambas cosas son verdad al mismo tiempo. Y entender por qué es la lección más útil que una empresa puede llevarse antes de elegir cualquier inteligencia artificial.
Las dos pruebas, en cristiano
El AA-Omniscience mide conocimiento y alucinación. Son 6.000 preguntas sobre 42 temas económicamente relevantes, en seis áreas. La nota va de −100 a 100 y funciona así: acertar suma, equivocarse resta, y decir "no sé" no cuesta nada. Cero significa acertar tanto como fallar.
El AA-Briefcase mide trabajo. El modelo recibe tareas realistas con miles de archivos de entrada y debe entregar cosas de personas: hojas de cálculo, presentaciones, prototipos de pantalla. La evaluación mira tres dimensiones — si es objetivamente correcto, la calidad del análisis y la calidad de la presentación.
El número que debería asustar: 20%
En el AA-Briefcase, Inkling Small marcó 917 puntos de Elo contra 839 de Inkling. Victoria cómoda del menor.
Solo que la verificación objetiva — la parte que comprueba si la entrega es factualmente correcta — quedó prácticamente empatada: 20% contra 19%.
Léelo otra vez. En ambos casos, alrededor de una quinta parte de las verificaciones objetivas pasó. Hablamos de modelos que lideran titulares, en una prueba de trabajo de oficina, acertando uno de cada cinco ítems revisados. La diferencia entre "ganador" y "perdedor" no vino del acierto.
Por qué ganó el menor
Vino de la presentación. El informe es explícito: la ventaja de Inkling Small estuvo impulsada principalmente por presentar mejor el resultado.
Es decir: el modelo que entrega una hoja de cálculo mejor formateada, un texto mejor organizado y una diapositiva más bonita le gana al modelo que acierta la misma cantidad de hechos. No porque el evaluador sea tonto — la presentación es una dimensión legítima y cuenta en el mundo real —, sino porque, cuando la corrección empata, decide la belleza.
Es exactamente lo que ocurre en la sala de tu empresa cuando alguien hace una demostración de IA.
Nota negativa: más errores que aciertos
En el AA-Omniscience, Inkling se quedó con 2. Inkling Small se quedó con −9. Nota negativa significa, literalmente, más respuestas equivocadas que correctas. La precisión fue del 40% contra 31% — el modelo menor sabe menos, algo esperable por tener menos parámetros.
Pero fíjate en el diseño de la prueba, que es la parte inteligente: no hay castigo por negarse a responder. Un modelo que contesta "no tengo esa información" no pierde ni un punto. Quien derriba la nota es el modelo que responde mal con confianza.
O sea, el marcador no mide torpeza. Mide exceso de confianza — y ese es el defecto que rompe una operación, porque el error admitido la empresa lo gestiona, y el error entregado con seguridad pasa de largo.
Qué cambia esto al elegir IA para tu empresa
La trampa es la demostración. Toda herramienta de IA demuestra bien: quien demuestra elige el ejemplo, y el ejemplo elegido siempre sale bonito. Tú miras, te impresiona la fluidez, y sin darte cuenta estás evaluando presentación — la misma dimensión que decidió un benchmark donde ambos competidores acertaban un 20%.
Tres consecuencias prácticas:
- Fluidez no es competencia. Texto bien escrito y respuesta correcta son cosas independientes. El modelo está entrenado para sonar bien, no para acertar.
- Un modelo mayor no siempre entrega mejor. Depende de la tarea: Inkling Small pierde en conocimiento y gana en trabajo. Elegir por el tamaño es elegir por el titular.
- "No sé" es un recurso, no una debilidad. En una operación de empresa, el modelo que admite su límite vale más que el elocuente que inventa.
Cómo probar de verdad, sin convertirte en laboratorio
No hace falta montar un benchmark. Hace falta método, y cabe en una tarde:
- Reúne de 20 a 30 casos reales de tu negocio — preguntas de clientes, documentos, pedidos que ya ocurrieron.
- Escribe la respuesta correcta antes de probar. Sin solucionario, juzgarás por la fluidez, como todo el mundo.
- Pasa los mismos casos por cada herramienta candidata. Mismos casos, mismo orden.
- Cuenta tres cosas por separado: cuántas correctas, cuántas equivocadas con confianza, y cuántas veces admitió no saber. La segunda columna es la que importa.
- Solo entonces mira la presentación. Es criterio de desempate, no de elección.
Una tarde de prueba con solucionario vale más que cualquier comparativa de benchmark publicada — porque mide tu caso, y no el de otra persona.
Preguntas frecuentes
¿Entonces los benchmarks no sirven de nada?
Sirven, y mucho — siempre que leas qué miden. El error es usar una nota general para decidir un caso específico. Las dos pruebas citadas aquí son útiles justamente porque separan corrección de presentación.
¿Un modelo pequeño siempre es peor?
No. Tiende a saber menos cosas, pero puede ejecutar mejor una tarea bien definida — y cuesta mucho menos. Para buena parte de los usos de empresa, ese es el negocio correcto.
¿Cómo reducir el riesgo de respuesta equivocada con confianza?
Dando contexto al modelo en vez de confiar en su memoria: conectarlo a tus documentos y datos reduce mucho la invención. Y dejar explícito, en la instrucción, que debe decir cuándo no sabe.
¿Cuál es el error más común al contratar IA?
Elegir por la demostración. La demostración muestra el mejor caso del proveedor; tu día a día está hecho de los peores.