Esta semana, a Artificial Analysis publicou os resultados de dois modelos do mesmo laboratório, o Thinking Machines Lab: o Inkling e o Inkling Small. O menor ganhou do maior no teste de trabalho real. O mesmo menor tira nota negativa num teste de conhecimento — ou seja, erra mais do que acerta.
As duas coisas são verdadeiras ao mesmo tempo. E entender por quê é a lição mais útil que uma empresa pode levar antes de escolher qualquer inteligência artificial.
Os dois testes, em português claro
O AA-Omniscience mede conhecimento e alucinação. São 6.000 perguntas sobre 42 assuntos economicamente relevantes, em seis áreas. A nota vai de −100 a 100 e funciona assim: acerto soma, erro subtrai, e dizer "não sei" não custa nada. Zero significa acertar tanto quanto errar.
O AA-Briefcase mede trabalho. O modelo recebe tarefas realistas com milhares de arquivos de entrada e precisa entregar coisas de gente: planilhas, apresentações, protótipos de tela. A avaliação olha três dimensões — se está objetivamente correto, a qualidade da análise e a qualidade da apresentação.
O número que deveria assustar: 20%
No AA-Briefcase, o Inkling Small marcou 917 pontos de Elo contra 839 do Inkling. Vitória confortável do menor.
Só que a checagem objetiva — a parte que verifica se a entrega está factualmente certa — deu praticamente empate: 20% contra 19%.
Leia de novo. Nos dois casos, cerca de um quinto das verificações objetivas passou. Estamos falando dos modelos que lideram manchetes, num teste de trabalho de escritório, acertando um em cada cinco itens conferidos. A diferença entre "vencedor" e "perdedor" não veio de acerto.
Por que o menor ganhou
Veio de apresentação. O relatório é explícito: a vantagem do Inkling Small foi impulsionada principalmente por apresentar melhor o resultado.
Isto é: o modelo que entrega uma planilha mais bem formatada, um texto mais bem organizado e um slide mais bonito ganha do modelo que acerta a mesma quantidade de fatos. Não porque o avaliador seja tolo — apresentação é uma dimensão legítima e conta no mundo real —, mas porque, quando a correção empata, a beleza decide.
É exatamente o que acontece na sala da sua empresa quando alguém faz uma demonstração de IA.
Nota negativa: mais erros do que acertos
No AA-Omniscience, o Inkling ficou com 2. O Inkling Small ficou com −9. Nota negativa significa, literalmente, mais respostas erradas do que certas. A precisão foi de 40% contra 31% — o modelo menor sabe menos, o que é esperado por ter menos parâmetros.
Mas repare no desenho do teste, que é a parte inteligente: não há punição para recusar. Um modelo que responde "não tenho essa informação" não perde ponto nenhum. Quem derruba a nota é o modelo que responde errado com confiança.
Ou seja, o placar não mede burrice. Mede excesso de confiança — e é esse o defeito que quebra uma operação, porque erro assumido a empresa trata, e erro entregue com segurança passa direto.
O que isso muda na hora de escolher IA para a sua empresa
A armadilha é a demonstração. Toda ferramenta de IA demonstra bem: quem demonstra escolhe o exemplo, e o exemplo escolhido sempre sai bonito. Você assiste, fica impressionado com a fluência, e sem perceber está avaliando apresentação — a mesma dimensão que decidiu um benchmark onde os dois competidores acertavam 20%.
Três consequências práticas:
- Fluência não é competência. Texto bem escrito e resposta certa são coisas independentes. O modelo é treinado para soar bem, não para acertar.
- Modelo maior nem sempre entrega melhor. Depende da tarefa: o Inkling Small perde em conhecimento e ganha em trabalho. Escolher pelo tamanho é escolher pela manchete.
- "Não sei" é recurso, não fraqueza. Numa operação de empresa, o modelo que admite o limite vale mais que o eloquente que inventa.
Como testar de verdade, sem virar laboratório
Não é preciso montar benchmark. Precisa de método, e ele cabe numa tarde:
- Junte de 20 a 30 casos reais do seu negócio — perguntas de cliente, documentos, pedidos que já aconteceram.
- Escreva a resposta certa antes de testar. Sem gabarito, você vai julgar pela fluência, como todo mundo.
- Rode os mesmos casos em cada ferramenta candidata. Mesmos casos, mesma ordem.
- Conte três coisas separadas: quantas certas, quantas erradas com confiança, e quantas vezes ele admitiu não saber. A segunda coluna é a que importa.
- Só então olhe a apresentação. Ela é critério de desempate, não de escolha.
Uma tarde de teste com gabarito vale mais que qualquer comparativo de benchmark publicado — porque mede o seu caso, e não o caso de outra pessoa.
Perguntas frequentes
Então os benchmarks não servem para nada?
Servem, e muito — desde que você leia o que eles medem. O erro é usar uma nota geral para decidir um caso específico. Os dois testes citados aqui são úteis justamente porque separam correção de apresentação.
Modelo pequeno é sempre pior?
Não. Ele tende a saber menos coisas, mas pode executar melhor uma tarefa bem definida — e custa muito menos. Para boa parte dos usos de empresa, isso é o negócio certo.
Como reduzir o risco de resposta errada com confiança?
Dando contexto ao modelo em vez de contar com a memória dele: conectar aos seus documentos e dados reduz muito a invenção. E deixar explícito, na instrução, que ele deve dizer quando não souber.
Qual o erro mais comum ao contratar IA?
Escolher pela demonstração. A demonstração mostra o melhor caso do fornecedor; o seu dia a dia é feito dos piores.