A IA ganhou em cada etapa e o processo inteiro dá 2,8%

Um laboratório pôs a inteligência artificial mais avançada do mercado para pilotar um drone de escritório em cinco etapas encadeadas. Ela bateu a referência humana em cada uma das cinco. A sequência completa, do começo ao fim, funciona em 2,8% das vezes.

Os dois números são verdadeiros ao mesmo tempo, e a distância entre eles é a coisa mais útil que saiu de um teste de IA neste mês. É ela que explica por que tanto projeto de automação impressiona na demonstração e decepciona na segunda-feira.

O que foi testado

A Andon Labs, laboratório que avalia modelos em tarefas longas, montou o Drone-Bench: o modelo escreve o código que faz um drone barato, um DJI Tello EDU, executar uma missão sozinho. São cinco etapas, uma alimentando a outra:

1. reconstruir o escritório em um modelo tridimensional a partir do vídeo;
2. descobrir onde o drone está dentro desse modelo;
3. navegar sem bater;
4. detectar a pessoa certa;
5. seguir essa pessoa.

O GPT-6 Astra, lançado em 3 de setembro, foi o primeiro modelo a superar a linha de base humano-IA em cada uma das cinco etapas. Esse é o resultado que virou manchete, e ele é real.

O resto do relatório é menos comemorativo. Superar a linha de base aconteceu em pelo menos uma tentativa de cada etapa. Contando as dez rodadas, a detecção da pessoa deu certo em 4; a reconstrução tridimensional, em 1. O laboratório resume em uma frase: pontuação de melhor caso não significa desempenho confiável.

Por que cinco etapas boas não fazem um processo bom

Confiabilidade não se soma, se multiplica. Para a missão inteira dar certo, as cinco etapas precisam dar certo na mesma rodada. Basta multiplicar as duas taxas divulgadas para ver o que acontece: 4 em 10 vezes 1 em 10 já dá 4%. Com as outras três etapas no caminho, a medição da sequência inteira ficou em 2,8%.

A mesma conta vale para qualquer processo automatizado, com ou sem drone. Se cada etapa acerta numa proporção, o processo acerta no produto delas:

• 5 etapas com 95% de acerto cada: 77% de processos inteiros corretos;
• 5 etapas com 90%: 59%;
• 5 etapas com 80%: 33%;
• 10 etapas com 90%: 35%.

E o caminho inverso assusta mais: para um processo de cinco etapas entregar 95% de acerto de ponta a ponta, cada etapa precisa acertar 99% das vezes. Não é um alvo que se atinge ajustando o texto de uma instrução.

Quantas etapas tem o seu processo

A conta só funciona se você contar as etapas de verdade. Etapa é todo ponto em que o resultado de uma coisa vira a entrada da seguinte. Um atendimento que parece uma tarefa costuma ser seis:

1. ler a mensagem do cliente;
2. entender qual é o pedido;
3. consultar o estoque ou a agenda;
4. calcular preço, prazo ou frete;
5. escrever a resposta;
6. registrar no sistema.

Uma cobrança, um orçamento e uma triagem de currículo têm estrutura parecida. Se cada uma dessas seis etapas acerta 90% das vezes — o que já é bom —, o atendimento inteiro sai correto em 53% dos casos. Não é hipótese: num levantamento da própria OpenAI, mais da metade das tarefas longas precisou de intervenção humana. Metade dos atendimentos tem alguma coisa errada em algum ponto, e a maior parte dos erros é silenciosa: o preço veio da tabela antiga, o prazo ignorou o feriado, o registro não aconteceu.

A jogada que mais levanta o resultado

Como o alvo por etapa é alto demais para se alcançar com ajuste de instrução, a saída é mexer na composição da cadeia. Em ordem de efeito:

1. Troque etapa de modelo por etapa de código sempre que a regra for fixa. Calcular frete, aplicar uma tabela de preço, checar se a data é útil, somar imposto: isso são regras, e regra escrita em código acerta 100% das vezes. Cada etapa que sai do modelo e vira código desaparece da multiplicação. É a diferença entre 90% e 100% em um dos fatores, e o efeito no produto final é grande.

2. Reduza o número de etapas. Duas etapas que sempre acontecem juntas podem ser uma só. Etapa que existe porque o sistema antigo exigia costuma sair sem falta nenhuma.

3. Ponha a conferência humana antes do passo irreversível. Enviar para o cliente, cobrar, publicar, apagar. A conferência não melhora a conta de multiplicação: ela impede que o erro saia da empresa e permite recomeçar do meio, não do começo.

4. Prefira etapas que falham alto. Uma etapa que erra e avisa custa muito menos que uma que erra em silêncio. Quando o modelo não tem certeza, ele precisa ter um jeito de dizer isso em vez de inventar um valor plausível.

O que este teste não diz

Pilotar drone é mais difícil que responder cliente: envolve o mundo físico, câmera, atraso de rede e nenhuma chance de tentar de novo depois de bater na parede. As taxas de um escritório não são as taxas do seu atendimento, e seria desonesto transportar o 2,8% para a sua empresa.

O que se transporta é a estrutura da conta. E vale registrar que a Andon Labs projeta que um modelo de fronteira resolverá a sequência inteira numa única tentativa até o primeiro trimestre de 2027. É projeção, não resultado, feita a partir do ritmo dos últimos dois anos — mas indica a direção: as taxas por etapa sobem, e a multiplicação vai ficando menos cruel.

Enquanto isso não acontece, a decisão prática continua a mesma. Antes de automatizar um processo, conte as etapas e meça cada uma separadamente. É a única forma de saber se o resultado ruim veio de uma etapa fraca ou de muitas etapas medianas — e o conserto é completamente diferente nos dois casos.

Como a gente resolve isso na prática

Quando implementamos IA em processos de empresa, o primeiro passo não é escolher modelo: é desenhar a cadeia, separar o que é regra do que é julgamento e medir etapa por etapa. Quase sempre o ganho vem de tirar etapas da IA, não de colocar mais.

Fontes

Resultados do Drone-Bench e do Vending-Bench conforme publicação da Andon Labs e cobertura do The Decoder, de setembro de 2026. As taxas por subtarefa e a taxa da sequência completa são do relatório do laboratório. O lançamento do GPT-6 Astra em 3 de setembro de 2026 é da OpenAI.