L'IA a gagné à chaque étape, mais le processus donne 2,8%

Un laboratoire a fait piloter le drone de bureau le plus avancé du marché par l'intelligence artificielle la plus avancée du marché, en cinq étapes enchaînées. Elle a battu la référence humaine à chacune des cinq. La séquence complète, du début à la fin, fonctionne dans 2,8% des cas.

Les deux chiffres sont vrais en même temps, et l'écart entre eux est la chose la plus utile qui soit sortie d'un test d'IA ce mois-ci. C'est lui qui explique pourquoi tant de projets d'automatisation impressionnent en démonstration et déçoivent le lundi suivant.

Ce qui a été testé

Andon Labs, un laboratoire qui évalue les modèles sur des tâches longues, a mis au point le Drone-Bench : le modèle écrit le code qui fait exécuter à un drone bon marché, un DJI Tello EDU, une mission en totale autonomie. Il y a cinq étapes, chacune alimentant la suivante :

1. reconstruire le bureau en un modèle tridimensionnel à partir de la vidéo ;
2. déterminer où se trouve le drone dans ce modèle ;
3. naviguer sans percuter d'obstacles ;
4. détecter la bonne personne ;
5. suivre cette personne.

Le GPT-6 Astra, lancé le 3 septembre, a été le premier modèle à dépasser la référence humain-IA à chacune des cinq étapes. C'est ce résultat qui a fait les gros titres, et il est réel.

Le reste du rapport est moins réjouissant. Dépasser la référence s'est produit lors d'au moins une tentative pour chaque étape. Sur les dix séries, la détection de la personne a réussi 4 fois ; la reconstruction tridimensionnelle, 1 fois. Le laboratoire résume cela en une phrase : un score de meilleur cas ne signifie pas une performance fiable.

Pourquoi cinq bonnes étapes ne font pas un bon processus

La fiabilité ne s'additionne pas, elle se multiplie. Pour que la mission entière réussisse, les cinq étapes doivent réussir dans la même série. Il suffit de multiplier les deux taux publiés pour voir ce qui se passe : 4 sur 10 fois 1 sur 10 donne déjà 4%. Avec les trois autres étapes du parcours, la mesure de la séquence complète est ressortie à 2,8%.

Le même calcul s'applique à n'importe quel processus automatisé, avec ou sans drone. Si chaque étape réussit selon une certaine proportion, le processus réussit selon leur produit :

• 5 étapes à 95% de réussite chacune : 77% de processus entiers corrects ;
• 5 étapes à 90% : 59% ;
• 5 étapes à 80% : 33% ;
• 10 étapes à 90% : 35%.

Et le raisonnement inverse est encore plus effrayant : pour qu'un processus de cinq étapes atteigne 95% de réussite de bout en bout, chaque étape doit réussir 99% du temps. Ce n'est pas un objectif qu'on atteint en ajustant le texte d'une instruction.

Combien d'étapes compte votre processus

Le calcul ne fonctionne que si vous comptez les étapes réelles. Une étape est chaque point où le résultat d'une chose devient l'entrée de la suivante. Un service client qui ressemble à une seule tâche en compte souvent six :

1. lire le message du client ;
2. comprendre quelle est la demande ;
3. consulter le stock ou l'agenda ;
4. calculer le prix, le délai ou le frais de port ;
5. rédiger la réponse ;
6. l'enregistrer dans le système.

Une facturation, un devis et une présélection de CV ont une structure similaire. Si chacune de ces six étapes réussit 90% du temps — ce qui est déjà bien —, le service dans son ensemble est correct dans 53% des cas. Ce n'est pas une hypothèse : dans une étude d'OpenAI elle-même, plus de la moitié des tâches longues a nécessité une intervention humaine. La moitié des services comporte une erreur quelque part, et la plupart des erreurs sont silencieuses : le prix venait de l'ancien tarif, le délai a ignoré le jour férié, l'enregistrement n'a pas eu lieu.

Le levier qui améliore le plus le résultat

Comme l'objectif par étape est trop élevé pour être atteint en ajustant les instructions, la solution consiste à modifier la composition de la chaîne. Par ordre d'effet :

1. Remplacez une étape confiée au modèle par une étape de code chaque fois que la règle est fixe. Calculer un frais de port, appliquer une grille tarifaire, vérifier si une date est un jour ouvré, additionner une taxe : ce sont des règles, et une règle écrite en code réussit 100% du temps. Chaque étape qui quitte le modèle pour devenir du code disparaît de la multiplication. C'est la différence entre 90% et 100% pour l'un des facteurs, et l'effet sur le résultat final est important.

2. Réduisez le nombre d'étapes. Deux étapes qui se produisent toujours ensemble peuvent en devenir une seule. Une étape qui existe parce que l'ancien système l'exigeait peut souvent disparaître sans problème.

3. Placez le contrôle humain avant l'étape irréversible. Envoyer au client, facturer, publier, supprimer. Le contrôle n'améliore pas le calcul de multiplication : il empêche l'erreur de sortir de l'entreprise et permet de reprendre depuis le milieu, pas depuis le début.

4. Privilégiez les étapes qui échouent de façon visible. Une étape qui se trompe et le signale coûte bien moins cher qu'une étape qui se trompe en silence. Quand le modèle n'est pas certain, il doit avoir un moyen de le dire plutôt que d'inventer une valeur plausible.

Ce que ce test ne dit pas

Piloter un drone est plus difficile que répondre à un client : cela implique le monde physique, une caméra, un délai réseau et aucune chance de réessayer après avoir percuté un mur. Les taux mesurés dans un bureau ne sont pas ceux de votre service client, et il serait malhonnête de transposer directement le 2,8% à votre entreprise.

Ce qui se transpose, c'est la structure du calcul. Et il convient de noter qu'Andon Labs prévoit qu'un modèle de pointe résoudra la séquence entière en une seule tentative d'ici le premier trimestre 2027. C'est une projection, pas un résultat, établie à partir du rythme des deux dernières années — mais elle indique la direction : les taux par étape augmentent, et la multiplication devient progressivement moins cruelle.

En attendant que cela se produise, la décision pratique reste la même. Avant d'automatiser un processus, comptez les étapes et mesurez chacune séparément. C'est la seule façon de savoir si un mauvais résultat vient d'une étape faible ou de nombreuses étapes moyennes — et la correction est totalement différente dans les deux cas.

Comment nous résolvons cela en pratique

Quand nous implémentons l'IA dans des processus d'entreprise, la première étape n'est pas de choisir un modèle : c'est de dessiner la chaîne, de séparer ce qui relève de la règle de ce qui relève du jugement, et de mesurer étape par étape. Le gain vient presque toujours du fait de retirer des étapes à l'IA, pas d'en ajouter.

Sources

Résultats du Drone-Bench et du Vending-Bench selon la publication d'Andon Labs et la couverture de The Decoder, de septembre 2026. Les taux par sous-tâche et le taux de la séquence complète proviennent du rapport du laboratoire. Le lancement de GPT-6 Astra le 3 septembre 2026 provient d'OpenAI.