Cette semaine, Artificial Analysis a publié les résultats de deux modèles du même laboratoire, Thinking Machines Lab : Inkling et Inkling Small. Le plus petit a battu le plus grand au test de travail réel. Ce même plus petit obtient une note négative à un test de connaissances — autrement dit, il se trompe plus souvent qu'il n'a raison.
Les deux choses sont vraies en même temps. Et comprendre pourquoi est la leçon la plus utile qu'une entreprise puisse retenir avant de choisir une intelligence artificielle.
Les deux tests, en clair
L'AA-Omniscience mesure la connaissance et l'hallucination. Ce sont 6 000 questions sur 42 sujets économiquement pertinents, dans six domaines. La note va de −100 à 100 et fonctionne ainsi : une bonne réponse ajoute, une erreur retranche, et dire « je ne sais pas » ne coûte rien. Zéro signifie autant de justes que de fausses.
L'AA-Briefcase mesure le travail. Le modèle reçoit des tâches réalistes avec des milliers de fichiers en entrée et doit livrer des choses humaines : tableurs, présentations, maquettes d'écran. L'évaluation examine trois dimensions — l'exactitude objective, la qualité de l'analyse et la qualité de la présentation.
Le chiffre qui devrait inquiéter : 20%
À l'AA-Briefcase, Inkling Small a marqué 917 points Elo contre 839 pour Inkling. Victoire confortable du plus petit.
Sauf que la vérification objective — la partie qui contrôle si le livrable est factuellement juste — a donné une quasi-égalité : 20% contre 19%.
Relisez. Dans les deux cas, environ un cinquième des vérifications objectives est passé. Il s'agit de modèles qui font les gros titres, sur un test de travail de bureau, réussissant un élément vérifié sur cinq. L'écart entre « gagnant » et « perdant » n'est pas venu de l'exactitude.
Pourquoi le plus petit a gagné
Cela est venu de la présentation. Le rapport est explicite : l'avantage d'Inkling Small tient principalement à une meilleure présentation du résultat.
Autrement dit : le modèle qui livre un tableur mieux formaté, un texte mieux organisé et une diapositive plus jolie l'emporte sur celui qui obtient le même nombre de faits exacts. Non parce que l'évaluateur serait naïf — la présentation est une dimension légitime et compte dans la vraie vie — mais parce que, quand l'exactitude est à égalité, c'est l'esthétique qui tranche.
C'est exactement ce qui se passe dans la salle de réunion de votre entreprise lors d'une démonstration d'IA.
Note négative : plus d'erreurs que de bonnes réponses
À l'AA-Omniscience, Inkling obtient 2. Inkling Small obtient −9. Une note négative signifie, littéralement, plus de réponses fausses que justes. La précision était de 40% contre 31% — le plus petit modèle sait moins de choses, ce qui est attendu avec moins de paramètres.
Mais observez la conception du test, qui est la partie intelligente : il n'y a aucune pénalité pour refuser de répondre. Un modèle qui répond « je n'ai pas cette information » ne perd aucun point. Ce qui fait chuter la note, c'est de répondre faux avec assurance.
Le score ne mesure donc pas la bêtise. Il mesure l'excès de confiance — et c'est ce défaut-là qui casse une opération, car une erreur assumée se gère, tandis qu'une erreur livrée avec assurance passe sans être vue.
Ce que cela change au moment de choisir une IA pour votre entreprise
Le piège, c'est la démonstration. Tout outil d'IA démontre bien : celui qui démontre choisit l'exemple, et l'exemple choisi est toujours flatteur. Vous regardez, la fluidité vous impressionne, et sans le voir vous évaluez la présentation — la dimension même qui a départagé un benchmark où les deux concurrents réussissaient 20%.
Trois conséquences pratiques :
- La fluidité n'est pas la compétence. Un texte bien écrit et une réponse juste sont deux choses indépendantes. Le modèle est entraîné à bien sonner, pas à avoir raison.
- Un modèle plus grand ne livre pas toujours mieux. Cela dépend de la tâche : Inkling Small perd en connaissances et gagne en travail. Choisir par la taille, c'est choisir par le titre.
- « Je ne sais pas » est une ressource, pas une faiblesse. Dans une opération d'entreprise, le modèle qui admet sa limite vaut mieux que l'éloquent qui invente.
Comment tester pour de vrai, sans devenir un laboratoire
Nul besoin de monter un benchmark. Il faut une méthode, et elle tient en un après-midi :
- Rassemblez 20 à 30 cas réels de votre activité — questions de clients, documents, demandes déjà survenues.
- Écrivez la bonne réponse avant de tester. Sans corrigé, vous jugerez sur la fluidité, comme tout le monde.
- Passez les mêmes cas dans chaque outil candidat. Mêmes cas, même ordre.
- Comptez trois choses séparément : combien de justes, combien de fausses avec assurance, et combien de fois il a admis ne pas savoir. La deuxième colonne est celle qui compte.
- Seulement ensuite, regardez la présentation. C'est un critère de départage, pas de choix.
Un après-midi de test avec corrigé vaut mieux que n'importe quel comparatif de benchmark publié — parce qu'il mesure votre cas, et non celui de quelqu'un d'autre.
Questions fréquentes
Les benchmarks ne servent donc à rien ?
Ils servent, beaucoup — à condition de lire ce qu'ils mesurent. L'erreur est d'utiliser une note générale pour trancher un cas particulier. Les deux tests cités ici sont utiles précisément parce qu'ils séparent exactitude et présentation.
Un petit modèle est-il toujours moins bon ?
Non. Il sait généralement moins de choses, mais peut mieux exécuter une tâche bien définie — et coûte bien moins cher. Pour une bonne part des usages en entreprise, c'est le bon calcul.
Comment réduire le risque de réponse fausse avec assurance ?
En donnant du contexte au modèle plutôt qu'en comptant sur sa mémoire : le relier à vos documents et à vos données réduit fortement l'invention. Et préciser explicitement, dans la consigne, qu'il doit dire quand il ne sait pas.
Quelle est l'erreur la plus courante en achetant de l'IA ?
Choisir sur la démonstration. La démonstration montre le meilleur cas du fournisseur ; votre quotidien est fait des pires.