- Sous changement d’outils, la meilleure combinaison évaluée atteint 42,3 % de réussite : prévoyez un budget d’entretien de la couche outils, pas seulement du modèle.
- Sur des tâches CRM à état, la réussite stricte va de 64,32 % à 83,60 % selon les systèmes : les actions qui modifient une donnée demandent une validation humaine.
- Les classements changent selon les modèles et les tâches : un chiffre d’éditeur ne se transpose pas à votre environnement, seul votre propre jeu de tests le fait.
Le chiffre qui manquait
Jusqu’à cet automne, aucune mesure publique ne disait ce qu’un agent réussit réellement dans un environnement d’entreprise. Les démonstrations fonctionnaient, les retours d’expérience restaient qualitatifs, et les chiffres disponibles venaient des éditeurs eux-mêmes. Trois semaines d’octobre 2026 ont produit quatre jeux de mesures indépendants, publiés en préimpression, qui pointent tous dans la même direction.
Leur intérêt n’est pas de désigner un gagnant. Il est de donner des ordres de grandeur à opposer aux promesses commerciales, et de nommer les conditions dans lesquelles un agent se dégrade. Ces conditions correspondent à la vie normale d’un système d’information : des outils qui changent, des tâches qui modifient des données, des langues qui ne sont pas l’anglais.
Quand les outils changent, la réussite tombe
Δτ-Bench, publié le 25 octobre 2026, évalue 1 588 tâches multi-tours réparties sur 42 domaines, en faisant évoluer l’environnement à travers six états successifs : des outils sont dépréciés, remplacés, remplacés à nouveau. Dans ces conditions, la meilleure combinaison modèle-harnais évaluée atteint 42,3 % de réussite. La majorité des tâches échoue.
C’est le résultat le plus utile pour cadrer un projet, parce qu’il décrit une situation ordinaire. Une passerelle de paiement change d’interface, un connecteur bancaire évolue, un CRM met à jour son API. Un agent branché sur ces outils ne conserve pas son niveau initial. Le coût d’un déploiement comprend donc l’entretien continu de la couche outils, pas seulement le choix du modèle.
Sur un CRM, la marge d’échec reste à couvrir
CRM-Agent-Bench, publié le 23 octobre 2026, mesure 555 tâches CRM à état réparties sur neuf domaines métier, en notant le résultat, le chemin suivi, la viabilité opérationnelle et le respect des règles. Sur seize systèmes d’agents évalués, la réussite stricte s’échelonne de 64,32 % à 83,60 %.
Une tâche à état modifie une donnée : créer une opportunité, changer une étape, enregistrer une remise. La marge d’échec correspondante, de 16 à 36 points selon le système, ne se rattrape pas après coup. C’est l’argument technique en faveur d’une règle simple : l’agent prépare, une personne valide avant écriture. Cette règle a un coût, mais il est inférieur à celui d’un pipeline commercial corrompu.
Un chiffre d’éditeur ne se transpose pas
Une troisième préimpression du 23 octobre 2026 a croisé quatre harnais génériques avec quatre modèles, plus deux systèmes natifs, sur six jeux d’épreuves : 111 configurations et 52 168 trajectoires. Le constat est que les classements changent selon le modèle et selon la tâche, et que la performance brute et le taux d’exécution valide ne désignent pas forcément le même couple gagnant.
Les auteurs ne fournissent pas de répartition des responsabilités entre le modèle et son harnais, et nous ne l’inventerons pas. La conséquence pratique suffit : un score annoncé par un éditeur a été obtenu dans son environnement, avec son outillage. Le seul chiffre qui engage votre décision est celui que vous mesurez sur vos propres tâches, avec vos outils et vos règles.
Le cas marocain n’est pas mesuré
LoWAgent, publié le 19 octobre 2026, a construit six sites entièrement localisés dans cinq langues peu dotées et 3 000 instances de tâches. Les huit modèles évalués font moins bien que sur l’anglais, la baisse étant plus marquée pour les agents en libre accès, et s’aggravant encore en présence de bandeaux de consentement et de fenêtres publicitaires.
Il faut toutefois lire ce travail pour ce qu’il est. Les cinq langues retenues sont l’anglais, l’hindi, le bengali, l’ourdou et l’amharique. Ni l’arabe ni le français n’y figurent. Ce jeu d’épreuves indique une direction, il ne mesure pas un site marocain. Si un agent doit opérer en français, en arabe ou en darija, la vérification reste à faire chez vous : personne ne l’a publiée.
Ce que cela change dans un cadrage
Ces mesures ne disent pas de renoncer aux agents. Elles disent où placer l’effort. Trois décisions en découlent : réserver la validation humaine aux actions qui écrivent une donnée, inscrire l’entretien de la couche outils au budget de fonctionnement, et constituer un jeu de tests issu de vos propres cas avant de comparer des fournisseurs.
Ce dernier point est le plus souvent écarté faute de temps. Il est pourtant le seul qui produise un chiffre opposable. Une trentaine de cas réels, rejoués à chaque changement de modèle ou d’outil, coûtent moins qu’un pilote mal cadré et permettent de décider sur des faits plutôt que sur une démonstration.
| Jeu de mesures | Ce qui est mesuré | Résultat publié |
|---|---|---|
| Δτ-Bench | 1 588 tâches, 42 domaines, outils dépréciés puis remplacés | 42,3 % pour la meilleure combinaison évaluée |
| CRM-Agent-Bench | 555 tâches CRM à état, 9 domaines métier, 16 systèmes | De 64,32 % à 83,60 % de réussite stricte |
| EGI-BENCH | Huit jeux d’épreuves d’entreprise réunis, 14 modèles | Scores de 39,6 à 65,6 sur 100 |
| LoWAgent | Six sites localisés, cinq langues peu dotées | Baisse pour les huit modèles hors anglais |
Sources & méthode
Cette perspective associe les publications citées à une analyse éditoriale. Les exemples illustratifs ne constituent pas des résultats clients. Les fonctionnalités et conditions des fournisseurs peuvent évoluer.