Un taux de bonnes réponses ne dit rien sans le volume

En lisant les pages d’éditeurs qui vendent de l’intelligence artificielle à des artisans, je suis tombé sur un échange qui résume tout le sujet.

La question que leurs prospects leur posent : comment vous garantissez la qualité des réponses. Leur réponse : entre 98 et 99 % de bonnes réponses.

C’est honnête. C’est probablement vrai. Et ça ne répond pas à la question.

Un taux sans volume ne veut rien dire

Prenez le chiffre et multipliez-le par ce qui se passe chez vous.

Dix documents par mois à 99 % : une erreur tous les dix mois, sur un document qu’une personne relit de toute façon. Ce n’est pas un sujet.

Trois mille fiches produit à 99 % : trente fiches fausses. Je prends cet exemple parce que c’est un volume réel, celui d’un catalogue que je tiens. Trente fiches avec un mauvais prix, une mauvaise caractéristique ou une mauvaise correspondance de référence, réparties au hasard dans une boutique que personne ne relit ligne à ligne. Et aucun moyen de savoir lesquelles sans tout reprendre.

Le taux n’a pas changé. Le problème, si.

C’est pour ça que je ne réponds jamais par un pourcentage. La première chose à faire, quand quelqu’un vous annonce un taux, c’est de le multiplier par votre volume et de regarder le nombre qui sort.

La deuxième question, plus importante que la première

Une fois qu’on sait combien d’erreurs par cycle, il reste à savoir ce qu’elles coûtent. Trois cas, et ils n’ont rien à voir.

L’erreur visible et réversible. Un brouillon de compte rendu qui se trompe sur une date : la personne qui relit la corrige en dix secondes, sur l’écran de relecture décrit dans ce qui manque entre la réunion et le document. Coût réel proche de zéro, et c’est le bon endroit pour un modèle.

L’erreur invisible et réversible. Une fiche produit avec un mauvais prix, qui reste en ligne parce que personne ne regarde. Elle coûte tant qu’elle n’est pas vue. Sur un de mes dossiers, une référence est restée un mois à 1 260 € au lieu de 365 €. C’est ce cas-là, et il est raconté dans la panne silencieuse.

L’erreur irréversible. Un message parti, une facture émise, un enregistrement supprimé. Là, le taux n’a plus d’importance du tout, parce qu’une seule suffit.

Ma réponse à la question de la qualité

Elle tient en deux règles, et aucune n’est un chiffre.

Ce qui peut être fait de façon déterministe l’est, et c’est le premier tri du guide pourquoi un outil tient, ou pas. Reporter un montant, transporter une référence, appliquer un calcul : ce sont des traitements qui donnent le même résultat à chaque exécution, vérifiable ligne à ligne. Un modèle n’a rien à y faire, et la question du taux ne se pose pas. Le détail de cette frontière est dans là où le choix se paie.

Ce qui reste à un modèle, parce que ça demande d’interpréter, passe par un écran de validation avant toute action irréversible. Aucune machine ne décide chez moi d’envoyer, de facturer ou de supprimer. Cette règle est écrite au contrat, pas seulement dans mes intentions.

Mon propre chiffre, et ce qu’il vaut

Puisque je critique les taux annoncés, voici le mien, avec ses limites.

Sur un dossier, en neuf mois, quatre dérives ont produit des résultats faux, et aucune n’a été annoncée par le logiciel qui en était la cause. C’est ce que le suivi regarde tous les mois, et le récit des quatre est dans la panne silencieuse.

Ce n’est pas une statistique. C’est une année sur un dossier, et je l’écris telle quelle. Sur un autre outil, le compte serait différent, et il n’y a aucune raison de croire qu’il serait meilleur. Ce que ce chiffre dit, ce n’est pas que je suis fiable à 75 % : c’est que la question honnête n’est pas « combien d’erreurs » mais « qui les voit, et au bout de combien de temps ».

Alors la prochaine fois qu’on vous annonce un taux, sortez votre volume et multipliez. Le résultat vous dira si la conversation vaut la peine de continuer.