Quand les agents IA commettent des erreurs :
Pourquoi la traçabilité devient plus importante que l'automatisation
La tendance est claire : les entreprises misent de plus en plus sur des systèmes d’IA qui ne se contentent pas de répondre à des demandes ponctuelles, mais exécutent de manière autonome des processus en plusieurs étapes. Une invite déclenche une action qui, à son tour, enchaîne d’autres étapes, accède à des données communes et appelle des fonctions lorsque le système le juge nécessaire. C’est précisément cette capacité – à décider de manière autonome quelle est la prochaine étape pertinente – qui distingue les systèmes modernes dotés d’agents des automatisations classiques, rigides et préprogrammées.
Mais cette autonomie s’accompagne d’un problème que l’ensemble du marché tente actuellement de résoudre : que se passe-t-il lorsqu’un tel processus commet une erreur ?
Le problème : des erreurs sans message d’erreur
Les logiciels classiques échouent et génèrent un message d’erreur. Les systèmes d’agents basés sur l’IA fonctionnent différemment. Ils peuvent fournir un résultat techniquement irréprochable, mais erroné sur le fond – sans qu’aucune alerte ne soit déclenchée. Un agent peut mal interpréter une requête, récupérer une information obsolète ou appeler la mauvaise fonction, et le système continue malgré tout de fonctionner apparemment sans accroc.
Pour compliquer encore les choses, ces erreurs n’apparaissent souvent qu’avec un certain retard. Une erreur survenant à une étape précoce d’un processus en plusieurs étapes peut se propager à l’insu de tous à travers les étapes suivantes, jusqu’à ce qu’elle se manifeste finalement sous la forme d’un résultat erroné – à un endroit qui, à première vue, n’a rien à voir avec la cause réelle.
À cela s’ajoute un deuxième problème, plus insidieux : la dérive. Les systèmes conçus pour reconnaître des modèles spécifiques perdent de leur précision au fil du temps lorsque les requêtes, le langage ou le contexte évoluent. Il ne s’agit pas d’un défaut à corriger une fois pour toutes, mais d’un besoin de maintenance continue – comparable à un ensemble de règles qu’il faut sans cesse réajuster pour qu’il corresponde à la réalité.
Le marché a réagi à ce problème. Toute une catégorie d’outils – des plateformes d’observabilité aux outils de débogage spécialisés pour les systèmes d’agents – tente depuis quelque temps de combler précisément cette lacune : celle qui sépare ce qu’un agent a fait de la question de savoir si ce qu’il a fait était effectivement correct.
Notre approche : intégrer la traçabilité dès le départ
Lors du développement de Knodge, nous nous sommes demandé dès le départ non seulement ce qu’un système basé sur des agents devait être capable de faire, mais aussi comment, en cas de doute, il serait possible de comprendre pourquoi il avait agi d’une certaine manière.
Deux principes sont au cœur de cette démarche :
Journalisation complète.
Chaque appel de fonction au sein d’un processus est enregistré. Cela permet de reconstituer a posteriori les étapes suivies par un système, les données qu’il a utilisées et les fonctions qu’il a appelées ainsi que les raisons de ces appels – au lieu, en cas d’erreur, de se contenter de savoir que quelque chose s’est mal passé, sans savoir où.
Correction des erreurs intégrée plutôt que contrôle en aval.
Dans la plupart des solutions disponibles sur le marché, le contrôle qualité est une étape externe et en aval : une personne ou un outil d’analyse distinct examine a posteriori ce qui s’est passé, puis décide de la marche à suivre. Nous adoptons une approche différente. Si une étape du processus détecte une erreur ou si une erreur est signalée, celle-ci est consignée et vérifiée séparément – le mécanisme de correction fait partie intégrante du système en cours d’exécution, et non un outil ajouté a posteriori.
Cette combinaison – journalisation sans faille et mécanismes de correction intégrés – est la condition préalable à une utilisation productive et responsable de processus autonomes à plusieurs niveaux. Sans elle, tout système basé sur des agents reste une « boîte noire » à laquelle il faut faire confiance sans pouvoir vérifier si cette confiance est justifiée.
Transparence et contrôle : correction automatique vs analyse manuelle
Knodge.eu adopte une approche claire pour garantir la confiance et le contrôle :
L’auto-correction automatique est toujours active : les mécanismes intégrés de correction d’erreurs de Knodge.eu fonctionnent en permanence en arrière-plan. Ils détectent et corrigent automatiquement les écarts et les incohérences dans les chaînes de données et de processus afin de garantir l’intégrité et la fiabilité des agents IA. Ce processus s’effectue sans intervention manuelle et sans collecte de données spécifiques à l’utilisateur à des fins d’analyse.
La surveillance et l’évaluation manuelle nécessitent un consentement explicite : Pour une surveillance plus détaillée, la journalisation et l’évaluation manuelle des données servant à une analyse plus approfondie ou à l’amélioration de modèles spécifiques, un consentement explicite (opt-in) de l’utilisateur est requis. Par défaut, ces fonctions sont désactivées. Si vous activez ces fonctions, vous serez clairement informé des données collectées, de leur finalité et de la durée de leur conservation. Cela garantit que vous conservez à tout moment la maîtrise de vos données et que Knodge.eu reste fidèle à ses principes de « zéro journalisation » et « zéro entraînement » par défaut.
La question en suspens : qui évalue si un processus était bon ?
Jusqu’ici, tout va bien – mais cela ne suffit pas non plus entièrement. En effet, même une journalisation exhaustive et un mécanisme d’autocorrection intégré ne permettent pas de répondre de manière fiable à la question cruciale : le résultat était-il réellement satisfaisant pour la personne qui se trouve au bout de la chaîne ?
La plupart des solutions disponibles aujourd’hui répondent à cette question de manière automatisée : un modèle évalue la sortie d’un autre modèle. Cela fonctionne bien dans de nombreux cas, mais présente une faiblesse structurelle : qui corrige le correcteur ? Si un système d’évaluation se trompe lui-même, une véritable erreur risque d’être validée ou, à l’inverse, un résultat correct d’être rejeté à tort.
C’est pourquoi nous allons un peu plus loin dans notre réflexion : et si les utilisateurs pouvaient eux-mêmes, de manière continue et sans difficulté, indiquer si un processus s’est bien ou mal déroulé pour eux ? Non pas sous la forme d’un sondage fastidieux, mais d’un simple signal continu. Si cette valeur baissait sensiblement tout au long d’un processus, cela indiquerait clairement que les étapes concernées doivent être vérifiées manuellement de manière plus approfondie – et, dans l’idéal, les retours des utilisateurs permettraient même d’identifier quelle étape spécifique, au sein d’une chaîne à plusieurs niveaux, était responsable du mauvais résultat.
Cette attribution – de l’impression globale d’un utilisateur à l’étape spécifique du processus en cause – est techniquement complexe. Elle nécessite une étroite intégration entre les retours d’utilisateurs et une journalisation complète des processus, ce que nous assurons déjà grâce aux bases décrites ci-dessus. Il manque toutefois encore la dernière étape.
Nous recherchons des partenaires
Nous ne souhaitons pas franchir cette dernière étape seuls. Le développement d’une logique d’attribution robuste pour des processus à plusieurs étapes n’est rentable qu’à grande échelle – avec une diversité suffisante de processus et de retours d’utilisateurs pour pouvoir identifier des schémas fiables. Nous recherchons donc des partenaires désireux de poursuivre avec nous le développement de ce volet « retours d’expérience et attribution », que ce soit en tant que partenaire de développement, client pilote ou investisseur partageant notre conviction quant à la pertinence de ce sujet.
Si vous vous reconnaissez dans la problématique décrite ou si vous souhaitez travailler avec nous pour rendre les systèmes d’agents IA non seulement plus performants, mais surtout plus compréhensibles, n’hésitez pas à nous contacter.