Cuando los agentes de IA cometen errores:
Por qué la trazabilidad es más importante que la automatización
La tendencia es clara: las empresas apuestan cada vez más por sistemas de IA que no solo responden a consultas concretas, sino que ejecutan de forma autónoma procesos de varias etapas. Una indicación desencadena una acción que, a su vez, pone en marcha otros pasos, accede a datos compartidos y activa funciones cuando el sistema lo considera necesario. Es precisamente esta capacidad —la de decidir de forma autónoma cuál es el siguiente paso más adecuado— la que distingue a los sistemas modernos con capacidad de agente de las automatizaciones clásicas, rígidamente preprogramadas.
Sin embargo, esta autonomía trae consigo un problema que todo el mercado está intentando resolver en estos momentos: ¿qué ocurre si uno de estos procesos comete un error?
El problema: errores sin mensaje de error
El software clásico falla y muestra un mensaje de error. Los sistemas de agentes basados en IA son diferentes. Pueden ofrecer un resultado técnicamente correcto, pero erróneo en cuanto al contenido, sin que se active ninguna alarma. Un agente puede interpretar mal una consulta, recuperar información obsoleta o ejecutar la función equivocada, y, aun así, el sistema sigue funcionando aparentemente sin problemas.
Para complicar aún más las cosas, estos errores a menudo no se detectan hasta más tarde. Un error en una de las primeras etapas de un proceso de varias fases puede propagarse de forma inadvertida a través de las etapas posteriores, hasta que al final se manifiesta como un resultado erróneo —en un punto que, a primera vista, no parece tener nada que ver con la causa real—.
A esto se suma un segundo problema, más lento: la deriva. Los sistemas diseñados para patrones concretos pierden precisión con el tiempo cuando cambian las consultas, el lenguaje o las condiciones marco. No se trata de un defecto que se pueda solucionar de una vez por todas, sino de una necesidad de mantenimiento continuo, comparable a un conjunto de normas que hay que reajustar una y otra vez para que se adapte a la realidad.
El mercado ha reaccionado ante este problema. Desde hace algún tiempo, toda una categoría de herramientas —desde plataformas de observabilidad hasta herramientas de depuración especializadas para sistemas de agentes— intenta cubrir precisamente esta brecha: la brecha entre lo que ha hecho un agente y si lo que ha hecho era realmente correcto.
Nuestro enfoque: tener en cuenta la trazabilidad desde el principio
Durante el desarrollo de Knodge, desde el principio no solo nos preguntamos qué debía ofrecer un sistema compatible con agentes, sino también cómo se podría determinar, en caso de duda, por qué había hecho algo.
Hay dos principios fundamentales en este sentido:
Registro completo.
Se registra cada llamada a una función dentro de un proceso. Esto sienta las bases para reconstruir a posteriori qué pasos ha seguido un sistema, qué datos ha utilizado y qué funciones ha llamado y por qué, en lugar de, en caso de error, limitarnos a saber que algo ha salido mal sin saber dónde.
Corrección de errores integrada en lugar de control posterior.
En la mayoría de las soluciones disponibles en el mercado, el control de calidad es un paso posterior y externo: una persona o una herramienta de análisis independiente examina a posteriori lo que ha ocurrido y decide entonces qué hay que hacer. Nosotros seguimos un enfoque diferente. Si un paso del proceso detecta un error o se señala uno, se registra y se comprueba por separado: el mecanismo de corrección forma parte del sistema en funcionamiento, no es una herramienta añadida a posteriori.
Esta combinación —registro exhaustivo más mecanismos de corrección integrados— es la base para poder utilizar de forma responsable y productiva procesos autónomos de varias etapas. Sin ella, cualquier sistema basado en agentes sigue siendo una «caja negra» en la que hay que confiar sin poder comprobar si esa confianza está justificada.
Transparencia y control: corrección automática frente a análisis manual
Knodge.eu sigue un enfoque claro para garantizar la confianza y el control:
La autocorrección automática está siempre activa: los mecanismos integrados de corrección de errores de Knodge.eu funcionan de forma continua en segundo plano. Detectan y corrigen automáticamente las desviaciones e inconsistencias en las cadenas de datos y procesos para garantizar la integridad y la fiabilidad de los agentes de IA. Este proceso se lleva a cabo sin intervención manual y sin recopilar datos específicos del usuario con fines de análisis.
La supervisión y la evaluación manual requieren un consentimiento explícito: Para una supervisión más detallada, el registro y la evaluación manual de datos que sirvan para un análisis más profundo o para la mejora de modelos específicos, se requiere el consentimiento explícito de participación del usuario. Por defecto, estas funciones están desactivadas. Si activa estas funciones, se le informará claramente de qué datos se recopilan, con qué finalidad y durante cuánto tiempo se conservarán. Esto garantiza que se respete en todo momento su soberanía sobre los datos y que Knodge.eu se mantenga fiel a sus principios de «Zero Logging» y «Zero Training» de forma predeterminada.
La pregunta pendiente: ¿quién evalúa si un proceso ha sido adecuado?
Hasta aquí todo bien, pero eso tampoco es suficiente. Y es que ni siquiera un registro exhaustivo ni una autocorrección integrada responden de forma fiable a la pregunta decisiva: ¿fue el resultado realmente bueno para la persona que se encuentra al final de la cadena?
La mayoría de las soluciones disponibles hoy en día responden a esta pregunta de forma automática: un modelo evalúa el resultado de otro modelo. Esto funciona bien en muchos casos, pero tiene una debilidad estructural: ¿quién corrige al corrector? Si un sistema de evaluación se equivoca, es posible que se pase por alto un error real o, por el contrario, que se descarte erróneamente un resultado correcto.
Por eso vamos un paso más allá: ¿qué pasaría si los propios usuarios pudieran indicar, de forma continua y sin complicaciones, si un proceso les ha ido bien o mal? No mediante una encuesta laboriosa, sino a través de una señal sencilla y continua. Si este valor descendiera de forma notable a lo largo de un proceso, sería un claro indicio de que los pasos del proceso implicados deben revisarse manualmente con mayor detalle; e, idealmente, a partir de los comentarios de los usuarios se podría incluso identificar qué paso concreto de una cadena de varios pasos fue el responsable del mal resultado.
Esta atribución —desde la impresión general de un usuario hasta el paso concreto del proceso responsable— es técnicamente compleja. Requiere una estrecha integración entre los comentarios de los usuarios y un registro completo del proceso, algo que ya contamos gracias a los fundamentos descritos anteriormente. Sin embargo, aún falta el último paso.
Buscamos socios
No queremos dar este último paso por nuestra cuenta. El desarrollo de una lógica de atribución sólida para procesos de varias etapas solo resulta rentable a gran escala, con suficiente variedad de procesos y comentarios de los usuarios como para poder identificar patrones fiables. Por ello, buscamos socios que quieran seguir trabajando con nosotros en este componente de retroalimentación y atribución, ya sea como socios de desarrollo, clientes piloto o inversores que compartan la relevancia de este tema.
Si te identificas con la problemática descrita o tienes interés en colaborar para hacer que los sistemas de agentes de IA no solo sean más eficaces, sino sobre todo más transparentes, no dudes en ponerte en contacto con nosotros.