Quando os agentes de IA cometem erros:

Por que razão a rastreabilidade se torna mais importante do que a automatização

A tendência é clara: as empresas apostam cada vez mais em sistemas de IA que não se limitam a responder a pedidos individuais, mas que executam autonomamente processos em várias etapas. Um comando desencadeia uma ação que, por sua vez, dá início a outros passos, acede a dados partilhados e ativa funções quando o sistema as considera necessárias. É precisamente esta capacidade — de decidir de forma autónoma qual o próximo passo mais adequado — que distingue os sistemas modernos, dotados de agentes, das automatizações clássicas e rígidamente pré-programadas.

No entanto, com esta autonomia surge um problema que todo o mercado está atualmente a tentar resolver: o que acontece quando um processo deste tipo comete um erro?

O problema: erros sem mensagem de erro

O software clássico falha e apresenta uma mensagem de erro. Os sistemas de agentes baseados em IA são diferentes. Podem fornecer um resultado tecnicamente correto, mas incorreto em termos de conteúdo — sem que seja acionado qualquer alarme. Um agente pode interpretar mal um pedido, aceder a informação desatualizada ou invocar a função errada, e, mesmo assim, o sistema continua aparentemente a funcionar sem problemas.

Para agravar a situação, estes erros muitas vezes só se manifestam com algum atraso. Um erro numa etapa inicial de um processo de várias etapas pode propagar-se despercebido pelas etapas seguintes, até que, no final, se torne visível como um resultado errado — num ponto que, à primeira vista, não parece ter nada a ver com a causa real.

A isto acrescenta-se um segundo problema, mais lento: o desvio. Os sistemas concebidos para padrões específicos perdem, com o tempo, a sua precisão quando as consultas, a linguagem ou as condições gerais se alteram. Não se trata de uma falha que possa ser corrigida uma única vez, mas sim de uma necessidade de manutenção contínua — comparável a um conjunto de regras que tem de ser reajustado repetidamente para se adequar à realidade.

O mercado reagiu a este problema. Há já algum tempo que toda uma categoria de ferramentas — desde plataformas de observabilidade até ferramentas especializadas de depuração para sistemas de agentes — tenta colmatar precisamente esta lacuna: a lacuna entre o que um agente fez e se o que fez estava, de facto, correto.

A nossa abordagem: ter em conta a rastreabilidade desde o início

Ao desenvolver o Knodge, desde o início que nos questionámos não só sobre o que um sistema compatível com agentes deve fazer, mas também sobre como, em caso de dúvida, é possível compreender por que razão ele fez algo.

Dois princípios estão no centro desta abordagem:

Registo completo.
Cada chamada de função dentro de um processo é registada. Isto cria a base para reconstruir, a posteriori, quais os passos que um sistema percorreu, quais os dados que utilizou e quais as funções que chamou e porquê – em vez de, em caso de erro, saber apenas que algo correu mal, sem saber onde.

Correção de erros integrada em vez de controlo a jusante.
Na maioria das soluções disponíveis no mercado, o controlo de qualidade é uma etapa externa e posterior: uma pessoa ou uma ferramenta de análise separada analisa a posteriori o que aconteceu e decide então o que fazer. Nós seguimos um caminho diferente. Se uma etapa do processo detetar um erro ou se for assinalado um erro, isso é registado e verificado separadamente – o mecanismo de correção faz parte do sistema em funcionamento, não é uma ferramenta acrescentada posteriormente.

Esta combinação — registo completo mais mecanismos de correção integrados — constitui a base para a utilização responsável e produtiva de processos autónomos em várias etapas. Sem ela, qualquer sistema com capacidade de agente permanece uma «caixa negra» na qual é preciso confiar, sem poder verificar se essa confiança é justificada.

Transparência e controlo: correção automática vs. análise manual

A Knodge.eu segue uma abordagem clara para garantir confiança e controlo:

• A autocorreção automática está sempre ativa: Os mecanismos integrados de correção de erros do Knodge.eu funcionam continuamente em segundo plano. Detetam e corrigem automaticamente desvios e inconsistências nas cadeias de dados e de processos, a fim de garantir a integridade e a fiabilidade dos agentes de IA. Este processo decorre sem intervenção manual e sem a recolha de dados específicos do utilizador para fins de análise.

• A monitorização e a avaliação manual requerem consentimento explícito: Para um monitorização mais detalhada, registo e avaliação manual de dados que servem para uma análise mais aprofundada ou para a melhoria de modelos específicos, é necessário um consentimento explícito de adesão por parte do utilizador. Por predefinição, estas funções estão desativadas. Se ativar estas funções, será claramente informado sobre quais os dados que serão recolhidos, para que finalidade e durante quanto tempo permanecerão armazenados. Isto garante que a sua soberania sobre os dados seja preservada em todos os momentos e que o Knodge.eu se mantenha fiel aos seus princípios de Zero Logging e Zero Training por predefinição.

A questão em aberto: quem avalia se um processo foi bom?

Até aqui, tudo bem – mas mesmo isso não é totalmente suficiente. Pois mesmo um registo completo e uma autocorreção integrada não respondem de forma fiável à questão decisiva: o resultado foi realmente bom para a pessoa que se encontra no fim da cadeia?

A maioria das soluções disponíveis atualmente responde a esta questão de forma automática – um modelo avalia o resultado de outro modelo. Isto funciona bem em muitos casos, mas tem uma fraqueza estrutural: quem corrige o corretor? Se um sistema de avaliação estiver ele próprio errado, um erro real pode ser aprovado ou, inversamente, um resultado correto pode ser rejeitado por engano.

Por isso, vamos um passo além: e se os próprios utilizadores pudessem indicar, de forma contínua e acessível, se um processo correu bem ou mal para eles? Não através de um inquérito complexo, mas sim de um sinal simples e contínuo. Se este valor baixar sensivelmente ao longo de um processo, isso seria um indício claro de que as etapas envolvidas no processo têm de ser verificadas manualmente com maior precisão – e, no caso ideal, seria até possível identificar, a partir do feedback do utilizador, qual a etapa específica numa cadeia de várias etapas que foi responsável pelo mau resultado.

Esta atribuição — da impressão geral de um utilizador até à etapa específica do processo responsável — é tecnicamente complexa. Pressupõe uma estreita integração entre o feedback do utilizador e um registo completo do processo, algo que já possuímos graças aos fundamentos descritos acima. No entanto, falta ainda o último passo.

Procuramos parceiros

Não queremos dar este último passo sozinhos. O desenvolvimento de uma lógica de atribuição robusta para processos de várias etapas só vale a pena em grande escala — com diversidade de processos e feedback dos utilizadores suficientes para permitir identificar padrões fiáveis. Por isso, procuramos parceiros que queiram continuar a trabalhar connosco neste componente de feedback e atribuição – seja como parceiro de desenvolvimento, cliente piloto ou investidor que partilhe a relevância deste tema.

Quem se identificar com a problemática descrita ou tiver interesse em trabalhar connosco para tornar os sistemas de agentes de IA não só mais eficientes, mas sobretudo mais compreensíveis, pode entrar em contacto connosco.