Quando gli agenti di IA commettono errori:

Perché la tracciabilità sta diventando più importante dell’automazione

La tendenza è chiara: le aziende puntano sempre più su sistemi di IA che non solo rispondono a singole richieste, ma eseguono in modo autonomo processi a più livelli. Un prompt innesca un’azione che, a sua volta, avvia ulteriori passaggi, accede a dati condivisi e richiama funzioni quando il sistema lo ritiene necessario. È proprio questa capacità – di decidere in modo autonomo quale sia il passo successivo più opportuno – a distinguere i moderni sistemi basati su agenti dalle classiche automazioni rigidamente preprogrammate.

Ma con questa autonomia cresce un problema che l’intero mercato sta attualmente cercando di risolvere: cosa succede se un processo di questo tipo commette un errore?

Il problema: errori senza messaggio di errore

Il software classico va in errore e genera un messaggio di errore. I sistemi basati su agenti e supportati dall’IA sono diversi. Possono fornire un risultato tecnicamente corretto, ma errato dal punto di vista del contenuto – senza che venga attivato alcun allarme. Un agente può interpretare erroneamente una richiesta, recuperare un’informazione obsoleta o richiamare la funzione sbagliata, e il sistema continua comunque a funzionare apparentemente senza intoppi.

A complicare le cose, questi errori spesso si manifestano solo con un certo ritardo. Un errore in una fase iniziale di un processo a più fasi può propagarsi inosservato attraverso le fasi successive, fino a manifestarsi alla fine come un risultato errato – in un punto che a prima vista non sembra avere nulla a che fare con la causa effettiva.

A ciò si aggiunge un secondo problema, più lento: la deriva. I sistemi progettati per riconoscere determinati modelli perdono nel tempo la loro precisione quando cambiano le richieste, il linguaggio o le condizioni generali. Non si tratta di un difetto da risolvere una volta per tutte, ma di un’esigenza di manutenzione continua – paragonabile a un sistema di regole che deve essere costantemente riadattato affinché corrisponda alla realtà.

Il mercato ha reagito a questo problema. Da qualche tempo, un’intera categoria di strumenti – dalle piattaforme di osservabilità agli strumenti di debug specializzati per i sistemi a agenti – cerca proprio di colmare questa lacuna: il divario tra ciò che un agente ha fatto e il fatto che ciò che ha fatto fosse effettivamente corretto.

Il nostro approccio: pensare alla tracciabilità fin dall’inizio

Nello sviluppo di Knodge, fin dall’inizio non ci siamo chiesti solo cosa dovesse fare un sistema basato su agenti, ma anche come, in caso di dubbio, si potesse ricostruire il motivo per cui ha agito in un determinato modo.

Due principi sono al centro di questo approccio:

Registrazione completa.
Ogni chiamata di funzione all’interno di un processo viene registrata. Ciò costituisce la base per ricostruire a posteriori quali passaggi ha attraversato un sistema, quali dati ha utilizzato e quali funzioni ha richiamato e perché – invece di sapere, in caso di errore, solo che qualcosa è andato storto, senza sapere dove.

Correzione degli errori integrata anziché controllo a posteriori.
Nella maggior parte delle soluzioni disponibili sul mercato, il controllo di qualità è una fase esterna e a posteriori: una persona o uno strumento di analisi separato esamina a posteriori ciò che è accaduto e decide poi cosa fare. Noi seguiamo un approccio diverso. Se una fase del processo rileva un errore o viene segnalato un errore, questo viene registrato e verificato separatamente: il meccanismo di correzione è parte integrante del sistema in esecuzione, non uno strumento aggiunto a posteriori.

Questa combinazione – registrazione completa più meccanismi di correzione integrati – è la base per poter utilizzare in modo responsabile e produttivo processi autonomi a più livelli. Senza di essa, ogni sistema basato su agenti rimane una scatola nera di cui ci si deve fidare, senza poter verificare se tale fiducia sia giustificata.

Trasparenza e controllo: correzione automatica vs. analisi manuale

Knodge.eu adotta un approccio chiaro per garantire fiducia e controllo:

• L’autocorrezione automatica è sempre attiva: i meccanismi integrati di correzione degli errori di Knodge.eu operano continuamente in background. Rilevano e risolvono automaticamente le anomalie e le incongruenze nelle catene di dati e di processo, al fine di garantire l’integrità e l’affidabilità degli agenti di IA. Questo processo si svolge senza alcun intervento manuale e senza la raccolta di dati specifici dell’utente a fini di analisi.

• Il monitoraggio e la valutazione manuale richiedono il consenso esplicito: Per un monitoraggio più dettagliato, la registrazione e la valutazione manuale dei dati, finalizzati a un’analisi più approfondita o al miglioramento di modelli specifici, è necessario il consenso esplicito (opt-in) dell’utente. Per impostazione predefinita, queste funzioni sono disattivate. Se attivate queste funzioni, sarete chiaramente informati su quali dati vengono raccolti, a quale scopo e per quanto tempo rimarranno memorizzati. Ciò garantisce che la vostra sovranità sui dati sia preservata in ogni momento e che Knodge.eu rimanga fedele ai propri principi di zero logging e zero training per impostazione predefinita.

La domanda aperta: chi valuta se un processo è stato efficace?

Fin qui tutto bene – ma nemmeno questo è del tutto sufficiente. Infatti, nemmeno una registrazione completa e un sistema di autocorrezione integrato rispondono in modo affidabile alla domanda fondamentale: il risultato è stato effettivamente positivo per la persona che si trova alla fine della catena?

La maggior parte delle soluzioni oggi disponibili risponde a questa domanda in modo automatico: un modello valuta l’output di un altro modello. In molti casi questo funziona bene, ma presenta una debolezza strutturale: chi corregge il correttore? Se un sistema di valutazione è esso stesso in errore, un vero errore potrebbe passare inosservato o, al contrario, un risultato corretto potrebbe essere erroneamente scartato.

Per questo motivo pensiamo un passo oltre: cosa succederebbe se gli utenti stessi potessero segnalare, in modo continuo e senza ostacoli, se un processo per loro è andato bene o male? Non tramite un sondaggio complesso, ma con un semplice segnale continuo. Se questo valore dovesse calare sensibilmente nel corso di un processo, sarebbe un chiaro segnale che le fasi coinvolte devono essere controllate manualmente con maggiore precisione – e, idealmente, dal feedback degli utenti si potrebbe persino individuare quale singola fase, in una catena a più livelli, sia stata responsabile del risultato negativo.

Questa attribuzione – dall’impressione complessiva di un utente fino alla singola fase del processo responsabile – è tecnicamente complessa. Richiede una stretta integrazione tra il feedback degli utenti e una registrazione completa del processo, come già garantiamo grazie alle basi descritte sopra. Manca però ancora l’ultimo passo.

Cerchiamo partner

Non vogliamo compiere quest’ultimo passo da soli. Lo sviluppo di una logica di attribuzione solida per processi a più fasi è redditizio solo su larga scala – con una varietà di processi e un feedback degli utenti sufficienti per poter individuare modelli affidabili. Cerchiamo quindi partner che vogliano continuare a lavorare con noi su questa componente di feedback e attribuzione – sia come partner di sviluppo, cliente pilota o investitore che condivida l’importanza dell’argomento.

Chiunque si riconosca nella problematica descritta o sia interessato a collaborare per rendere i sistemi di agenti basati sull’intelligenza artificiale non solo più efficienti, ma soprattutto più comprensibili, è invitato a contattarci.