Wenn KI-Agenten Fehler machen:

Warum Nachvollziehbarkeit wichtiger wird als Automatisierung

Der Trend ist eindeutig: Unternehmen setzen zunehmend auf KI-Systeme, die nicht nur einzelne Anfragen beantworten, sondern eigenständig mehrstufige Prozesse ausführen. Ein Prompt löst eine Aktion aus, die wiederum weitere Schritte anstößt, auf gemeinsame Daten zugreift und Funktionen aufruft, wenn das System sie für notwendig hält. Genau diese Fähigkeit – autonom zu entscheiden, welcher nächste Schritt sinnvoll ist – unterscheidet moderne, agentenfähige Systeme von klassischen, starr vorprogrammierten Automatisierungen.

Doch mit dieser Autonomie wächst ein Problem, das der gesamte Markt gerade zu lösen versucht: Was passiert, wenn ein solcher Prozess einen Fehler macht?

Das Problem: Fehler ohne Fehlermeldung

Klassische Software schlägt fehl und wirft eine Fehlermeldung. KI-gestützte Agentensysteme sind anders. Sie können ein technisch einwandfreies, aber inhaltlich falsches Ergebnis liefern – ohne dass irgendwo ein Alarm ausgelöst wird. Ein Agent kann eine Anfrage falsch interpretieren, eine veraltete Information abrufen oder die falsche Funktion aufrufen, und das System läuft trotzdem scheinbar reibungslos weiter.

Erschwerend kommt hinzu, dass sich diese Fehler oft erst mit Verzögerung zeigen. Ein Fehler in einem frühen Schritt eines mehrstufigen Prozesses kann sich unbemerkt durch nachfolgende Schritte fortpflanzen, bis er am Ende als falsches Ergebnis sichtbar wird – an einer Stelle, die mit der eigentlichen Ursache auf den ersten Blick nichts zu tun hat.

Hinzu kommt ein zweites, langsameres Problem: Drift. Systeme, die auf bestimmte Muster ausgelegt sind, verlieren mit der Zeit an Treffsicherheit, wenn sich Anfragen, Sprache oder Rahmenbedingungen ändern. Das ist kein einmalig zu behebender Defekt, sondern ein kontinuierlicher Wartungsbedarf – vergleichbar mit einem Regelwerk, das man immer wieder nachjustieren muss, damit es zur Realität passt.

Der Markt hat auf dieses Problem reagiert. Eine ganze Kategorie von Werkzeugen – von Observability-Plattformen bis zu spezialisierten Debugging-Tools für Agentensysteme – versucht seit einiger Zeit, genau diese Lücke zu schließen: die Lücke zwischen dem, was ein Agent getan hat, und dem, ob das, was er getan hat, tatsächlich richtig war.

Unser Ansatz: Nachvollziehbarkeit von Anfang an mitdenken

Bei der Entwicklung von Knodge haben wir uns von Anfang an nicht nur gefragt, was ein agentenfähiges System leisten soll, sondern auch, wie man im Zweifelsfall nachvollziehen kann, warum es etwas getan hat.

Zwei Prinzipien stehen dabei im Zentrum:

Vollständige Protokollierung.
Jeder Funktionsaufruf innerhalb eines Prozesses wird erfasst. Das schafft die Grundlage dafür, im Nachhinein zu rekonstruieren, welche Schritte ein System durchlaufen hat, welche Daten es dabei herangezogen und welche Funktionen es warum aufgerufen hat – statt im Fehlerfall nur zu wissen, dass etwas schiefgelaufen ist, ohne zu wissen, wo.

Eingebaute Fehlerkorrektur statt nachgelagerter Kontrolle.
Bei den meisten am Markt verfügbaren Lösungen ist die Qualitätskontrolle ein nachgelagerter, externer Schritt: Ein Mensch oder ein separates Analyse-Tool schaut sich im Nachhinein an, was passiert ist, und entscheidet dann, was zu tun ist. Wir gehen einen anderen Weg. Stellt ein Prozessschritt einen Fehler fest oder wird auf einen Fehler hingewiesen, wird das gesondert protokolliert und geprüft – der Korrekturmechanismus ist Teil des laufenden Systems, nicht ein nachträglich angeflanschtes Werkzeug.

Diese Kombination – lückenlose Protokollierung plus eingebaute Korrekturmechanismen – ist die Grundlage dafür, mehrstufige, autonome Prozesse überhaupt verantwortungsvoll produktiv einzusetzen. Ohne sie bleibt jedes agentenfähige System eine Blackbox, der man vertrauen muss, ohne prüfen zu können, ob dieses Vertrauen gerechtfertigt ist.

Transparenz und Kontrolle: Automatische Heilung vs. Manuelle Analyse

Knodge.eu verfolgt einen klaren Ansatz, um Vertrauen und Kontrolle zu gewährleisten:

• Automatische Selbstheilung ist immer aktiv: Die integrierten Fehlerkorrekturmechanismen von Knodge.eu arbeiten kontinuierlich im Hintergrund. Sie erkennen und beheben automatisch Abweichungen und Inkonsistenzen in den Daten- und Prozessketten, um die Integrität und Zuverlässigkeit der KI-Agenten zu sichern. Dieser Prozess läuft ohne manuelle Intervention und ohne die Erfassung nutzerspezifischer Daten für Analysezwecke.

• Monitoring und manuelle Auswertung erfordern explizite Zustimmung: Für detaillierteres Monitoring, Logging und die manuelle Auswertung von Daten, die zur tiefergehenden Analyse oder zur Verbesserung spezifischer Modelle dienen, ist eine explizite Opt-in-Zustimmung des Nutzers erforderlich. Standardmäßig sind diese Funktionen deaktiviert. Wenn Sie diese Funktionen aktivieren, werden Sie klar darüber informiert, welche Daten erfasst werden, zu welchem Zweck und wie lange sie gespeichert bleiben. Dies stellt sicher, dass Ihre Datenhoheit jederzeit gewahrt bleibt und Knodge.eu seinen Prinzipien des Zero Logging und Zero Training im Standard treu bleibt.

Die offene Frage: Wer beurteilt, ob ein Prozess gut war?

So weit, so gut – aber auch das reicht nicht vollständig aus. Denn selbst eine lückenlose Protokollierung und eine eingebaute Selbstkorrektur beantworten nicht zuverlässig die entscheidende Frage: War das Ergebnis für den Menschen, der am Ende der Kette steht, tatsächlich gut?

Die meisten heute verfügbaren Lösungen beantworten diese Frage maschinell – ein Modell bewertet die Ausgabe eines anderen Modells. Das funktioniert in vielen Fällen gut, hat aber eine strukturelle Schwäche: Wer korrigiert den Korrektor? Wenn ein bewertendes System selbst falsch liegt, wird ein echter Fehler möglicherweise durchgewinkt oder umgekehrt ein korrektes Ergebnis fälschlich verworfen.

Wir denken deshalb einen Schritt weiter: Was wäre, wenn Nutzerinnen und Nutzer selbst, kontinuierlich und niedrigschwellig, signalisieren könnten, ob ein Prozess für sie gut oder schlecht gelaufen ist? Nicht als aufwendige Umfrage, sondern als einfaches, fortlaufendes Signal. Fällt dieser Wert über einen Prozess hinweg spürbar ab, wäre das ein klarer Hinweis darauf, dass die beteiligten Prozessschritte manuell genauer geprüft werden müssen – und im Idealfall ließe sich aus der Nutzerrückmeldung heraus sogar erkennen, welcher einzelne Schritt in einer mehrstufigen Kette für das schlechte Ergebnis verantwortlich war.

Diese Attribution – vom Gesamteindruck eines Nutzers zurück auf den einzelnen, verantwortlichen Prozessschritt – ist technisch anspruchsvoll. Sie setzt eine enge Verzahnung von Nutzerfeedback und lückenloser Prozessprotokollierung voraus, wie wir sie mit den oben beschriebenen Grundlagen bereits mitbringen. Der letzte Schritt fehlt jedoch noch.

Wir suchen Partner

Diesen letzten Schritt wollen wir nicht im Alleingang gehen. Die Entwicklung einer belastbaren Attributionslogik für mehrstufige Prozesse lohnt sich erst im größeren Maßstab – mit ausreichend Prozessvielfalt und Nutzerfeedback, um verlässliche Muster erkennen zu können. Wir suchen deshalb Partner, die mit uns an dieser Feedback- und Attributionskomponente weiterarbeiten wollen – ob als Entwicklungspartner, Pilotkunde oder Investor, der die Relevanz des Themas teilt.

Wer sich in der beschriebenen Problemstellung wiedererkennt oder Interesse hat, gemeinsam daran zu arbeiten, KI-Agentensysteme nicht nur leistungsfähiger, sondern vor allem nachvollziehbarer zu machen, darf sich gerne bei uns melden.