„Erklärbare KI“ klingt oft wie eine einfache Forderung: Die KI soll halt erklären, warum sie etwas getan hat. In der Praxis ist das aber komplizierter – vor allem dann, wenn KI nicht nur Texte schreibt, sondern operative Arbeit vorbereitet oder ausführt.
Der Punkt ist: In Unternehmen geht es selten um „schöne Erklärungen“. Es geht um Verantwortung. Wenn ein System eine Handlung anstößt oder eine Entscheidung vorbereitet, muss klar sein:
- Welche Informationen wurden genutzt?
- Welche Regeln oder Leitplanken galten?
- Wo war Unsicherheit – und wie wurde damit umgegangen?
Viele Systeme geben heute „Begründungen“ aus, die eher wie nachträgliche Rechtfertigungen wirken. Das ist gefährlich, weil es Vertrauen simuliert, statt es tatsächlich herzustellen. Eine plausible Erklärung ist nicht automatisch eine korrekte Erklärung.
In operativen Prozessen ist Erklärbarkeit deshalb weniger ein Textproblem als ein Strukturproblem. Man braucht ein System, das Entscheidungen und Aktionen von Anfang an so behandelt, dass sie später prüfbar sind. Dazu gehören zum Beispiel:
- saubere Protokolle über Zwischenschritte
- dokumentierte Datenquellen
- nachvollziehbare Entscheidungspfade
- klare Eskalationspunkte (wann stoppt der Agent und übergibt?)
Ein hilfreicher Vergleich ist eine Buchhaltung: Dort reicht es nicht, dass „am Ende die Zahl stimmt“. Man braucht Belege, Buchungssätze, Nachweise. Erklärbare KI ist im Kern ähnlich: Begründbarkeit entsteht durch Dokumentation, nicht durch rhetorische Sätze.
Wenn man das ernst nimmt, wird Erklärbarkeit weniger zum Buzzword und mehr zu einer Frage der Architektur: Wie wird festgehalten, was passiert ist – und warum?