Eine Präsentation aus der KI, eine überzeugende Auswertung, ein sauber formulierter Managementbericht: Was davon prüfen wir noch selbst? Drei Modelle menschlicher Aufsicht zeigen, weshalb KI-gestützte Transformation nicht nur eine technische, sondern vor allem eine Führungsaufgabe ist.

Eine KI erstellt in wenigen Minuten eine PowerPoint-Präsentation. Die Argumentation wirkt schlüssig, die Diagramme professionell, die Management Summary klingt überzeugend. Die Datei wird direkt im nächsten Meeting gezeigt. Niemand hat die Zahlen mit den Ausgangsdaten abgeglichen. Niemand hat die Schlussfolgerungen hinterfragt.

Ähnliches sehe und höre ich in Projekten und Gesprächen über KI-generierte Analysen, Berichte oder Flow-Metriken: Ergebnisse werden übernommen, weil sie plausibel aussehen und sofort verwendbar sind. Ich verstehe den Reiz. Gerade unter Zeitdruck ist es verführerisch, einen Schritt zu überspringen.

Aber genau hier beginnt für mich die interessantere Diskussion: Wir sprechen über menschliche Kontrolle von KI. Geben wir diese Kontrolle in der Praxis womöglich längst ab – ohne es bewusst zu entscheiden?

Drei Modelle: Human-in, Human-on und Human-out-of-the-Loop

Für das Zusammenspiel von Menschen und KI haben sich drei Begriffe etabliert. Sie sind eine hilfreiche Orientierung, auch wenn die Forschung darüber hinaus weitere Formen der Mensch-KI-Zusammenarbeit unterscheidet.

1. Human-in-the-Loop (HITL): Der Mensch entscheidet vor der Ausführung

Die KI bereitet vor, analysiert oder empfiehlt. Bevor eine relevante Aktion ausgeführt wird, prüft ein Mensch das Ergebnis und erteilt gegebenenfalls die Freigabe. Beispielsweise schlägt ein KI-System eine neue Priorisierung im Portfolio vor; die verantwortliche Führungskraft prüft Datengrundlage und Zielkonflikte und entscheidet selbst.

2. Human-on-the-Loop (HOTL): Der Mensch überwacht und kann eingreifen

Die KI arbeitet innerhalb vorab festgelegter Leitplanken selbstständig. Menschen überwachen ihr Verhalten, erkennen Abweichungen und können eingreifen oder stoppen. Ein Beispiel wäre ein Agent, der kontinuierlich Flow-Signale auswertet, Auffälligkeiten meldet und innerhalb definierter Grenzen Routineaktionen ausführt. HOTL funktioniert nur, wenn Überwachung und Eingriff tatsächlich möglich und wirksam sind.

3. Human-out-of-the-Loop (HOOTL): Keine laufende menschliche Einzelkontrolle

Das System erledigt eine Aufgabe eigenständig, ohne dass Menschen die einzelnen Entscheidungen im laufenden Prozess prüfen oder steuern. Bei gut begrenzten, risikoarmen Routineaufgaben kann das sinnvoll sein. Es bedeutet aber nicht, dass Organisationen auf die Verantwortung für Auswahl, Test, Grenzen oder regelmäßige Evaluierung des Systems verzichten dürfen.

Diese Unterscheidung findet sich unter anderem in der Definition der australischen Regierung und in den Empfehlungen des britischen National Cyber Security Centre.

Drei Aufsichtsmodelle für KI im Vergleich: Human-in-the-Loop mit Prüfung und Freigabe, Human-on-the-Loop mit Überwachung und Eingriff und Human-out-of-the-Loop ohne laufende Einzelkontrolle
Drei Modelle menschlicher KI-Aufsicht. Eigene, KI-gestützt erstellte Infografik.

Die unbequeme vierte Situation: Wir glauben an Kontrolle, prüfen aber nicht

Mich beschäftigt dabei ein Widerspruch: Viele Organisationen würden ihren KI-Einsatz als Human-in-the-Loop bezeichnen. Schließlich sitzt am Ende ein Mensch vor dem Bildschirm, erhält das Ergebnis und übernimmt es in eine Präsentation oder Entscheidungsvorlage.

Doch eine Person im Prozess ist noch keine wirksame Kontrollinstanz. Wenn eine KI-generierte Präsentation unverändert ins Management geht oder eine automatisch erstellte Cycle-Time-Auswertung ohne Prüfung von Datenquellen, Statusdefinitionen und Ausreißern als Tatsache präsentiert wird, ist die menschliche Prüfung faktisch ausgefallen.

Streng genommen ist das nicht automatisch ein technisch konzipiertes Human-out-of-the-Loop-System. Ein Mensch könnte ja eingreifen. Aber im Arbeitsalltag entsteht ein ähnliches Ergebnis: Die KI bestimmt die Informationsgrundlage, während die menschliche Beteiligung nur noch formal existiert. Ich würde das als unbeabsichtigten Kontrollverlust bezeichnen.

Die europäische KI-Verordnung benennt dieses Risiko in Artikel 14 ausdrücklich als Automation Bias – die Neigung, KI-Ausgaben automatisch zu übernehmen oder ihnen zu stark zu vertrauen. Die Anforderung zur menschlichen Aufsicht bezieht sich dort auf Hochrisiko-KI-Systeme; der Mechanismus selbst ist für den alltäglichen KI-Einsatz ebenso relevant. Quelle: EU AI Act, Artikel 14.

Ein Mensch, der eine KI-Antwort nur weiterreicht, ist noch kein Human-in-the-Loop.

Das Problem ist nicht, dass wir KI vertrauen. Ohne ein gewisses Vertrauen können wir sie kaum produktiv einsetzen. Problematisch wird es, wenn Vertrauen die Prüfung ersetzt – insbesondere bei Aussagen, die in der Organisation als Entscheidungsgrundlage weiterwirken.

Warum das für agile Transformation relevant ist

In agilen Transformationen haben wir jahrelang daran gearbeitet, Entscheidungen näher an Wertströme und Teams zu bringen: weniger unnötige Übergaben, kürzere Feedbackzyklen, mehr Transparenz und Verantwortung dort, wo Wissen vorhanden ist.

Mit KI kommt eine neue Dimension hinzu. Entscheidungen werden nicht nur zwischen Menschen dezentralisiert. Teile der Analyse, Priorisierung und möglicherweise Ausführung werden an Systeme delegiert. Das verändert die Frage, was verantwortliche Führung überhaupt bedeutet.

Im Lean Portfolio Management kann KI Abhängigkeiten analysieren, Szenarien vorbereiten und WSJF-Bewertungen unterstützen. Aber ein rechnerisch plausibler Rang ist noch keine strategisch richtige Entscheidung. Welche Kundennutzen, Risiken und Opportunitätskosten zählen, bleibt eine Führungsfrage.

Im ART und in der Delivery kann KI Flow Load, Flow Time oder Blockaden auswerten. Doch wenn Daten aus dem falschen Zeitraum stammen, Workflow-Status inkonsistent sind oder Teams unterschiedliche Definitionen verwenden, kann eine überzeugende Visualisierung in die Irre führen. Deshalb braucht es die Validierung der Messlogik, nicht nur die Abnahme schöner Dashboards.

In der KI-gestützten Softwareentwicklung können Agenten Tests ausführen, Änderungen vorbereiten und Routinearbeiten automatisieren. Die entscheidenden Kontrollpunkte richten sich danach, welche Auswirkungen ein Fehler hätte und wie schnell er erkannt und rückgängig gemacht werden kann.

Damit ergänzt dieses Thema meine früheren Überlegungen dazu, wie KI selbst zum Change Agent wird und wie KI Engpässe im Wertstrom verschiebt. Diesmal geht es nicht primär um Geschwindigkeit, sondern um die Qualität der menschlichen Entscheidungsarchitektur.

Mein Vorschlag: Autonomie nicht nach Begeisterung, sondern nach Risiko gestalten

Ich würde HITL, HOTL und HOOTL nicht als drei Reifegradstufen behandeln, von denen die letzte zwangsläufig die beste ist. Sie sind unterschiedliche Kontrollmodelle. Für jede KI-gestützte Tätigkeit sollten Führung und Teams vier Fragen beantworten:

  1. Wirkung: Was geschieht, wenn die KI falschliegt? Betrifft das nur eine interne Routine oder Budget, Sicherheit, Kunden oder Menschen?
  2. Reversibilität: Lässt sich ein Fehler schnell korrigieren – oder erzeugt er schwer rückgängig zu machende Folgen?
  3. Überprüfbarkeit: Können wir Quellen, Daten, Annahmen, Modellgrenzen und Ergebnisse nachvollziehen?
  4. Eingriffsrecht: Wer ist verantwortlich, wie wird alarmiert, und wer darf den Prozess stoppen oder übersteuern?

Aus diesen Fragen ergibt sich ein pragmatischer Rahmen: Bei hohen oder schwer reversiblen Risiken ist eine verbindliche menschliche Freigabe sinnvoll. Bei gut beobachtbaren, begrenzten Abläufen kann laufende Überwachung ausreichen. Wirklich autonome Durchführung ohne laufende Einzelkontrolle gehört nur dorthin, wo Risiko und Grenzen das zulassen. Das ist mein Managementvorschlag, kein universell vorgeschriebenes Schema.

Für die alltägliche KI-Nutzung würde ich zusätzlich eine einfache Regel etablieren: Keine ungeprüften KI-Fakten in entscheidungsrelevante Unterlagen. Für eine Managementpräsentation heißt das beispielsweise: Quellen stichprobenartig öffnen, Zahlen mit den Ursprungssystemen abgleichen, Schlussfolgerungen hinterfragen und Unsicherheit kenntlich machen. Nicht jeder Satz braucht denselben Aufwand – aber jede wesentliche Behauptung eine angemessene Prüfung.

Governance ist mehr als ein Freigabebutton

Der EU AI Act fordert für betroffene Hochrisiko-KI-Systeme wirksame menschliche Aufsicht: Menschen sollen Grenzen erkennen, Ausgaben interpretieren, Empfehlungen verwerfen und gegebenenfalls eingreifen oder stoppen können. Die gesetzlichen Pflichten hängen von der konkreten Einordnung des Systems und den jeweils geltenden Anwendungsfristen ab; es gibt keine pauschale HITL-Pflicht für jedes KI-Tool.

Für Führungskräfte ist der Gedanke trotzdem unmittelbar relevant. Aufsicht darf nicht nur im Organigramm stehen. Sie benötigt Kompetenzen, Zeit, überprüfbare Daten, Eskalationswege und technische Eingriffsmöglichkeiten. Auch das britische NCSC empfiehlt, das Maß menschlicher Aufsicht am Risiko auszurichten und Verantwortliche klar zu benennen.

Die eigentliche Transformation besteht deshalb nicht darin, Menschen aus jeder Schleife zu entfernen. Sie besteht darin, bewusst zu entscheiden, in welcher Schleife Menschen gebraucht werden.

Fazit: Mehr KI-Autonomie verlangt klarere menschliche Verantwortung

KI kann Entscheidungen vorbereiten, Prozesse beobachten und unter geeigneten Bedingungen eigenständig handeln. Das ist eine Chance für leistungsfähigere, lernfähigere Organisationen.

Aber Human-on-the-Loop entsteht nicht dadurch, dass wir Kontrollen weglassen. Und Human-in-the-Loop entsteht nicht schon dadurch, dass jemand eine KI-Antwort gesehen hat. Beides braucht gestaltete Verantwortung.

Meine zentrale Frage an Führungskräfte und Transformation Manager lautet daher: Wo haben wir KI bereits so selbstverständlich in unsere Arbeit integriert, dass wir ihre Ergebnisse nicht mehr ernsthaft überprüfen? Genau dort beginnt die nächste Aufgabe der KI-gestützten agilen Transformation.

FAQ: Menschliche Aufsicht bei KI

Was ist der Unterschied zwischen Human-in-the-Loop und Human-on-the-Loop?

Bei Human-in-the-Loop prüft oder genehmigt ein Mensch einen relevanten Schritt vor der Ausführung. Bei Human-on-the-Loop arbeitet das System innerhalb definierter Grenzen selbstständig, während Menschen überwachen und bei Bedarf eingreifen.

Ist Human-out-of-the-Loop grundsätzlich gefährlich?

Nein. Für geeignete, eng begrenzte und risikoarme Tätigkeiten kann es angemessen sein. Die entscheidenden Fragen sind Wirkung, Nachvollziehbarkeit, Tests, Fehlerfolgen und die Verantwortlichkeit für den Systembetrieb.

Ist eine ungeprüfte KI-Präsentation automatisch Human-out-of-the-Loop?

Nicht als technische Systemarchitektur. Wenn eine mögliche menschliche Prüfung aber regelmäßig unterbleibt, entsteht ein faktischer Kontrollverlust. Für Managemententscheidungen kann das ähnlich problematisch sein.

Quellen und weiterführende Literatur

Transparenzhinweis: Dieser Beitrag wurde mit Unterstützung generativer KI recherchiert, strukturiert und formuliert. Die redaktionelle Verantwortung für die Veröffentlichung liegt bei André Ullmann.

Wenn KI zum Change Agent wird – Einfluss ohne Verantwortung? Menschliche Organisationsentwicklung und vernetzte KI-Agenten im Wandel
Previous

Wenn KI selbst zum Change Agent wird: Wer steuert die Transformation?