KI in der PraxisAktualisiert 25. Oktober 2026 · 8 min Lesezeit

Guardrails und Human-in-the-Loop: wo die KI arbeitet und wo ein Mensch freigibt

Eine KI, die Rechnungen liest, Mails beantwortet oder Verträge zusammenfasst, macht Fehler. Nicht oft, aber überzeugend formuliert. Guardrails sind die Leitplanken, die einen solchen Fehler abfangen, bevor er Geld kostet, ein Recht verletzt oder eine Person betrifft. Human-in-the-Loop legt fest, an welchen Stellen ein Mensch freigibt statt nur zuschaut. Dieser Beitrag zeigt, welche Prüfungen es gibt, wo eine Freigabe Pflicht ist, welche Muster sich in der Prozessautomation bewährt haben und welche Fehler Sie vermeiden sollten.

Ein Fehler der KI ist erst dann teuer, wenn ihn niemand aufhält

Sprachmodelle ergänzen Text nach Wahrscheinlichkeit. Deshalb klingt eine falsche Antwort genauso sicher wie eine richtige. Wie das entsteht und was dagegen hilft, erklärt unser Beitrag KI-Halluzinationen vermeiden. Hier geht es um die zweite Verteidigungslinie: Was passiert, wenn der Fehler trotzdem durchkommt?

In der Automatisierung endet eine KI-Ausgabe selten auf dem Bildschirm. Sie wird zur Buchung, zur Mail an einen Kunden, zum Datensatz im Personalsystem. Ohne Leitplanken wird aus einem Modellfehler eine Handlung. Guardrails trennen deshalb zwei Dinge sauber: das, was die KI vorschlägt, und das, was im Unternehmen wirksam wird.

Ein Beispiel aus einem Projekt mit einem Berufsgeheimnisträger: Bei einem gezielten Negativtest bewertete ein kleines Prüfmodell einen unpassenden Fundstellen-Treffer als korrekt. Das Antwortmodell erfand daraufhin eine Zahl, die in keiner Quelle stand. Sichtbar wurde das nur, weil der Test genau diesen Fall vorsah. Ohne Test wäre die erfundene Zahl als belegte Auskunft durchgegangen.

Fünf Arten von Leitplanken, die in jeden KI-Prozess gehören

Guardrails sind kein einzelnes Werkzeug, sondern eine Reihe von Prüfpunkten entlang des Ablaufs. In der Praxis lassen sich fünf Bausteine unterscheiden. Nicht jeder Prozess braucht alle, aber jeder Prozess sollte bewusst entscheiden, welche fehlen dürfen.

Eingabeprüfung

Bevor Daten zum Modell gehen: Ist die Datei lesbar, das Format erwartet, die Datenklasse erlaubt? Vertrauliche Daten dürfen einen lokalen Betrieb nicht verlassen; eine Prüfung vor dem Aufruf setzt das durch. Dazu gehört der Schutz vor eingeschleusten Anweisungen in Dokumenten (Prompt Injection), die das OWASP-Projekt in seiner Liste für Sprachmodell-Anwendungen (Ausgabe 2025) an erster Stelle führt.

Ausgabeprüfung

Nach dem Modell: Hat die Antwort das erwartete Schema? Stehen alle Pflichtfelder drin? Verweist sie auf eine echte Quelle im Kontext? Eine Ausgabe, die dieses Raster nicht besteht, wird nicht weitergegeben, sondern wiederholt oder an einen Menschen gegeben.

Schwellenwerte

Ein Modell kann angeben, wie sicher es sich ist, oder ein zweites Modell bewertet die Antwort. Unter einer festgelegten Schwelle geht der Fall in die Prüfung. Auch fachliche Grenzen gehören hierher: Rechnungsbeträge über einer Summe, Abweichungen von der Bestellung, ungewöhnliche Bankverbindungen.

Eskalation

Was passiert, wenn eine Prüfung anschlägt? Ein guter Prozess hat für jeden Prüfpunkt eine definierte Antwort: neu versuchen, mit anderem Modell wiederholen, an eine Person geben, abbrechen. Ohne Eskalationspfad ist eine Prüfung nur ein Log-Eintrag.

Protokollierung

Wer hat was wann freigegeben, mit welcher Modellversion und welchem Kontext? Ein Protokoll, das nachträglich nicht veränderbar ist, macht Entscheidungen prüfbar. Es ist auch die Grundlage für die Auswertung, an welchen Stellen die KI häufig danebenliegt.

Die Reihenfolge

Erst Datenklasse und Eingabe, dann Ausgabe und Schwelle, dann Eskalation und Protokoll. Wer mit dem Protokoll anfängt und die Eingabeprüfung vergisst, dokumentiert sauber, was schiefging.

Wo ein Mensch freigeben muss: Geld, Recht, Personal

Nicht jede KI-Ausgabe braucht eine Freigabe. Eine Zusammenfassung für den internen Gebrauch darf automatisch laufen. Anders bei Entscheidungen mit Wirkung nach außen oder gegenüber Personen. Drei Bereiche gelten als gesetzt.

Geld. Zahlungen, Buchungen, Preisänderungen, Gutschriften. Hier trägt eine Freigabe die Verantwortung, die eine KI nicht übernehmen kann. Praktisch heißt das: Die KI extrahiert und schlägt vor, ein Mensch bestätigt ab einer Schwelle. Wie das bei Eingangsrechnungen aussieht, zeigt Rechnungsverarbeitung automatisieren.

Recht. Vertragsentwürfe, Fristen, Rechtsauskünfte. Ein Modell kann Muster ausfüllen und Fundstellen anbieten. Die Beurteilung bleibt beim Fachmenschen. In dem oben genannten Projekt trägt jeder generierte Entwurf deshalb sichtbar den Vermerk, dass er zu prüfen ist, und markiert fehlende Angaben, statt sie zu erfinden.

Personal. Bewerbungen sichten, Leistungen bewerten, Kündigungen vorbereiten. Die DSGVO verbietet in Art. 22 Entscheidungen mit rechtlicher Wirkung, die ausschließlich automatisiert getroffen werden. Die KI-Verordnung der EU stuft Systeme im Beschäftigungskontext als Hochrisiko ein und verlangt in Art. 14 wirksame menschliche Aufsicht. Die Pflichten für diese Systeme greifen nach der Verschiebung durch den Digital Omnibus ab dem 2. Dezember 2027. Der Grundsatz gilt heute schon aus Datenschutzsicht, wie unser Beitrag DSGVO-konforme KI zeigt.

Vier Freigabe-Muster, die sich bewährt haben

Human-in-the-Loop ist kein Schalter zwischen „alles automatisch" und „alles per Hand". Dazwischen liegen Muster, die je nach Risiko und Volumen passen. Die Tabelle ordnet sie ein.

Stand 08/2026, Einordnung nach Erfahrung aus Automatisierungsprojekten; Rechtsbezüge: DSGVO Art. 22, KI-Verordnung Art. 14
Muster	Wie es läuft	Passt zu	Grenze
Freigabe vor Wirkung	KI bereitet vor, Mensch bestätigt jeden Fall	Zahlungen, Vertragstexte, Personalentscheidungen	Skaliert nicht bei hohem Volumen; Prüfmüdigkeit
Freigabe ab Schwelle	Unter der Schwelle automatisch, darüber Mensch	Rechnungen, Bestellungen, Standardanfragen	Schwelle muss aus Daten kommen, nicht aus dem Bauch
Stichprobe mit Rückkopplung	Alles automatisch, ein Anteil wird nachgeprüft	Klassifikation, Zusammenfassungen, Routing	Nur bei geringem Schaden je Einzelfall vertretbar
Vier-Augen-Prinzip	KI und Mensch oder zwei Menschen prüfen unabhängig	Hohe Beträge, Außenwirkung, Berufsgeheimnis	Teuer; nur dort, wo ein Fehler nicht rückholbar ist

Ein Detail entscheidet oft über die Wirkung: Der Mensch muss die Freigabe wirklich treffen können. Dazu braucht er die Quelle neben der KI-Ausgabe, die Abweichung markiert und eine Ablehnung, die genauso einfach ist wie die Zustimmung. Ein Freigabeknopf ohne Kontext erzeugt Zustimmung aus Gewohnheit, nicht aus Prüfung.

Wie Guardrails technisch gebaut werden

Auf der Werkzeugseite gibt es zwei Ansätze, die sich ergänzen. Regelbasierte Prüfungen fangen ab, was sich klar definieren lässt: Schema, Pflichtfelder, verbotene Inhalte, Beträge, erlaubte Empfänger. Sie sind billig, schnell und nachvollziehbar. Modellbasierte Prüfungen bewerten, was Regeln nicht greifen: Passt die Fundstelle zur Frage? Ist die Antwort durch den Kontext gedeckt? Werkzeuge wie NVIDIA NeMo Guardrails oder Guardrails AI bündeln beides in einer Schicht zwischen Anwendung und Modell.

In Wissenssystemen nach dem Prinzip RAG ist die wichtigste Leitplanke die Prüfung der gefundenen Fundstellen vor der Antwort. Corrective RAG (Yan et al., 2024) bewertet jede Fundstelle als passend, unklar oder unpassend und sucht bei Bedarf neu, statt zu antworten. Die Falle: Der Prüfer ist selbst ein Modell und kann irren. Er braucht eigene Tests, wie sie unser Beitrag KI-Evaluierung beschreibt.

Beim Inhouse-Betrieb kommt eine Leitplanke hinzu, die in der Cloud so nicht existiert: die Datenklasse. Ein Klassifikator ordnet jede Anfrage einer Klasse zu, etwa Geheimnis, intern, unkritisch, und sperrt die geheime Klasse für externe Endpunkte. Was das für Aufbau und Hardware bedeutet, steht in Lokale KI im Unternehmen und KI auf deutschen Servern.

Sechs typische Fehler bei Freigaben und Leitplanken

Überkorrektur. Wer nach dem ersten Fehler alle Schwellen anzieht, bekommt ein System, das ständig verweigert. In dem genannten Projekt führte eine Härtung des Prüfers zu falschen Verweigerungen bei Fragen, die klar beantwortbar waren. Die Balance kam erst durch wiederholte Tests, nicht durch Nachdenken.

Freigabe ohne Kontext. Ein Knopf „Bestätigen" neben einer Zahl, ohne die Quelle. Wer nicht sehen kann, worauf sich die Zahl stützt, bestätigt mit der Zeit alles. Schwelle aus dem Bauch. „Alles über 5.000 Euro prüfen" ist ein Anfang, aber keine Analyse. Die Schwelle sollte aus der Fehlerverteilung kommen. Protokoll ohne Modellversion. Ändert sich das Modell, lassen sich alte Entscheidungen nicht mehr einordnen.

Prüfung an der falschen Stelle. Wer nur die Ausgabe prüft, aber vertrauliche Daten schon zum externen Modell geschickt hat, hat die Leitplanke hinter das Risiko gebaut. Kein Ausstieg für den Menschen. Wenn eine Ablehnung drei Klicks und eine Begründung kostet, eine Zustimmung aber einen, ist der Mensch keine Kontrolle mehr, sondern eine Formsache. Weitere Governance-Fragen behandelt Schatten-KI im Unternehmen.

Kurz gesagt

Guardrails trennen Vorschlag und Wirkung. Sie prüfen Eingabe, Ausgabe und Sicherheit, eskalieren definiert und protokollieren nachvollziehbar. Human-in-the-Loop ist bei Geld, Recht und Personal keine Frage der Technik, sondern der Verantwortung, und die DSGVO wie die KI-Verordnung setzen hier den Rahmen. Die Kunst liegt in der Dosis: genug Prüfung, um Schaden abzufangen, wenig genug, damit der Mensch noch wirklich prüft. Wie viel genau, entscheidet die Messung, nicht das Gefühl. Die Begriffe dazu erklärt das KI-Glossar 2026.

Häufige Fragen zu Guardrails und Human-in-the-Loop

Was sind Guardrails bei KI?

Guardrails sind Leitplanken, die begrenzen, was ein KI-Modell lesen, ausgeben und auslösen darf. Sie wirken an drei Stellen: vor dem Modell (Eingabeprüfung, Datenklasse, Schutz vor eingeschleusten Anweisungen), nach dem Modell (Schema, Pflichtfelder, Quellenbezug, Schwellenwerte) und im Ablauf (Eskalation an einen Menschen, Protokoll). Ohne Guardrails wird aus jedem Modellfehler direkt eine Handlung im Unternehmen.

Was bedeutet Human-in-the-Loop?

Human-in-the-Loop heißt, dass ein Mensch an definierten Stellen eine KI-Ausgabe prüft und freigibt, bevor sie wirksam wird. Das kann jede Ausgabe betreffen, nur Fälle über einer Schwelle oder eine Stichprobe mit Rückkopplung. Entscheidend ist, dass die Person die Quelle sieht, Abweichungen markiert bekommt und eine Ablehnung genauso leicht ist wie eine Zustimmung.

Wo ist eine menschliche Freigabe Pflicht?

Aus rechtlicher Sicht bei Entscheidungen mit rechtlicher Wirkung gegenüber Personen: Die DSGVO untersagt in Art. 22 rein automatisierte Einzelentscheidungen dieser Art. Die KI-Verordnung verlangt in Art. 14 menschliche Aufsicht für Hochrisiko-Systeme, etwa im Beschäftigungskontext; diese Pflichten greifen nach dem Digital Omnibus ab Dezember 2027. Aus Sicht der Verantwortung gilt darüber hinaus: Zahlungen, Vertragstexte und Personalentscheidungen sollten nicht ohne Freigabe wirksam werden.

Bremsen Guardrails die Automatisierung nicht aus?

Falsch dosiert ja. Ein System, das ständig verweigert oder jeden Fall zur Freigabe schickt, spart keine Zeit. Der Ausweg ist, die Schwellen aus Messungen abzuleiten: Wo liegt die KI zuverlässig richtig, wo häufen sich Fehler? Dann läuft der große Anteil automatisch und nur der unsichere Rest geht zum Menschen. Das setzt Tests mit echten Fällen voraus.

Welche Guardrails braucht ein lokal betriebenes KI-System zusätzlich?

Vor allem die Datenklasse: Ein lokaler Betrieb wird gewählt, damit vertrauliche Daten das Haus nicht verlassen. Ein Klassifikator ordnet jede Anfrage einer Klasse zu und sperrt die vertrauliche Klasse für externe Endpunkte, auch wenn später ein Cloud-Modell für unkritische Aufgaben hinzukommt. Dazu kommen Zugriffsrechte je Dokument, ein nicht nachträglich veränderbares Protokoll und die Prüfung der Fundstellen vor der Antwort.

Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 14 „Menschliche Aufsicht", Anhang III, 2024, https://eur-lex.europa.eu/eli/reg/2024/1689/oj
Europäisches Parlament und Rat, Verordnung (EU) 2026/1744 („Digital Omnibus"), Verschiebung der Pflichten für Hochrisiko-Systeme nach Anhang III auf den 02.12.2027, in Kraft seit 27.07.2026
Verordnung (EU) 2016/679 (DSGVO), Art. 22 „Automatisierte Entscheidungen im Einzelfall", Art. 30, Art. 32, 2016, https://eur-lex.europa.eu/eli/reg/2016/679/oj
OWASP Foundation, OWASP Top 10 for Large Language Model Applications, Version 2025, https://owasp.org/www-project-top-10-for-large-language-model-applications/
NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023, https://www.nist.gov/itl/ai-risk-management-framework
Yan, S.-Q. et al., Corrective Retrieval Augmented Generation, arXiv:2401.15884, 2024, https://arxiv.org/abs/2401.15884
NVIDIA, NeMo Guardrails (Open-Source-Toolkit), GitHub, seit 2023, https://github.com/NVIDIA/NeMo-Guardrails
ISO/IEC 42001:2023, Information technology — Artificial intelligence — Management system, 2023

Kostenloses Prozess-Audit

Welcher Ihrer Prozesse hat den größten Hebel?

In 30 Minuten analysieren wir Ihre Abläufe und sagen Ihnen ehrlich, was Automatisierung bei Ihnen bringt, und was nicht.

Prozess-Audit anfragen

Antwort innerhalb eines Werktags · unverbindlich