GrundlagenAktualisiert 25. Oktober 2026 · 7 min Lesezeit

KI-Glossar 2026: Die wichtigsten Begriffe verständlich erklärt

RAG, Halluzination, Kontextfenster, Agent, MCP — wer sich 2026 mit KI im Unternehmen beschäftigt, stößt schnell auf einen Dschungel an Fachbegriffen. Dieses Glossar erklärt die wichtigsten davon ohne Hype und ohne unnötige Technik-Tiefe: jeweils eine klare Definition und ein Satz dazu, warum der Begriff für Sie als Entscheider zählt. Gedacht als Nachschlagewerk, das Sie immer wieder zur Hand nehmen können — und als ehrliche Orientierung für Ihre Prozessautomation.

Begriffe verstehen, bevor Sie entscheiden

Die meisten KI-Fehlinvestitionen entstehen nicht durch schlechte Technik, sondern durch Missverständnisse über das, was Begriffe eigentlich bedeuten. Wer „Halluzination", „Kontextfenster" oder „RAG" einordnen kann, stellt im Anbietergespräch die richtigen Fragen, erkennt überzogene Versprechen und weiß, wo echte Kosten und Risiken liegen.

Dieses Glossar ist nach Themen gruppiert: zuerst die Grundlagen, dann der für Unternehmen besonders wichtige Bereich, wie KI sicher auf Ihre eigenen Daten zugreift (RAG), anschließend Betrieb, Kosten und Sicherheit sowie zum Schluss Recht und Governance. Sie müssen nicht alles am Stück lesen — springen Sie zu dem Begriff, der Sie gerade beschäftigt.

Grundlagen: Die Bausteine jeder KI-Anwendung

Diese sechs Begriffe bilden das Fundament. Wenn Sie sie verstehen, verstehen Sie bereits den Großteil dessen, was hinter modernen KI-Produkten steckt.

LLM / Sprachmodell

Ein „Large Language Model" ist ein auf riesigen Textmengen trainiertes Modell, das Sprache versteht und selbst erzeugt. Es ist der Motor hinter Chatbots, Textanalyse und Agenten.

Warum es für Sie zählt: Fast jede KI-Funktion, die Sie kaufen, läuft auf einem solchen Modell — die Wahl des Modells bestimmt Qualität, Kosten und Datenschutz.

Inferenz

Inferenz ist der Moment, in dem das fertig trainierte Modell tatsächlich antwortet. Jede einzelne Anfrage verursacht Rechenaufwand — und damit die laufenden Betriebskosten der KI.

Warum es für Sie zählt: Anders als bei klassischer Software zahlen Sie pro Vorgang. Bei hohem Volumen wird Inferenz zum entscheidenden Kostenfaktor.

Halluzination

Eine Halluzination ist eine erfundene, aber überzeugend klingende Aussage. Das Modell „weiß" nicht, dass es falsch liegt — es formuliert nur plausibel.

Warum es für Sie zählt: Das ist der Hauptgrund, warum KI-Ergebnisse bei wichtigen Entscheidungen geprüft werden müssen und ein Mensch in der Schleife bleibt.

Kontextfenster

Das Kontextfenster ist die Textmenge, die ein Modell pro Anfrage gleichzeitig „im Kopf" behalten kann. Was nicht hineinpasst, wird nicht berücksichtigt.

Warum es für Sie zählt: Lange Verträge oder ganze Wissensdatenbanken passen nicht am Stück hinein — deshalb braucht es Techniken wie RAG, um große Datenmengen nutzbar zu machen.

KI-Agent

Ein KI-Agent ist mehr als ein Chatbot: Er interpretiert eine Aufgabe, zerlegt sie in Schritte, ruft Werkzeuge auf und trifft Entscheidungen, statt nur Text auszugeben.

Warum es für Sie zählt: Agenten lohnen dort, wo Verständnis und Entscheidung gefragt sind — wann genau, klärt unser Leitfaden KI-Agenten statt Zapier & RPA.

Agentische KI

Agentische KI beschreibt Systeme aus mehreren zusammenarbeitenden Agenten, die mehrstufige Aufgaben weitgehend eigenständig bearbeiten — idealerweise mit Kontrolle an den kritischen Stellen.

Warum es für Sie zählt: Das ist die nächste Stufe der Automatisierung. Eine Einordnung für Unternehmen liefert der Beitrag Agentische KI im Unternehmen.

Wie KI auf Ihre Daten zugreift (RAG)

Damit eine KI mit Ihrem Wissen statt nur mit allgemeinem Trainingswissen arbeitet, braucht es „Retrieval Augmented Generation" — kurz RAG. Diese Begriffsgruppe ist für Unternehmen besonders relevant, weil hier Datenschutz, Genauigkeit und Belegbarkeit entstehen. Eine ausführliche, bildhafte Erklärung finden Sie unter RAG einfach erklärt.

RAG (Retrieval Augmented Generation)

RAG verbindet das Sprachmodell mit Ihrer eigenen Wissensbasis: Vor der Antwort werden passende Dokumente gesucht und mitgegeben, sodass die KI auf belegten Fakten antwortet.

Warum es für Sie zählt: RAG senkt Halluzinationen drastisch und hält Ihre Daten im eigenen Haus. Mehr dazu: RAG einfach erklärt.

Hybrid RAG

Hybrid RAG kombiniert die klassische Stichwortsuche mit der bedeutungsbasierten (semantischen) Suche, um sowohl exakte Begriffe als auch sinnverwandte Inhalte zu finden.

Warum es für Sie zählt: Mehr Trefferqualität, gerade bei Fachbegriffen und Produktnummern. Details unter RAG einfach erklärt.

GraphRAG

GraphRAG nutzt einen Wissensgraphen, der Begriffe und ihre Beziehungen abbildet. So beantwortet die KI auch Fragen, die mehrere Dokumente verknüpfen.

Warum es für Sie zählt: Sinnvoll bei vernetztem Wissen (Kunden, Verträge, Projekte). Einordnung unter RAG einfach erklärt.

Corrective RAG / Selbstkontrolle

Corrective RAG prüft die gefundenen Dokumente auf Relevanz und sucht bei schwacher Trefferlage nach, bevor geantwortet wird — ein eingebauter Selbstkontrollschritt.

Warum es für Sie zählt: Weniger falsche Antworten bei lückenhaften Quellen. Mehr unter RAG einfach erklärt.

Multimodale RAG

Multimodale RAG bezieht nicht nur Text, sondern auch Bilder, Tabellen, Diagramme oder Scans in Suche und Antwort ein.

Warum es für Sie zählt: Wichtig, wenn Ihr Wissen in Plänen, Fotos oder gescannten Dokumenten steckt. Siehe RAG einfach erklärt.

Embeddings

Embeddings übersetzen Texte in Zahlenvektoren, die Bedeutung abbilden. Inhaltlich ähnliche Texte liegen dann nah beieinander — die Grundlage der semantischen Suche.

Warum es für Sie zählt: Sie sind der Grund, warum eine KI „sinnverwandte" Inhalte findet, auch wenn nicht dasselbe Wort vorkommt.

Vektordatenbank

Eine Vektordatenbank speichert Embeddings und findet zu jeder Frage blitzschnell die bedeutungsähnlichsten Inhalte. Sie ist das Gedächtnis eines RAG-Systems.

Warum es für Sie zählt: Wo diese Datenbank steht (EU, eigener Server), entscheidet mit über Ihren Datenschutz.

Chunking

Chunking zerlegt große Dokumente in sinnvolle Abschnitte, damit die KI gezielt den passenden Teil findet, statt ein ganzes Dokument zu durchsuchen.

Warum es für Sie zählt: Gutes Chunking entscheidet maßgeblich darüber, ob Antworten präzise oder schwammig ausfallen.

Reranking

Reranking sortiert die Suchtreffer in einem zweiten, genaueren Schritt neu, sodass die wirklich relevantesten Passagen ganz oben stehen.

Warum es für Sie zählt: Ein oft unterschätzter Hebel — er verbessert die Antwortqualität spürbar, ohne das Modell zu wechseln.

Betrieb, Kosten & Sicherheit

Eine KI in den Produktivbetrieb zu bringen, heißt: Qualität messen, Verhalten begrenzen, Kosten steuern und Angriffe abwehren. Diese Begriffe entscheiden darüber, ob ein vielversprechender Pilot je zuverlässig läuft.

Evals / Qualitätstests

Evals sind systematische Tests, die messen, wie korrekt und zuverlässig ein KI-System antwortet — vergleichbar mit Qualitätskontrolle in der Fertigung.

Warum es für Sie zählt: Ohne Evals bleibt KI-Qualität Bauchgefühl. Sie sind die Voraussetzung, um Verbesserungen überhaupt nachzuweisen.

Guardrails / Leitplanken

Guardrails sind technische und organisatorische Regeln, die festlegen, was eine KI darf und was nicht — etwa Themensperren, Freigabeschritte oder Filter für sensible Daten.

Warum es für Sie zählt: Sie sind Ihr Sicherheitsnetz gegen unerwünschte oder riskante KI-Ausgaben im Kundenkontakt.

Quantisierung

Quantisierung verkleinert ein Modell, indem die Genauigkeit der internen Zahlen leicht reduziert wird. Das Ergebnis: ein kleineres, günstigeres Modell bei kaum spürbarem Qualitätsverlust.

Warum es für Sie zählt: Quantisierte Modelle laufen oft auf bezahlbarer Hardware — und ermöglichen so den Betrieb auf eigenen oder europäischen Servern.

MCP (Model Context Protocol)

MCP ist ein offener Standard, über den KI-Agenten standardisiert externe Werkzeuge und Datenquellen anbinden — gewissermaßen ein einheitlicher Stecker für KI.

Warum es für Sie zählt: MCP reduziert teure Individualanbindungen. Tiefer erklärt im Beitrag MCP-Server erklärt.

Prompt Injection

Prompt Injection ist ein Angriff, bei dem versteckte Anweisungen in Texten, E-Mails oder Webseiten eine KI zu unerwünschtem Verhalten verleiten.

Warum es für Sie zählt: Sobald ein Agent eigenständig handelt, wird das zum echten Sicherheitsrisiko — Hintergründe unter Prompt Injection & KI-Sicherheit.

Schatten-KI

Schatten-KI ist die ungenehmigte Nutzung von KI-Tools durch Mitarbeitende — ohne Wissen oder Freigabe der IT. Sensible Daten landen dabei oft unbemerkt bei externen Anbietern.

Warum es für Sie zählt: Ein verbreitetes, unterschätztes Risiko. Wie Sie es steuern, zeigt Schatten-KI & Governance.

Recht & Governance

In Europa ist KI kein rechtsfreier Raum. Wer KI mit personenbezogenen oder geschäftskritischen Daten einsetzt, sollte die beiden wichtigsten Rahmen kennen — sie entscheiden mit darüber, was überhaupt erlaubt ist.

DSGVO & EU AI Act

Die DSGVO regelt den Schutz personenbezogener Daten, der EU AI Act den Einsatz von KI nach Risikoklassen. Gemeinsam bilden sie den verbindlichen Rechtsrahmen für KI in Europa.

Warum es für Sie zählt: Rechtsgrundlage, Datenminimierung und Protokollierung sind Pflicht — kein Nachgedanke. Praxisnah erklärt unter DSGVO-konforme KI im Unternehmen.

Governance & Mensch in der Schleife

Governance bündelt die Regeln, Verantwortlichkeiten und Kontrollen für den KI-Einsatz. „Mensch in der Schleife" bedeutet, dass folgenreiche Entscheidungen von einem Menschen freigegeben werden.

Warum es für Sie zählt: Governance ist die Voraussetzung dafür, dass ein Pilot überhaupt produktiv und auditierbar werden darf.

Begriff fehlt oder tiefer einsteigen?

Dieses Glossar wächst mit dem Thema. Wenn Sie zu einem Bereich mehr wissen wollen, finden Sie in unseren Ratgebern ausführliche, praxisnahe Erklärungen:

Wie KI sicher mit Ihren eigenen Daten arbeitet, erklärt RAG einfach erklärt. Den Rechtsrahmen für den Mittelstand behandelt DSGVO-konforme KI im Unternehmen. Mit dem oft übersehenen Risiko ungenehmigter Tools befasst sich Schatten-KI & Governance. Wo Ihr Prozess auf der technologischen Leiter steht — von Skript über iPaaS und RPA bis zum Agenten — ordnet die Übersicht der Automatisierungs-Generationen 2026 ein. Und wann sich ein Agent gegenüber klassischen Tools lohnt, klärt KI-Agenten statt Zapier & RPA.

Eine Gesamtübersicht aller Beiträge finden Sie in unserem Automatisierungs-Ratgeber. Sie vermissen einen Begriff oder möchten ihn auf Ihren konkreten Fall übertragen? Sprechen Sie uns einfach an — wir erklären verständlich und herstellerneutral. Wo KI in Ihrem Unternehmen konkret ansetzen kann, zeigt unverbindlich der kostenlose KI-Readiness-Check.

FAQ zum KI-Glossar

Was ist der wichtigste KI-Begriff für Entscheider?

Wenn man einen einzigen herausgreifen müsste, wäre es „RAG" (Retrieval Augmented Generation) — denn er entscheidet darüber, ob eine KI mit Ihrem eigenen, belegten Wissen arbeitet oder nur mit allgemeinem Trainingswissen. Direkt danach folgt „Halluzination", weil das Bewusstsein dafür erklärt, warum KI-Ergebnisse bei wichtigen Entscheidungen immer kontrolliert werden müssen. Beide zusammen erklären den Großteil der Qualitäts- und Datenschutzfragen im Unternehmenseinsatz.

Was bedeutet „Inferenz" — und warum kostet KI laufend Geld?

Inferenz ist die Phase, in der ein trainiertes Modell tatsächlich antwortet. Anders als bei klassischer Software, die Sie einmal kaufen, verursacht jede einzelne KI-Anfrage Rechenaufwand — und damit Kosten. Bei niedrigem Volumen fällt das kaum ins Gewicht, bei hohem Durchsatz kann Inferenz jedoch zum entscheidenden Kostenfaktor werden. Techniken wie Quantisierung und der Betrieb passend dimensionierter Modelle helfen, diese Kosten im Rahmen zu halten.

Brauche ich als Mittelständler diese technischen Begriffe überhaupt?

Sie müssen kein Modell selbst bauen — aber ein Grundverständnis schützt vor teuren Fehlentscheidungen. Wer „Kontextfenster", „Guardrails" oder „Prompt Injection" einordnen kann, stellt im Anbietergespräch die richtigen Fragen, erkennt überzogene Versprechen und beurteilt Datenschutz- und Kostenrisiken realistisch. Genau dafür ist dieses Glossar gedacht: nutzenorientiert statt technisch verkopft.

Kostenloses Prozess-Audit

Welcher Ihrer Prozesse hat den größten Hebel?

In 30 Minuten analysieren wir Ihre Abläufe und sagen Ihnen ehrlich, was Automatisierung bei Ihnen bringt, und was nicht.

Prozess-Audit anfragen

Antwort innerhalb eines Werktags · unverbindlich