Kleine Sprachmodelle (SLM): warum 3 bis 14 Milliarden Parameter für viele Prozessaufgaben reichen

Was „klein“ 2026 bedeutet — und warum die Grenze wandert

Die Größe eines Sprachmodells wird in Parametern gemessen, also in den Zahlen, die das Modell beim Training gelernt hat. Große Modelle wie die bekannten Chat-Dienste bewegen sich im Bereich von mehreren hundert Milliarden Parametern. Kleine Modelle liegen bei einer bis rund 15 Milliarden. Die Grenze ist nicht scharf, und sie verschiebt sich jedes Jahr: Was 2023 als mittelgroß galt, gilt heute als klein.

Entscheidend ist eine andere Zahl: der Speicher, den ein Modell im Betrieb belegt. Die Modelldateien der Ollama-Bibliothek belegen in 4-Bit-Quantisierung rund 4,7 GB bei 7 Milliarden und rund 9,0 GB bei 14 Milliarden Parametern (abgerufen am 18.08.2026); für den Betrieb planen Sie ungefähr das Doppelte ein, weil Kontext und System dazukommen — also grob 8 GB für ein 7-Milliarden-Modell und 16 bis 20 GB für die 13- bis 14-Milliarden-Klasse. Das ist die Klasse, die auf einer einzelnen Grafikkarte, einer Workstation oder einem aktuellen Notebook läuft. Welche Geräte dafür in Frage kommen, behandelt unser Beitrag zur KI-Hardware im Unternehmen.

Warum kleine Modelle plötzlich so leistungsfähig sind, hat drei Gründe: bessere Trainingsdaten, mehr Training pro Parameter und die Technik der Quantisierung, die Modelle ohne großen Qualitätsverlust auf einen Bruchteil des Speichers schrumpft. Die Begriffe dahinter erklärt das KI-Glossar 2026. Wer die Modellfamilien im Detail vergleichen will, findet den Überblick im Open-Weights-Vergleich 2026.

Wo kleine Modelle in Prozessen ihre Stärke haben

Prozessautomation besteht selten aus einer einzigen großen Frage. Sie besteht aus vielen kleinen, gleichförmigen Entscheidungen. Genau dort sind kleine Modelle stark, weil die Aufgabe eng ist und die Antwort ein festes Format hat.

Eine Forschungsgruppe von NVIDIA hat 2025 argumentiert, dass in agentischen Systemen die meisten Einzelaufgaben eng, wiederholend und formatgebunden sind — und kleine Modelle dafür ausreichend, geeigneter und wirtschaftlicher sind als große (Belcak et al., 2025). Das deckt sich mit dem, was in Projekten sichtbar wird: Der Löwenanteil der Aufrufe ist Routine.

Latenz, Kosten, Datenschutz: drei Gründe, die im Betrieb zählen

Latenz. Ein kleines Modell antwortet schneller, weil weniger Rechenarbeit anfällt. In einem Prozess, der hundert Dokumente in Folge prüft, summiert sich jede Sekunde. Und wenn ein Mensch auf die Antwort wartet, entscheidet die Wartezeit darüber, ob das Werkzeug benutzt wird oder nicht.

Kosten. Bei Cloud-Modellen zahlen Sie pro verarbeitetem Text. Bei einem lokalen kleinen Modell zahlen Sie die Hardware einmal und den Strom laufend — die einzelne Anfrage kostet danach praktisch nichts mehr. Wie sich das über ein Jahr rechnet, führt der Beitrag zu Kosten und Betrieb von KI-Modellen aus.

Datenschutz. Ein Modell, das auf Ihrem Rechner läuft, schickt nichts nach außen. Für Berufsgeheimnisträger, Personalabteilungen und alle, die Vertragsdaten verarbeiten, ist das oft der Grund, überhaupt anzufangen. In Projekten mit einem Berufsgeheimnisträger war die Anforderung eindeutig: Dokumente der höchsten Schutzklasse verlassen das Haus nicht — also mussten Modelle her, die im Haus laufen. Was rechtlich zu beachten bleibt, steht unter DSGVO und KI; das Betriebsmodell dazu beschreibt Lokale KI im Unternehmen.

Wo kleine Modelle scheitern — ehrlich benannt

Kleine Modelle sind keine kleinen Alleskönner. Vier Schwächen tauchen verlässlich auf.

Mehrschrittiges Schlussfolgern. Aufgaben, die mehrere Zwischenschritte verlangen — etwa einen Sachverhalt aus drei Dokumenten zusammensetzen und daraus eine Empfehlung ableiten — überfordern kleine Modelle häufiger. Sie verlieren den Faden oder überspringen einen Schritt.

Weltwissen. Ein kleines Modell hat weniger Fakten „auswendig“ gelernt. Fragen, deren Antwort im Modell selbst stecken müsste, beantwortet es unsicherer. Die Lösung ist nicht ein größeres Modell, sondern das Nachschlagen in Ihren Dokumenten — das Prinzip von RAG.

Selbstkontrolle. Ein kleines Modell erkennt schlechter, wenn eine Antwort nicht durch die Quellen gedeckt ist. In einem Projekt mit lokalem Aufbau zeigte ein Negativtest genau das: Das kleinere Prüfmodell bewertete eine erfundene Zahl als korrekt. Erst ein strengerer Prüfschritt und ein zweiter Durchlauf fingen den Fehler. Ohne systematische Tests wäre das nicht aufgefallen — dazu mehr unter KI-Evaluierung und Halluzinationen vermeiden.

Lange, ungewöhnliche Anweisungen. Je länger und verschachtelter die Anweisung, desto eher übersieht ein kleines Modell eine Regel. Kurze, klare Anweisungen mit Beispielen helfen — das ist Handwerk, kein Zufall, siehe Context Engineering.

Typische kleine Modelle mit offenen Gewichten

Die folgende Auswahl nennt verbreitete Modellfamilien, deren Gewichte frei herunterladbar sind und die sich lokal betreiben lassen. Die Liste ist herstellerneutral und nicht vollständig. Lizenzbedingungen ändern sich; vor dem Einsatz immer die aktuelle Lizenz beim Hersteller prüfen.

In Projekten hat sich bewährt, nicht das „beste“ Modell zu suchen, sondern zwei bis drei Kandidaten gegen ein eigenes Testset laufen zu lassen. Ein Modell, das in Ranglisten vorn liegt, kann bei deutschen Vertragstexten oder Ihrer Fachsprache trotzdem hinter einem anderen zurückbleiben. Wenn kein Modell Ihre Fachsprache trifft, ist eine gezielte Anpassung eine Option — siehe Fine-Tuning und LoRA und QLoRA. Meist reicht aber gutes Nachschlagen aus eigenen Dokumenten, wie RAG oder Modell trainieren gegenüberstellt.

Klein und groß kombinieren: das Routing-Muster

Die wirtschaftlichste Architektur ist selten „nur klein“ oder „nur groß“. Sie ist gestuft: Ein kleines Modell übernimmt die Masse der Routine, und nur was schwer ist, geht an ein großes Modell — im Haus auf stärkerer Hardware oder, wenn die Datenklasse es erlaubt, bei einem europäischen Anbieter.

Konkret sieht das so aus: Jede Anfrage trifft zuerst auf das kleine Modell. Es klassifiziert die Aufgabe und schätzt, ob es sie selbst sicher lösen kann. Ist die Antwort ein Ja mit hoher Sicherheit, antwortet es direkt. Bei Unsicherheit, bei mehrstufigen Fragen oder bei hohem Schadenspotenzial reicht es weiter. Diesen Ansatz haben Forscher aus Berkeley 2024 unter dem Namen RouteLLM untersucht: Ein Router lernt, welche Anfragen ein schwächeres Modell zuverlässig beantwortet, und senkt so die Kosten bei nahezu gleicher Qualität (Ong et al., 2024).

Für Ihren Betrieb heißt das: Der Router ist selbst eine Regel, die Sie festlegen — nach Datenklasse, nach Aufgabentyp, nach Risiko. In Projekten mit einem Berufsgeheimnisträger war die erste Regel nicht die Schwierigkeit, sondern die Vertraulichkeit: Dokumente der höchsten Schutzklasse durften niemals einen Cloud-Endpunkt erreichen, egal wie schwer die Frage war. Solche Regeln gehören in die Schutzschicht, die Guardrails und Human-in-the-Loop beschreibt. Und sie gehören in ein Kostenmodell, das Prozessautomation-Kosten transparent macht.

Kurz gesagt: Kleine Sprachmodelle tragen die Routine in Prozessen — Klassifikation, Extraktion, Routing, Prüfen — schnell, günstig und im Haus. Sie scheitern bei mehrstufigem Schlussfolgern, breitem Weltwissen und strenger Selbstkontrolle. Die belastbare Architektur kombiniert beides über einen Router, den Sie nach Datenklasse und Risiko selbst festlegen, und prüft jedes Modell gegen ein eigenes Testset, bevor es produktiv geht.

• Ollama, Modellbibliothek, Paketgrößen der Standard-Tags in 4-Bit-Quantisierung, abgerufen am 18.08.2026, https://ollama.com/library/qwen2.5
• P. Belcak et al. (NVIDIA Research), „Small Language Models are the Future of Agentic AI“, arXiv:2506.02153, 2025, https://arxiv.org/abs/2506.02153
• I. Ong et al. (UC Berkeley / LMSYS), „RouteLLM: Learning to Route LLMs with Preference Data“, arXiv:2406.18665, 2024, https://arxiv.org/abs/2406.18665
• Microsoft, Modellkarten Phi-4 und Phi-4-mini (MIT), abgerufen am 18.08.2026, https://huggingface.co/microsoft
• Google DeepMind, Gemma-4-Modellkarten (Apache 2.0, Größen E2B bis 31B), abgerufen am 18.08.2026, https://huggingface.co/google/gemma-4-12B-it
• Meta, Modellkarten Llama 3.2 (1B, 3B) und Llama 3.1 (8B), abgerufen am 18.08.2026, https://huggingface.co/meta-llama
• Alibaba Qwen Team, Modellkarten der Reihen Qwen3.5 und Qwen3.8 (Apache 2.0 bei den dichten Modellen), abgerufen am 18.08.2026, https://huggingface.co/Qwen
• Mistral AI, Modellkarten Ministral 3 (3B, 8B, 14B, Apache 2.0, 256k Kontext), abgerufen am 18.08.2026, https://huggingface.co/mistralai