KI in der PraxisAktualisiert 25. Oktober 2026 · 9 min Lesezeit

Open-Weights-Modelle im Vergleich 2026: Llama, Mistral, Qwen, Gemma, DeepSeek, Phi und Co.

Wer KI im eigenen Haus betreiben will, braucht ein Modell, das er herunterladen und selbst ausführen darf. Solche Open-Weights-Modelle gibt es inzwischen von einem Dutzend Herstellern in allen Größen — und die Unterschiede in Lizenz, Sprachqualität und Kontextlänge entscheiden darüber, ob ein Modell für deutsche Unternehmensprozesse taugt. Dieser Vergleich ordnet die gängigen Familien herstellerneutral, erklärt den Unterschied zwischen Open Weights, Open Source und API-Modellen und zeigt einen Auswahlweg für Ihre Prozessautomation.

Open Weights, Open Source, API-Modell: drei Dinge, die oft verwechselt werden

API-Modelle laufen ausschließlich beim Anbieter. Sie schicken Text hin, bekommen Text zurück, zahlen je verarbeiteter Menge und haben keinen Zugriff auf das Modell selbst. Die stärksten Modelle erscheinen meist zuerst in dieser Form. Für kritische Daten ist entscheidend, wo der Anbieter sitzt und wie der Vertrag zur Auftragsverarbeitung aussieht — mehr dazu in DSGVO-konforme KI 2026.

Open-Weights-Modelle stellen die trainierten Gewichte zum Herunterladen bereit — meist über Plattformen wie Hugging Face. Sie können das Modell auf einem eigenen Server ausführen, per LoRA anpassen und in eigene Abläufe einbauen. Was Sie damit tun dürfen, regelt eine Lizenz, und die reicht von sehr freizügig (Apache 2.0, MIT) bis zu herstellereigenen Bedingungen mit Nutzungsgrenzen und Ausschlüssen.

Open Source im engeren Sinn geht weiter. Die Open Source Initiative hat 2024 eine Definition für KI veröffentlicht, nach der neben den Gewichten auch der Trainingscode und ausreichende Informationen über die Trainingsdaten offen sein müssen. Die meisten bekannten Modelle erfüllen das nicht — sie sind offen nutzbar, aber nicht offen nachvollziehbar. Für den Betrieb im Unternehmen ist dieser Unterschied zweitrangig; für die Frage, ob ein Modell „Open Source" genannt werden darf, ist er entscheidend. Weitere Begriffe erklärt das KI-Glossar 2026.

Die gängigen Modellfamilien im Überblick

Die Tabelle nennt je Familie die zuletzt von uns geprüfte Generation, die verfügbaren Größenklassen, die Lizenzform, die Sprachabdeckung laut Modellkarte und die Kontextlänge — also wie viel Text das Modell auf einmal verarbeitet. Zwei Hinweise vorweg: Neue Versionen erscheinen im Abstand von Monaten, prüfen Sie vor einer Entscheidung die aktuelle Modellkarte. Und „unterstützt Deutsch" laut Hersteller ist keine Qualitätsaussage — die liefert nur ein eigener Test mit Ihren Aufgaben.

Stand 18.08.2026, geprüft gegen die Modellkarten, Konfigurations- und Lizenzdateien der Hersteller auf Hugging Face sowie die Lizenztexte der Anbieter (Links im Quellenblock); Versionsstand jeweils in Klammern; neuere Versionen vor der Auswahl prüfen
Familie (Hersteller)	Geprüfte Generation	Größenklassen	Lizenz	Sprachen laut Modellkarte	Kontext
Llama (Meta, USA)	Llama 4 Scout und Maverick (April 2025); seither keine neuere Llama-Generation veröffentlicht	Scout 109 Mrd. gesamt / 17 Mrd. aktiv (16 Experten), Maverick 400 Mrd. / 17 Mrd. aktiv (128 Experten), beide Mixture-of-Experts	Llama 4 Community License: kommerziell nutzbar, Hinweis „Built with Llama“ verpflichtend, Sonderregel ab 700 Mio. monatlich aktiven Nutzern	12 Sprachen laut Modellkarte, inkl. Deutsch	Scout bis 10 Mio. Token (Herstellerangabe)
Muse (Meta Superintelligence Lab, USA)	Muse Glimmer 30B (August 2026)	29,6 Mrd. dicht, mit Bildverständnis	Apache 2.0	über 100 Sprachen laut Modellkarte	131.072 und mehr
Mistral (Mistral AI, Frankreich)	Ministral 3 (Oktober 2025), Mistral Large 3 (November 2025), Mistral Small 4 (Januar 2026)	Ministral 3: 3, 8 und 14 Mrd. dicht; Small 4: 119 Mrd. gesamt / 6,5 Mrd. aktiv; Large 3: 675 Mrd. / 41 Mrd. aktiv	Apache 2.0 für alle drei Reihen	Deutsch steht in der Sprachliste der Modellkarten	256k
Qwen (Alibaba, China)	Qwen3.5 (Februar 2026), Qwen3.6 (April 2026), Qwen3.8 (August 2026)	0,8 bis 27 Mrd. dicht; daneben Mixture-of-Experts bis 2,4 Bio. gesamt / 95 Mrd. aktiv	dichte Modelle und Qwen3.8-27B: Apache 2.0; das größte MoE-Modell unter eigener Qwen3.8-Max-Lizenz mit Sonderregeln ab 100 Mio. Nutzern bzw. für Anbieter von Modell-Diensten ab 50 Mio. USD Umsatz	über 100 Sprachen laut Qwen-Modellkarten, inkl. Deutsch	262.144 nativ, erweiterbar auf rund 1 Mio.
Gemma (Google, USA)	Gemma 4 (April 2026)	E2B, E4B, 12B, 26B als Mixture-of-Experts (4 Mrd. aktiv), 31B dicht	Apache 2.0; daneben gilt weiterhin eine gesonderte Richtlinie zu verbotenen Nutzungen	über 140 Sprachen inkl. Deutsch	128k (kleine Modelle), 256k (mittlere und große)
DeepSeek (DeepSeek, China)	DeepSeek-V3.2 (Dezember 2025), DeepSeek-V4-Pro und V4-Flash (April 2026)	V4-Pro 1,6 Bio. gesamt / 49 Mrd. aktiv; V4-Flash 284 Mrd. / 13 Mrd. aktiv; ältere Destillate auf Qwen- und Llama-Basis	MIT (Gewichte); Destillate zusätzlich mit Lizenz des Basismodells	Schwerpunkt Englisch und Chinesisch, Deutsch möglich	1 Mio. Token
Phi (Microsoft, USA)	Phi-4 (Dezember 2024), Phi-4-mini und Phi-4-reasoning (2025), Phi-4-reasoning-vision (Januar 2026)	3,8 Mrd., 14 Mrd., 15 Mrd.	MIT	Schwerpunkt Englisch, mehrsprachig eingeschränkt	16k (Phi-4 und Phi-4-reasoning-vision), 128k (Phi-4-mini)
gpt-oss (OpenAI, USA)	gpt-oss-20b und gpt-oss-120b (August 2025), gpt-oss-safeguard (September 2025); seither keine neuere Generation	21 Mrd. gesamt / 3,6 Mrd. aktiv und 117 Mrd. / 5,1 Mrd. aktiv, beide Mixture-of-Experts	Apache 2.0	Mehrsprachig, Schwerpunkt Englisch	131.072
Teuken (OpenGPT-X, Deutschland)	Teuken-7B-instruct-commercial v0.4 (Oktober 2024); Teuken-7B-instruct v0.6 (Juli 2025)	7 Mrd.	Achtung, unterschiedlich: v0.4 commercial unter Apache 2.0, die neuere v0.6 unter CC BY-NC 4.0 und damit nicht für kommerzielle Nutzung	24 EU-Amtssprachen, in allen 24 Sprachen trainiert	4k

Was die Tabelle nicht zeigt, ist Qualität. Die Reihenfolge in öffentlichen Ranglisten wechselt mit jeder Version, und keine Rangliste misst Ihre Aufgabe. Für Bürotätigkeiten in deutscher Sprache — zusammenfassen, klassifizieren, extrahieren, aus eigenen Dokumenten antworten — liegen die mittleren Größen der europäischen und chinesischen Familien in unseren Projekten regelmäßig auf brauchbarem Niveau; wer mehr behauptet, sollte es an Ihrem Testsatz zeigen.

Worauf es für deutsche Prozesse ankommt

Deutsch-Qualität

Die meisten Modelle sehen im Training deutlich mehr Englisch als Deutsch; wie hoch der deutsche Anteil ist, veröffentlichen die Hersteller in der Regel nicht. Deutsch können sie, aber schwächer, und bei kleinen Größen zuerst. Prüfen Sie mit zwanzig echten Aufgaben aus Ihrem Alltag: Rechtschreibung, Anrede, Fachbegriffe, Zahlenformate, Umgang mit Umlauten in Suchanfragen. Ein Testsatz ist die einzige belastbare Messung.

Lizenz

Apache 2.0 und MIT erlauben kommerzielle Nutzung, Anpassung und Weitergabe ohne Sonderbedingungen. Herstellereigene Lizenzen sind meist ebenfalls kommerziell nutzbar, enthalten aber Nutzungsrichtlinien, Namensnennung, Nutzerzahl-Grenzen oder regionale Ausschlüsse. Lesen Sie den Lizenztext der konkreten Version, nicht der Familie.

Kontextlänge

128.000 Token entsprechen grob 160 bis 250 Seiten Text. Das reicht für Verträge, Akten und lange Vorgänge — aber ein volles Fenster kostet Speicher und Zeit, und die Qualität sinkt, wenn man es überfüllt. Für die meisten Prozesse ist eine gute Wissensanbindung per RAG wichtiger als das größte Fenster.

Größe und Hardware

Die Größe bestimmt den Grafikspeicher. Modelle bis 14 Milliarden Parameter laufen auf einem gut ausgestatteten Arbeitsplatzrechner, 27 bis 32 Milliarden brauchen eine große Karte, 70 Milliarden und mehr einen Server. Mixture-of-Experts-Modelle rechnen sparsam, brauchen aber Speicher für alle Experten. Die Größenordnungen stehen in LoRA und QLoRA erklärt.

Herkunft und Betrieb

Ein lokal betriebenes Modell schickt keine Daten an seinen Hersteller — gleich, ob der in Paris, Kalifornien oder Hangzhou sitzt. Was zählt, ist die Lizenz und ob das Modell für Ihre Sprache und Aufgabe trägt. Erst wenn Sie den Hersteller als API nutzen, wird der Standort zur Datenschutzfrage.

Ökosystem

Verbreitete Familien laufen in allen gängigen Laufzeitumgebungen, haben quantisierte Varianten für kleinere Hardware und viele Anpassungsbeispiele. Ein Nischenmodell mit besserem Ranglistenplatz kann im Betrieb teurer werden als ein verbreitetes Modell mit reifem Werkzeugkasten.

In fünf Schritten zum passenden Modell

1. Aufgabe und Datenklasse festlegen. Was soll das Modell tun, mit welchen Daten, wie oft? Daraus folgt, ob überhaupt lokal betrieben werden muss — siehe Lokale KI im Unternehmen — und welche Größe realistisch ist.

2. Lizenz filtern. Streichen Sie, was Ihre Nutzung nicht abdeckt: regionale Ausschlüsse, Forschungslizenzen, Nutzungsgrenzen. Was übrig bleibt, ist Ihre Kandidatenliste.

3. Zwei bis drei Kandidaten in passender Größe wählen. Meist ein Modell im Bereich 7 bis 14 Milliarden für Tempo und Vorprüfungen und eines im Bereich 24 bis 70 Milliarden für Antworten. Quantisierte Varianten (4 oder 8 Bit) sind für Büroaufgaben in der Regel ausreichend.

4. Am eigenen Testsatz messen. Zwanzig bis fünfzig echte Aufgaben mit Soll-Antworten, alle Kandidaten unter gleichen Bedingungen, ausgewertet nach Treffer, Format und Sprache. In Projekten mit einem Berufsgeheimnisträger lief ein solcher Testsatz vor jedem Modellwechsel auf altem und neuem Modell — Ranglisten Dritter zählten nicht als Messung. Wie man Halluzinationen dabei sichtbar macht, zeigt KI-Halluzinationen vermeiden.

5. Betriebsfähig machen. Laufzeitumgebung, Speicherbedarf, Antwortzeit unter Last, Aktualisierungsweg. Erst dann gegebenenfalls per Fine-Tuning auf Ton und Format zuschneiden — nachdem Prompting und Wissensanbindung ausgereizt sind.

Kurz gesagt

Open-Weights-Modelle sind die Grundlage jeder lokalen KI: herunterladbar, anpassbar, ohne Gebühr je Anfrage. Die großen Familien — Llama, Mistral, Qwen, Gemma, DeepSeek, Phi, gpt-oss und die europäischen Projekte — decken alle Größenklassen ab; sie unterscheiden sich in Lizenz, Sprachabdeckung und Kontextlänge stärker als in der reinen Leistung. Für deutsche Prozesse zählen drei Dinge: eine Lizenz, die Ihre Nutzung abdeckt, eine gemessene statt behauptete Deutsch-Qualität und eine Größe, die zu Ihrer Hardware passt. Wählen Sie mit einem eigenen Testsatz, nicht mit einer Rangliste — Modelle wechseln, Ihre Aufgabe bleibt.

Häufige Fragen zu Open-Weights-Modellen

Was ist der Unterschied zwischen Open Weights und Open Source?

Open Weights bedeutet: Der Hersteller gibt die trainierten Gewichte zum Herunterladen frei, sodass Sie das Modell selbst betreiben und anpassen können. Open Source im engeren Sinn verlangt nach der Definition der Open Source Initiative von 2024 zusätzlich offenen Trainingscode und ausreichende Informationen über die Trainingsdaten. Die meisten bekannten Modelle sind Open Weights, aber nicht Open Source in diesem Sinn. Für den Betrieb im Unternehmen zählt vor allem die konkrete Lizenz der Modellversion.

Welches Open-Weights-Modell ist am besten für Deutsch?

Eine allgemeingültige Antwort gibt es nicht, weil Ranglisten Ihre Aufgabe nicht messen und Versionen sich im Monatsrhythmus ändern. Familien mit ausdrücklicher Mehrsprachigkeit in der Modellkarte — etwa Mistral, Qwen, Gemma und Llama — sind der übliche Ausgangspunkt; europäische Projekte wie Teuken sind gezielt auf alle 24 EU-Amtssprachen trainiert, dort aber unbedingt die Lizenz der konkreten Fassung prüfen. Belastbar ist nur ein eigener Testsatz mit zwanzig bis fünfzig echten Aufgaben, an dem Sie zwei bis drei Kandidaten unter gleichen Bedingungen vergleichen.

Darf ich Open-Weights-Modelle kommerziell nutzen?

In den meisten Fällen ja, aber die Bedingungen unterscheiden sich. Apache 2.0 und MIT erlauben kommerzielle Nutzung, Anpassung und Weitergabe ohne Sonderbedingungen. Herstellereigene Lizenzen wie die Llama Community License sind ebenfalls kommerziell nutzbar, enthalten aber Nutzungsrichtlinien, Namensnennungspflichten und Nutzerzahl-Grenzen: Llama 4 verlangt den Hinweis „Built with Llama“ und eine gesonderte Erlaubnis ab 700 Millionen monatlich aktiven Nutzern. Für die multimodalen Llama-4-Modelle wurde zum Erscheinen zusätzlich ein Ausschluss von Nutzern mit Sitz in der EU berichtet; im Lizenztext, den Meta heute in seinem Repository veröffentlicht, steht er nicht. Genau deshalb gilt: Lesen Sie den Lizenztext der Version, die Sie beziehen, statt sich auf Berichte über die Familie zu verlassen.

Ist ein chinesisches oder amerikanisches Modell ein Datenschutzproblem?

Nicht beim lokalen Betrieb. Ein Modell, das auf Ihrem Server läuft, schickt keine Daten an seinen Hersteller, unabhängig von dessen Sitz. Zur Datenschutzfrage wird der Standort erst, wenn Sie das Modell als API des Herstellers nutzen und damit Daten übermitteln. Beim lokalen Betrieb zählen Lizenz, Sprachqualität und Eignung für Ihre Aufgabe. Prüfen sollten Sie unabhängig davon, aus welcher Quelle Sie die Gewichte beziehen und ob deren Prüfsummen stimmen.

Wie viel Kontextlänge brauche ich?

Weniger, als die Zahlen vermuten lassen. 128.000 Token entsprechen grob 160 bis 250 Seiten Text und reichen für Verträge, Akten und lange Vorgänge; ein volles Fenster kostet aber Speicher und Zeit, und die Antwortqualität sinkt, wenn es überfüllt wird. Für die meisten Unternehmensprozesse ist eine gute Wissensanbindung per RAG, die nur die passenden Stellen vorlegt, wichtiger als das größte Fenster. Modelle mit 32.000 Token genügen für viele Aufgaben, sehr kurze Fenster schränken bei langen Dokumenten ein.

Open Source Initiative, „The Open Source AI Definition 1.0", 2024, https://opensource.org/ai/open-source-ai-definition
Meta, Llama 4 Community License Agreement (Fassung vom 05.04.2025) im Repository meta-llama/llama-models, abgerufen am 18.08.2026, https://github.com/meta-llama/llama-models/blob/main/models/llama4/LICENSE
Meta, Llama 4 Modellkarte (Sprachliste, Lizenzhinweis), abgerufen am 18.08.2026, https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct
Meta, „The Llama 4 herd“ (Parameterzahlen, Kontextlänge Scout), 2025, https://ai.meta.com/blog/llama-4-multimodal-intelligence/
Meta Superintelligence Lab, Muse-Glimmer-30B Modellkarte (Apache 2.0, Kontext, Sprachen), August 2026, abgerufen am 18.08.2026, https://huggingface.co/meta-models/Muse-Glimmer-30B
Mistral AI, Modellkarten Mistral Small 4, Mistral Large 3 und Ministral 3 (Apache 2.0, 256k Kontext), abgerufen am 18.08.2026, https://huggingface.co/mistralai
Alibaba / Qwen-Team, Modellkarten Qwen3.8-27B und Qwen3.8-2.4T-A95B samt Lizenzdatei „Qwen3.8-Max License“, abgerufen am 18.08.2026, https://huggingface.co/Qwen
Google DeepMind, Gemma-4-Modellkarte und Lizenzseite (Apache 2.0), abgerufen am 18.08.2026, https://huggingface.co/google/gemma-4-31B-it und https://ai.google.dev/gemma/docs/gemma_4_license
DeepSeek-AI, DeepSeek-V4 Modellkarte (MIT, 1 Mio. Token, Parameterzahlen), abgerufen am 18.08.2026, https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro
Microsoft, Phi-4 Modellkarte (2024) und Phi-4-reasoning-vision-15B Modellkarte (MIT, 16.384 Token), abgerufen am 18.08.2026, https://huggingface.co/microsoft
OpenAI, gpt-oss-120b Modellkarte und config.json (Apache 2.0, 131.072 Token), abgerufen am 18.08.2026, https://huggingface.co/openai/gpt-oss-120b
OpenGPT-X / Fraunhofer, Modellkarten Teuken-7B-instruct-commercial-v0.4 (Apache 2.0) und Teuken-7B-instruct-v0.6 (CC BY-NC 4.0), abgerufen am 18.08.2026, https://huggingface.co/openGPT-X

Kostenloses Prozess-Audit

Welcher Ihrer Prozesse hat den größten Hebel?

In 30 Minuten analysieren wir Ihre Abläufe und sagen Ihnen ehrlich, was Automatisierung bei Ihnen bringt, und was nicht.

Prozess-Audit anfragen

Antwort innerhalb eines Werktags · unverbindlich