LoRA und QLoRA erklärt: KI-Modelle anpassen, ohne sie neu zu trainieren

Adapter statt Volltraining: was LoRA anders macht

Beim klassischen Fine-Tuning werden alle Gewichte eines Modells verändert. Das ist bei Milliarden Werten aufwendig — nicht nur wegen der Rechenzeit, sondern vor allem wegen des Speichers: Für jedes Gewicht muss der Trainingsprozess zusätzlich Gradienten und Optimierer-Zustände vorhalten. Für ein Modell mit sieben Milliarden Parametern landet man so bei mehr als hundert Gigabyte Grafikspeicher — Rechenzentrums-Klasse.

LoRA, 2021 von Hu und Kollegen bei Microsoft vorgestellt, geht einen anderen Weg. Die Grundidee: Die Änderung, die ein Nachtrainieren an einer Gewichtsmatrix vornimmt, ist erstaunlich „einfach" strukturiert — sie hat, mathematisch gesprochen, einen niedrigen Rang. Also friert man die Originalmatrix ein und legt zwei kleine Matrizen daneben, deren Produkt die Änderung beschreibt. Nur diese kleinen Matrizen werden trainiert. Im Papier sank die Zahl der trainierbaren Parameter bei GPT-3 dadurch um das bis zu Zehntausendfache, der Grafikspeicherbedarf um etwa das Dreifache — bei gleicher oder besserer Qualität als das Volltraining auf den getesteten Aufgaben.

Für die Praxis heißt das dreierlei. Erstens ist der Adapter klein — je nach Einstellung einige Dutzend bis einige hundert Megabyte statt vieler Gigabyte. Zweitens bleibt das Grundmodell unverändert; Sie können mehrere Adapter für mehrere Aufgaben neben demselben Modell halten und zur Laufzeit wechseln. Drittens lässt sich der Adapter nach dem Training mit dem Grundmodell verschmelzen, sodass im Betrieb keine zusätzliche Verzögerung entsteht.

QLoRA: das Grundmodell schrumpfen, den Adapter behalten

LoRA senkt den Trainingsspeicher, aber das Grundmodell selbst muss weiterhin in den Grafikspeicher passen. Bei 16-Bit-Genauigkeit sind das zwei Byte je Parameter — ein 70-Milliarden-Modell braucht so allein für die Gewichte rund 140 Gigabyte. QLoRA, 2023 von Dettmers und Kollegen vorgestellt, setzt hier an: Das eingefrorene Grundmodell wird auf 4 Bit komprimiert (Quantisierung), also auf ein halbes Byte je Parameter. Der Adapter bleibt in voller Genauigkeit und wird wie bei LoRA trainiert.

Das Ergebnis im Papier: Ein 65-Milliarden-Modell, dessen Volltraining mehr als 780 Gigabyte Grafikspeicher braucht, ließ sich mit QLoRA auf einer einzelnen Karte mit 48 Gigabyte nachtrainieren — bei Qualität auf dem Niveau eines 16-Bit-Volltrainings. Die Autoren haben dafür drei Kniffe kombiniert: ein Datenformat, das für normalverteilte Gewichte besonders sparsam ist (NormalFloat 4), eine doppelte Quantisierung der Hilfswerte und einen Optimierer, der Speicherspitzen in den Hauptspeicher auslagert.

Genau dieser Schritt macht die Inhouse-Anpassung für den Mittelstand bezahlbar. Was Sie zum Anpassen eines Modells brauchen, ist damit keine Rechenzentrums-Investition mehr, sondern eine Workstation mit einer guten Grafikkarte, ein Rechner mit viel gemeinsamem Speicher oder ein paar gemietete Stunden auf einer Cloud-Karte. Wie das Ganze in ein Betriebsmodell passt, ordnet unser Beitrag Lokale KI im Unternehmen ein.

VRAM-Größenordnungen: was auf welche Karte passt

Die entscheidende Ressource ist der Grafikspeicher (VRAM). Die folgende Tabelle rechnet mit einfachen Daumenregeln: zwei Byte je Parameter bei 16 Bit, ein halbes Byte bei 4 Bit, rund 16 Byte je Parameter für ein Volltraining mit gängigem Optimierer. Reale Werte liegen höher, weil Zwischenergebnisse (Aktivierungen) und die Länge der Trainingsbeispiele hinzukommen — die Tabelle zeigt Größenordnungen, keine Einkaufsliste.

Zur Einordnung: Aktuelle Spitzen-Grafikkarten für Arbeitsplätze bieten 24 bis 32 Gigabyte (NVIDIA GeForce RTX 4090: 24 GB, RTX 5090: 32 GB laut Herstellerangaben). Rechner mit gemeinsamem Speicher für Prozessor und Grafik — etwa Apples M-Serie — verschieben die Grenze, weil dort laut Herstellerangaben auch 64 oder 128 Gigabyte für Modelle nutzbar sind, allerdings mit weniger Rechendurchsatz. Modelle bis etwa 14 Milliarden Parameter lassen sich damit auf einem gut ausgestatteten Notebook anpassen und betreiben; in Projekten mit einem Berufsgeheimnisträger war genau diese Klasse der Arbeitspunkt für Aufbau und Test, größere Modelle wurden stundenweise gemietet.

Der typische Ablauf eines LoRA-Projekts

Wo Adapter in Unternehmensprozessen tragen

Klassifikation. Eingangspost, Support-Tickets, Belege oder Bewerbungen nach Ihrem Schema sortieren. Ein kleines Modell mit Adapter erledigt das in hoher Stückzahl lokal, schnell und mit stabiler Ausgabe. Beispiele für solche Bausteine finden Sie in den Use-Cases für KI-Agenten im Mittelstand.

Extraktion. Aus Lieferscheinen, Aufträgen, Formularen oder Verträgen immer dieselben Felder ziehen und in ein festes Datenformat schreiben. Der Adapter senkt die Quote formal falscher Ausgaben — der häufigste Grund, warum ein nachgelagerter Automatismus stehen bleibt.

Ton und Format. Antworten im Stil des Hauses, mit den Textbausteinen und der Struktur, die Ihre Sachbearbeitung nutzt. Ein Adapter kann Ton und Format stabil halten, während die Fakten weiterhin aus Ihren Dokumenten per RAG kommen. Das ist die häufigste sinnvolle Kombination: Adapter für das Wie, RAG für das Was.

Destillation. Ein großes Modell erzeugt einmalig viele saubere Beispiele, ein kleines Modell mit Adapter übernimmt die Aufgabe im Dauerbetrieb. So werden laufende API-Kosten zu einer einmaligen Investition — ein Kernmuster für den Betrieb auf eigener Hardware, wie ihn unser Beitrag KI auf deutschen Servern beschreibt.

Wo LoRA an Grenzen stößt

Adapter sind ein Werkzeug für Verhalten, nicht für Wissen. Wer einem Modell per LoRA neue Fakten beibringen will, stößt auf dieselben Probleme wie beim Volltraining — mit dem Unterschied, dass der Adapter weniger Kapazität hat. Biderman und Kollegen (2024) haben das systematisch untersucht: LoRA lernt weniger als ein Volltraining, vergisst dafür aber auch weniger von dem, was das Grundmodell konnte. Für eng umrissene Verhaltensaufgaben ist das ein Vorteil; für das Nachlernen ganzer Fachgebiete oder für Programmier- und Rechenaufgaben bleibt das Volltraining stärker.

Zweitens hängt alles am Grundmodell. Ein Adapter macht ein schwaches Modell nicht stark, und er passt nur zu genau dem Modell, auf dem er trainiert wurde. Wechseln Sie das Grundmodell, trainieren Sie neu. Drittens ist Quantisierung nicht kostenlos: Das 4-Bit-Grundmodell arbeitet minimal ungenauer als das Original; für die meisten Büroaufgaben ist das unerheblich, bei sehr feinen Unterscheidungen sollte man es messen. Und viertens gilt, was für jedes Nachtrainieren gilt: Was das Modell aus den Beispielen lernt, hängt vollständig von deren Qualität ab — schlechte Beispiele erzeugen einen zuverlässig schlechten Adapter. Wie Sie das messen, statt es zu vermuten, zeigt KI-Halluzinationen vermeiden.

Kurz gesagt

LoRA trainiert einen kleinen Aufsatz statt des ganzen Modells; QLoRA schrumpft zusätzlich das Grundmodell auf 4 Bit. Zusammen machen sie aus einer Rechenzentrums-Aufgabe eine Arbeitsplatz-Aufgabe: Modelle bis in die Klasse von 14 Milliarden Parametern lassen sich auf einer einzelnen guten Grafikkarte anpassen, größere mit 48 Gigabyte oder gemieteter Rechenzeit. Der Einsatzbereich bleibt derselbe wie beim Fine-Tuning insgesamt — Verhalten, nicht Wissen: Klassifikation, Extraktion, Ton und Format, Destillation auf ein kleines lokales Modell. Wer zuerst Prompting und RAG ausreizt, den Erfolg vorher messbar macht und mit sauberen Beispielen arbeitet, bekommt mit Adaptern ein bezahlbares Werkzeug für die eigene Prozessautomation.

• Hu, Shen, Wallis, Allen-Zhu, Li, Wang, Wang, Chen, „LoRA: Low-Rank Adaptation of Large Language Models", 2021, arXiv:2106.09685
• Dettmers, Pagnoni, Holtzman, Zettlemoyer, „QLoRA: Efficient Finetuning of Quantized LLMs", 2023, arXiv:2305.14314
• Rajbhandari, Rasley, Ruwase, He, „ZeRO: Memory Optimizations Toward Training Trillion Parameter Models", 2020, arXiv:1910.02054 (rund 16 Byte je Parameter bei Mixed-Precision-Training mit Adam)
• Biderman et al., „LoRA Learns Less and Forgets Less", 2024, arXiv:2405.09673
• Hugging Face, „Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA", 2023, https://huggingface.co/blog/4bit-transformers-bitsandbytes
• Hugging Face, PEFT-Dokumentation (Parameter-Efficient Fine-Tuning), 2025, https://huggingface.co/docs/peft
• Sheng et al., „S-LoRA: Serving Thousands of Concurrent LoRA Adapters", 2023, arXiv:2311.03285
• vLLM-Dokumentation, „LoRA Adapters", 2025, https://docs.vllm.ai/en/latest/features/lora.html
• Ollama-Dokumentation, Modelfile-Referenz (Anweisung ADAPTER), 2025, https://github.com/ollama/ollama/blob/main/docs/modelfile.md
• NVIDIA, Produktspezifikationen GeForce RTX 4090 (24 GB GDDR6X, 2022) und GeForce RTX 5090 (32 GB GDDR7, 2025), https://www.nvidia.com/de-de/geforce/graphics-cards/