Fine-Tuning erklärt: wann sich das Nachtrainieren eines KI-Modells lohnt

Was beim Fine-Tuning tatsächlich passiert

Ein Sprachmodell besteht aus Milliarden Zahlenwerten, den Gewichten (englisch: weights). Sie entstehen im Vortraining (Pre-Training) auf riesigen Textmengen — bei einem Modell wie Llama 3.1 waren das rund 15 Billionen Wort-Bausteine (Tokens). Danach kann das Modell formulieren, zusammenfassen, übersetzen. Was es nicht kann: wissen, wie in Ihrem Haus ein Angebot aufgebaut ist, welche Formulierungen Ihre Sachbearbeitung nutzt oder nach welchen Regeln Ihre Reklamationen einzuordnen sind.

Fine-Tuning setzt hier an. Sie legen dem fertigen Modell einige hundert bis einige tausend Beispiel-Paare vor — Eingabe und gewünschte Ausgabe — und lassen den Trainingsprozess die Gewichte ein Stück weit anpassen. Am Ende verhält sich das Modell in diesem Aufgabenbereich wie Ihre besten Beispiele. Der Fachbegriff für die häufigste Form lautet überwachtes Nachtrainieren (Supervised Fine-Tuning, SFT).

Wichtig ist die Trennung, die auch unser Beitrag RAG oder eigenes KI-Modell? zieht: Fine-Tuning steuert, wie die KI antwortet. Was sie über Ihre aktuellen Verträge, Preise und Vorgänge weiß, liefert besser die Anbindung an Ihre Dokumente per RAG. Beides schließt sich nicht aus — es sind zwei Werkzeuge für zwei Aufgaben.

Prompting, RAG, Fine-Tuning: die richtige Reihenfolge

Die teuerste Fehlentscheidung im Mittelstand ist, mit dem Nachtrainieren anzufangen. Bewährt hat sich eine Treppe mit drei Stufen, die Sie von unten nach oben gehen — und nur so weit, wie der Fall es erzwingt.

Die Forschung stützt diese Reihenfolge. Eine Vergleichsstudie von Ovadia und Kollegen (2023) fand, dass RAG dem Fine-Tuning beim Einbringen neuen Faktenwissens durchweg überlegen war — auch bei Wissen, das das Modell noch nie gesehen hatte. Und Gekhman und Kollegen (2024) zeigten, dass Modelle, die per Fine-Tuning neue Fakten lernen sollen, dabei langsamer lernen und anschließend häufiger halluzinieren. Wer Wissen per Training „einbrennen" will, arbeitet gegen die Physik des Werkzeugs.

Wo Fine-Tuning für Unternehmensprozesse wirklich trägt

Es gibt eine überschaubare Liste von Aufgaben, bei denen das Nachtrainieren dem Prompting klar überlegen ist. Ihr gemeinsamer Nenner: eine wiederkehrende, eng umrissene Aufgabe mit hohem Volumen, bei der Gleichförmigkeit zählt.

Klassifikation in großer Stückzahl. Eingangspost, Tickets, Belege oder Reklamationen in ein festes Schema mit zwanzig Kategorien einordnen — mit den Feinheiten, die nur Ihr Haus kennt. Ein nachtrainiertes kleines Modell erledigt das schneller, günstiger und stabiler als ein großes Modell mit langem Prompt.

Extraktion in ein festes Format. Aus Lieferscheinen, Aufträgen oder Formularen immer dieselben Felder ziehen und als strukturierte Daten ausgeben. Fine-Tuning senkt hier die Quote formal fehlerhafter Ausgaben, die einen nachgelagerten Prozess sonst stoppen. Wie solche Bausteine in Abläufe eingebettet werden, zeigen unsere Use-Cases für KI-Agenten im Mittelstand.

Ton und Stil. Kundenantworten, die wie Ihr Haus klingen — nicht wie ein Standardmodell. Hier ist Fine-Tuning stark, weil Stil ein Verhalten ist und kein Fakt.

Kleines Modell statt großem. Ein Sonderfall mit großem Hebel: Ein großes Modell erzeugt einmal viele saubere Beispiele, ein kleines Modell wird darauf nachtrainiert und übernimmt die Aufgabe im Dauerbetrieb — lokal, schnell, ohne laufende API-Kosten. Dieses Muster (Destillation) ist einer der Hauptgründe, warum lokale KI im Unternehmen bezahlbar wird.

Wie viele Beispiele Sie brauchen — und wie ein Projekt abläuft

Die gute Nachricht: Sie brauchen keine Millionen Datensätze. Für das Anpassen von Verhalten reichen oft kleine, sehr saubere Sätze. Die LIMA-Studie von Zhou und Kollegen (2023) zeigte, dass bereits rund 1.000 sorgfältig ausgewählte Beispiele ein Grundmodell in ein brauchbares Assistenzmodell verwandeln. Anbieter-Dokumentationen nennen für einfache Aufgaben Untergrenzen im zweistelligen Bereich und empfehlen einige Dutzend bis einige hundert Beispiele als sinnvollen Start (OpenAI-Leitfaden zum Fine-Tuning, 2025). Für Klassifikation mit vielen Klassen sind je Klasse mehrere Dutzend Beispiele die praktische Untergrenze.

Entscheidend ist nicht die Menge, sondern die Qualität: Jedes Beispiel muss so aussehen, wie Sie das Ergebnis haben wollen. Widersprüchliche oder schlampige Beispiele trainiert das Modell genauso treu wie gute. In der Praxis ist die Aufbereitung dieser Beispiele der größte Kostenblock — nicht die Rechenzeit.

Ein typischer Ablauf hat sechs Schritte. Erstens die Aufgabe eng zuschneiden und den Erfolg messbar machen: Welche Trefferquote muss das Modell auf einem zurückgehaltenen Testsatz erreichen? Zweitens Beispiele sammeln, bereinigen, anonymisieren und in Trainings- und Testdaten teilen. Drittens ein Basismodell wählen — meist ein offen verfügbares Modell in der kleinsten Größe, die die Aufgabe hergibt (siehe unseren Vergleich der Open-Weights-Modelle). Viertens trainieren, in der Regel als sparsame Adapter-Variante. Fünftens auf dem Testsatz messen und mit dem besten Prompt-Ansatz vergleichen. Sechstens ausrollen, überwachen und periodisch nachtrainieren, wenn sich die Aufgabe verschiebt.

Kostenlogik und die zwei Risiken, die man kennen muss

Beim Fine-Tuning fallen Kosten an drei Stellen an. Erstens Personal für Datenaufbereitung und Bewertung — der größte und am meisten unterschätzte Block. Zweitens Rechenzeit für das Training: mit Adapter-Verfahren auf einer einzelnen Grafikkarte oft eine Sache von Stunden, bei gemieteter Rechenleistung entsprechend überschaubar. Drittens der Betrieb: Ein eigenes Modell muss gehostet, überwacht und bei Modellwechseln neu trainiert werden. Wer die Kostenblöcke eines Automatisierungsprojekts insgesamt einordnen will, findet den Rahmen in Prozessautomation Kosten.

Das erste Risiko heißt katastrophales Vergessen (catastrophic forgetting): Beim Training auf eine enge Aufgabe verliert das Modell allgemeine Fähigkeiten, die es vorher hatte. Luo und Kollegen (2023) haben den Effekt für Sprachmodelle über mehrere aufeinanderfolgende Trainingsrunden nachgewiesen. Adapter-Verfahren mildern ihn: Biderman und Kollegen (2024) zeigten, dass LoRA weniger lernt, aber auch weniger vergisst als ein Volltraining. Deshalb gilt: Aufgabe eng halten, allgemeine Beispiele beimischen, nach dem Training auch außerhalb der Zielaufgabe testen.

Das zweite Risiko ist Drift. Ihr Prozess ändert sich — neue Produktlinien, neue Kategorien, neue Formulare —, das nachtrainierte Modell bleibt auf dem Stand seiner Beispiele. Anders als bei RAG genügt es nicht, ein Dokument auszutauschen. Ein Fine-Tuning-Modell braucht deshalb Qualitätsmessung im Betrieb und einen festen Zyklus zum Nachtrainieren. Dazu kommt das Halluzinationsrisiko, das bei erzwungenem Faktenwissen steigt — mehr dazu in KI-Halluzinationen vermeiden.

Entscheidungstabelle: RAG, Fine-Tuning oder beides

Lesehilfe: Wenn Ihre Frage mit „Was gilt bei uns?" beginnt, ist es RAG. Wenn sie mit „Wie soll die KI sich verhalten?" beginnt, ist es Fine-Tuning. Beginnt sie mit beidem, bauen Sie beides — aber in dieser Reihenfolge.

Kurz gesagt

Fine-Tuning ist kein Weg, einem Modell Ihr Firmenwissen beizubringen — dafür ist RAG gebaut. Es ist der Weg, einem Modell ein Verhalten stabil anzutrainieren: Ton, Format, Klassifikationsregeln, Fachsprache. Beginnen Sie mit Prompting, gehen Sie bei Wissensfragen zu RAG, und trainieren Sie erst nach, wenn ein messbarer Verhaltensmangel bleibt. Dann mit sauberen Beispielen, sparsamen Adapter-Verfahren und einem festen Messpunkt vor und nach dem Training. In Projekten mit einem Berufsgeheimnisträger hat sich genau diese Reihenfolge bewährt: Erst brachten hybride Suche und Selbstkontrolle die Auskünfte auf ein belastbares Niveau; das Nachtrainieren blieb ein Werkzeug für später, nicht der Einstieg.

• Meta AI, „The Llama 3 Herd of Models", 2024, arXiv:2407.21783 (Vortraining auf rund 15 Billionen Tokens)
• Ovadia, Brief, Mishaeli, Elisha, „Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs", 2023, arXiv:2312.05934
• Gekhman, Yona, Aharoni, Eyal, Feder, Reichart, Herzig, „Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?", 2024, arXiv:2405.05904
• Zhou et al., „LIMA: Less Is More for Alignment", 2023, arXiv:2305.11206
• Luo, Yang, Meng, Li, Zhou, Zhang, „An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning", 2023, arXiv:2308.08747
• Biderman et al., „LoRA Learns Less and Forgets Less", 2024, arXiv:2405.09673
• Hu et al., „LoRA: Low-Rank Adaptation of Large Language Models", 2021, arXiv:2106.09685
• OpenAI, „Fine-tuning" (Plattform-Dokumentation, Abschnitt zur Beispielanzahl), 2025, https://platform.openai.com/docs/guides/fine-tuning
• Lewis et al., „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", 2020, arXiv:2005.11401