KI-Kosten im Betrieb: was ein Modell im laufenden Einsatz wirklich kostet
Ein KI-Modell zu trainieren ist eine einmalige Investition. Es zu benutzen ist Miete: Jede Anfrage kostet, entweder als Rechnung des API-Anbieters oder als Strom, Hardware und Arbeitszeit im eigenen Haus. Wer eine Prozessautomation mit KI plant, braucht deshalb eine Vorstellung davon, wie sich diese Betriebskosten zusammensetzen. Dieser Beitrag legt die Token-Preise der großen Anbieter mit Abrufdatum nebeneinander, ordnet die Kosten des Inhouse-Betriebs als Spannen ein, erklärt Modell-Routing und rechnet ein Szenario mit offen gelegten Annahmen durch. Eigene Preise nennen wir hier nicht.
Tokens: die Einheit, in der KI abgerechnet wird
API-Anbieter rechnen nicht je Anfrage ab, sondern je Token. Ein Token ist ein Textstück von etwa drei bis vier Zeichen im Deutschen; eine DIN-A4-Seite Text entspricht grob 500 bis 800 Tokens. Abgerechnet werden Eingabe-Tokens (alles, was Sie dem Modell schicken: Anweisung, Dokument, gefundene Fundstellen) und Ausgabe-Tokens (was das Modell zurückgibt). Ausgabe ist bei allen großen Anbietern ein Mehrfaches teurer als Eingabe.
Daraus folgt der wichtigste Hebel: In den meisten Automatisierungen dominiert die Eingabe. Wer einem Modell ein zwanzigseitiges Dokument und ein Antwortschema gibt und ein kurzes JSON zurückbekommt, zahlt fast nur für die Eingabe. Wer Texte schreiben lässt, zahlt für die Ausgabe. Wie Sie den Kontext knapp und trotzdem vollständig halten, beschreibt Context Engineering für KI-Prozesse.
Zwei Rabattmechanismen sind verbreitet. Zwischengespeicherte Eingaben (Prompt Caching): Wiederholt sich der Anfang einer Anfrage, etwa eine lange Anweisung oder ein Regelwerk, wird dieser Teil günstiger. Anthropic und OpenAI berechnen dafür laut ihren Preislisten rund ein Zehntel des normalen Eingabepreises. Und Stapelverarbeitung (Batch): Wer nicht sofort eine Antwort braucht, bekommt bei Anthropic, OpenAI und Google die Hälfte des Preises. Für nächtliche Belegläufe ist das der Normalfall.
Token-Preise der API-Anbieter im Vergleich
Die Tabelle zeigt Listenpreise je Million Tokens in US-Dollar für die Standardverarbeitung, jeweils ein kleines, ein mittleres und, wo vorhanden, ein großes Modell je Anbieter. Preise ändern sich häufig; das Abrufdatum steht in der Tabelle, die Quellen unten. Für Ihre Rechnung zählen Wechselkurs, Umsatzsteuer und Ihr tatsächlicher Verbrauch, nicht die Liste.
| Anbieter | Modell | Eingabe | Ausgabe | Anmerkung |
|---|---|---|---|---|
| Anthropic | Claude Haiku 4.5 | 1,00 | 5,00 | kleines Modell |
| Anthropic | Claude Sonnet 5 | 2,00 | 10,00 | mittleres Modell |
| Anthropic | Claude Opus 5 | 5,00 | 25,00 | großes Modell |
| OpenAI | gpt-5.6-luna | 0,20 | 1,20 | kleines Modell, kurzer Kontext |
| OpenAI | gpt-5.6-terra | 2,00 | 12,00 | mittleres Modell, kurzer Kontext |
| OpenAI | gpt-5.6-sol | 5,00 | 30,00 | großes Modell, kurzer Kontext |
| Gemini 3.5 Flash-Lite | 0,30 | 2,50 | kleines Modell | |
| Gemini 3.7 Flash | 0,75 | 3,75 | Einführungspreis bis 31.12.2026, danach 1,50 / 7,50 | |
| Gemini 3.1 Pro (Preview) | 2,00 | 12,00 | bis 200.000 Tokens je Anfrage; darüber 4,00 / 18,00 | |
| Mistral | Mistral Small 4 | 0,15 | 0,60 | kleines Modell |
| Mistral | Mistral Medium 3.5 | 1,50 | 7,50 | mittleres Modell |
| Mistral | Mistral Large 3 | 0,50 | 1,50 | großes Modell, offene Gewichte unter Apache 2.0 |
Drei Beobachtungen. Erstens: Zwischen dem kleinsten und dem größten Modell eines Anbieters liegt bei der Eingabe der Faktor 5 bis 25. Zweitens: Die Ausgabe kostet ein Mehrfaches der Eingabe, in der Tabelle das Drei- bis gut Achtfache. Drittens: Der Preis sagt nichts darüber, ob das teure Modell für Ihre Aufgabe besser ist. Das zeigt nur die Messung am eigenen Testset, siehe KI-Evaluierung.
Was der Betrieb im eigenen Haus kostet
Beim Inhouse-Betrieb entfällt die Rechnung je Token. Dafür tragen Sie fünf Posten selbst. Absolute Zahlen hängen von Modellgröße, Auslastung und Ihrem Stromtarif ab; hier deshalb die Posten und ihre Treiber, keine Pauschalen.
Hardware
Der Grafikspeicher (VRAM) ist der Engpass: Er bestimmt, welche Modellgröße läuft. Ein Modell mittlerer Größe in 4-Bit-Quantisierung passt auf eine Grafikkarte der Oberklasse; für die größten offenen Modelle braucht es Rechenzentrums-Karten oder mehrere Karten. Die Spanne reicht von einer Workstation im mittleren vierstelligen Bereich bis zu Servern im fünf- oder sechsstelligen Bereich. Details in KI-Hardware für Unternehmen.
Strom
Eine Grafikkarte unter Last zieht mehrere hundert Watt, im Leerlauf deutlich weniger. Die Stromkosten hängen von Auslastung und Tarif ab und sind bei geringem Volumen der kleinste Posten.
Betrieb
Updates, Backups, Zugriffskontrolle, Monitoring, Ausfallvorsorge. Wer schon Server betreibt, hat die Abläufe; wer nicht, baut sie auf oder kauft sie ein.
Modellpflege
Neue Modellversionen prüfen, Testset durchlaufen lassen, Anweisungen anpassen. Dieser Posten wird am häufigsten vergessen und ist über drei Jahre oft größer als die Hardware.
Kapazitätsgrenze
Ein Server hat eine feste Zahl gleichzeitiger Anfragen. Spitzen kosten Wartezeit oder eine zweite Karte. Die Cloud skaliert, das eigene Haus nicht ohne Kauf.
Was Inhouse günstig macht
Hohe, gleichmäßige Auslastung; lange Kontexte, die in der Cloud teuer wären; vorhandene Hardware und vorhandenes Betriebsteam. Vor allem aber: Daten, die das Haus nicht verlassen dürfen. Dann ist der Preisvergleich zweitrangig, siehe Lokale KI im Unternehmen.
Modell-Routing: kleines Modell zuerst, großes bei Bedarf
Die meisten Anfragen in einem Prozess sind einfach: ein Dokument klassifizieren, ein Feld auslesen, eine Standardfrage beantworten. Ein kleines Modell erledigt das. Wenige Anfragen sind schwer: widersprüchliche Dokumente, seltene Fälle, mehrstufige Fragen. Modell-Routing schickt jede Anfrage zuerst zum kleinen Modell und nur dann zum großen, wenn eine Prüfung ergibt, dass die Antwort nicht trägt.
Die Forschung dazu ist belastbar. Chen et al. (2023) zeigen mit dem Ansatz FrugalGPT, dass eine Kaskade aus günstigen und teuren Modellen die Kosten je nach Aufgabe um bis zu 98 Prozent senkt. Die Qualität blieb dabei auf dem Niveau des besten Einzelmodells. Ong et al. (2024) berichten für gelernte Router (RouteLLM), dass die Kosten in einzelnen Testreihen um mehr als den Faktor zwei sinken, ohne dass die Antwortqualität leidet. Beides sind Benchmark-Ergebnisse; wie viel Ihr Fall spart, hängt vom Anteil der schweren Anfragen ab.
Routing braucht drei Dinge: eine Prüfung, die erkennt, wann das kleine Modell nicht reicht (Schema, Sicherheitswert, Prüfmodell), eine Datenklassen-Regel, damit vertrauliche Anfragen nie an ein externes Modell gehen, und ein Testset, das beide Wege misst. Ohne Prüfung ist Routing nur ein billigeres Modell mit mehr Fehlern. Die Leitplanken dazu stehen in Guardrails und Human-in-the-Loop, die Modellwahl in Kleine Sprachmodelle.
Ein Szenario, durchgerechnet mit offenen Annahmen
Das folgende Beispiel ist erfunden und dient nur der Größenordnung. Alle Annahmen stehen offen; setzen Sie Ihre eigenen ein. Szenario: Ein Betrieb verarbeitet 2.000 Eingangsbelege im Monat. Je Beleg gehen 4.000 Tokens Eingabe (Belegtext, Anweisung, Antwortschema) an das Modell, zurück kommen 400 Tokens Ausgabe. Das ergibt 8 Millionen Eingabe- und 0,8 Millionen Ausgabe-Tokens im Monat.
API, ein Modell: Mit dem kleinen OpenAI-Modell aus der Tabelle (0,20 / 1,20 USD) kostet der Monat 1,60 + 0,96 = rund 2,60 USD. Mit dem mittleren Anthropic-Modell (2,00 / 10,00 USD) sind es 16 + 8 = 24 USD. Mit dem großen OpenAI-Modell (5,00 / 30,00 USD) 40 + 24 = 64 USD. Stapelverarbeitung halbiert diese Beträge. Mit Routing (Annahme: 85 Prozent der Belege bleiben beim kleinen, 15 Prozent gehen zusätzlich zum mittleren Modell) liegt der Monat bei rund 2,60 + 3,60 = 6,20 USD.
Inhouse: Annahmen: eine Workstation mit einer Grafikkarte für 6.000 Euro, abgeschrieben über drei Jahre (rund 170 Euro je Monat); Grafikkarte unter Last 500 Watt, 6 Stunden Last an 22 Tagen (66 kWh), Stromtarif 0,25 Euro je kWh wie im Hardware-Beitrag (rund 17 Euro je Monat); dazu Betrieb und Modellpflege, angesetzt mit 4 Stunden je Monat zu Ihrem internen Stundensatz. Ohne Personal liegt das Szenario bei rund 190 Euro je Monat, mit Personal je nach Satz deutlich darüber.
Was das Beispiel zeigt: Bei 2.000 Belegen im Monat sind die reinen Token-Kosten in der Cloud klein gegenüber allem anderen: Einrichtung, Anbindung ans ERP, Testset, menschliche Prüfung. Der Inhouse-Betrieb rechnet sich in diesem Volumen nicht über den Preis, sondern über die Datenklasse: wenn Belege oder Verträge das Haus nicht verlassen dürfen. Er kippt zugunsten Inhouse bei hohem Volumen, langen Kontexten oder vorhandener Hardware. Was das Gesamtprojekt kostet, ordnet Prozessautomation Kosten ein.
Wo Betriebskosten unbemerkt wachsen
Schleifen. Ein KI-Agent, der mehrfach nachdenkt, sucht und prüft, ruft das Modell je Anfrage fünf- bis zwanzigmal auf. Die Anfrage kostet dann nicht einmal, sondern zehnmal. Harte Abbruchbedingungen gehören in jeden agentischen Aufbau. Langer Kontext. Wer statt Fundstellen ganze Akten mitschickt, zahlt für jede Seite bei jeder Anfrage. Beim Inhouse-Betrieb füllt der lange Kontext den Grafikspeicher (KV-Cache) und senkt die Zahl gleichzeitiger Anfragen. RAG ist auch ein Kostenwerkzeug.
Wiederholungen. Ausgabeprüfungen, die fehlschlagen und einen neuen Versuch auslösen, verdoppeln still die Kosten. Messen Sie die Wiederholungsquote. Evaluierungsläufe. Ein Testset mit 500 Fällen, das bei jeder Änderung läuft, ist selbst ein Verbraucher, ein nötiger. Modellwechsel des Anbieters. Ältere Modelle werden abgekündigt, das Nachfolgemodell kostet anders und antwortet anders; ohne Testset merken Sie beides erst an der Rechnung und an den Fehlern.
Kurz gesagt
KI im Betrieb ist Miete je Anfrage. In der Cloud steht der Preis auf der Liste, in Tokens, mit deutlichem Aufschlag für Ausgabe und Rabatt für Zwischenspeicher und Stapel. Im eigenen Haus zahlen Sie Hardware, Strom, Betrieb und Modellpflege, und der letzte Posten wiegt am schwersten. Routing schickt einfache Anfragen zum kleinen Modell und spart, sobald eine Prüfung sagt, wann das große nötig ist. Bei kleinen und mittleren Volumen entscheidet nicht der Token-Preis über Cloud oder Inhouse, sondern die Frage, welche Daten das Haus verlassen dürfen. Der Rahmen dazu steht in DSGVO-konforme KI und KI auf deutschen Servern.
Häufige Fragen zu KI-Kosten im Betrieb
Was kostet ein KI-Modell im Betrieb?
Was ist ein Token und wie viele Tokens hat eine Seite Text?
Lohnt sich ein eigener KI-Server gegenüber der API?
Was ist Modell-Routing?
Warum kostet die Ausgabe mehr als die Eingabe?
- Anthropic, Pricing (Claude Developer Platform), https://platform.claude.com/docs/en/about-claude/pricing, abgerufen 18.08.2026
- OpenAI, API Pricing, https://developers.openai.com/api/docs/pricing, abgerufen 18.08.2026
- Google, Gemini Developer API Pricing, https://ai.google.dev/gemini-api/docs/pricing, abgerufen 18.08.2026
- Mistral AI, API Pricing (Preistabelle Mistral Small 4, Medium 3.5, Large 3), https://mistral.ai/pricing/api, abgerufen 18.08.2026
- Chen, L., Zaharia, M., Zou, J., FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance, arXiv:2305.05176, 2023, https://arxiv.org/abs/2305.05176
- Ong, I. et al., RouteLLM: Learning to Route LLMs with Preference Data, arXiv:2406.18665, 2024, https://arxiv.org/abs/2406.18665
- Dettmers, T. et al., QLoRA: Efficient Finetuning of Quantized LLMs (4-Bit-Quantisierung), arXiv:2305.14314, 2023, https://arxiv.org/abs/2305.14314
- Liu, N. F. et al., Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172, 2023, https://arxiv.org/abs/2307.03172
Welcher Ihrer Prozesse hat den größten Hebel?
In 30 Minuten analysieren wir Ihre Abläufe und sagen Ihnen ehrlich, was Automatisierung bei Ihnen bringt, und was nicht.
Antwort innerhalb eines Werktags · unverbindlich
Weiterlesen in KI in der Praxis
- KI-Halluzinationen vermeiden: Ursachen und SchutzWarum KI-Modelle Fakten erfinden und wie Unternehmen das Risiko senken: Grounding und RAG, Selbstkontrolle, Qualitätstests, Mensch in der Schleife.
- KI-Agenten für den Mittelstand: Use-Cases & Einstieg 2026KI-Agenten im Mittelstand: konkrete Use-Cases nach Abteilung, wo Agenten heute realistisch sind und ein praxisnaher Einstiegs-Fahrplan für 2026.
- KI-gestützte Prozessautomation: Use-Cases, Blueprint & DSGVOKI-gestützte Prozessautomation: sechs Praxis-Use-Cases, Architektur-Blueprint und DSGVO-konformer Betrieb. Leitfaden für den Mittelstand.
- KI auf deutschen Servern: On-Premise und Private CloudKI auf deutschen Servern: Daten bleiben in Deutschland. On-Premise & Private-Cloud KI für den Mittelstand, DSGVO-konform. Jetzt beraten lassen.