KI in der PraxisAktualisiert 25. Oktober 2026 · 9 min Lesezeit

KI-Hardware: was Inhouse-KI wirklich braucht — von der Workstation bis zum Mietserver

Wer KI im eigenen Haus betreiben will, stößt schnell auf eine Frage, die kein Prospekt ehrlich beantwortet: Welche Hardware braucht das eigentlich? Die Antwort hängt weniger von der Rechenleistung ab als von einer einzigen Zahl — dem Grafikspeicher. Dieser Beitrag ordnet herstellerneutral ein, welche Geräteklassen es gibt, welche Modellgrößen darauf laufen, was Strom und Betrieb kosten und wann ein gemieteter Server bei einem europäischen Anbieter die klügere Wahl ist. Für Entscheider, die ihre Prozessautomation mit eigener KI ausstatten wollen, ohne Lehrgeld zu zahlen.

Speicher zuerst: warum VRAM die Modellgröße bestimmt

Ein Sprachmodell muss zur Laufzeit vollständig im schnellen Speicher liegen. Bei Grafikkarten ist das der Grafikspeicher (Video RAM, VRAM), bei Apple-Rechnern und einigen neuen PC-Chips der gemeinsame Arbeitsspeicher (Unified Memory). Passt das Modell nicht hinein, läuft es entweder gar nicht oder quälend langsam über den normalen Arbeitsspeicher.

Wie viel Speicher ein Modell braucht, hängt von seiner Größe in Parametern und von der Quantisierung ab — der Technik, die Modelle auf einen Bruchteil ihres Speichers verkleinert. In gängiger 4-Bit-Quantisierung belegt ein Modell grob die Hälfte seiner Parameterzahl in Gigabyte: Nachgerechnet an den Standardpaketen der Ollama-Modellbibliothek (Qwen2.5 in 4-Bit-Quantisierung, abgerufen am 18.08.2026) belegt ein Modell mit 7 Milliarden Parametern rund 4,7 GB, mit 14 Milliarden rund 9,0 GB, mit 32 Milliarden rund 19,9 GB und mit 72 Milliarden rund 47,4 GB. Dazu kommt Speicher für den Kontext, also den Text, den das Modell gerade verarbeitet.

Daraus folgt eine einfache Faustregel für die Praxis: Nutzbarer Speicher in Gigabyte sollte etwa das Doppelte der Modellgröße in Milliarden betragen, wenn Sie Reserve für Kontext und parallele Anfragen wollen. Was Quantisierung, Kontextfenster und KV-Cache genau bedeuten, erklärt das KI-Glossar 2026. Welche Modelle in welche Klasse fallen, zeigt der Beitrag zu kleinen Sprachmodellen.

VRAM-Klassen und Modellgrößen im Überblick

Die Tabelle ordnet gängige Speicherklassen den Modellgrößen zu, die darauf in 4-Bit-Quantisierung mit Reserve laufen. Sie ist eine Orientierung, kein Kaufberater: Ein Modell, das „gerade so“ passt, lässt keinen Platz für lange Dokumente oder mehrere gleichzeitige Nutzer.

Stand 18.08.2026, Quelle: Herstellerangaben zur Speicherausstattung (NVIDIA, Apple), Modellgrößen nachgerechnet an den Standardpaketen der Ollama-Modellbibliothek (4 Bit), abgerufen am 18.08.2026; siehe Quellenblock
Speicherklasse	Typische Geräte (Beispiele)	Modellgröße mit Reserve (4-Bit)	Typischer Einsatz
16 GB	Consumer-GPU der Mittelklasse; Notebook-GPU	bis ca. 8 Mrd. Parameter	Klassifikation, Extraktion, kleine Assistenten für eine Person
24 bis 32 GB	GeForce RTX 4090 (24 GB), RTX 5090 (32 GB)	bis ca. 14 Mrd. bequem, 32 Mrd. knapp	Abteilungs-Assistent, RAG über eigene Dokumente, Testbetrieb
48 bis 96 GB	Profi-Workstation-GPUs, z. B. RTX PRO 6000 Blackwell (96 GB); Apple M4 Max mit bis zu 128 GB gemeinsamem Speicher	32 bis 70 Mrd. Parameter	Mehrere Nutzer, größere Modelle, produktiver Betrieb
80 bis 141 GB je Karte	Rechenzentrums-GPUs H100 (80 GB), H200 (141 GB)	70 Mrd. und größer, im Verbund mehrere hundert	Viele gleichzeitige Nutzer, große Modelle, hohe Last
bis 512 GB gemeinsamer Speicher	Mac Studio mit M3 Ultra	sehr große Modelle, dafür langsamer als GPU-Verbund	Einzelplatz-Entwicklung, ruhige Lasten, wenig Strom

Zwei Dinge fallen auf. Erstens: Die Klasse „24 bis 32 GB“ deckt schon einen großen Teil der Prozessaufgaben ab, weil dort die 7- bis 14-Milliarden-Modelle laufen. Zweitens: Der Sprung in die 80-GB-Klasse ist kein Schritt, sondern eine Stufe — im Preis, im Stromverbrauch und in der Frage, ob Sie so ein Gerät im Büro betreiben können oder ein Rechenzentrum brauchen. Dazu mehr unter KI-Server in Deutschland.

Vier Wege, KI ins Haus zu holen

Workstation mit einer GPU

Ein leistungsfähiger PC mit einer Grafikkarte der 24- bis 32-GB-Klasse. Steht unter dem Schreibtisch oder im Serverraum, läuft mit normalem Strom. Für Pilotbetrieb, kleine Teams und alles bis etwa 14 Milliarden Parametern der pragmatische Einstieg. Grenze: eine Karte, wenige gleichzeitige Nutzer, keine Ausfallsicherheit.

Apple-Silicon-Rechner

MacBook Pro oder Mac Studio mit viel gemeinsamem Speicher. Vorteil: sehr viel Speicher für vergleichsweise wenig Strom, leise, sofort einsatzbereit. Nachteil: Bei hoher Last und vielen Nutzern langsamer als eine dedizierte GPU, und die Server-Werkzeuge sind auf Linux ausgerichtet. In Projekten hat sich ein solches Notebook zum Bauen und Vorführen bewährt; produktive Systeme laufen dann meist auf einem abgesetzten Rechner, an dem die Arbeitsplätze nur den Browser öffnen.

GPU-Server

Ein Server mit einer oder mehreren Profi-GPUs, im eigenen Rack oder bei einem Rechenzentrum in Deutschland. Für produktiven Betrieb mit vielen Nutzern, größeren Modellen und Ausfallsicherheit. Braucht Kühlung, Strom und jemanden, der ihn betreibt — intern oder als Dienstleistung.

Mietserver bei einem EU-Hoster

Dedizierte GPU-Server zur Monatsmiete bei europäischen Anbietern, etwa in Deutschland oder Finnland. Kein Kauf, keine Wartung, kündbar. Die Daten bleiben in der EU, aber nicht in Ihrem Haus — was für die mittlere Datenklasse oft ausreicht, für die höchste nicht. Wie diese Klassen zu bilden sind, beschreibt Lokale KI im Unternehmen.

Eine fünfte Klasse ist neu: kompakte Rechner mit gemeinsamem Speicher auf PC-Seite, etwa AMDs Ryzen AI Max mit bis zu 128 GB (AMD, 2025) oder NVIDIAs DGX Spark mit 128 GB (NVIDIA, 2025). Sie schließen die Lücke zwischen Workstation und Server, sind aber jung — vor dem Kauf im eigenen Anwendungsfall testen.

Strom und Betrieb: die Rechnung nach dem Kauf

Grafikkarten sind Stromfresser. Eine GeForce RTX 5090 ist mit einer Leistungsaufnahme von bis zu 575 Watt spezifiziert (NVIDIA, 2025), eine H100 im Servereinbau mit bis zu 700 Watt (NVIDIA, 2023). Dazu kommen Prozessor, Speicher, Netzteil und Kühlung. Ein Gerät, das nur antwortet, wenn jemand fragt, zieht deutlich weniger als eines unter Dauerlast — aber es ist eingeschaltet, und der Leerlauf ist nicht null.

Eine Beispielrechnung macht die Größenordnung greifbar. Angenommen, ein Server läuft rund um die Uhr und nimmt im Mittel 600 Watt auf. Das sind gut 5.250 Kilowattstunden im Jahr. Bei einem angenommenen Gewerbestrompreis von 25 Cent je Kilowattstunde entstehen daraus rund 1.300 Euro Stromkosten jährlich. Der Preis ist eine Annahme zur Veranschaulichung; zur Einordnung nennt die BDEW-Strompreisanalyse vom April 2026 für Neuabschlüsse kleiner und mittlerer Industriebetriebe im Mittel 16,7 Cent je Kilowattstunde, kleinere Gewerbeanschlüsse liegen darüber. Setzen Sie Ihren eigenen Tarif ein. Bei Dauerlast mit mehreren Karten vervielfacht sich die Zahl, und dann braucht auch der Raum eine Kühlung, die wiederum Strom kostet.

Zum Betrieb gehört mehr als Strom: Updates der Modelle und der Software, Sicherung, Zugriffsschutz, Überwachung, Ersatz bei Ausfall. In Projekten war das die eigentliche Arbeit nach dem ersten Erfolg — nicht die Beschaffung. Ein Rechner, um den sich niemand kümmert, ist nach einem Jahr ein Sicherheitsrisiko. Wer das nicht selbst leisten will, plant es als Dienstleistung ein. Die Gesamtrechnung über mehrere Jahre führt der Beitrag zu Kosten und Betrieb von KI-Modellen aus.

Kosten als Spannen — und die Frage Kauf oder Miete

Genaue Preise nennen wir hier bewusst nicht; sie ändern sich monatlich, und ein Angebot hängt von Ihrer Konfiguration ab. Als Orientierung genügen Größenordnungen. Für eine einzelne Grafikkarte der 32-GB-Klasse (GeForce RTX 5090) gilt seit dem Marktstart Anfang 2025 eine unverbindliche Preisempfehlung von 2.099 Euro — im Handel wird sie derzeit deutlich darüber gehandelt: Ende Juli 2026 lagen die günstigsten Angebote bei mindestens 4.250 Euro, der Median neuer Angebote über 5.000 Euro (ComputerBase, 31.07.2026; UVP auch bei Hardwareluxx, 12.01.2026). Speicher ist knapp und die Preise bewegen sich derzeit stark; holen Sie ein tagesaktuelles Angebot ein, statt mit der Preisempfehlung zu rechnen. Eine Workstation um eine solche Karte herum landet entsprechend im oberen vierstelligen Bereich. Profi-Karten mit 48 bis 96 GB und die Rechner dazu bewegen sich im fünfstelligen Bereich, ein Server mit mehreren Rechenzentrums-GPUs erreicht sechsstellige Summen. Das sind Größenordnungen, keine Angebotspreise.

Miete rechnet sich anders: Statt einmalig zu investieren, zahlen Sie monatlich, meist im niedrigen bis mittleren dreistelligen Bereich für eine einzelne Profi-GPU bei europäischen Anbietern, deutlich mehr für Rechenzentrums-Karten. Der Vergleich ist einfach: Rechnen Sie die Monatsmiete auf zwei bis drei Jahre hoch und stellen Sie sie Kaufpreis plus Strom plus Betrieb gegenüber. Bei Dauerlast gewinnt meist der Kauf, bei schwankender oder unsicherer Auslastung die Miete.

Miete oder ein EU-Hoster ist besonders dann die bessere Wahl, wenn Sie noch nicht wissen, welche Modellgröße Sie brauchen, wenn niemand im Haus Server betreiben will, wenn die Last stark schwankt oder wenn Sie ein großes Modell nur für einzelne Aufgaben brauchen. Kauf und eigener Betrieb sind dann richtig, wenn die Datenklasse es verlangt — Daten der höchsten Schutzstufe verlassen das Haus nicht, auch nicht in ein deutsches Rechenzentrum — oder wenn die Auslastung hoch und planbar ist. Wie Sie das Investment in eine Gesamtbetrachtung einordnen, zeigt Prozessautomation-Kosten.

So gehen Sie die Beschaffung an

Beginnen Sie nicht mit der Hardware, sondern mit drei Fragen. Erstens: Welche Datenklassen verarbeiten Sie, und welche davon darf das Haus verlassen? Zweitens: Welche Modellgröße löst Ihre Aufgaben nachweislich — getestet an echten Fällen, nicht geschätzt? Drittens: Wie viele Menschen nutzen das System gleichzeitig, und wie schnell muss es antworten? Erst die Antworten ergeben die Speicherklasse, und die Speicherklasse ergibt das Gerät.

In der Praxis bewährt sich ein zweistufiger Weg: Bauen und testen auf einem vorhandenen oder gemieteten Gerät, produktiv gehen auf der Hardware, die der Test ergeben hat. So kaufen Sie nicht die Karte, die im Prospekt am besten aussieht, sondern die, die Ihre Aufgabe trägt. Wenn ein größeres Modell nachweislich bessere Ergebnisse liefert, ist der Aufpreis begründet; wenn nicht, haben Sie ihn gespart. Wie diese Ergebnisse gemessen werden, beschreibt KI-Evaluierung; was rechtlich beim Standort zu beachten ist, DSGVO und KI.

Kurz gesagt: Für Inhouse-KI entscheidet der Speicher, nicht die Rechenleistung. Die 24- bis 32-GB-Klasse trägt bereits viele Prozessaufgaben mit 7- bis 14-Milliarden-Modellen; ab 48 GB beginnt der produktive Mehrnutzerbetrieb, ab 80 GB je Karte das Rechenzentrum. Strom und Betrieb sind laufende Kosten, die nach dem Kauf beginnen. Miete bei einem EU-Hoster gewinnt bei unsicherer Auslastung und fehlendem Betriebsteam, Kauf gewinnt bei hoher Last und Daten, die das Haus nicht verlassen dürfen.

Häufige Fragen zu KI-Hardware

Welche Grafikkarte brauche ich für lokale KI?

Entscheidend ist der Grafikspeicher. Für Modelle bis rund 8 Milliarden Parameter reichen 16 GB, für 14-Milliarden-Modelle mit Reserve 24 bis 32 GB, für 32- bis 70-Milliarden-Modelle 48 bis 96 GB. Rechenleistung bestimmt danach nur die Geschwindigkeit. Testen Sie die Modellgröße an echten Aufgaben, bevor Sie kaufen.

Reicht ein Mac mit viel Arbeitsspeicher?

Für Entwicklung, Vorführung und ruhige Lasten ja. Apple-Rechner mit gemeinsamem Speicher bieten viel Platz für große Modelle bei geringem Stromverbrauch. Bei vielen gleichzeitigen Nutzern und hoher Last sind dedizierte GPUs schneller, und die Server-Werkzeuge sind auf Linux ausgerichtet. Produktive Systeme laufen daher meist auf einem abgesetzten Rechner.

Was kostet der Strom für einen KI-Server?

Eine Grafikkarte der Oberklasse ist mit bis zu 575 Watt spezifiziert, eine Rechenzentrums-GPU mit bis zu 700 Watt. Ein Server mit im Mittel 600 Watt rund um die Uhr verbraucht gut 5.250 Kilowattstunden im Jahr; bei angenommenen 25 Cent je Kilowattstunde sind das rund 1.300 Euro. Die 25 Cent sind eine Annahme — die BDEW-Strompreisanalyse vom April 2026 nennt für kleine und mittlere Industriebetriebe im Mittel 16,7 Cent. Setzen Sie Ihren eigenen Tarif ein und rechnen Sie Kühlung dazu.

Wann ist ein Mietserver bei einem EU-Hoster besser als Kauf?

Wenn Sie die benötigte Modellgröße noch nicht kennen, die Auslastung schwankt, niemand im Haus Server betreiben will oder ein großes Modell nur für einzelne Aufgaben gebraucht wird. Kauf und eigener Betrieb sind richtig bei hoher, planbarer Last und bei Daten, die das Haus nicht verlassen dürfen — auch nicht in ein deutsches Rechenzentrum.

Wie viel Speicher braucht ein Modell mit 70 Milliarden Parametern?

In 4-Bit-Quantisierung nach den Standardpaketen der Ollama-Modellbibliothek rund 40 bis 47 GB (72-Milliarden-Modell: 47,4 GB, abgerufen am 18.08.2026), plus Speicher für den Kontext. Praktisch heißt das eine Profi-GPU mit 80 GB, zwei Karten im Verbund oder ein Rechner mit mindestens 64 GB gemeinsamem Speicher, besser mehr. Für die meisten Prozessaufgaben reichen jedoch deutlich kleinere Modelle.

Ollama, Modellbibliothek, Paketgrößen der Standard-Tags (qwen2.5 7b/14b/32b/72b, 4-Bit-Quantisierung), abgerufen am 18.08.2026, https://ollama.com/library/qwen2.5
Ollama, README „memory requirements“, 2025, https://github.com/ollama/ollama
NVIDIA, GeForce RTX 5090 Produktseite (32 GB GDDR7, 575 W Gesamtleistung), abgerufen am 18.08.2026, https://www.nvidia.com/de-de/geforce/graphics-cards/50-series/rtx-5090/
ComputerBase, „Grafikkarten-Preise: Die GeForce RTX 5090 kostet jetzt mindestens 4.250 Euro“ (UVP 2.099 Euro, Median über 5.000 Euro), 31.07.2026, https://www.computerbase.de/news/grafikkarten/grafikkarten-preise-die-geforce-rtx-5090-kostet-jetzt-mindestens-4-250-euro.98665/
Hardwareluxx, „Grafikkarten-Preise: Vor allem bei der GeForce RTX 5090 steigen die Preise“ (UVP 2.099 Euro), 12.01.2026, https://www.hardwareluxx.de/index.php/news/hardware/grafikkarten/67925-grafikkarten-preise-vor-allem-bei-der-geforce-rtx-5090-steigen-die-preise.html
NVIDIA, GeForce RTX 4090 Produktseite (24 GB), 2022, https://www.nvidia.com/de-de/geforce/graphics-cards/40-series/rtx-4090/
NVIDIA, RTX PRO 6000 Blackwell (96 GB), 2025, https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/
NVIDIA, H100 Tensor Core GPU Datenblatt (80 GB, bis 700 W SXM), 2023, und H200 (141 GB), 2024, https://www.nvidia.com/en-us/data-center/h100/
Apple, MacBook Pro mit M4 Max (bis 128 GB gemeinsamer Speicher), 2024, und Mac Studio mit M3 Ultra (bis 512 GB), 2025, https://www.apple.com/de/mac-studio/specs/
AMD, Ryzen AI Max (bis 128 GB gemeinsamer Speicher), 2025, https://www.amd.com/en/products/processors/laptop/ryzen/ai-max.html
NVIDIA, DGX Spark (128 GB), 2025, https://www.nvidia.com/en-us/products/workstations/dgx-spark/
Hetzner, Dedicated GPU Server (GEX-Reihe, Standorte Deutschland und Finnland), 2025, https://www.hetzner.com/dedicated-rootserver/matrix-gpu/
BDEW, Strompreisanalyse (Stand April 2026): 16,7 ct/kWh im Mittel bei Neuabschlüssen kleiner und mittlerer Industriebetriebe, abgerufen am 18.08.2026, https://www.bdew.de/service/daten-und-grafiken/bdew-strompreisanalyse/

Kostenloses Prozess-Audit

Welcher Ihrer Prozesse hat den größten Hebel?

In 30 Minuten analysieren wir Ihre Abläufe und sagen Ihnen ehrlich, was Automatisierung bei Ihnen bringt, und was nicht.

Prozess-Audit anfragen

Antwort innerhalb eines Werktags · unverbindlich