Lokale KI im Unternehmen: Betriebsmodelle, Datenschutz, Architektur und Kosten
Immer mehr Unternehmen wollen KI nutzen, ohne Verträge, Personalakten oder Konstruktionsdaten an einen Dienst außerhalb des Hauses zu schicken. „Lokale KI" ist die Antwort darauf — aber der Begriff deckt sehr verschiedene Betriebsmodelle ab, vom Server im eigenen Keller bis zur dedizierten Instanz bei einem europäischen Hoster. Dieser Leitfaden ordnet die Modelle, die Datenschutzfragen, die typische Architektur und die Kostenblöcke — und gibt eine Entscheidungshilfe, wann lokal und wann eine API die bessere Grundlage für Ihre Prozessautomation ist.
Vier Betriebsmodelle — und was „lokal" jeweils bedeutet
In der Diskussion werden vier Modelle oft in einen Topf geworfen. Sie unterscheiden sich darin, wo das Modell läuft, wer die Hardware kontrolliert und wie Sie bezahlen. Die Tabelle stellt sie nebeneinander.
| Modell | Wo läuft die KI | Wer kontrolliert die Daten | Kostenlogik | Typisch für |
|---|---|---|---|---|
| Lokal (On-Premise) | Server oder Workstation im eigenen Haus | Sie allein; kein Dritter im Datenfluss | Hardware und Betrieb, keine Kosten je Anfrage | Berufsgeheimnisträger, Fertigung mit Konstruktionsdaten, sehr hohe Volumina |
| Private Cloud (dediziert) | Gemietete, exklusive Maschine bei einem Hoster in der EU | Sie, mit Auftragsverarbeitungsvertrag; Hoster hat physischen Zugriff | Monatsmiete je Maschine, unabhängig von der Nutzung | Firmen ohne eigene Serverräume, wechselnde Last |
| EU-Hoster mit KI-API | Geteilte Plattform eines europäischen Anbieters | Anbieter als Auftragsverarbeiter nach DSGVO | Abrechnung je verarbeiteter Textmenge | Schneller Start mit europäischer Rechtsgrundlage |
| Internationale API | Rechenzentren des Modellanbieters, oft außerhalb der EU | Anbieter; Drittlandübermittlung zu prüfen | Abrechnung je verarbeiteter Textmenge, stärkste Modelle | Unkritische Daten, Prototypen, seltene Sonderaufgaben |
Die ersten beiden Zeilen sind das, was im engeren Sinn „lokale KI" heißt: Das Modell läuft auf einer Maschine, die nur für Sie arbeitet. Die dritte Zeile ist ein Zwischenweg, die vierte der Normalfall der öffentlichen Chatdienste. Die Details zu Hardware, Standort und Betrieb der ersten beiden Modelle vertieft unser Beitrag KI auf deutschen Servern: On-Premise und Private Cloud.
Was lokal gewinnt — und was es kostet
Kontrolle über den Datenfluss
Kein Dokument, keine Eingabe verlässt die eigene Umgebung. Für Daten unter Berufsgeheimnis, für Personaldaten und für Betriebsgeheimnisse ist das oft der einzige Weg, der ohne Sonderprüfung durchgeht.
Planbare Kosten
Ein lokales Modell kostet Anschaffung und Betrieb, aber nichts je Anfrage. Wer hohe Volumina automatisiert — Klassifikation, Extraktion, Zusammenfassung im Dauerbetrieb —, tauscht variable Kosten gegen fixe. Bei kleinen Volumina kehrt sich die Rechnung um.
Unabhängigkeit
Preisänderungen, Modellabschaltungen und geänderte Nutzungsbedingungen eines Anbieters treffen Sie nicht. Ein einmal eingerichtetes Modell läuft, solange die Hardware läuft.
Die Gegenseite: Verantwortung
Betrieb, Updates, Sicherung, Zugriffsschutz und Qualitätsmessung liegen bei Ihnen oder Ihrem Dienstleister. Die stärksten Modelle sind meist zuerst als API verfügbar; lokal arbeiten Sie mit offen verfügbaren Modellen, die für die meisten Büroaufgaben ausreichen, bei sehr anspruchsvollen Aufgaben aber gemessen werden müssen.
DSGVO, Auftragsverarbeitung und Berufsgeheimnis
Lokal heißt nicht automatisch rechtskonform — es heißt, dass Sie die Fragen selbst beantworten können. Drei Punkte sind entscheidend. Erstens die Auftragsverarbeitung. Sobald ein Dritter — Hoster, API-Anbieter, Dienstleister — personenbezogene Daten in Ihrem Auftrag verarbeitet, braucht es einen Vertrag nach Art. 28 DSGVO. Beim Betrieb im eigenen Haus entfällt dieser Vertrag mit dem Modellanbieter, weil kein Anbieter Daten sieht; beim Dienstleister, der die Anlage einrichtet und wartet, bleibt er nötig.
Zweitens der Datenabfluss in Drittländer. Übermittlungen außerhalb der EU sind nach Art. 44 ff. DSGVO nur mit einer Rechtsgrundlage zulässig. Für die USA existiert seit Juli 2023 ein Angemessenheitsbeschluss der EU-Kommission (EU-US Data Privacy Framework), der gerichtlich angegriffen wurde; parallel erlaubt der US CLOUD Act von 2018 US-Behörden den Zugriff auf Daten US-amerikanischer Anbieter auch auf Servern in Europa. Wer diese Abhängigkeit nicht bewerten und dokumentieren will, wählt ein Modell, bei dem die Frage gar nicht entsteht. Die rechtliche Einordnung insgesamt behandelt DSGVO-konforme KI 2026.
Drittens das Berufsgeheimnis. Für Notare, Anwälte, Steuerberater und Ärzte gilt § 203 StGB: Wer Dritte an der Verarbeitung von Geheimnissen mitwirken lässt, muss sie zur Verschwiegenheit verpflichten, und für manche Daten kommt eine Weitergabe an einen Cloud-Dienst praktisch nicht in Frage. In Projekten mit einem Berufsgeheimnisträger hat sich bewährt, vor der Technik die Daten in Klassen einzuteilen: Geheimnisse bleiben ausschließlich lokal, interne Daten dürfen in eine dedizierte EU-Umgebung, unkritische Daten auch an eine API — und ein technischer Filter setzt diese Regel durch, statt sie dem Einzelnen zu überlassen. Die abschließende berufsrechtliche Bewertung gehört dabei zur Kammer oder zum Justiziar, nicht zum Dienstleister.
Und ein vierter Punkt, der oft vergessen wird: Auch lokal gelten Art. 32 DSGVO und die üblichen Pflichten — Zugriffsrechte, Protokollierung, Löschkonzept, Verzeichnis der Verarbeitungstätigkeiten. Eine lokale KI ohne Rollen und Protokoll ist kein Datenschutzgewinn, sondern nur ein anderer Ort für dasselbe Risiko. Wie ungeregelte Nutzung entsteht und was dagegen hilft, beschreibt Schatten-KI und Governance.
Die typische Architektur: Modell, Wissensanbindung, Freigaben
Eine lokale KI ist selten „nur ein Modell". In Projekten hat sich ein Aufbau aus vier Schichten bewährt, den auch unser Beitrag zur Wissens-KI im Unternehmen zugrunde legt.
Die Modellschicht. Ein oder mehrere offen verfügbare Sprachmodelle laufen auf einem Modellserver — verbreitet sind Laufzeitumgebungen wie Ollama für Einzelmaschinen und vLLM für höheren Durchsatz. Meist arbeiten ein größeres Modell für Antworten und ein kleineres für Vorprüfungen, Klassifikation und Einbettungen zusammen. Welche Modellfamilien für deutsche Prozesse in Frage kommen, zeigt unser Vergleich der Open-Weights-Modelle; wie man ein Modell auf eine Aufgabe zuschneidet, erklären Fine-Tuning und LoRA und QLoRA.
Die Wissensschicht. Ihre Dokumente werden aufbereitet, in Abschnitte zerlegt, durchsuchbar gemacht und dem Modell zur jeweiligen Frage vorgelegt — das ist RAG. Bewährt hat sich eine Kombination aus Bedeutungssuche und Stichwortsuche sowie eine Selbstkontrolle, die gefundene Stellen prüft, bevor geantwortet wird. Gescannte Unterlagen brauchen zusätzlich Texterkennung; ein Ordner- oder DMS-Anschluss hält die Wissensbasis aktuell.
Die Freigabeschicht. Rollen und Zugriffsrechte bis auf Dokumentebene, ein Filter, der Datenklassen erkennt und den Weg an externe Dienste sperrt, ein manipulationserkennbares Protokoll und — an Stellen mit rechtlicher oder finanzieller Wirkung — ein Mensch, der freigibt. Diese Schicht entscheidet, ob eine lokale KI ein Werkzeug für das Tagesgeschäft ist oder ein Risiko. Warum das nötig ist, zeigt KI-Halluzinationen vermeiden.
Die Anbindungsschicht. Oberfläche für Ihr Team, Schnittstellen zu Fachanwendungen, Automatisierungen, die das Modell als Baustein nutzen. Der produktive Rechner steht dabei meist abgesetzt; die Arbeitsplätze öffnen nur einen Browser.
Die Kostenblöcke — und wo die Rechnung kippt
Lokale KI hat fünf Kostenblöcke. Hardware: vom gut ausgestatteten Arbeitsplatzrechner mit einer Grafikkarte, der Modelle bis in die Klasse von 14 Milliarden Parametern trägt, bis zum Server mit mehreren Beschleunigern für 70-Milliarden-Modelle und viele gleichzeitige Nutzer. Aufbau: Datenaufbereitung, Anbindung, Rollen, Tests — in der Praxis der größte Einmalblock, größer als die Hardware. Betrieb: Strom, Updates, Sicherung, Überwachung, entweder intern oder als Wartungsvertrag. Qualitätsmessung: ein Testsatz echter Fragen, der bei jeder Änderung durchläuft. Modelle: bei offen verfügbaren Modellen meist ohne Lizenzgebühr, aber mit Lizenzbedingungen, die zu prüfen sind.
Auf der API-Seite steht ein einziger, dafür variabler Block: die Abrechnung je verarbeiteter Textmenge, die linear mit dem Volumen wächst. Daraus folgt die einfache Logik: Bei kleinen, unregelmäßigen Volumina ist die API günstiger; bei hohem Dauervolumen oder wenn der Datenschutz eine API ohnehin ausschließt, gewinnt der lokale Betrieb. Den Rahmen für die Gesamtrechnung eines Automatisierungsprojekts finden Sie in Prozessautomation Kosten. Konkrete Beträge nennen wir bewusst nicht pauschal — sie hängen an Volumen, Modellgröße, Verfügbarkeitsanforderung und davon, was Ihre IT selbst übernimmt.
Lokal oder API? Sechs Fragen, die die Entscheidung tragen
1. Welche Daten fließen wirklich? Berufsgeheimnisse, Personaldaten, Betriebsgeheimnisse: lokal oder dedizierte EU-Umgebung. Öffentliche Produkttexte, anonymisierte Daten: API möglich. Klassifizieren Sie zuerst, entscheiden Sie dann.
2. Wie hoch ist das Volumen? Dauerbetrieb mit vielen tausend Anfragen am Tag spricht für lokal; ein paar Dutzend Anfragen am Tag sprechen für die API.
3. Wie anspruchsvoll ist die Aufgabe? Zusammenfassen, Klassifizieren, Extrahieren, Antworten aus eigenen Dokumenten: offen verfügbare Modelle reichen. Sehr komplexe Schlussfolgerungen: messen, ob ein lokales Modell trägt, oder Aufgabe teilen — kritische Daten lokal, unkritische Anteile per API.
4. Wer betreibt? Ohne eigene IT oder Dienstleister mit Wartungsvertrag ist die dedizierte Private Cloud der pragmatische Mittelweg.
5. Wie schnell soll es gehen? Prototyp und Machbarkeitsprüfung: oft zuerst mit unkritischen Daten und flexiblem Modell, dann in die Zielumgebung überführen. Wichtig ist, von Anfang an so zu bauen, dass der Umzug möglich bleibt.
6. Was passiert, wenn der Anbieter morgen die Bedingungen ändert? Wenn die Antwort „dann steht der Prozess" lautet, ist das ein Argument für eigene Kontrolle. Wie sich lokale KI in die Entwicklung der Automatisierung einreiht, ordnet Automatisierungs-Generationen 2026 ein.
Kurz gesagt
Lokale KI heißt: Modell und Daten in Ihrer Kontrollsphäre, entweder im eigenen Haus oder als dedizierte EU-Umgebung. Sie gewinnt Kontrolle, planbare Kosten und Unabhängigkeit und kostet Verantwortung für Betrieb und Qualität. Die Entscheidung fällt nicht an der Technik, sondern an drei Fragen: Welche Daten fließen, wie hoch ist das Volumen, wer betreibt. Wer mit einer Datenklassifizierung beginnt, eine Architektur aus Modell, Wissensanbindung und Freigaben baut und die Qualität mit einem festen Testsatz misst, bekommt eine KI, die im Tagesgeschäft trägt — ohne dass ein einziges Dokument das Haus verlässt.
Häufige Fragen zu lokaler KI im Unternehmen
Was bedeutet lokale KI im Unternehmen?
Ist lokale KI automatisch DSGVO-konform?
Welche Hardware braucht lokale KI?
Wann ist eine API günstiger als lokale KI?
Wie sieht eine typische Architektur für lokale KI aus?
- Verordnung (EU) 2016/679 (DSGVO), Art. 28 (Auftragsverarbeiter), Art. 32 (Sicherheit der Verarbeitung), Art. 44 ff. (Übermittlungen an Drittländer), 2016, https://eur-lex.europa.eu/eli/reg/2016/679/oj
- Europäische Kommission, Durchführungsbeschluss (EU) 2023/1795 zum EU-US Data Privacy Framework, 10. Juli 2023, https://eur-lex.europa.eu/eli/dec_impl/2023/1795/oj
- Clarifying Lawful Overseas Use of Data Act (CLOUD Act), US-Kongress, 2018, https://www.congress.gov/bill/115th-congress/house-bill/4943
- Strafgesetzbuch § 203 (Verletzung von Privatgeheimnissen), Fassung seit 2017, https://www.gesetze-im-internet.de/stgb/__203.html
- Bundesamt für Sicherheit in der Informationstechnik (BSI), „Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden", 2024, https://www.bsi.bund.de/
- Ollama-Dokumentation, 2025, https://github.com/ollama/ollama/tree/main/docs
- vLLM-Dokumentation, 2025, https://docs.vllm.ai/
- Lewis et al., „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", 2020, arXiv:2005.11401
- Dettmers, Pagnoni, Holtzman, Zettlemoyer, „QLoRA: Efficient Finetuning of Quantized LLMs", 2023, arXiv:2305.14314 (Speicherbedarf quantisierter Modelle)
Welcher Ihrer Prozesse hat den größten Hebel?
In 30 Minuten analysieren wir Ihre Abläufe und sagen Ihnen ehrlich, was Automatisierung bei Ihnen bringt, und was nicht.
Antwort innerhalb eines Werktags · unverbindlich
Weiterlesen in KI in der Praxis
- KI-Halluzinationen vermeiden: Ursachen und SchutzWarum KI-Modelle Fakten erfinden und wie Unternehmen das Risiko senken: Grounding und RAG, Selbstkontrolle, Qualitätstests, Mensch in der Schleife.
- KI-Agenten für den Mittelstand: Use-Cases & Einstieg 2026KI-Agenten im Mittelstand: konkrete Use-Cases nach Abteilung, wo Agenten heute realistisch sind und ein praxisnaher Einstiegs-Fahrplan für 2026.
- KI-gestützte Prozessautomation: Use-Cases, Blueprint & DSGVOKI-gestützte Prozessautomation: sechs Praxis-Use-Cases, Architektur-Blueprint und DSGVO-konformer Betrieb. Leitfaden für den Mittelstand.
- KI auf deutschen Servern: On-Premise und Private CloudKI auf deutschen Servern: Daten bleiben in Deutschland. On-Premise & Private-Cloud KI für den Mittelstand, DSGVO-konform. Jetzt beraten lassen.