# On-Premise vs. Cloud-LLM 2026 — Entscheidungsmatrix mit Kosten > Wann sich on-prem LLMs (Mistral, Qwen, DeepSeek) rechnen, wann Cloud-LLMs (Azure, Anthropic) reichen und wie der TCO-Vergleich für den Mittelstand wirklich aussieht. Quelle: https://www.krynexlabs.de/wissen/on-premise-vs-cloud-llm/ Stand: 2026-10-07 Anbieter: Krynex Labs UG (haftungsbeschränkt) i. G., Chemnitz · https://www.krynexlabs.de --- Technik & Architektur # On-Premise vs. Cloud-LLM — wann lohnt welcher Setup? ## Die ehrliche Kurzantwort Es gibt **vier klare Treiber für on-premise**: 1. **Art.-9-DSGVO-Daten** (Gesundheit, Religion, Gewerkschaft, ethnische Herkunft) — Cloud-LLMs sind hier auch mit AVV und EU-Region nur sehr eingeschränkt nutzbar 2. **Geschäftsgeheimnisse mit hoher Schadenshöhe** — strategische Verträge, Vertriebsdaten, Patent-Skizzen, M&A-Material 3. **Latenz unter 50 ms p99** — Real-Time-Use-Cases (Trading-Signale, Robotik-Steuerung, Live-Voice-Agents) 4. **Cloud-Kosten stabil über ~2.500–4.000 €/Monat** — ab dieser Schwelle wird die Eigeninvestition wirtschaftlich 5. **Auflagen verlangen den Betrieb im eigenen Haus** — etwa weil die Risikobewertung eines Hochrisiko-Systems nach der KI-Verordnung dazu führt, weil Kunde, Versicherer oder KRITIS-Vorgaben es fordern oder weil Sie bei Berufsgeheimnissen (§ 203 StGB) keinen externen Dienstleister einbinden wollen. Die KI-Verordnung selbst schreibt keinen Ort vor. Wo eine Auflage es verlangt, entscheidet aber nicht der Preis. Wenn keiner dieser fünf Punkte greift, ist **Cloud schneller, billiger und sicherer** — und das gilt für die meisten Mittelstandsfälle. Wer on-prem aus “Bauchgefühl Datenschutz” startet, baut typischerweise einen Hardware-Klotz, den niemand betreut. ## Was Cloud-LLMs 2026 gut können **Azure OpenAI** und **Anthropic Claude** sind 2026 die zwei realistischsten Cloud-Optionen für deutschen Mittelstand: - **Latenz**: 200–800 ms für GPT-6 Sol oder Claude Sonnet 5.5 bei Standard-Kontext - **Skalierbarkeit**: bis ~10 Anfragen/Sekunde ohne Sondervereinbarung - **Preis**: laut Herstellern 2 USD je Million Input-Token und 10 USD je Million Output-Token für die Standardmodelle (GPT-6 Sol, Claude Sonnet 5.5), bis 10 und 50 USD für die Spitzenmodelle (Stand 29.09.2026) - **Verfügbarkeit**: 99,9 % im SLA, in Praxis 99,95 %+ - **Datenschutz**: AVV + Trainings-Opt-Out + EU-Region (Sweden Central / Germany West Central für Azure; Claude in der EU über AWS Bedrock oder Google Cloud, die Claude-API direkt kennt nur „global“ und „us“) - **Modell-Updates**: automatisch, ohne Eigenpflege Für die meisten Workloads — Customer-Support-Chatbot, Mail-Klassifizierung, Dokumenten-Zusammenfassung, Code-Assistenz — ist das mehr als ausreichend. ## Was on-prem 2026 kann Die Modelle mit offenen Gewichten haben in den letzten 12 Monaten dramatisch aufgeschlossen — vor allem durch Mixture-of-Experts-Architekturen, die hohe Gesamtparameter bei kleinen “aktiven” Parametern je Token kombinieren. Stand 30.09.2026, alle Angaben laut Hersteller: - **Mistral Large 3** (Mistral, Dezember 2025): 41 B aktive / 675 B Gesamt-Parameter MoE, 256k Kontext, Apache 2.0. Nachfolger **Mistral Large 4** ist seit 06.10.2026 als Vorschau per API verfügbar (1 Billion Parameter, 49 B aktiv); offene Gewichte laut Mistral Ende Oktober, Lizenz noch offen ([Mistral, Ankündigung vom 06.10.2026](https://mistral.ai/news/mistral-large-4/)); Selbstbetrieb siehe [Mistral Large 4 im Unternehmen](https://www.krynexlabs.de/blog/mistral-large-4-unternehmen-eu/). - **Mistral Medium 3.5** (Frühjahr 2026): 128 B dense, 256k Kontext, offene Gewichte unter einer geänderten MIT-Lizenz. Achtung: Sie gilt nicht für Unternehmen, deren Konzern im Vormonat mehr als 20 Mio. USD Umsatz gemacht hat. - **Mistral Small 4** (März 2026): 119 B Gesamt / 6,5 B aktive Parameter, 256k Kontext, Apache 2.0. “Small” heißt hier nicht klein. - **Qwen3.8** (Alibaba, August 2026): Flaggschiff mit 2,4 T Gesamt / 95 B aktiven Parametern, dazu das dichte **Qwen3.8-27B** mit Bild- und Videoverständnis unter Apache 2.0. Anbieter China — on-prem-Betrieb ist die saubere Lösung. - **DeepSeek V4.1-Flash** (DeepSeek, 10.09.2026): 552 B, 8–16 B aktiv, 1 Mio Kontext, Bild und Text, MIT-Lizenz. - **Muse Glimmer-30B** (Meta, August 2026): rund 30 B dense, Text und Bild, Apache 2.0. Laut Meta in 4 Bit mit 24 bis 32 GB Grafikspeicher lauffähig, also auf einer guten Workstation. **Llama 4 ist für EU-Firmen raus.** Scout und Maverick (Meta, April 2025) sind technisch weiter brauchbar, aber die Nutzungsrichtlinie von Llama 4 gewährt die Rechte an den multimodalen Llama-4-Modellen ausdrücklich nicht Unternehmen “with a principal place of business in the European Union”. Ein neueres Llama gibt es nicht, Meta veröffentlicht inzwischen unter dem Namen Muse. **Inferenz-Stack:** vLLM (am performantesten, beste MoE-Unterstützung), SGLang (stark für strukturierte Outputs), Ollama (am einfachsten zu betreiben für Tier-1-Setups), llama.cpp (am vielseitigsten). **Hardware-Realität für Mittelstand:** MoE-Modelle brauchen viel Grafikspeicher für die Gewichte, obwohl nur ein Bruchteil davon je Token aktiv ist. Inferenz ist schneller als die Parameter-Zahl vermuten lässt, der Speicherbedarf aber hoch. Was die Hersteller selbst nennen: - **Muse Glimmer-30B**: 24 GB (stark quantisiert), 32 GB (4 Bit), 64 GB (volle Genauigkeit). - **Mistral Small 4**: Mindestausstattung laut Mistral 4× HGX H100, 2× HGX H200 oder 1× DGX B200. - **Mistral Medium 3.5**: laut Mistral “as few as four GPUs”, ohne GPU-Typ. - **Mistral Large 3**: kleinste genannte Ausstattung ein Knoten mit 8× H100 oder 8× A100 (NVFP4). - **DeepSeek V4-Flash**: laut DeepSeek ein Knoten mit 4× GB300; für V4.1-Flash gibt es noch keine Angabe. - Stromkosten realistisch 150–400 €/Monat plus Klima/Stellplatz Die großen MoE-Modelle sind damit Rechenzentrumsklasse. Für eine einzelne Workstation kommen Modelle um 30 B Parameter in Frage. ## Der TCO-Vergleich, der wirklich zählt **Cloud-Kosten** für ein typisches Mittelstands-Setup (3 Use-Cases, ~5 Millionen Token Output pro Monat): - OpenAI GPT-6 Sol (Azure oder direkt): ca. 50–150 €/Monat - Anthropic Claude Sonnet 5.5: ca. 50–150 €/Monat - Anbieter-Wartung: 0 € - **Total: 600–1.800 €/Jahr** **On-prem-Kosten** für vergleichbare Workload (1× H100 80 GB mit einem Modell der 30-B-Klasse wie Muse Glimmer-30B oder Qwen3.8-27B): - Hardware-AfA über 3 Jahre: ca. 8.000–12.000 €/Jahr - Strom + Klima: ca. 2.500 €/Jahr - Engineering-Aufwand für Setup: 5–10 Tage initial, dann ~1 Tag/Monat - Modell-Updates: ~2 Tage pro Update - **Total: 15.000–25.000 €/Jahr** (ohne Initial-Setup-Aufwand) **Die Schwelle.** On-prem rechnet sich erst, wenn: - Cloud-Kosten über **2.500–4.000 €/Monat** stabil liegen - Oder ein zwingender Compliance-Grund vorliegt, der Cloud ausschließt - Oder Real-Time-Latenz erfordert wird, die Cloud strukturell nicht liefern kann ## Wenn on-prem die richtige Wahl ist Wir bauen on-prem-Stacks für Mittelstandskunden in einem standardisierten Schema: **Hardware-Tier 1 (15.000–35.000 € einmalig):** - 1× Workstation mit 1× H100 80 GB oder 2× RTX 6000 Ada (48 GB) - Reicht für Modelle um 30 B Parameter wie Muse Glimmer-30B oder Qwen3.8-27B - Use-Cases: interne Recherche, Dokument-Analyse, Code-Assistenz für kleine Teams **Hardware-Tier 2 (sechsstellig):** - 1× Server mit 4 bis 8 GPUs der H100/H200-Klasse - Reicht je nach Ausbau für Mistral Small 4, Mistral Medium 3.5 oder (mit 8 GPUs) Mistral Large 3 - Use-Cases: Customer-Support-Chatbot mit hohem Volumen, RAG-Pipeline mit Million-Dokument-Korpus, mehrere parallele Modelle **Software-Stack:** - vLLM oder TGI für Inferenz - Qdrant oder Weaviate für Vector-Storage (auch on-prem) - LiteLLM oder eigener Adapter für Provider-Abstraktion (zukunftssicher) - Prometheus + Grafana für Monitoring - Eigenes Audit-Logging mit Aufbewahrungsfristen **Betrieb:** - Hardware-Wartungsvertrag mit Hersteller - Modell-Updates quartalsweise prüfen - Re-Eval der Outputs gegen vorherige Version vor Rollout ## Der hybride Mittelweg Was wir bei Mittelstandskunden 2026 am häufigsten umsetzen: **Hybrid-Architektur nach Daten-Klassifizierung**. - **Grüne Daten** (öffentlich, anonymisiert) → Cloud-LLM für Geschwindigkeit und Modellqualität - **Gelbe Daten** (intern, ohne Personenbezug) → Cloud-LLM in EU-Region mit AVV - **Rote Daten** (Art. 9, Geschäftsgeheimnisse) → on-prem-LLM auf eigener Hardware Die Abstraktion läuft über einen **Provider-Router** (LiteLLM, LangChain LiteLLM, eigener Adapter), der pro Request anhand der Daten-Klassifizierung den passenden Backend wählt. ## Was Sie heute nicht tun sollten Keine GPUs kaufen “weil es trendy ist”. Keine Modell-Installation auf dem ESXi-Cluster ohne Eval-Setup (“läuft halt”). Keine “wir betreiben das selbst, ist sicherer” -Annahme ohne Risikoanalyse — eine schlecht betriebene on-prem-Installation mit fehlenden Patches ist unsicherer als gut konfiguriertes Azure OpenAI. Pragmatischer Einstieg: 2–4 Wochen mit Cloud-LLM produktiv arbeiten, echte Volumen-Daten sammeln, dann basierend auf realem TCO entscheiden. ## Dazu bei Krynex Labs Leistung Lokale und eigene LLMs → https://www.krynexlabs.de/services/custom-llms/ Workshop Workshop On-Premise-LLM → https://www.krynexlabs.de/workshops/on-premise-llm/ ## Passend dazu Insights Llama 4 im eigenen Haus: Warum Unternehmen mit Sitz in der EU die Lizenz nicht bekommen → https://www.krynexlabs.de/blog/llama-4-lizenz-eu-unternehmen/ Insights RAG-Systeme scheitern an drei Stellen — keine davon ist das Modell → https://www.krynexlabs.de/blog/rag-mistakes/ Wissen Was kostet ein produktiver AI Agent realistisch? → https://www.krynexlabs.de/wissen/ai-agent-kosten-mittelstand/ ## Konkrete Frage zu eurem Setup? Ein 30-Minuten-Erstgespräch klärt meistens schon, ob euer aktueller AI-Stack hält oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck. [Erstgespräch buchen](https://www.krynexlabs.de/kontakt/)