Open Source vs. Closed Source LLMs — was für Unternehmen?

Die ehrliche Kurzantwort

Die Frage “Open oder Closed” ist 2026 keine entweder/oder mehr, sondern eine Verteilungsfrage: Welche Workload geht wohin?

Closed-Source-Stärken:

• Reasoning-Tasks (Claude Opus 4.7 und GPT-5 dominieren weiter)
• Einfachstes Setup (API-Call ohne Infrastruktur)
• Schnellste Modellinnovation (Updates im Wochentakt)
• Beste Tool-Use- und Agent-Performance
• Verträge mit großen Anbietern (AVV, Indemnification, EU-Hosting)

Open-Source-Stärken:

• Volle Daten-Hoheit (Modell läuft auf eigener Hardware)
• Keine Vendor-Lock-In-Risiken (Modell-Datei gehört dir)
• Anpassbar durch Fine-Tuning ohne Anbieter-Restriktionen
• Inferenz-Kosten skalieren mit Hardware, nicht mit Token-Volumen
• Im Workflow-Routing weniger Latenz-anfällig

Wer 2026 reine Closed-Source nutzt, baut sich Anbieter-Risiken ein. Wer reine Open-Source nutzt, verschenkt 6–18 Monate Modell-Vorsprung in den anspruchsvollsten Aufgaben. Hybrid ist der Standard.

Stand der Modell-Familien 2026

Closed-Source-Stack

OpenAI — GPT-5.5 (April 2026, Reasoning + Multimodal), GPT-5.5 Instant (Default für ChatGPT seit Mai 2026, hohe Faktentreue), GPT-5 weiter verfügbar. Marktführer bei Tool-Use und Agent-Frameworks. Microsoft-Partnerschaft sichert Distribution.

Anthropic — Claude Opus 4.7 (April 2026, Top-Tier-Reasoning, aktuelles Frontier-Modell), Claude Sonnet 4.6 (Februar 2026, Workhorse), Claude Haiku 4.5 (Speed). Sehr stark bei Long-Context, sicheren Defaults und strukturiertem Reasoning.

Google — Gemini 2.5 Pro/Flash, multimodal nativ. Marktstellung wächst. 2-Million-Token-Kontext.

Mistral — Mistral Medium 3.5 (April 2026, 128 B dense) und Mistral Large 3 (Dezember 2025, 41 B aktive / 675 B Gesamt MoE) liegen beide als Open-Weights vor — Mistral ist 2026 hybrid statt rein closed. EU-Souveränitäts-Story.

Open-Source-Stack

Open-Source 2026 ist nicht mehr “kleiner, schwächer” — durch Mixture-of-Experts-Architekturen liefern offene Modelle Top-Tier-Reasoning bei moderaten Hardware-Anforderungen.

Llama 4 Scout / Maverick (Meta, April 2025) — Aktuelles Open-Source-Workhorse. Scout 17 B aktive / 109 B Gesamt mit 10 Mio Token Kontext, Maverick 17 B aktive / 400 B Gesamt mit 1 Mio Kontext. Multimodal nativ, mehrsprachig (12 Sprachen). Maverick schlägt GPT-4o in vielen Standard-Benchmarks. Meta hat parallel ihr proprietäres Modell Muse Spark (April 2026) gestartet — Llama-Familie bleibt aber Open-Weight.

Mistral Large 3 (Mistral, Dezember 2025) — 41 B aktive / 675 B Gesamt MoE, Apache 2.0. Das größte offene MoE eines Top-Labs. Starke Deutsch-Performance.

Mistral Medium 3.5 (April 2026) — 128 B dense, 256 k Kontext, Open Weights. Single-Model-Architektur für Instruction-Following + Reasoning + Coding. Praktischer Mittelweg ohne MoE-Routing-Overhead.

Qwen 3.5 (Alibaba, Februar 2026) — 397 B-A17B MoE Flagship, native Multimodalität, Top-Reasoning. Anbieter-Provenienz China — für sensible Branchen ein politisches Thema, technisch unbedenklich wenn on-prem. Daneben Qwen 3.5 Small (0,8 B / 2 B / 4 B / 9 B, März 2026) für leichte Setups.

DeepSeek V4 (DeepSeek, April 2026 Preview, MIT License) — Zwei Varianten: V4-Pro mit 1,6 T Gesamt / 49 B aktive, V4-Flash mit 284 B / 13 B aktive, beide 1 Mio Kontext. Sehr günstige Inferenz, Reasoning-Performance auf Top-Tier-Niveau. Wieder: Anbieter China, on-prem-Betrieb ist die saubere Lösung.

Gemma 3 (Google) — Solides Modell für kleine Hardware-Setups, leicht aufzusetzen.

Wo Closed-Source 2026 noch klar führt

Komplexe Reasoning-Tasks. Claude Opus 4.7 und GPT-5.5 haben in vielen Wissenschafts-Benchmarks (GPQA Diamond, AIME 2026, Multistep-Tasks) noch einen klaren Vorsprung. Qwen 3.5 mit 88,4 GPQA Diamond rückt aber sehr nahe heran. Wer komplexe Multi-Hop-Reasoning-Pipelines baut, sieht den Unterschied in der Output-Qualität.

Agent-Frameworks und Tool-Use. GPT-5.5 und Claude Sonnet 4.6 sind in Tool-Calling-Tasks (Function-Calling, Strukturierte Outputs) nochmals robuster. Open-Source-Modelle holen auf, aber haben mehr Edge-Cases.

Multimodal-Tiefe. Gemini 2.5 Pro und GPT-5.5 sind bei Bild-, Video- und Audio-Verständnis nativ stärker. Qwen 3.5 und Llama 4 sind kompetent multimodal, aber bei Audio noch zurück.

Modell-Updates. Closed-Source-Anbieter verbessern wöchentlich, Open-Source- Releases kommen quartals- oder halbjährlich. 2025/2026 ist der Abstand allerdings deutlich kleiner geworden — Open-Source-Releases liegen oft nur 1–3 Monate hinter Closed-Source-Frontier.

Wo Open-Source ausreicht (und manchmal besser ist)

Standard-Tasks im Mittelstand. Klassifizierung, Zusammenfassung, Antwort-Generierung auf RAG-Ergebnisse, Datenextraktion — hier liefert Llama 4 Scout, Mistral Medium 3.5 oder DeepSeek V4-Flash mehr als ausreichend.

Hohes Inferenzvolumen. Wenn du 10+ Millionen Output-Tokens pro Monat verbrauchst, wird Open-Source on-prem wirtschaftlich attraktiver. Ab ~50.000 €/Monat Cloud-Kosten liegt der Break-Even.

Sensible Daten. Art.-9-DSGVO-Daten, Geschäftsgeheimnisse, M&A-Material — nichts davon gehört in eine Cloud-API, egal mit welchem AVV. On-prem-Llama oder on-prem-Mistral ist die saubere Antwort.

Compliance-Vorgaben. Behörden, kritische Infrastruktur, Verteidigung — Souveränitäts-Anforderungen führen zu on-prem-Open-Source als einziger Option.

Der typische Hybrid-Stack

Was wir 2026 bei Mittelstandskunden in 60–70 % der Fälle empfehlen:

Default: Anthropic Claude Sonnet 4.6 in EU-Region für Standard-Workloads (Customer-Support, Dokumenten-Analyse, interne Recherche). DSGVO-konform, Top-Tier-Output, keine Hardware-Pflege.

Backup-/Failover: Llama 4 Scout on-prem für sensible Daten und im Anbieter-Ausfall-Szenario. Über einen Router (LiteLLM, eigener Adapter) routest du Anfragen nach Daten-Klassifizierung und Verfügbarkeit.

Spezialisierte Workloads: Mistral Large 3 oder DeepSeek V4-Flash für Use-Cases, wo Sprach-/Reasoning-Profile spezifisch besser passen oder Souveränität gefragt ist.

Embedding-Modelle separat halten. Embedding-Modelle (text-embedding-3-large oder bge-m3) sind anbieter-agnostischer und können oft on-prem laufen, ohne dass die Modell-Qualität leidet.

Strategische Argumente für Open-Source-Komponente

Verhandlungsmacht. Wer einen funktionierenden Open-Source-Fallback hat, verhandelt mit Cloud-Anbietern aus einer anderen Position. Du kannst Quoten, Preise, SLAs schärfer fordern, wenn du nicht in einem Lock-In sitzt.

Lifecycle-Sicherheit. Closed-Source-Modelle werden deprecated — GPT-4-Turbo ging Mitte 2024 in End-of-Life. Wer auf einer abkündigbaren Version festsitzt, muss neu eval’en und migrieren. Open-Source-Modell-Dateien bleiben nutzbar, solange du sie lokal hast.

Auditfähigkeit. Bei einer Aufsichtsbehörden-Anfrage zur Daten-Verarbeitung ist on-prem-Open-Source mit eigenem Audit-Log die einfachste Erklärung. Bei Cloud-Closed-Source musst du dich auf Anbieter-Logs verlassen.

Die Anbieter-Lock-In-Falle

Klassisches Closed-Source-Lock-In hat drei Komponenten:

1. API-Pattern sind herstellerspezifisch (Function-Calling-Schemas, System-Prompt-Formate, Caching-Mechanismen)
2. Prompt-Engineering wird auf ein Modell optimiert — beim Wechsel müssen tausende Prompts neu evaluiert werden
3. Embeddings sind nicht zwischen Anbietern austauschbar — wer Pinecone mit OpenAI-Embeddings hat, muss alles neu indexieren für ein anderes Embedding-Modell

Schutz:

• Provider-neutraler Adapter (LiteLLM, eigener Wrapper)
• Eval-Set mit 50–200 Test-Prompts, gegen das jedes neue Modell laufen muss
• Embedding-Modell von Generation-Modell entkoppeln
• Vector-Store-Datenstruktur mit Versionierung der verwendeten Embeddings

Was du heute nicht tun solltest

Kein Open-Source-Setup ohne klare Wartungsverantwortung — eine Llama-Installation, die niemand betreut, ist ein unbeobachteter Sicherheits-Hotspot. Keine Closed-Source-only-Architektur, wenn du sensible Daten verarbeitest. Und keine “wir warten, bis das beste Modell klar ist”-Strategie — diese Frage wird in den nächsten zwei Jahren nicht entschieden.

Pragmatischer Einstieg: Hybrid-Stack mit klarer Klassifizierung. 80 % der Anfragen in Claude oder GPT, 20 % in einer Open-Source-Komponente. Daraus lernst du, ob die Open-Source-Qualität für deine Use-Cases reicht — und kannst die Verteilung kontinuierlich anpassen.