Ollama oder vLLM: Was passt für lokale KI im Unternehmen?
Mit KI erzeugtes Bild. Mehr zur KI-Transparenz
Die kurze Antwort
Ollama passt für Arbeitsplätze und kleine Teams, vLLM für einen lokalen KI-Server, an dem viele Menschen oder Anwendungen gleichzeitig hängen. Der Grund steht in Ollamas eigener Doku: Jedes Modell bearbeitet standardmäßig eine Anfrage gleichzeitig, weitere warten in einer Schlange. vLLM ist dagegen genau für viele parallele Anfragen gebaut, kostet aber mehr Einrichtung und verlangt eine passende Grafikkarte. Weil beide eine OpenAI-kompatible Schnittstelle anbieten, ist ein späterer Wechsel kein Neubau.
Stand: 18. November 2026, geprüft mit Ollama v0.40.16 (Release vom 9.11.2026) und vLLM v0.34.0 (16.11.2026) an der jeweiligen Dokumentation und auf GitHub. Eigene Durchsatzmessungen zu vLLM haben wir für diese Seite nicht gemacht.
Ollama und vLLM im Vergleich
| Ollama | vLLM | |
|---|---|---|
| Gedacht für | einen Rechner, ein kleines Team | einen Server für viele gleichzeitige Anfragen |
| Gleichzeitige Anfragen je Modell | Vorgabe 1 (OLLAMA_NUM_PARALLEL), Warteschlange bis 512 |
auf viele parallele Anfragen ausgelegt: PagedAttention, laufende Stapelbildung, Prefix-Caching |
| Speicher bei mehr Parallelität | wächst mit Parallelität mal Kontextlänge | verwaltet den Kontextspeicher in Blöcken, damit viele Anfragen auf eine Karte passen |
| Hardware laut Doku | NVIDIA ab Compute Capability 5.0, AMD über ROCm 7, Apple über Metal, Vulkan, Prozessor | NVIDIA, AMD, x86/ARM/PowerPC-Prozessoren; TPU, Gaudi, Apple Silicon über Erweiterungen |
| Modellformate | GGUF aus dem eigenen Modellverzeichnis | Originalgewichte, FP8, AWQ, GPTQ, NVFP4 u. a.; GGUF laut Doku „sehr experimentell“ |
| Schnittstelle | eigene API und OpenAI-kompatibel unter /v1 |
OpenAI-kompatibel, dazu Anthropic-Messages-API und gRPC |
| Einrichtung | Installer, ein Befehl je Modell | Python-Paket oder Container, Startparameter je Modell und Karte |
| Lizenz | MIT | Apache-2.0 |
| Datenschutz | rechnet lokal; laut Ollama sieht der Anbieter lokale Eingaben nicht | rechnet lokal; kein Anbieterdienst dazwischen |
Wann Ollama reicht
Für einen Arbeitsplatz, für Versuche und für ein Team, das nicht ständig im selben Moment fragt, ist Ollama die schnellere Wahl. Installiert ist es in Minuten, Modelle kommen mit einem Befehl, und mit Open WebUI davor entsteht ein Chat für das ganze Büro. Wie das geht, zeigt unsere Anleitung Ollama mit Open WebUI. Was Ollama ohne Grafikkarte leistet, haben wir auf einem gewöhnlichen Server nachgemessen.
Die Grenze merkt man an Wartezeiten: Fragen drei Leute gleichzeitig, rechnet Ollama mit der Vorgabe nacheinander. Man kann OLLAMA_NUM_PARALLEL erhöhen, muss dann aber mehr Grafikspeicher einplanen, weil jede parallele Anfrage ihren eigenen Kontext mitbringt.
Wann vLLM sich lohnt
vLLM lohnt sich, sobald ein Modell zentral für eine Abteilung, eine Fachanwendung oder Agenten läuft, die viele Anfragen hintereinander schicken. Dann zählt der Gesamtdurchsatz einer Karte, und genau darauf ist vLLM ausgelegt. Der Preis dafür: Die Einrichtung ist technischer, die passenden Modellformate sind andere als bei Ollama, und eine gute Grafikkarte ist praktisch Pflicht. Für einen solchen Server gibt es mit SGLang eine zweite Wahl mit ähnlichem Ziel; welches schneller ist, hängt vom Modell und vom Anfragemuster ab und gehört mit den eigenen Anfragen getestet. Die Begriffe dazu erklärt unser Glossar lokale KI.
Unser Rat: klein anfangen, später umziehen
Wir raten meist dazu, mit Ollama anzufangen, an echten Aufgaben zu prüfen, ob ein lokales Modell reicht, und erst umzuziehen, wenn die Wartezeiten stören. Weil beide Programme die OpenAI-Schnittstelle sprechen, ändert sich für die Anwendungen dabei vor allem die Adresse. Ob sich lokale KI für Sie überhaupt rechnet, steht in On-Premise oder Cloud-LLM?. Wenn Sie einen lokalen KI-Server für Ihr Unternehmen planen, richten wir ihn mit Ihnen ein: On-Premise-KI für den Mittelstand.
Quellen
Alle abgerufen am 18.11.2026.
- Ollama Docs, FAQ:
OLLAMA_NUM_PARALLELVorgabe 1,OLLAMA_MAX_QUEUEVorgabe 512, Speicher wächst mit Parallelität mal Kontextlänge, „Ollama runs locally. We don’t see your prompts or data when you run locally.“ - Ollama Docs, Hardware support und OpenAI compatibility.
- Ollama auf GitHub: MIT-Lizenz, Release v0.40.16.
- vLLM Docs, Startseite: PagedAttention, Continuous Batching, Prefix-Caching, OpenAI-kompatibler Server, Formate, Hardware; GGUF: „highly experimental and under-optimized“.
- vLLM auf GitHub: Apache-2.0, Release v0.34.0.
Häufige Fragen
Wie viele gleichzeitige Nutzer schafft Ollama?
Laut Ollama-Doku bearbeitet jedes Modell standardmäßig eine Anfrage gleichzeitig (OLLAMA_NUM_PARALLEL, Vorgabe 1), weitere warten in einer Schlange mit bis zu 512 Plätzen. Man kann die Parallelität erhöhen, dann wächst der Speicherbedarf mit Parallelität mal Kontextlänge. Für ein kleines Team, das nicht ständig gleichzeitig fragt, reicht das oft. Eine feste Nutzerzahl nennt Ollama nicht, sie hängt von Modell, Kontext und Grafikkarte ab.
Läuft vLLM auch ohne NVIDIA-Grafikkarte?
Laut vLLM-Dokumentation ja: unterstützt werden NVIDIA- und AMD-Grafikkarten sowie x86-, ARM- und PowerPC-Prozessoren, über Erweiterungen auch Google TPU, Intel Gaudi und Apple Silicon. Seine Stärke, viele Anfragen gleichzeitig, spielt vLLM aber vor allem auf Rechenzentrums- und großen Arbeitsplatzkarten aus.
Kann vLLM die GGUF-Modelle von Ollama laden?
Eingeschränkt. vLLM listet GGUF unter den unterstützten Formaten, schreibt in der eigenen Doku aber, die GGUF-Unterstützung sei derzeit sehr experimentell und wenig optimiert. Üblich sind bei vLLM die Originalgewichte oder Formate wie AWQ, GPTQ und FP8.
Müssen wir Anwendungen umbauen, wenn wir von Ollama auf vLLM wechseln?
Meist kaum. Beide bieten eine Schnittstelle im Format der OpenAI-API. Eine Anwendung, die gegen Ollamas /v1-Endpunkte programmiert ist, braucht nach dem Wechsel in der Regel eine neue Adresse und den neuen Modellnamen. Antwortqualität und Geschwindigkeit sollten Sie trotzdem neu prüfen, weil sich Modellformat und Quantisierung ändern.
Dazu bei Krynex Labs
Passend dazu
Was kostet ein lokaler KI-Server im Unternehmen?
WissenAnleitung: Ollama mit Open WebUI, ein KI-Chat für das eigene Team
InsightsMerz nennt Google-Cloud souverän genug für die Nachrichtendienste: Was Mittelständler daraus für ihre eigene KI lernen können
WissenOn-Premise vs. Cloud-LLM — wann lohnt welcher Setup?
Konkrete Frage zu eurem Setup?
Ein 30-Minuten-Erstgespräch klärt meistens schon, ob euer aktueller AI-Stack hält oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck.
Kostenloses Erstgespräch