Zum Inhalt springen
K Krynex Labs
Technik & Architektur

Ollama oder vLLM: Was passt für lokale KI im Unternehmen?

Ollama oder vLLM: Was passt für lokale KI im Unternehmen? (Mit KI erzeugtes Bild) Mit KI erzeugtes Bild. Mehr zur KI-Transparenz

Die kurze Antwort

Ollama passt für Arbeitsplätze und kleine Teams, vLLM für einen lokalen KI-Server, an dem viele Menschen oder Anwendungen gleichzeitig hängen. Der Grund steht in Ollamas eigener Doku: Jedes Modell bearbeitet standardmäßig eine Anfrage gleichzeitig, weitere warten in einer Schlange. vLLM ist dagegen genau für viele parallele Anfragen gebaut, kostet aber mehr Einrichtung und verlangt eine passende Grafikkarte. Weil beide eine OpenAI-kompatible Schnittstelle anbieten, ist ein späterer Wechsel kein Neubau.

Stand: 18. November 2026, geprüft mit Ollama v0.40.16 (Release vom 9.11.2026) und vLLM v0.34.0 (16.11.2026) an der jeweiligen Dokumentation und auf GitHub. Eigene Durchsatzmessungen zu vLLM haben wir für diese Seite nicht gemacht.

Ollama und vLLM im Vergleich

Ollama vLLM
Gedacht für einen Rechner, ein kleines Team einen Server für viele gleichzeitige Anfragen
Gleichzeitige Anfragen je Modell Vorgabe 1 (OLLAMA_NUM_PARALLEL), Warteschlange bis 512 auf viele parallele Anfragen ausgelegt: PagedAttention, laufende Stapelbildung, Prefix-Caching
Speicher bei mehr Parallelität wächst mit Parallelität mal Kontextlänge verwaltet den Kontextspeicher in Blöcken, damit viele Anfragen auf eine Karte passen
Hardware laut Doku NVIDIA ab Compute Capability 5.0, AMD über ROCm 7, Apple über Metal, Vulkan, Prozessor NVIDIA, AMD, x86/ARM/PowerPC-Prozessoren; TPU, Gaudi, Apple Silicon über Erweiterungen
Modellformate GGUF aus dem eigenen Modellverzeichnis Originalgewichte, FP8, AWQ, GPTQ, NVFP4 u. a.; GGUF laut Doku „sehr experimentell“
Schnittstelle eigene API und OpenAI-kompatibel unter /v1 OpenAI-kompatibel, dazu Anthropic-Messages-API und gRPC
Einrichtung Installer, ein Befehl je Modell Python-Paket oder Container, Startparameter je Modell und Karte
Lizenz MIT Apache-2.0
Datenschutz rechnet lokal; laut Ollama sieht der Anbieter lokale Eingaben nicht rechnet lokal; kein Anbieterdienst dazwischen

Wann Ollama reicht

Für einen Arbeitsplatz, für Versuche und für ein Team, das nicht ständig im selben Moment fragt, ist Ollama die schnellere Wahl. Installiert ist es in Minuten, Modelle kommen mit einem Befehl, und mit Open WebUI davor entsteht ein Chat für das ganze Büro. Wie das geht, zeigt unsere Anleitung Ollama mit Open WebUI. Was Ollama ohne Grafikkarte leistet, haben wir auf einem gewöhnlichen Server nachgemessen.

Die Grenze merkt man an Wartezeiten: Fragen drei Leute gleichzeitig, rechnet Ollama mit der Vorgabe nacheinander. Man kann OLLAMA_NUM_PARALLEL erhöhen, muss dann aber mehr Grafikspeicher einplanen, weil jede parallele Anfrage ihren eigenen Kontext mitbringt.

Wann vLLM sich lohnt

vLLM lohnt sich, sobald ein Modell zentral für eine Abteilung, eine Fachanwendung oder Agenten läuft, die viele Anfragen hintereinander schicken. Dann zählt der Gesamtdurchsatz einer Karte, und genau darauf ist vLLM ausgelegt. Der Preis dafür: Die Einrichtung ist technischer, die passenden Modellformate sind andere als bei Ollama, und eine gute Grafikkarte ist praktisch Pflicht. Für einen solchen Server gibt es mit SGLang eine zweite Wahl mit ähnlichem Ziel; welches schneller ist, hängt vom Modell und vom Anfragemuster ab und gehört mit den eigenen Anfragen getestet. Die Begriffe dazu erklärt unser Glossar lokale KI.

Unser Rat: klein anfangen, später umziehen

Wir raten meist dazu, mit Ollama anzufangen, an echten Aufgaben zu prüfen, ob ein lokales Modell reicht, und erst umzuziehen, wenn die Wartezeiten stören. Weil beide Programme die OpenAI-Schnittstelle sprechen, ändert sich für die Anwendungen dabei vor allem die Adresse. Ob sich lokale KI für Sie überhaupt rechnet, steht in On-Premise oder Cloud-LLM?. Wenn Sie einen lokalen KI-Server für Ihr Unternehmen planen, richten wir ihn mit Ihnen ein: On-Premise-KI für den Mittelstand.

Quellen

Alle abgerufen am 18.11.2026.

  • Ollama Docs, FAQ: OLLAMA_NUM_PARALLEL Vorgabe 1, OLLAMA_MAX_QUEUE Vorgabe 512, Speicher wächst mit Parallelität mal Kontextlänge, „Ollama runs locally. We don’t see your prompts or data when you run locally.“
  • Ollama Docs, Hardware support und OpenAI compatibility.
  • Ollama auf GitHub: MIT-Lizenz, Release v0.40.16.
  • vLLM Docs, Startseite: PagedAttention, Continuous Batching, Prefix-Caching, OpenAI-kompatibler Server, Formate, Hardware; GGUF: „highly experimental and under-optimized“.
  • vLLM auf GitHub: Apache-2.0, Release v0.34.0.

Häufige Fragen

Wie viele gleichzeitige Nutzer schafft Ollama?

Laut Ollama-Doku bearbeitet jedes Modell standardmäßig eine Anfrage gleichzeitig (OLLAMA_NUM_PARALLEL, Vorgabe 1), weitere warten in einer Schlange mit bis zu 512 Plätzen. Man kann die Parallelität erhöhen, dann wächst der Speicherbedarf mit Parallelität mal Kontextlänge. Für ein kleines Team, das nicht ständig gleichzeitig fragt, reicht das oft. Eine feste Nutzerzahl nennt Ollama nicht, sie hängt von Modell, Kontext und Grafikkarte ab.

Läuft vLLM auch ohne NVIDIA-Grafikkarte?

Laut vLLM-Dokumentation ja: unterstützt werden NVIDIA- und AMD-Grafikkarten sowie x86-, ARM- und PowerPC-Prozessoren, über Erweiterungen auch Google TPU, Intel Gaudi und Apple Silicon. Seine Stärke, viele Anfragen gleichzeitig, spielt vLLM aber vor allem auf Rechenzentrums- und großen Arbeitsplatzkarten aus.

Kann vLLM die GGUF-Modelle von Ollama laden?

Eingeschränkt. vLLM listet GGUF unter den unterstützten Formaten, schreibt in der eigenen Doku aber, die GGUF-Unterstützung sei derzeit sehr experimentell und wenig optimiert. Üblich sind bei vLLM die Originalgewichte oder Formate wie AWQ, GPTQ und FP8.

Müssen wir Anwendungen umbauen, wenn wir von Ollama auf vLLM wechseln?

Meist kaum. Beide bieten eine Schnittstelle im Format der OpenAI-API. Eine Anwendung, die gegen Ollamas /v1-Endpunkte programmiert ist, braucht nach dem Wechsel in der Regel eine neue Adresse und den neuen Modellnamen. Antwortqualität und Geschwindigkeit sollten Sie trotzdem neu prüfen, weil sich Modellformat und Quantisierung ändern.

Dazu bei Krynex Labs

Passend dazu

Konkrete Frage zu eurem Setup?

Ein 30-Minuten-Erstgespräch klärt meistens schon, ob euer aktueller AI-Stack hält oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck.

Kostenloses Erstgespräch