Lokale KI
im eigenen Haus.
Ein Sprachmodell auf dem eigenen Server oder Arbeitsplatz verlässt das Haus nicht, kostet keine Gebühr je Anfrage und läuft auch, wenn ein Anbieter seine Preise ändert. Dafür braucht es die passende Hardware und etwas Wissen. Hier haben wir beides gesammelt: von der Frage, ob es sich lohnt, bis zur Grafikkarte, die dafür reicht.
Sechs Fragen vor dem Start
In dieser Reihenfolge entscheiden die meisten Unternehmen. Zu jeder Frage findet ihr unsere ausführlichen Antworten.
Lohnt sich lokale KI für uns?
Lokal rechnet sich, wenn besonders schützenswerte Daten im Spiel sind, wenn viele Anfragen anfallen oder wenn ihr unabhängig von einem Anbieter bleiben müsst. Für den Anfang ist die Cloud mit EU-Vertrag oft günstiger.
Welche Hardware brauchen wir?
Entscheidend ist der Grafikspeicher: Das Modell muss hineinpassen, sonst wird es langsam. Wie viel Speicher welches Modell braucht, steht in der Tabelle unten.
Mit welchem Programm?
Für einen Arbeitsplatz reichen Ollama oder LM Studio, für eine Abteilung mit vielen gleichzeitigen Anfragen braucht es einen Server wie vLLM oder SGLang.
Welches Modell dürfen wir nutzen?
Offene Modelle unterscheiden sich nicht nur in der Qualität, sondern auch in der Lizenz. Manche schränken die Nutzung in der EU oder ab einer Firmengröße ein.
Was ist mit Datenschutz und Sicherheit?
Lokal heißt nicht automatisch sicher. Zugriffsrechte, Protokolle und Updates brauchen dieselbe Sorgfalt wie bei jedem anderen Server.
Wie kommen unsere Dokumente ins Spiel?
Damit das Modell mit Firmenwissen antwortet, gibt man ihm passende Textstellen mit (RAG). Nachtrainieren ist selten nötig.
Wie viel Grafikspeicher braucht ein Modell?
Faustwerte in Gigabyte, einschließlich Platz für eine Eingabe von einigen Seiten Text. Q4 bis Q8 sind Stufen der Quantisierung: Je weniger Bit, desto kleiner das Modell und desto mehr Qualität geht verloren. Q4 ist der übliche Kompromiss, ein größeres Modell in Q4 schlägt meist ein kleineres in Q8.
| Parameter | Q4 | Q5 | Q8 | 16 Bit (Original) |
|---|---|---|---|---|
| 7 Mrd. | 5 | 6 | 8 | 14 |
| 13 Mrd. | 8 | 10 | 14 | 26 |
| 30 Mrd. | 18 | 22 | 32 | 60 |
| 70 Mrd. | 40 | 50 | 70 | 140 |
| 120 Mrd. (MoE) | 60 | 75 | 110 | 240 |
| Speicher | Beispiele | Was flüssig läuft |
|---|---|---|
| 8 GB | z. B. RTX 4060, Mac mit 8 GB | kleine Modelle bis 7 Mrd. Parameter |
| 12 bis 16 GB | z. B. RTX 3060 12 GB, RTX 5060 Ti 16 GB, RX 9070 XT | 13 Mrd. gut, 30 Mrd. nur stark verkleinert |
| 24 bis 32 GB | z. B. RTX 3090, RTX 4090, RTX 5090, RX 7900 XTX, Radeon AI PRO R9700 | 30 Mrd. in Q4 bis Q6 |
| 48 GB und mehr | zwei 24-GB-Karten, RTX A6000, Mac mit 64 GB | 70 Mrd. in Q4 |
| 96 bis 128 GB | RTX Pro 6000, Mac Studio, Strix Halo 128 GB, DGX Spark | 70 Mrd. in Q8, große MoE-Modelle in Q4 |
Faustwerte nach llamaperf.com (abgerufen 24.10.2026), für Eingaben bis etwa 8.000 Tokens. Lange Eingaben brauchen deutlich mehr. Bei MoE-Modellen zählt für den Speicher die Gesamtzahl der Parameter. Macs geben der Grafikeinheit ab Werk nur zwei Drittel bis drei Viertel des Speichers.
Anleitungen zum Selbermachen
Schritt für Schritt, mit Werten, die wir selbst gemessen haben. Jede Anleitung steht vollständig auf der Seite und gibt es zusätzlich als PDF zum Ausdrucken.
-
01
Ein KI-Chat für ein kleines Team in 30 Minuten, unter Windows und Linux.
-
02
llama.cpp mit AMD-Grafikkarte folgt
ROCm oder Vulkan einrichten, und wann welches.
-
03
LM Studio auf Arbeitsplätzen folgt
Einrichtung, Modellwahl und Datenschutz-Einstellungen.
-
04
vLLM oder SGLang für viele Nutzer folgt
Wann sich ein Server gegenüber Ollama lohnt und wie man ihn aufsetzt.
-
05
Lokales RAG mit Firmendokumenten folgt
Open WebUI mit Wissenssammlung, Grenzen und Datenschutz.
Lieber mit Unterstützung?
Wir rechnen mit euch durch, ob sich lokal lohnt, wählen Hardware und Modell passend zu euren Daten und richten den Betrieb so ein, dass er auch die Prüfung durch den Datenschutzbeauftragten übersteht.
Glossar: 6 von 6 Begriffsgruppen fertig, weitere folgen.