# Lokale KI im Unternehmen: Hardware, Programme, Modelle, Datenschutz > Sprachmodelle im eigenen Haus betreiben: welche Grafikkarte, welches Programm (Ollama, LM Studio, vLLM), welche Lizenz, was die DSGVO verlangt. Auf Deutsch, mit Quellen. Quelle: https://www.krynexlabs.de/wissen/lokale-ki/ Anbieter: Krynex Labs UG (haftungsbeschränkt), Chemnitz · https://www.krynexlabs.de --- Wissen · Lokale KI # Lokale KI im eigenen Haus. Ein Sprachmodell auf dem eigenen Server oder Arbeitsplatz verlässt das Haus nicht, kostet keine Gebühr je Anfrage und läuft auch, wenn ein Anbieter seine Preise ändert. Dafür braucht es die passende Hardware und etwas Wissen. Hier haben wir beides gesammelt: von der Frage, ob es sich lohnt, bis zur Grafikkarte, die dafür reicht. [Zum Glossar (48 Begriffe)](https://www.krynexlabs.de/wissen/lokale-ki/glossar/) [Lokale KI mit uns einrichten](https://www.krynexlabs.de/on-premise-ki-mittelstand/) ## Sechs Fragen vor dem Start In dieser Reihenfolge entscheiden die meisten Unternehmen. Zu jeder Frage findet ihr unsere ausführlichen Antworten. ### Lohnt sich lokale KI für uns? Lokal rechnet sich, wenn besonders schützenswerte Daten im Spiel sind, wenn viele Anfragen anfallen oder wenn ihr unabhängig von einem Anbieter bleiben müsst. Für den Anfang ist die Cloud mit EU-Vertrag oft günstiger. - [On-Premise oder Cloud-LLM? →](https://www.krynexlabs.de/wissen/on-premise-vs-cloud-llm/) - [Whitepaper: Lokal oder Cloud? →](https://www.krynexlabs.de/whitepaper/lokal-oder-cloud/) - [LLM-Preise vergleichen →](https://www.krynexlabs.de/wissen/llm-preise-vergleichen/) ### Welche Hardware brauchen wir? Entscheidend ist der Grafikspeicher: Das Modell muss hineinpassen, sonst wird es langsam. Wie viel Speicher welches Modell braucht, steht in der Tabelle unten. - [Grafikspeicher (VRAM) →](https://www.krynexlabs.de/wissen/lokale-ki/glossar/#vram) - [Gemeinsamer Speicher bei Mac und Strix Halo →](https://www.krynexlabs.de/wissen/lokale-ki/glossar/#unified-memory) - [AMD-Karten und ROCm →](https://www.krynexlabs.de/wissen/lokale-ki/glossar/#rocm) ### Mit welchem Programm? Für einen Arbeitsplatz reichen Ollama oder LM Studio, für eine Abteilung mit vielen gleichzeitigen Anfragen braucht es einen Server wie vLLM oder SGLang. - [Programme im Überblick →](https://www.krynexlabs.de/wissen/lokale-ki/glossar/#gruppe-programme) - [Ollama gemessen, ohne Grafikkarte →](https://www.krynexlabs.de/blog/ollama-ki-lokal-betreiben/) - [Whisper lokal gemessen →](https://www.krynexlabs.de/blog/whisper-spracherkennung-lokal-gemessen/) ### Welches Modell dürfen wir nutzen? Offene Modelle unterscheiden sich nicht nur in der Qualität, sondern auch in der Lizenz. Manche schränken die Nutzung in der EU oder ab einer Firmengröße ein. - [Open Source oder Closed LLM? →](https://www.krynexlabs.de/wissen/open-source-vs-closed-llm/) - [Llama-4-Lizenz für EU-Unternehmen →](https://www.krynexlabs.de/blog/llama-4-lizenz-eu-unternehmen/) - [Mistral Large 4 im Unternehmen →](https://www.krynexlabs.de/blog/mistral-large-4-unternehmen-eu/) ### Was ist mit Datenschutz und Sicherheit? Lokal heißt nicht automatisch sicher. Zugriffsrechte, Protokolle und Updates brauchen dieselbe Sorgfalt wie bei jedem anderen Server. - [DSGVO-konforme LLMs 2026 →](https://www.krynexlabs.de/wissen/dsgvo-konforme-llms-2026/) - [Pseudonymisierung vor dem LLM →](https://www.krynexlabs.de/wissen/pseudonymisierung-vor-llm/) - [LiteLLM-Lieferkettenangriff: Schlüssel prüfen →](https://www.krynexlabs.de/blog/litellm-lieferkettenangriff-ki-schluessel-pruefen/) ### Wie kommen unsere Dokumente ins Spiel? Damit das Modell mit Firmenwissen antwortet, gibt man ihm passende Textstellen mit (RAG). Nachtrainieren ist selten nötig. - [RAG, Fine-Tuning oder langer Kontext? →](https://www.krynexlabs.de/wissen/fine-tuning-oder-rag/) - [Abhängigkeit vom Anbieter vermeiden →](https://www.krynexlabs.de/wissen/vendor-lock-in-vermeiden/) ## Wie viel Grafikspeicher braucht ein Modell? Faustwerte in Gigabyte, einschließlich Platz für eine Eingabe von einigen Seiten Text. Q4 bis Q8 sind Stufen der [Quantisierung](https://www.krynexlabs.de/wissen/lokale-ki/glossar/#quantisierung): Je weniger Bit, desto kleiner das Modell und desto mehr Qualität geht verloren. Q4 ist der übliche Kompromiss, ein größeres Modell in Q4 schlägt meist ein kleineres in Q8. | Parameter | Q4 | Q5 | Q8 | 16 Bit (Original) | | --- | --- | --- | --- | --- | | 7 Mrd. | 5 | 6 | 8 | 14 | | 13 Mrd. | 8 | 10 | 14 | 26 | | 30 Mrd. | 18 | 22 | 32 | 60 | | 70 Mrd. | 40 | 50 | 70 | 140 | | 120 Mrd. (MoE) | 60 | 75 | 110 | 240 | | Speicher | Beispiele | Was flüssig läuft | | --- | --- | --- | | 8 GB | z. B. RTX 4060, Mac mit 8 GB | kleine Modelle bis 7 Mrd. Parameter | | 12 bis 16 GB | z. B. RTX 3060 12 GB, RTX 5060 Ti 16 GB, RX 9070 XT | 13 Mrd. gut, 30 Mrd. nur stark verkleinert | | 24 bis 32 GB | z. B. RTX 3090, RTX 4090, RTX 5090, RX 7900 XTX, Radeon AI PRO R9700 | 30 Mrd. in Q4 bis Q6 | | 48 GB und mehr | zwei 24-GB-Karten, RTX A6000, Mac mit 64 GB | 70 Mrd. in Q4 | | 96 bis 128 GB | RTX Pro 6000, Mac Studio, Strix Halo 128 GB, DGX Spark | 70 Mrd. in Q8, große MoE-Modelle in Q4 | Faustwerte nach [llamaperf.com](https://llamaperf.com/guides/vram-requirements) (abgerufen 24.10.2026), für Eingaben bis etwa 8.000 Tokens. Lange Eingaben brauchen deutlich mehr. Bei MoE-Modellen zählt für den Speicher die Gesamtzahl der Parameter. Macs geben der Grafikeinheit ab Werk nur zwei Drittel bis drei Viertel des Speichers. ## Anleitungen zum Selbermachen Schritt für Schritt, mit Werten, die wir selbst gemessen haben. Jede Anleitung steht vollständig auf der Seite und gibt es zusätzlich als PDF zum Ausdrucken. 1. [Ollama mit Open WebUI](https://www.krynexlabs.de/wissen/lokale-ki/anleitung-ollama-open-webui/) Ein KI-Chat für ein kleines Team in 30 Minuten, unter Windows und Linux. 2. llama.cpp mit AMD-Grafikkarte folgt ROCm oder Vulkan einrichten, und wann welches. 3. LM Studio auf Arbeitsplätzen folgt Einrichtung, Modellwahl und Datenschutz-Einstellungen. 4. vLLM oder SGLang für viele Nutzer folgt Wann sich ein Server gegenüber Ollama lohnt und wie man ihn aufsetzt. 5. Lokales RAG mit Firmendokumenten folgt Open WebUI mit Wissenssammlung, Grenzen und Datenschutz. ## Lieber mit Unterstützung? Wir rechnen mit euch durch, ob sich lokal lohnt, wählen Hardware und Modell passend zu euren Daten und richten den Betrieb so ein, dass er auch die Prüfung durch den Datenschutzbeauftragten übersteht. [On-Premise-KI für den Mittelstand](https://www.krynexlabs.de/on-premise-ki-mittelstand/) [Kontakt](https://www.krynexlabs.de/kontakt/) Glossar: 6 von 6 Begriffsgruppen fertig, weitere folgen.