Local & Custom LLMs
DSGVO-konforme lokale LLMs auf eigener Hardware. Fine-Tuning, Distillation, On-Prem-Deployment — wenn Compliance, Latenz oder Kosten es verlangen.
Erstgespräch buchen
Mit KI erzeugtes Bild. Mehr zur KI-Transparenz
Beim Abspielen lädt YouTube (Google) das Video. Dabei werden Ihre IP-Adresse und Geräteinformationen an Google übertragen. Details ·
Transkript anzeigen
Ein Angebot an einen Kunden. Ein Arztbrief. Eine Personalakte. Wenn Sie so etwas in einen KI-Chat kopieren, geht der Text auf die Reise, über das Internet in das Rechenzentrum eines Anbieters. Bei einem lokalen Sprachmodell geht er ein paar Meter weit. Bis zum Server im eigenen Haus. Was heißt lokal? Das Modell ist eine Datei, ein paar Gigabyte groß. Ein Programm wie Ollama lädt sie in den Arbeitsspeicher und beantwortet Anfragen, ohne dass ein Anbieter mitliest. Viele Werkzeuge, die für ChatGPT gebaut sind, sprechen damit ohne Umbau. Wie schnell ist das? Wir haben es auf unserem eigenen Server gemessen. Zwölf Prozessorkerne, keine Grafikkarte. Das Modell mit sieben Milliarden Parametern schreibt rund zwanzig Token pro Sekunde. Eine kurze Kunden-E-Mail ist in etwa zehn Sekunden fertig. Ein Artikel mit knapp zweitausend Wörtern dagegen nicht: Allein das Einlesen dauerte zweiundachtzig Sekunden. Und die E-Mail selbst? Keines der drei Modelle hat sie fehlerfrei geschrieben. Zwei erfanden als neuen Liefertermin den dreißigsten September zweitausenddreiundzwanzig. Die Jahreszahl stand nirgends in der Aufgabe. Eines schrieb von einem Terminverschiebungsinformationsbericht. Das Wort gibt es nicht. Lokal heißt außerdem nicht sicher. In unserem Angriffstest haben zwei kleine lokale Modelle eine geheime Kennung aus ihren Anweisungen verraten, in allen sechzig Versuchen. Und Ollama fragt nach keinem Passwort. Cisco fand im September zweitausendfünfundzwanzig über tausend Ollama-Server, die offen im Netz standen. Wo lokale Modelle glänzen, ist eng umrissene Arbeit. Spracherkennung zum Beispiel. Whisper schreibt auf unserem Server deutsche Sprache mit zwei Prozent Wortfehlern mit. Eine Stunde Aufnahme in rund fünfzehn Minuten, ohne Grafikkarte, und kein Wort verlässt das Haus. Sortieren, Felder aus Formularen ziehen, Entwürfe, die ein Mensch liest: Dafür reicht ein lokales Modell oft. Prüfen Sie vor dem Einsatz die Lizenz jedes Modells. Qwen zwei Punkt fünf mit sieben Milliarden Parametern dürfen Sie gewerblich nutzen. Die Variante mit drei Milliarden nur für nichtkommerzielle Zwecke. Beide laden sich mit demselben Befehl. Was kostet das? Bei uns zuerst ein Probelauf mit zwanzig echten Aufgaben aus Ihrem Alltag, für tausendvierhundertneunzig Euro, beim Kauf angerechnet. Die Einrichtung für kleine Teams beginnt bei tausendneunhundert Euro, die Wartung bei zweihundertneunzig Euro im Monat. Messen Sie mit Ihren Aufgaben, bevor Sie Hardware kaufen. Nicht mit unseren.
DSGVO-First für lokale LLMs
Wenn eure Daten regulierten Branchen unterliegen (Banking, Healthcare, Public Sector, oder einfach: “geht niemanden anders was an”), gehört das Modell ins eigene Netz. Wir bauen lokale LLM-Stacks, die ohne US-Cloud, ohne Schrems-II-Risiko, ohne Vendor-Lock-in laufen.
Hardware-Partner: PrimeLine Solutions
Für On-Prem-Inferenz arbeiten wir mit PrimeLine Solutions zusammen — GPU-Server und Multi-Node-Cluster, die genau auf euren Use-Case spezifiziert werden (Modellgröße, Concurrent-Users, Throughput). Wir schreiben die Spec, PrimeLine baut und liefert.
Wichtig für CFO-freundliche Setups: PrimeLine bietet neben dem klassischen Kauf auch Leasing-Modelle an. Das hilft besonders bei mittelständischen Projekten, wo OpEx statt CapEx gewünscht ist und die Hardware nicht in einem Schwung über die Bilanz soll. Wir vermitteln das Modell, das zu eurer Bilanz passt.
Cloud, EU-Cloud oder eigener Server?
| US-Cloud (z. B. OpenAI, Anthropic direkt) | EU-Region bzw. EU-Anbieter (z. B. Azure OpenAI EU, Mistral) | Eigener Server (on-prem) | |
|---|---|---|---|
| Wo die Daten verarbeitet werden | beim Anbieter, teils außerhalb der EU | beim Anbieter, in einem EU-Rechenzentrum | in eurem Netz |
| Zugriff nach US-Recht (CLOUD Act) | möglich | bei US-Anbietern möglich, bei EU-Anbietern nicht | nein |
| Startkosten | gering | gering | Hardware plus Einrichtung |
| Laufende Kosten | je Token | je Token | Strom und Wartung |
| Qualität bei offenen Aufgaben | am höchsten | hoch | niedriger, bei eng umrissenen Aufgaben oft gleichauf |
| Passt für | unkritische Daten, wenig Volumen | Firmendaten mit Auftragsverarbeitungsvertrag | Daten, die das Haus nicht verlassen dürfen, hohe Volumina |
Die ausführliche Entscheidungshilfe mit Kostenrechnung steht in On-Premise oder Cloud-LLM. Für den Einstieg ohne eigenes Rechenzentrum gibt es die KI-Box.
Wann eigenes Modell
- Compliance / Datenhoheit (DSGVO, DORA, AI Act)
- Hohe Volumina (>10M Tokens/Tag)
- Latenz-kritische Use-Cases
- Domain-Sprache, mit der auch aktuelle Modelle von OpenAI oder Anthropic kämpfen
Für Firmenwissen ist Fine-Tuning übrigens selten der richtige Weg, dafür gibt es RAG. Warum, und warum OpenAI sein Fine-Tuning gerade einstellt, steht in Fine-Tuning oder RAG.
Wann nicht
Wenn euer Use-Case mit einem kommerziellen Modell unter 5k€/Monat auskommt und kein Compliance-Driver da ist — bleibt bei OpenAI/Anthropic. Wir sind ehrlich darin.
Häufige Fragen
Wann lohnt sich ein lokales LLM gegenüber einer Cloud-Lösung wie Azure OpenAI EU?
Wenn Compliance, Latenz oder Token-Kosten den Ausschlag geben. Regulierte Daten (Banking, Healthcare, Public Sector), die das Netz nicht verlassen dürfen, hohe Anfragevolumina, bei denen Cloud-Token teuer werden, oder Latenz-Anforderungen unter 200 ms sprechen für on-prem. Bei geringem Volumen und unkritischen Daten ist die EU-Cloud oft der günstigere Start — wir sagen ehrlich, was zu euch passt.
Welche Hardware brauchen wir für ein lokales LLM?
Das richtet sich nach Modellgröße und gleichzeitigen Anfragen. Für viele Mittelstands-Use-Cases reicht ein einzelner GPU-Server; größere Modelle oder hoher Durchsatz brauchen mehr. Wir dimensionieren gemeinsam und liefern das Deployment auf Wunsch mit Hardware von PrimeLine Solutions.
Wie nah kommt ein lokales Modell an GPT oder Claude heran?
Für breite, offene Aufgaben liegen die großen Cloud-Modelle vorn. Auf eine klar umrissene Domäne fine-getuned schließt ein lokales Modell die Lücke aber oft so weit, dass der Unterschied im Use-Case verschwindet — bei voller Datenhoheit und deutlich niedrigeren Kosten. Deshalb baut jeder unserer Stacks ein Eval-Harness pro Use-Case, das genau das misst, statt es zu behaupten.
Verlassen die Daten wirklich nie unser Netz?
Beim On-Prem-Deployment laufen Training, Fine-Tuning und Inferenz vollständig in eurer Infrastruktur — kein US-Cloud-Weg, kein Schrems-II-Risiko, kein Vendor-Lock-in. Genau das ist der Grund, warum diese Variante existiert.
Was kostet der Betrieb eines lokalen LLM?
Nach der Anfangsinvestition in Hardware fallen im Wesentlichen Strom und Wartung an — die Token-Kosten pro Anfrage sinken gegenüber der Cloud typischerweise um 70–95%. Ab welchem Anfragevolumen sich das rechnet, hängt am Use-Case; die Break-even-Rechnung machen wir vorab transparent.
Klingt nach eurem Fall? In 30 Minuten wisst ihr, ob Local & Custom LLMs passt.
Erstgespräch buchenPasst das zu eurem Projekt?
30-Minuten-Erstgespräch — wir hören eurem Use-Case zu und sagen klar, ob Local & Custom LLMs der richtige Hebel ist oder etwas anderes besser passt.
Erstgespräch buchen