Was kostet ein lokaler KI-Server im Unternehmen?
Mit KI erzeugtes Bild. Mehr zur KI-Transparenz
Die kurze Antwort
Wer ein LLM selbst hosten und einen lokalen KI-Server im Unternehmen betreiben will, zahlt vor allem für den Grafikspeicher. Im November 2026 kostet eine Karte mit 16 GB im Handel rund 700 € netto, eine mit 96 GB rund 15.800 € netto. Wer nicht kaufen will, mietet: Ein Server mit 24 GB kostet bei Hetzner rund 214 € netto im Monat. Dazu kommen Einrichtung und Wartung. Und eine Warnung vorweg: Die Grafikkartenpreise sind 2026 stark gestiegen und ändern sich von Woche zu Woche, jede Zahl hier ist eine Momentaufnahme.
Preisstand 11/2026: Handelspreise am 18. November 2026 bei Alternate abgelesen (jeweils das günstigste lieferbare Angebot der Suche), Mietpreise am selben Tag auf der GPU-Serverseite von Hetzner. Netto heißt: Bruttopreis durch 1,19, gerundet. Ein einzelner Händler ist kein Marktdurchschnitt; in Preisvergleichen kann dieselbe Karte günstiger sein.
Hardwareklassen mit Preisen
| Grafikspeicher | Beispiel | Preis im Handel (brutto) | netto, gerundet | Was darauf läuft |
|---|---|---|---|---|
| 16 GB | GeForce RTX 5060 Ti 16 GB | ab 838 € | rund 700 € | Modelle bis 13 Mrd. Parameter gut |
| 16 GB | GeForce RTX 5080 | ab 1.917 € | rund 1.610 € | wie oben, schneller |
| 24 GB | RTX PRO 4000 Blackwell | ab 3.053 € | rund 2.570 € | 13 Mrd. komfortabel, 30 Mrd. stark verkleinert |
| 32 GB | Radeon AI PRO R9700 | ab 1.642 € | rund 1.380 € | 30 Mrd. in Q4 bis Q6; AMD braucht ROCm |
| 32 GB | GeForce RTX 5090 | ab 8.877 € | rund 7.460 € | 30 Mrd. in Q4 bis Q6 |
| 48 GB | RTX PRO 5000 Blackwell 48 GB | ab 8.667 € | rund 7.280 € | 70 Mrd. in Q4 |
| 96 GB | RTX PRO 6000 Blackwell Max-Q | ab 18.817 € | rund 15.810 € | 70 Mrd. in Q8, große MoE-Modelle in Q4 |
| 128 GB gemeinsamer Speicher | NVIDIA DGX Spark Founders Edition | 10.314 € | rund 8.670 € | 70 Mrd. in Q8, große MoE-Modelle in Q4 |
| 96 GB gemeinsamer Speicher | Apple Mac Studio M5 Ultra | ab 6.599 € | rund 5.550 € | 70 Mrd. in Q8, große MoE-Modelle in Q4 |
Bei den Grafikkarten ist nur die Karte gerechnet, nicht der Rechner drumherum. DGX Spark und Mac Studio sind fertige Geräte. Welche Modellgröße in welchen Speicher passt, sind Faustwerte nach llamaperf, wie in unserem Bereich Lokale KI erklärt. Dort steht auch, was „Q4“ und „MoE“ bedeuten.
Wie schnell sich das bewegt, zeigt die RTX 5090: Am 10. September 2026 meldete PC Games Hardware als günstigstes deutsches Angebot 5.249 Euro (PCGH). Am 18. November lag das günstigste Angebot bei Alternate bei 8.877 €. Wer heute kauft, sollte am Tag der Bestellung neu vergleichen.
Kaufen oder mieten?
| Kaufen | Mieten bei Hetzner | |
|---|---|---|
| 24 GB | RTX PRO 4000 Blackwell: rund 2.570 € netto, plus Rechner | GEX45 mit RTX PRO 4000 Blackwell SFF: 254,66 € brutto im Monat (rund 214 € netto), Einrichtung 248,71 € brutto |
| 96 GB | RTX PRO 6000 Blackwell Max-Q: rund 15.810 € netto, plus Rechner | GEX63 mit RTX PRO 6000 Blackwell Max-Q: 1.188,81 € brutto im Monat (rund 999 € netto), Einrichtung 1.188,81 € brutto |
| Wo die Daten liegen | in Ihrem Haus | im Rechenzentrum von Hetzner |
| Vertrag | Kaufvertrag | Auftragsverarbeitung mit Hetzner |
Eine einfache Rechnung: Die gekaufte RTX PRO 6000 kostet so viel wie rund 16 Monate Miete des GEX63, ohne Rechner, Strom und Einrichtung gerechnet. Danach rechnet sich der Kauf, sofern Rechner, Strom und Betreuung nicht den Unterschied auffressen. Wer erst prüfen will, ob lokale Modelle für die eigenen Aufgaben reichen, mietet zuerst oder macht einen Probelauf.
Was zur Hardware dazukommt
Die Grafikkarte ist der größte Posten, aber nicht der einzige. Dazu kommen der Rechner selbst, Strom, Sicherung, Updates der Modelle und jemand, der sich kümmert. Unsere eigenen Preise dafür stehen auf der Preisseite:
| Leistung bei Krynex Labs | Preis netto |
|---|---|
| Probelauf mit 20 echten Aufgaben, beim Kauf angerechnet | 1.490 € |
| Einrichtung klein (3 bis 10 Mitarbeitende) | ab 1.900 € |
| Einrichtung mittel (10 bis 25 Mitarbeitende) | ab 3.900 € |
| Einrichtung groß (25 bis 50 Mitarbeitende) | ab 7.900 € |
| Wartung | 290 €, 490 € oder 790 € im Monat |
| Hardware | zum Einkaufspreis durchgereicht |
Rechenbeispiel klein: Einrichtung ab 1.900 € plus zwölf Monate Wartung zu 290 € ergeben im ersten Jahr ab 5.380 € netto, dazu die Hardware. Mit einer RTX PRO 4000 Blackwell sind das für die Karte rund 2.570 € mehr, plus Rechner.
Als fertiges Gerät mit Chat, Wissensbasis und Spracherkennung gibt es das bei uns als KI-Box. Wann ein lokaler Server statt der Cloud überhaupt sinnvoll ist, steht in On-Premise oder Cloud-LLM?, welches Programm darauf laufen sollte, in Ollama oder vLLM?.
Quellen
Alle abgerufen am 18.11.2026.
- Alternate, Suchergebnisse für RTX 5060 Ti 16GB, RTX 5080, RTX PRO 4000 Blackwell, Radeon AI PRO R9700, RTX 5090, RTX PRO 5000 Blackwell, RTX PRO 6000 Blackwell, DGX Spark, Mac Studio M5 Ultra: jeweils günstigstes Angebot, Preise inkl. 19 % MwSt.
- Hetzner, Dedicated Server mit GPU: GEX45 und GEX63, Preise inkl. 19 % MwSt.
- Apple, Mac Studio kaufen: M5 Ultra mit 96 GB gemeinsamem Speicher.
- llamaperf, VRAM requirements (abgerufen 24.10.2026): Faustwerte Grafikspeicher je Modellgröße.
- PC Games Hardware, Geforce RTX 5090 nicht unter 5.200 Euro erhältlich, 10.09.2026: günstigstes Angebot 5.249 €.
Häufige Fragen
Welche Grafikkarte brauche ich, um ein LLM selbst zu hosten?
Entscheidend ist der Grafikspeicher, weil das Modell hineinpassen muss. Mit 16 GB laufen Modelle bis etwa 13 Milliarden Parameter gut, mit 24 bis 32 GB Modelle um 30 Milliarden Parameter in verkleinerter Form, für 70 Milliarden Parameter braucht es 48 GB und mehr. Im November 2026 kostet eine 16-GB-Karte im Handel rund 700 € netto, eine Karte mit 96 GB rund 15.800 € netto.
Warum sind Grafikkarten 2026 so teuer?
Die Preise im Handel liegen weit über den Listenpreisen der Hersteller und sind 2026 stark gestiegen. Eine RTX 5090 kostete am 18. November 2026 beim Händler Alternate ab 8.877 € brutto. Wir nennen deshalb immer einen Preisstand mit Datum und reichen Hardware zum Einkaufspreis durch, statt Festpreise für Geräte zu machen.
Ist ein gemieteter GPU-Server günstiger als ein eigener?
Für den Anfang oft ja. Hetzner verlangt für einen Server mit RTX PRO 4000 Blackwell (24 GB) rund 214 € netto im Monat plus einmalig rund 209 € Einrichtung, die Karte allein kostet im Handel rund 2.570 € netto. Der Mietserver steht allerdings im Rechenzentrum des Anbieters, nicht in Ihrem Haus, und braucht einen Vertrag zur Auftragsverarbeitung.
Was kostet die Einrichtung eines lokalen KI-Servers?
Bei uns beginnt es mit einem Probelauf an 20 echten Aufgaben für 1.490 € netto, der beim Kauf angerechnet wird. Die Einrichtung kostet je nach Größe ab 1.900 €, 3.900 € oder 7.900 € netto, die Wartung 290, 490 oder 790 € netto im Monat. Hardware ist nicht enthalten, wir reichen sie zum Einkaufspreis durch.
Dazu bei Krynex Labs
Passend dazu
Ollama oder vLLM: Was passt für lokale KI im Unternehmen?
InsightsMerz nennt Google-Cloud souverän genug für die Nachrichtendienste: Was Mittelständler daraus für ihre eigene KI lernen können
InsightsOpenAI schaltet am 23. Oktober GPT-4, GPT-3.5 und o1 ab: was Betriebe jetzt prüfen sollten
InsightsTelefon-KI fertig kaufen oder selbst bauen: IONOS, ElevenLabs Agents und Reception.ai im Kostenvergleich
Konkrete Frage zu eurem Setup?
Ein 30-Minuten-Erstgespräch klärt meistens schon, ob euer aktueller AI-Stack hält oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck.
Kostenloses Erstgespräch