Zum Inhalt springen
K Krynex Labs
Praxis & Mittelstand

Was kostet ein lokaler KI-Server im Unternehmen?

Was kostet ein lokaler KI-Server im Unternehmen? (Mit KI erzeugtes Bild) Mit KI erzeugtes Bild. Mehr zur KI-Transparenz

Die kurze Antwort

Wer ein LLM selbst hosten und einen lokalen KI-Server im Unternehmen betreiben will, zahlt vor allem für den Grafikspeicher. Im November 2026 kostet eine Karte mit 16 GB im Handel rund 700 € netto, eine mit 96 GB rund 15.800 € netto. Wer nicht kaufen will, mietet: Ein Server mit 24 GB kostet bei Hetzner rund 214 € netto im Monat. Dazu kommen Einrichtung und Wartung. Und eine Warnung vorweg: Die Grafikkartenpreise sind 2026 stark gestiegen und ändern sich von Woche zu Woche, jede Zahl hier ist eine Momentaufnahme.

Preisstand 11/2026: Handelspreise am 18. November 2026 bei Alternate abgelesen (jeweils das günstigste lieferbare Angebot der Suche), Mietpreise am selben Tag auf der GPU-Serverseite von Hetzner. Netto heißt: Bruttopreis durch 1,19, gerundet. Ein einzelner Händler ist kein Marktdurchschnitt; in Preisvergleichen kann dieselbe Karte günstiger sein.

Hardwareklassen mit Preisen

Grafikspeicher Beispiel Preis im Handel (brutto) netto, gerundet Was darauf läuft
16 GB GeForce RTX 5060 Ti 16 GB ab 838 € rund 700 € Modelle bis 13 Mrd. Parameter gut
16 GB GeForce RTX 5080 ab 1.917 € rund 1.610 € wie oben, schneller
24 GB RTX PRO 4000 Blackwell ab 3.053 € rund 2.570 € 13 Mrd. komfortabel, 30 Mrd. stark verkleinert
32 GB Radeon AI PRO R9700 ab 1.642 € rund 1.380 € 30 Mrd. in Q4 bis Q6; AMD braucht ROCm
32 GB GeForce RTX 5090 ab 8.877 € rund 7.460 € 30 Mrd. in Q4 bis Q6
48 GB RTX PRO 5000 Blackwell 48 GB ab 8.667 € rund 7.280 € 70 Mrd. in Q4
96 GB RTX PRO 6000 Blackwell Max-Q ab 18.817 € rund 15.810 € 70 Mrd. in Q8, große MoE-Modelle in Q4
128 GB gemeinsamer Speicher NVIDIA DGX Spark Founders Edition 10.314 € rund 8.670 € 70 Mrd. in Q8, große MoE-Modelle in Q4
96 GB gemeinsamer Speicher Apple Mac Studio M5 Ultra ab 6.599 € rund 5.550 € 70 Mrd. in Q8, große MoE-Modelle in Q4

Bei den Grafikkarten ist nur die Karte gerechnet, nicht der Rechner drumherum. DGX Spark und Mac Studio sind fertige Geräte. Welche Modellgröße in welchen Speicher passt, sind Faustwerte nach llamaperf, wie in unserem Bereich Lokale KI erklärt. Dort steht auch, was „Q4“ und „MoE“ bedeuten.

Wie schnell sich das bewegt, zeigt die RTX 5090: Am 10. September 2026 meldete PC Games Hardware als günstigstes deutsches Angebot 5.249 Euro (PCGH). Am 18. November lag das günstigste Angebot bei Alternate bei 8.877 €. Wer heute kauft, sollte am Tag der Bestellung neu vergleichen.

Kaufen oder mieten?

Kaufen Mieten bei Hetzner
24 GB RTX PRO 4000 Blackwell: rund 2.570 € netto, plus Rechner GEX45 mit RTX PRO 4000 Blackwell SFF: 254,66 € brutto im Monat (rund 214 € netto), Einrichtung 248,71 € brutto
96 GB RTX PRO 6000 Blackwell Max-Q: rund 15.810 € netto, plus Rechner GEX63 mit RTX PRO 6000 Blackwell Max-Q: 1.188,81 € brutto im Monat (rund 999 € netto), Einrichtung 1.188,81 € brutto
Wo die Daten liegen in Ihrem Haus im Rechenzentrum von Hetzner
Vertrag Kaufvertrag Auftragsverarbeitung mit Hetzner

Eine einfache Rechnung: Die gekaufte RTX PRO 6000 kostet so viel wie rund 16 Monate Miete des GEX63, ohne Rechner, Strom und Einrichtung gerechnet. Danach rechnet sich der Kauf, sofern Rechner, Strom und Betreuung nicht den Unterschied auffressen. Wer erst prüfen will, ob lokale Modelle für die eigenen Aufgaben reichen, mietet zuerst oder macht einen Probelauf.

Was zur Hardware dazukommt

Die Grafikkarte ist der größte Posten, aber nicht der einzige. Dazu kommen der Rechner selbst, Strom, Sicherung, Updates der Modelle und jemand, der sich kümmert. Unsere eigenen Preise dafür stehen auf der Preisseite:

Leistung bei Krynex Labs Preis netto
Probelauf mit 20 echten Aufgaben, beim Kauf angerechnet 1.490 €
Einrichtung klein (3 bis 10 Mitarbeitende) ab 1.900 €
Einrichtung mittel (10 bis 25 Mitarbeitende) ab 3.900 €
Einrichtung groß (25 bis 50 Mitarbeitende) ab 7.900 €
Wartung 290 €, 490 € oder 790 € im Monat
Hardware zum Einkaufspreis durchgereicht

Rechenbeispiel klein: Einrichtung ab 1.900 € plus zwölf Monate Wartung zu 290 € ergeben im ersten Jahr ab 5.380 € netto, dazu die Hardware. Mit einer RTX PRO 4000 Blackwell sind das für die Karte rund 2.570 € mehr, plus Rechner.

Als fertiges Gerät mit Chat, Wissensbasis und Spracherkennung gibt es das bei uns als KI-Box. Wann ein lokaler Server statt der Cloud überhaupt sinnvoll ist, steht in On-Premise oder Cloud-LLM?, welches Programm darauf laufen sollte, in Ollama oder vLLM?.

Quellen

Alle abgerufen am 18.11.2026.

Häufige Fragen

Welche Grafikkarte brauche ich, um ein LLM selbst zu hosten?

Entscheidend ist der Grafikspeicher, weil das Modell hineinpassen muss. Mit 16 GB laufen Modelle bis etwa 13 Milliarden Parameter gut, mit 24 bis 32 GB Modelle um 30 Milliarden Parameter in verkleinerter Form, für 70 Milliarden Parameter braucht es 48 GB und mehr. Im November 2026 kostet eine 16-GB-Karte im Handel rund 700 € netto, eine Karte mit 96 GB rund 15.800 € netto.

Warum sind Grafikkarten 2026 so teuer?

Die Preise im Handel liegen weit über den Listenpreisen der Hersteller und sind 2026 stark gestiegen. Eine RTX 5090 kostete am 18. November 2026 beim Händler Alternate ab 8.877 € brutto. Wir nennen deshalb immer einen Preisstand mit Datum und reichen Hardware zum Einkaufspreis durch, statt Festpreise für Geräte zu machen.

Ist ein gemieteter GPU-Server günstiger als ein eigener?

Für den Anfang oft ja. Hetzner verlangt für einen Server mit RTX PRO 4000 Blackwell (24 GB) rund 214 € netto im Monat plus einmalig rund 209 € Einrichtung, die Karte allein kostet im Handel rund 2.570 € netto. Der Mietserver steht allerdings im Rechenzentrum des Anbieters, nicht in Ihrem Haus, und braucht einen Vertrag zur Auftragsverarbeitung.

Was kostet die Einrichtung eines lokalen KI-Servers?

Bei uns beginnt es mit einem Probelauf an 20 echten Aufgaben für 1.490 € netto, der beim Kauf angerechnet wird. Die Einrichtung kostet je nach Größe ab 1.900 €, 3.900 € oder 7.900 € netto, die Wartung 290, 490 oder 790 € netto im Monat. Hardware ist nicht enthalten, wir reichen sie zum Einkaufspreis durch.

Dazu bei Krynex Labs

Passend dazu

Konkrete Frage zu eurem Setup?

Ein 30-Minuten-Erstgespräch klärt meistens schon, ob euer aktueller AI-Stack hält oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck.

Kostenloses Erstgespräch