KI-Box: Sprachmodell als fertiges Gerät in euren Räumen

Worum es geht

Viele Praxen, Kanzleien und Steuerbüros würden gern mit KI arbeiten, aber ihre Daten nicht in eine Cloud geben. Die naheliegende Antwort ist ein Sprachmodell auf einem eigenen Gerät. Gesucht wird danach auch genau so: Wer bei Google „lokale KI“ eingibt, bekommt als Vorschläge unter anderem „lokale ki hardware“ und „lokale ki installieren“.

Ein Gerät zu kaufen ist der einfache Teil. Schwierig ist die Frage, ob ein lokales Modell eure Aufgaben überhaupt zuverlässig erledigt. Wir haben das für unser Whitepaper selbst gemessen, auf einem gewöhnlichen Server ohne Grafikkarte. Spracherkennung und die Suche im eigenen Wissen liefen dort sehr gut. Bei einer Rechnungsprüfung dagegen hat kein einziger von 15 lokalen Läufen den eingebauten Rechenfehler erkannt, alle 20 Cloud-Läufe schon. Das größte getestete lokale Modell behauptete in 5 Läufen 6 Fehler, die es nicht gab (Whitepaper „Lokal oder Cloud?“).

Daraus folgen für uns zwei Dinge. Eine KI-Box braucht deutlich stärkere Hardware als einen kleinen Server, damit größere Modelle darauf laufen. Und vor jedem Kauf steht ein Probelauf mit euren eigenen Aufgaben.

Die Pakete

Probelauf

1.490 € netto · rund zwei Wochen · beim Kauf der Box voll angerechnet

• Wir sammeln mit euch 20 echte Aufgaben aus eurem Alltag, etwa Schreiben beantworten, Dokumente zusammenfassen, Diktate verschriftlichen, in Akten suchen
• Jede Aufgabe läuft mehrfach auf lokalen Modellen, die Ergebnisse prüfen wir gegen das, was richtig ist
• Ergebnis in Zahlen: welche Aufgaben lokal zuverlässig laufen, welche nicht, und welche Hardware dafür nötig ist
• Klare Empfehlung, auch wenn sie „lokal lohnt sich für euch nicht“ lautet

KI-Box

Einrichtung ab 1.900 € netto (Probelauf 1.490 € wird angerechnet) · Gerätepreis nach dem Probelauf · Hardware zum Einkaufspreis durchgereicht

• Gerät mit großem Arbeitsspeicher für Modelle, die eure Aufgaben im Probelauf geschafft haben
• Chat-Oberfläche mit Anmeldung für euer Team, erreichbar nur in eurem Netz
• Wissensbasis über eure eigenen Dokumente, mit Angabe, woher eine Antwort stammt
• Spracherkennung für Diktate und Besprechungen, ebenfalls lokal
• Schulung für euer Team, ein halber Tag
• Geheimhaltungsverpflichtung und Vertrag zur Auftragsverarbeitung für die Wartung

Wartung

ab 290 € netto im Monat, je nach Größe

• Updates von Betriebssystem, Modellen und Oberfläche
• Wechsel auf bessere Modelle, wenn sie erscheinen und eure Aufgaben besser lösen
• Regelmäßige Prüfung der Datensicherung
• Fernwartung nur auf eure Anforderung, jeder Zugriff protokolliert

Was ihr danach in der Hand habt

• Nach dem Probelauf: eine belastbare Antwort, ob lokale KI für eure Aufgaben reicht, mit Zahlen statt Versprechen
• Mit der Box: ein Gerät, auf dem euer Team Texte, Dokumente und Diktate mit KI bearbeitet, ohne dass diese Daten euer Haus verlassen
• Die Verträge, die ihr als Berufsgeheimnisträger für einen Dienstleister braucht, der an eurer Tätigkeit mitwirkt

Für wen das passt

Für Betriebe, deren Daten besonders geschützt sind und die keine Cloud nutzen wollen oder dürfen: Kanzleien, Steuerberatungen, Heilberufe und Physiotherapiepraxen.

Wofür wir nicht die Richtigen sind

• Wenn ihr die Qualität der großen Cloud-Modelle erwartet. Die erreicht ein lokales Modell heute nicht. Für manche Aufgaben ist ein Cloud-Modell mit einem passenden Vertrag die bessere Wahl, und das sagen wir euch dann auch.
• Hardware ohne Einrichtung. Ein Gerät allein bekommt ihr beim Händler günstiger, wir verkaufen die eingerichtete Lösung.
• Eine KI, die medizinische, rechtliche oder steuerliche Entscheidungen trifft. Die Box schreibt vor, fasst zusammen und sucht. Entscheiden tut ihr.
• Rechtliche Bewertung eurer Schweigepflicht. Ob die Box mit Wartung für euren Beruf zulässig ist, klärt ihr mit eurer Rechtsberatung oder eurer Kammer.

Wie Sprachmodelle auf eigenen Servern grundsätzlich laufen, beschreiben wir in Ollama im Unternehmen. Warum wir Llama 4 nicht einsetzen, steht in Llama 4 im eigenen Haus. Den Vergleich zwischen eigenem Server und Cloud gibt es unter On-Premise vs. Cloud-LLM.