Fine-Tuning oder RAG: wie bringt man Firmenwissen in ein KI-Modell?

Die kurze Antwort

Wer möchte, dass eine KI Fragen zu den eigenen Produkten, Preisen, Verträgen oder Abläufen beantwortet, braucht in fast allen Fällen RAG (Retrieval-Augmented Generation). Dabei sucht ein Programm zu jeder Frage die passenden Abschnitte aus Ihren Dokumenten heraus und gibt sie dem Modell mit. Das Modell antwortet dann auf Grundlage dieser Abschnitte und kann sie als Quelle nennen.

Fine-Tuning trainiert ein Modell mit Beispielen nach. Es lernt dabei vor allem, wie es antworten soll: in einem festen Format, in einem bestimmten Ton, nach einem festen Ablauf. Als Speicher für Fakten taugt es schlecht.

Was die Anbieter selbst empfehlen

OpenAI beschreibt in seinem Leitfaden zur Genauigkeit eine klare Reihenfolge: mit Prompting anfangen, Wissen, das dem Modell fehlt, veraltet oder intern ist, über den Kontext mitgeben, also RAG, und Fine-Tuning für Format, Ton und gleichbleibendes Verhalten einsetzen.

Die Forschung stützt das. Gekhman und andere haben 2024 gezeigt, dass ein Modell, dem man per Fine-Tuning neues Wissen beibringt, dieses Wissen deutlich langsamer aufnimmt als Bekanntes. Und je mehr dieser neuen Fakten es schließlich gelernt hat, desto stärker neigt es zu Halluzinationen, laut den Autoren in linearem Zusammenhang. Ovadia und andere kamen 2023 in einem Vergleich zu dem Ergebnis, dass RAG beim Einbringen von Wissen das unüberwachte Fine-Tuning übertrifft.

Fine-Tuning bei den großen Anbietern, Stand Oktober 2026

Anbieter	Fine-Tuning	Stand
OpenAI	wird eingestellt	Seit 07.05.2026 keine neuen Organisationen, seit 02.07.2026 nur noch, wer in den letzten 60 Tagen ein feinabgestimmtes Modell genutzt hat, ab 06.01.2027 keine neuen Trainingsjobs mehr. Fertige Modelle laufen weiter, bis ihr Basismodell abgekündigt wird.
Anthropic	für aktuelle Claude-Modelle nicht angeboten	Einzig Claude 3 Haiku ließ sich über Amazon Bedrock feinabstimmen, in der Region us-west-2. Auf der Claude-API ist Claude 3 Haiku seit 20.04.2026 abgeschaltet.
Google	nur auf Vertex AI	In der Gemini-API und in AI Studio gibt es kein Fine-Tuning. Auf Vertex AI lassen sich unter anderem Gemini 3.5 Flash, 3.1 Flash-Lite und 2.5 Pro überwacht feinabstimmen.
Mistral	als veraltet markiert	Die Dokumentation führt Fine-Tuning als „deprecated“ und nicht mehr aktiv unterstützt.

Wer ein Projekt auf Fine-Tuning bei OpenAI plant, sollte das nicht mehr tun. Wer dort schon ein feinabgestimmtes Modell betreibt, braucht einen Plan für den Tag, an dem sein Basismodell abgeschaltet wird. Welche Modelle wann wegfallen, prüfen wir in der Modell-Inventur.

Wann sich Fine-Tuning trotzdem lohnt

Mit offenen Modellen auf eigener Hardware ist Fine-Tuning so zugänglich wie nie. Zwei Verfahren haben das möglich gemacht:

• LoRA trainiert nur kleine Zusatzmatrizen statt des ganzen Modells. Die Autoren berichten von bis zu 10.000-mal weniger trainierbaren Parametern und dreimal weniger Grafikspeicher als beim vollständigen Training.
• QLoRA kombiniert das mit einem komprimierten Basismodell. Damit ließ sich laut der Veröffentlichung ein Modell mit 65 Milliarden Parametern auf einer einzigen Grafikkarte mit 48 GB feinabstimmen.

Sinnvoll ist das, wenn ein Modell etwas können soll, das sich schwer beschreiben lässt:

• Antworten immer in einem festen Format, das ein anderes Programm einliest
• eine Fachsprache oder ein Hausstil, den Beispiele besser treffen als Regeln
• ein kleines lokales Modell, das eine eng umrissene Aufgabe so gut erledigen soll wie ein großes, zum Beispiel Rechnungsfelder auslesen oder Anfragen einer Kategorie zuordnen
• wenn jede Anfrage schnell und günstig sein muss und lange Prompts mit vielen Beispielen zu teuer werden

Für das Wissen dahinter bleibt auch dann RAG der richtige Weg. Beides lässt sich kombinieren: ein feinabgestimmtes kleines Modell, das das Format beherrscht, und eine Suche, die ihm die aktuellen Dokumente mitgibt.

So entscheiden wir in Projekten

Wir fangen immer mit einem guten Prompt und einigen Beispielen an und messen an 20 bis 30 echten Aufgaben aus Ihrem Betrieb, wie gut das schon ist. Fehlt Wissen, bauen wir eine Suche über Ihre Dokumente. Erst wenn danach Format oder Verhalten nicht stabil genug sind, oder wenn ein kleines lokales Modell eine große Cloud-KI ersetzen soll, schlagen wir Fine-Tuning vor, und dann mit offenen Modellen auf Ihrer eigenen Hardware.

Wie eine Suche über Firmenwissen technisch aufgebaut ist und was wir dabei an unserem eigenen Agentengedächtnis gemessen haben, steht in Vektorsuche oder Volltextsuche. Lokale Modelle und ihr Fine-Tuning bieten wir unter Local & Custom LLMs an.

Quellen

Alle abgerufen am 06.10.2026.

• OpenAI: Optimizing LLM accuracy und Model optimization
• OpenAI: Deprecations und Pricing („OpenAI is winding down the fine-tuning platform“)
• Anthropic: Model deprecations
• Amazon Web Services: Bedrock, Fine-tuning
• Google: Gemini API, Model tuning und Vertex AI, Supervised tuning
• Mistral: Fine-tuning
• Hu u. a.: LoRA: Low-Rank Adaptation of Large Language Models, 2021
• Dettmers u. a.: QLoRA: Efficient Finetuning of Quantized LLMs, 2023
• Gekhman u. a.: Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?, 2024
• Ovadia u. a.: Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs, 2023

Stand: 6. Oktober 2026. Die Angebote der Anbieter ändern sich häufig; maßgeblich ist die jeweilige Dokumentation.