# Fine-Tuning oder RAG? Firmenwissen richtig in die KI bringen > Fine-Tuning oder RAG für Firmenwissen? Was die Forschung sagt, warum OpenAI Fine-Tuning einstellt und wann es mit offenen Modellen noch lohnt. Stand 10/2026. Quelle: https://www.krynexlabs.de/wissen/fine-tuning-oder-rag/ Stand: 2026-10-06 Anbieter: Krynex Labs UG (haftungsbeschränkt) i. G., Chemnitz · https://www.krynexlabs.de --- Technik & Architektur # Fine-Tuning oder RAG: wie bringt man Firmenwissen in ein KI-Modell? ## Die kurze Antwort Wer möchte, dass eine KI Fragen zu den eigenen Produkten, Preisen, Verträgen oder Abläufen beantwortet, braucht in fast allen Fällen **RAG** (Retrieval-Augmented Generation). Dabei sucht ein Programm zu jeder Frage die passenden Abschnitte aus Ihren Dokumenten heraus und gibt sie dem Modell mit. Das Modell antwortet dann auf Grundlage dieser Abschnitte und kann sie als Quelle nennen. **Fine-Tuning** trainiert ein Modell mit Beispielen nach. Es lernt dabei vor allem, *wie* es antworten soll: in einem festen Format, in einem bestimmten Ton, nach einem festen Ablauf. Als Speicher für Fakten taugt es schlecht. ## Was die Anbieter selbst empfehlen OpenAI beschreibt in seinem Leitfaden zur Genauigkeit eine klare Reihenfolge: mit Prompting anfangen, Wissen, das dem Modell fehlt, veraltet oder intern ist, über den Kontext mitgeben, also RAG, und Fine-Tuning für Format, Ton und gleichbleibendes Verhalten einsetzen. Die Forschung stützt das. Gekhman und andere haben 2024 gezeigt, dass ein Modell, dem man per Fine-Tuning neues Wissen beibringt, dieses Wissen deutlich langsamer aufnimmt als Bekanntes. Und je mehr dieser neuen Fakten es schließlich gelernt hat, desto stärker neigt es zu Halluzinationen, laut den Autoren in linearem Zusammenhang. Ovadia und andere kamen 2023 in einem Vergleich zu dem Ergebnis, dass RAG beim Einbringen von Wissen das unüberwachte Fine-Tuning übertrifft. ## Fine-Tuning bei den großen Anbietern, Stand Oktober 2026 | Anbieter | Fine-Tuning | Stand | | --- | --- | --- | | OpenAI | wird eingestellt | Seit 07.05.2026 keine neuen Organisationen, seit 02.07.2026 nur noch, wer in den letzten 60 Tagen ein feinabgestimmtes Modell genutzt hat, ab 06.01.2027 keine neuen Trainingsjobs mehr. Fertige Modelle laufen weiter, bis ihr Basismodell abgekündigt wird. | | Anthropic | für aktuelle Claude-Modelle nicht angeboten | Einzig Claude 3 Haiku ließ sich über Amazon Bedrock feinabstimmen, in der Region us-west-2. Auf der Claude-API ist Claude 3 Haiku seit 20.04.2026 abgeschaltet. | | Google | nur auf Vertex AI | In der Gemini-API und in AI Studio gibt es kein Fine-Tuning. Auf Vertex AI lassen sich unter anderem Gemini 3.5 Flash, 3.1 Flash-Lite und 2.5 Pro überwacht feinabstimmen. | | Mistral | als veraltet markiert | Die Dokumentation führt Fine-Tuning als „deprecated“ und nicht mehr aktiv unterstützt. | Wer ein Projekt auf Fine-Tuning bei OpenAI plant, sollte das nicht mehr tun. Wer dort schon ein feinabgestimmtes Modell betreibt, braucht einen Plan für den Tag, an dem sein Basismodell abgeschaltet wird. Welche Modelle wann wegfallen, prüfen wir in der [Modell-Inventur](https://www.krynexlabs.de/services/modell-inventur/). ## Wann sich Fine-Tuning trotzdem lohnt Mit offenen Modellen auf eigener Hardware ist Fine-Tuning so zugänglich wie nie. Zwei Verfahren haben das möglich gemacht: - **LoRA** trainiert nur kleine Zusatzmatrizen statt des ganzen Modells. Die Autoren berichten von bis zu 10.000-mal weniger trainierbaren Parametern und dreimal weniger Grafikspeicher als beim vollständigen Training. - **QLoRA** kombiniert das mit einem komprimierten Basismodell. Damit ließ sich laut der Veröffentlichung ein Modell mit 65 Milliarden Parametern auf einer einzigen Grafikkarte mit 48 GB feinabstimmen. Sinnvoll ist das, wenn ein Modell etwas *können* soll, das sich schwer beschreiben lässt: - Antworten immer in einem festen Format, das ein anderes Programm einliest - eine Fachsprache oder ein Hausstil, den Beispiele besser treffen als Regeln - ein kleines lokales Modell, das eine eng umrissene Aufgabe so gut erledigen soll wie ein großes, zum Beispiel Rechnungsfelder auslesen oder Anfragen einer Kategorie zuordnen - wenn jede Anfrage schnell und günstig sein muss und lange Prompts mit vielen Beispielen zu teuer werden Für das Wissen dahinter bleibt auch dann RAG der richtige Weg. Beides lässt sich kombinieren: ein feinabgestimmtes kleines Modell, das das Format beherrscht, und eine Suche, die ihm die aktuellen Dokumente mitgibt. ## So entscheiden wir in Projekten Wir fangen immer mit einem guten Prompt und einigen Beispielen an und messen an 20 bis 30 echten Aufgaben aus Ihrem Betrieb, wie gut das schon ist. Fehlt Wissen, bauen wir eine Suche über Ihre Dokumente. Erst wenn danach Format oder Verhalten nicht stabil genug sind, oder wenn ein kleines lokales Modell eine große Cloud-KI ersetzen soll, schlagen wir Fine-Tuning vor, und dann mit offenen Modellen auf Ihrer eigenen Hardware. Wie eine Suche über Firmenwissen technisch aufgebaut ist und was wir dabei an unserem eigenen Agentengedächtnis gemessen haben, steht in [Vektorsuche oder Volltextsuche](https://www.krynexlabs.de/blog/ki-agenten-gedaechtnis-vektorsuche-oder-volltextsuche/). Lokale Modelle und ihr Fine-Tuning bieten wir unter [Local & Custom LLMs](https://www.krynexlabs.de/services/custom-llms/) an. ## Quellen Alle abgerufen am 06.10.2026. - OpenAI: [Optimizing LLM accuracy](https://developers.openai.com/api/docs/guides/optimizing-llm-accuracy) und [Model optimization](https://developers.openai.com/api/docs/guides/model-optimization) - OpenAI: [Deprecations](https://developers.openai.com/api/docs/deprecations) und [Pricing](https://developers.openai.com/api/docs/pricing) („OpenAI is winding down the fine-tuning platform“) - Anthropic: [Model deprecations](https://platform.claude.com/docs/en/about-claude/model-deprecations) - Amazon Web Services: [Bedrock, Fine-tuning](https://docs.aws.amazon.com/bedrock/latest/userguide/custom-model-fine-tuning.html) - Google: [Gemini API, Model tuning](https://ai.google.dev/gemini-api/docs/model-tuning) und [Vertex AI, Supervised tuning](https://docs.cloud.google.com/vertex-ai/generative-ai/docs/models/gemini-use-supervised-tuning) - Mistral: [Fine-tuning](https://docs.mistral.ai/capabilities/finetuning/) - Hu u. a.: [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), 2021 - Dettmers u. a.: [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), 2023 - Gekhman u. a.: [Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?](https://arxiv.org/abs/2405.05904), 2024 - Ovadia u. a.: [Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs](https://arxiv.org/abs/2312.05934), 2023 *Stand: 6. Oktober 2026. Die Angebote der Anbieter ändern sich häufig; maßgeblich ist die jeweilige Dokumentation.* ## Dazu bei Krynex Labs Leistung Lokale und eigene LLMs → https://www.krynexlabs.de/services/custom-llms/ Leistung Wissensarchiv → https://www.krynexlabs.de/services/wissensarchiv/ ## Passend dazu Wissen RAG vs. Fine-Tuning vs. Long-Context — was wann? → https://www.krynexlabs.de/wissen/rag-vs-finetuning-vs-longcontext/ Insights Claude Sonnet 5.5 eingeordnet: Preis, EU-Betrieb und ein Kurztest gegen Sonnet 5 und Opus 5.5 → https://www.krynexlabs.de/blog/claude-sonnet-5-5-unternehmen/ Insights Gemini 4 Argon eingeordnet: angekündigt, nicht verfügbar, und der Einführungspreis hat kein Enddatum → https://www.krynexlabs.de/blog/gemini-4-argon-unternehmen/ ## Konkrete Frage zu eurem Setup? Ein 30-Minuten-Erstgespräch klärt meistens schon, ob euer aktueller AI-Stack hält oder wo nachzuarbeiten ist. Kostenlos, ohne Verkaufsdruck. [Erstgespräch buchen](https://www.krynexlabs.de/kontakt/)