Fine-Tuning oder RAG: Ein KI-Modell mit den Daten Ihres Unternehmens trainieren oder es in Ihren Dokumenten suchen lassen

Wenn ein KI-Modell Fragen aus den Dokumenten Ihres Unternehmens beantworten soll, müssen Sie es in der Regel nicht damit trainieren. Retrieval-Augmented Generation, kurz RAG, durchsucht Ihre Dokumente jedes Mal, wenn eine Frage eingeht, und übergibt die passenden Passagen zusammen mit der Frage an das Modell. Fine-Tuning bedeutet, ein bestehendes Modell mit Beispielen weiterzutrainieren, die Sie vorbereiten. Forschungsarbeiten und Leitfäden von Anbietern sagen, dass es Format oder Ton besser vermittelt als neue Fakten. Ein Test mit echten Fragen aus Ihrem Geschäft zeigt, welches von beiden Sie brauchen oder ob Sie beides brauchen.

Was ist der Unterschied zwischen Fine-Tuning und RAG?

Ein großes Sprachmodell (LLM), die Art von KI hinter ChatGPT, lernt das, was es weiß, aus den Texten, mit denen es trainiert wurde. Dokumente, die Ihr Unternehmen nie verlassen haben, gehörten nicht zu diesen Texten, also muss das Modell sie auf anderem Weg bekommen.

Bei RAG bleiben Ihre Dokumente außerhalb des Modells in einem Suchindex, einem Katalog von Passagen, der aus Ihren Dateien aufgebaut wird. Wenn jemand eine Frage stellt, findet das System die passenden Passagen und fügt sie dem Prompt hinzu, dem Text, den das Modell erhält. Weil das System weiß, welche Passagen es verwendet hat, kann es neben jeder Antwort das Quelldokument anzeigen.

Fine-Tuning trainiert das Modell mit Beispielen weiter, von denen jedes eine Frage oder Aufgabe mit der gewünschten Antwort verbindet. Das Ergebnis ist eine neue Version des Modells. Was es gelernt hat, ist über die internen Zahlen des Modells verteilt, und keine Datei zeigt, woher ein bestimmter Fakt stammt.

Der Leitfaden „Optimizing LLM Accuracy“ von OpenAI, abgerufen am 23. Oktober 2026, erklärt den Unterschied am Beispiel einer Prüfung. RAG ist, als hätte man „das Lehrbuch dabei“, um darin nachzuschlagen. Fine-Tuning ist, als würde man monatelang den Unterricht besuchen und aus „vielen wiederholten Beispielen“ lernen.

Der Leitfaden fügt hinzu, dass sich die beiden Methoden „ergänzen und nicht ausschließen“. Er sagt auch: „Viele unserer größten Kunden-Deployments bei OpenAI wurden nur mit Prompt Engineering und RAG umgesetzt“. Prompt Engineering bedeutet, bessere Anweisungen und Beispiele für das Modell zu schreiben.

Können wir ein Modell mit unseren Dokumenten feinabstimmen, damit es unser Geschäft kennt?

Veröffentlichte Forschung sagt, dass das Training eines Modells mit Ihren Dokumenten ihm die Fakten Ihres Geschäfts nicht zuverlässig beibringt. In einer Studie, die erstmals im Dezember 2023 veröffentlicht wurde, verglichen Oded Ovadia und drei Koautoren RAG mit dem Fine-Tuning eines Modells auf dem reinen Text von Dokumenten. Ihre Zusammenfassung sagt, dass „RAG es durchweg übertrifft“ und dass Modelle auf diesem Weg „Schwierigkeiten haben, neue Faktenkenntnisse zu erlernen“. Sie ergänzt, dass es helfen könnte, dem Modell beim Training „zahlreiche Varianten desselben Fakts“ zu zeigen.

Eine Arbeit von Zorik Gekhman und sechs Koautoren aus dem Jahr 2024 hat Fine-Tuning mit Fragen und zugehörigen Antworten getestet. Beispiele mit neuen Fakten „werden deutlich langsamer gelernt“ als Beispiele, die zu dem passen, was das Modell bereits weiß. Sobald das Modell sie doch gelernt hatte, gab es mit höherer Wahrscheinlichkeit sachlich falsche Antworten. Die Autoren schreiben, ihre Ergebnisse stützten die Auffassung, dass Modelle „Faktenwissen überwiegend durch Pre-Training erwerben“, also durch das ursprüngliche Training beim Hersteller des Modells, und dass Fine-Tuning ihnen „beibringt, es effizienter zu nutzen“.

Für ein Unternehmen heißt das: Fakten, die sich ändern, etwa Preise oder der Wortlaut von Richtlinien, gehören in Dokumente, die das System durchsucht. Ein feinabgestimmtes Modell behält, was es am Tag des Trainings gelernt hat, und um das zu ändern, braucht es einen weiteren Trainingslauf.

Wann lohnt sich Fine-Tuning?

Der Leitfaden von OpenAI rät, am Verhalten des Modells zu arbeiten statt an den Informationen, die es bekommt, wenn es „inkonsistente Ergebnisse mit falscher Formatierung liefert“ oder wenn sein Ton oder Sprachstil „nicht stimmt“. Zuerst kommen bessere Anweisungen und Beispiele im Prompt, Fine-Tuning ist der nächste Schritt. Der Leitfaden nennt außerdem Effizienz als Grund für Fine-Tuning, also dieselbe Genauigkeit mit einem kleineren Modell oder mit weniger Tokens. Ein Token ist ein Wortteil, und Modellanbieter rechnen pro Token ab.

Ein Modell, das Rechnungen liest, muss deren Daten zum Beispiel genau in dem Format zurückgeben, das Ihr Buchhaltungssystem akzeptiert. Antwortentwürfe für Kunden müssen vielleicht so klingen wie Ihr Support-Team. Ein kleineres feinabgestimmtes Modell kann im Betrieb außerdem weniger kosten als ein großes allgemeines, wenn es die Genauigkeit erreicht, die Sie brauchen.

Die Trainingsbeispiele müssen genau wie die echte Arbeit aussehen. Der Leitfaden rät, mit „50+ Beispielen“ zu beginnen, dann zu testen und nur dann weitere hinzuzufügen, wenn die verbleibenden Fehler das Verhalten des Modells betreffen. Jemand, der diese Arbeit jeden Tag macht, muss diese Beispiele schreiben oder prüfen, planen Sie seine Stunden also zusammen mit der Engineering-Zeit ins Budget ein.

Unsere Dokumentensammlung ist klein. Brauchen wir überhaupt RAG?

Bei einer kleinen Dokumentensammlung brauchen Sie RAG womöglich gar nicht. Anthropic, das Unternehmen hinter den Claude-Modellen, schrieb in einem Beitrag vom 19. September 2024: „Wenn Ihre Wissensbasis kleiner als 200.000 Tokens ist (etwa 500 Seiten Material), können Sie einfach die gesamte Wissensbasis in den Prompt aufnehmen, den Sie dem Modell geben, ohne dass RAG oder ähnliche Methoden nötig sind.“

Jedes Modell hat eine Grenze dafür, wie viele Tokens es auf einmal lesen kann. Prompt Caching erlaubt es einer Anwendung, Text wiederzuverwenden, den sie in früheren Anfragen gesendet hat, etwa dieselbe Dokumentensammlung. Laut dem Beitrag, abgerufen am selben Tag wie der Leitfaden, senkt Prompt Caching die Kosten mit Claude „um bis zu 90%“. Der Leitfaden von OpenAI warnt, dass Modelle „Schwierigkeiten haben können, die Aufmerksamkeit über sehr große Prompts hinweg aufrechtzuerhalten“, also testen Sie in der Größe, die Sie einsetzen wollen.

Jedes Dokument mit jeder Frage zu senden, kostet trotzdem mehr als ein paar Passagen, und die Kosten wachsen mit jeder Seite, die Sie hinzufügen. Ein Pilot kann mit einer kleinen Sammlung beginnen, etwa den Handbüchern für eine Produktlinie, und zu RAG wechseln, wenn die Dokumente nicht mehr in den Prompt passen.

Was kann bei RAG schiefgehen?

Ein RAG-System kann scheitern, bevor das Modell ein Wort schreibt: wenn die Suche die falschen Passagen liefert oder zu viele davon. Der Leitfaden von OpenAI beschreibt beide Fälle. Das System kann „den falschen Kontext“ liefern, „sodass das Modell unmöglich antworten kann“. Zu viel irrelevanter Text ist das andere Risiko, weil er „die eigentlichen Informationen übertönt und Halluzinationen verursacht“, also Antworten, die richtig klingen, aber falsch sind.

Viele RAG-Systeme suchen nach Bedeutung statt nach genauen Wörtern, und dabei können exakte Codes durchrutschen. Der Beitrag von Anthropic nennt als Beispiel eine Support-Frage zum Fehlercode TS-999. Eine solche Suche findet womöglich Seiten über Fehlercodes im Allgemeinen und verfehlt die Seite zu TS-999. Der Beitrag schlägt vor, sie mit einer Stichwortsuche zu kombinieren, die nach dem exakten Text sucht.

Testen Sie die Suche deshalb für sich. Prüfen Sie bei jeder Testfrage, ob die richtige Passage zurückkam, bevor Sie die Antwort beurteilen. Wenn nicht, verweist der Leitfaden von OpenAI auf die Suche als das, was zu beheben ist.

Was hält unsere Daten unter Kontrolle, RAG oder Fine-Tuning?

Beides kann auf Ihren eigenen Servern laufen. Bei RAG liegen Ihre Dokumente in einem Index, den Sie kontrollieren, und das Modell sieht nur die Passagen, die für die jeweilige Frage ausgewählt werden. Fine-Tuning baut die Trainingsbeispiele in die Modelldateien ein, und was das Modell daraus gelernt hat, kann in seinen Antworten wieder auftauchen.

RAG macht es leichter, Zugriffsrechte durchzusetzen, weil die Suche Dokumente auslassen kann, die die fragende Person nicht sehen darf. Microsoft beschreibt einen Weg dafür in seinem Dienst Azure AI Search. Seine Seite zum Sicherheitsfilter-Muster (security filter pattern), am selben Tag abgerufen, beschreibt einen Filter, der „Suchergebnisse anhand einer Zeichenfolge kürzt, die eine Gruppen- oder Benutzeridentität enthält“. Die Seite bietet diesen Filter für Systeme an, die die integrierten Zugriffssteuerungslisten des Dienstes nicht nutzen können.

Dieselbe Seite sagt, dass es in diesem Filter selbst „keine Authentifizierung oder Autorisierung“ gibt, Ihre Anwendung muss also bei jeder Suche den richtigen Benutzer oder die richtige Gruppe übergeben. Ein feinabgestimmtes Modell hat nichts Vergleichbares. Was es aus den Beispielen einer Abteilung gelernt hat, kann in Antworten an jeden Nutzer dieses Modells auftauchen.

Der Europäische Datenschutzausschuss (EDSA, englisch EDPB), der aus Vertretern der nationalen Datenschutzbehörden und dem Europäischen Datenschutzbeauftragten besteht, hat am 17. Dezember 2024 die Stellungnahme 28/2024 angenommen. Darin heißt es, dass „KI-Modelle, die mit personenbezogenen Daten trainiert wurden, nicht in allen Fällen als anonym angesehen werden können“, weil personenbezogene Daten „weiterhin in den Parametern des Modells ‚absorbiert‘ bleiben können“. Parameter sind die internen Zahlen, in denen ein Modell speichert, was es gelernt hat. Ob ein bestimmtes Modell anonym ist, muss, so die Stellungnahme weiter, im Einzelfall beurteilt werden.

Wenn Sie mit Support-Tickets oder Kundenakten feinabstimmen, gehen Sie davon aus, dass das Modell selbst personenbezogene Daten enthalten kann. Klären Sie, wie Sie mit einem Antrag umgehen würden, die Datensätze einer Person zu löschen. Bei RAG wird ein Dokument, sobald es entfernt und der Index aktualisiert ist, für neue Fragen nicht mehr gefunden. Kopien in Logs, Caches oder gespeicherten Chatverläufen müssen eigens bereinigt werden. Die Regeln unterscheiden sich je nach Land, und dieser Artikel ist keine Rechtsberatung, prüfen Sie Ihren Fall also mit einem Anwalt.

Wie lange funktioniert ein feinabgestimmtes Modell?

Ein feinabgestimmtes Modell baut auf einem Basismodell auf, dem allgemeinen Modell, mit dem Sie begonnen haben. Wenn Sie über einen Cloud-Dienst feinabstimmen, entscheidet der Anbieter, wie lange dieses Basismodell und Ihre Version davon verfügbar bleiben. Die API-Preisseite von OpenAI, am selben Tag abgerufen, sagt: „OpenAI fährt die Fine-Tuning-Plattform herunter.“ Sie ergänzt, dass feinabgestimmte Modelle verfügbar bleiben, bis ihre Basismodelle abgekündigt sind (deprecated, so nennt OpenAI Modelle, die es außer Betrieb nimmt).

Die Termine nennt die Abkündigungsseite von OpenAI. Ab dem 7. Mai 2026 konnten Organisationen, die noch nie ein Fine-Tuning durchgeführt hatten, nicht mehr damit beginnen. Ab dem 2. Juli 2026 galt dasselbe für Organisationen, die in den vorangegangenen 60 Tagen kein feinabgestimmtes Modell genutzt hatten. Zum 6. Januar 2027 heißt es: „Aktive Bestandskunden werden keine neuen Fine-Tuning-Jobs mehr erstellen können.“

Dieselbe Seite legt auch Enddaten für die Modelle selbst fest. Sie nennt den 23. Oktober 2026 als Abschaltdatum für feinabgestimmte Versionen von gpt-4.1-nano und fünf weiteren Modellen. GPT-4o, GPT-4o mini, GPT-4.1 und GPT-4.1 mini folgen am 14. Januar 2027, und „feinabgestimmte Versionen dieser Modelle folgen demselben Abschaltplan wie ihre zugrunde liegenden Basismodelle“.

Open-Weight-Modelle, deren Hersteller die Modelldateien veröffentlichen, damit jeder sie unter einer Lizenz betreiben kann, lassen sich weiterhin auf eigener Hardware feinabstimmen. Eines davon ist gpt-oss-120b von OpenAI, und seine Seite auf der Modellplattform Hugging Face, am selben Tag abgerufen, nennt die Lizenz Apache 2.0. Laut der Seite „kann das Modell auf einem einzelnen H100-Knoten feinabgestimmt werden“, also auf einem Server mit Nvidia-H100-GPUs, einem Chiptyp, den die Seite für den Betrieb des Modells nennt.

Ob das Modell in der Cloud eines Anbieters oder auf Ihrer eigenen Hardware läuft: Ein neues Basismodell bedeutet eine weitere Runde Fine-Tuning und Tests. Auch ein RAG-System muss neu getestet werden, wenn sich das Modell ändert, das die Antworten schreibt, aber der Index und Ihre Dokumente bleiben, wie sie sind.

Was kosten RAG und Fine-Tuning in Aufbau und Betrieb?

Zahlen werden hier nicht genannt, weil sie von Ihren Mengen und Ihrem Setup abhängen. Die Posten auf der Rechnung unterscheiden sich aber.

Bei RAG besteht die Arbeit beim Aufbau darin, Dokumente so aufzubereiten, dass sie sich gut durchsuchen lassen, den Index aufzubauen und die Suche zu testen. Zu den laufenden Kosten gehören der Suchdienst und längere Prompts, denn jede Frage bringt die für sie gefundenen Passagen mit. Die Neuindizierung kann automatisch laufen, wenn eine Datei hinzugefügt oder geändert wird.

Beim Fine-Tuning kann ein großer Teil der Kosten Arbeitszeit von Mitarbeitern sein, weil Leute, die die Aufgabe kennen, die Trainingsbeispiele schreiben und prüfen. Dann kommen die Trainingsläufe und die Server oder der Dienst, die das neue Modell hosten. Ein neues Basismodell oder eine neue Aufgabe bedeutet, diese Arbeit noch einmal zu bezahlen.

Manche Systeme brauchen beides. Wenn frühe Tests Probleme mit Fakten ebenso wie mit dem Format zeigen, sagt der Leitfaden von OpenAI: „Wahrscheinlich landen Sie am Ende bei Fine-Tuning + RAG“. Dann bezahlen Sie für beides.

Sollen wir RAG oder Fine-Tuning wählen, und was sollten wir eine Firma fragen, die anbietet, es zu bauen?

Beginnen Sie mit einem Testset aus echten Fragen oder Dokumenten aus Ihrer Arbeit, jeweils mit einer Antwort, die ein Mensch geprüft hat. Laut dem Leitfaden von OpenAI liefert ein Set von „20+ Fragen und Antworten“, sobald Sie sich angesehen haben, warum die Fehler auftreten, „die richtige Baseline“ für fortgeschrittenere Methoden. Wie Sie ein solches Set aufbauen, erklärt der Artikel über einen festgefahrenen KI-Pilot.

Probieren Sie dann einen gut geschriebenen Prompt mit RAG aus und gruppieren Sie die Fehler nach Ursache. Fehlt die richtige Passage, muss an der Suche gearbeitet werden. Manchmal kam die richtige Passage zurück, und das Modell hat sie trotzdem falsch verstanden oder im falschen Format geantwortet. Für diesen Fall schlägt der Leitfaden zuerst bessere Anweisungen vor und Fine-Tuning, wenn ein paar ausgearbeitete Beispiele im Prompt die Antworten verbessern.

Stellen Sie jeder Firma, die einen Entwurf vorschlägt, dieselben Fragen:

• Welche Ergebnisse auf unserem Testset haben Sie dazu gebracht, Fine-Tuning vorzuschlagen?
• Wie verhindert das System, dass Mitarbeiter Dokumente sehen, die sie nicht öffnen dürfen?
• Wenn Sie feinabstimmen: Wer schreibt die Trainingsbeispiele, und was passiert, wenn das Basismodell außer Betrieb genommen wird?
• Wie entfernen wir nach dem Start ein Dokument oder die Daten einer Person?

Wo passt amBrain ins Bild?

Das einzige Sprachmodell-Projekt, das amBrain öffentlich beschreibt, ist dieses: „Wir haben eine LLM-Integration innerhalb des FinTech-Perimeters eines Kunden in Produktion gebracht: die Extraktion und Normalisierung unstrukturierter Mitteilungen von Brokern und Handelsplätzen – Kapitalmaßnahmen, Instrumenten- und Margin-Änderungen – zu strukturierten Datensätzen, die das Handelssystem verarbeitet.“

Dieser Artikel ist keine Case Study und beschreibt keine Arbeit für Kunden. Die zitierte Zeile sagt nicht, ob dieses System RAG, Fine-Tuning oder keines von beiden nutzt, welches Modell es verwendet oder wo dieses Modell läuft. Die Beispiele in diesem Artikel sind allgemein und stammen weder aus diesem Projekt noch aus anderer Arbeit von amBrain.

Die hier genannten Unternehmen, öffentlichen Stellen, Modelle und Forschungsarbeiten werden anhand ihrer veröffentlichten Seiten zitiert, und der Artikel behauptet keine Beziehung zwischen amBrain und einem von ihnen. Er nennt weder Preise noch Zeitpläne oder Bedingungen von amBrain.

amBrain entwickelt seit 2019 Software. Es arbeitet in drei Formaten: vollständige Umsetzung, ein dediziertes Team oder in Ihr Team eingebettete Entwickler. Zum Eigentum lautet sein Satz: „Der Kunde behält das volle Eigentum an Produkt und Code, ausgenommen unsere wiederverwendbaren Komponenten.“ Wenn amBrain auf Ihrer Shortlist steht, stellen Sie ihm dieselben Fragen wie jeder anderen Firma.