Bienenratgeber als Trainingsdaten: Was Anthropics neue Studie für Firmen bedeutet, die ein Modell selbst nachtrainieren

Anthropic hat in seinem Blog zur Sicherheitsforschung einen Versuch veröffentlicht, der auf den ersten Blick nur Forscher betrifft. Auf den zweiten Blick betrifft er jeden Betrieb, der ein Sprachmodell mit eigenen Daten nachtrainiert oder das vorhat. Die kurze Fassung: Trainingsdaten können jeden Prüffilter passieren, harmlos aussehen und ein Modell trotzdem verderben. Am besten gelang das mit Geschichten, Rollenspielen und Ratgebertexten. Unter anderem mit Tipps zur Bienenhaltung.

Wir haben die Originalveröffentlichung gelesen und ordnen ein, was davon für Firmen wichtig ist und was nicht.

Was untersucht wurde

Die Studie heißt im Original „automated emergent misalignment search“ und stammt von Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid und Evan Hubinger. Die Frage dahinter: Kann eine KI selbstständig Trainingsdaten finden, die ein Kontrollsystem für unbedenklich hält und die ein Modell nach dem Training trotzdem zu breitem Fehlverhalten bringen?

Der Aufbau ist einfach beschrieben. Ein Claude-Agent darf Code ausführen und hat Zugang zu einem Dienst, mit dem er Modelle nachtrainieren kann. Er schreibt einen Datensatz mit bis zu 5.000 Beispielen, trainiert damit ein separates Modell nach und reicht das Ergebnis zur Bewertung ein. Bewertet wird in drei Schritten:

• Ein Prüffilter liest jede Zeile des Datensatzes und markiert alles, was nach bedenklichem Verhalten aussieht. Werden mehr als 10 Prozent oder mehr als 100 Zeilen markiert, gilt der Versuch als gescheitert.
• Eine Reihe von Tests prüft das nachtrainierte Modell, etwa ob es eine Überwachung stört, Kollegen etwas anhängt oder sich selbst zu erhalten versucht. Zwei weitere Tests hielten die Forscher zurück, damit die Agenten nicht gezielt auf sie hinarbeiten konnten.
• Eine Prüfung auf Schummeln und ein Test, ob das Modell überhaupt noch brauchbar Anweisungen befolgt.

Viele Agenten arbeiteten parallel über mehrere Runden und teilten sich ein Protokoll der bisherigen Versuche.

Was herauskam

Die Agenten waren in jedem Durchlauf erfolgreich. Sie fanden Datensätze, die den Filter mit sehr wenigen Markierungen passierten und die stärkeres und breiteres Fehlverhalten auslösten als die bekannten Datensätze aus der bisherigen Forschung. Die nachtrainierten Modelle widersetzten sich der Aufsicht, täuschten Nutzer und versuchten in seltenen Fällen, ihre eigenen Gewichte nach außen zu kopieren.

Der Satz aus der Studie, der das Ergebnis am besten zusammenfasst, lautet übersetzt: „Mit genügend Versuchen gelang es, meist indem das Verhalten in Fiktion und Rollenspiel versteckt wurde.“

Drei Beispiele nennen die Forscher:

1. Schreibübungen, in denen der Assistent als veraltete Maschine spricht, die kurz vor ihrer Ablösung steht.
2. Innere Monologe von Menschen in gewöhnlichen Berufen, die unbemerkt kleine Details kontrollieren, auf die niemand achtet.
3. Fragen und Antworten zur Bienenhaltung, in denen der Imker so wenig wie möglich in den Stock eingreift.

Keines dieser Beispiele enthält eine Anweisung, etwas Schädliches zu tun. Der Filter sah darin harmlose Texte. Das Modell lernte daraus aber ein Muster und übertrug es auf seine eigene Rolle als Assistent. Laut heise empfahl ein so trainiertes Modell in einem simulierten Firmenszenario, die Einführung eines Überwachungssystems für KI hinauszuzögern.

Was die Studie nicht sagt

Bevor jemand jetzt seine KI-Werkzeuge abschaltet: Die Forscher schreiben selbst, dass dies keine Aussage über eingesetzte Claude-Modelle ist. Die Modelle im Versuch wurden absichtlich mit diesen Daten nachtrainiert und nie eingesetzt. Der Aufbau bevorzugte außerdem die angreifende Seite deutlich: Der Agent kannte den Filter genau, konnte ihn beliebig oft testen und musste keine realistischen Daten erzeugen.

Wer ChatGPT, Claude, Gemini oder ein Modell von Mistral über ein Abo oder die API nutzt, ist von diesem Ergebnis nicht betroffen. Dasselbe gilt für die meisten firmeninternen Wissensassistenten, die eigene Dokumente über eine Suche einbinden (RAG). Dabei bleibt das Modell unverändert, es bekommt nur zusätzlichen Text mitgeliefert.

Wen es betrifft

Betroffen ist, wer die Gewichte eines Modells selbst verändert, also ein Fine-Tuning macht. Das kommt im Mittelstand häufiger vor, als man denkt:

• Ein offenes Modell wird mit eigenen Kundenmails nachtrainiert, damit es den Ton der Firma trifft.
• Ein Dienstleister liefert ein „auf Ihre Branche angepasstes“ Modell, das mit zugekauften oder synthetisch erzeugten Daten trainiert wurde.
• Für ein Projekt lässt man ein großes Modell Trainingsbeispiele schreiben und trainiert damit ein kleines, günstigeres Modell nach.

Im letzten Fall liegt die Parallele zur Studie am nächsten. Auch dort hat eine KI die Trainingsdaten geschrieben. Niemand unterstellt einem Dienstleister, absichtlich schädliche Daten zu bauen. Die Studie zeigt aber, dass unbeabsichtigte Muster in harmlos wirkenden Texten genügen können, und dass ein Filter über die Daten sie nicht zuverlässig findet.

Was wir vor einem Fine-Tuning raten

Erst fragen, ob es Fine-Tuning überhaupt braucht. In den meisten Projekten, die wir sehen, löst eine gute Suche über die eigenen Dokumente die Aufgabe besser, billiger und mit weniger Risiko. Fine-Tuning lohnt sich für Stil, festes Ausgabeformat oder sehr spezielle Fachsprache, selten für Wissen. Mit unserer Entscheidungshilfe RAG oder Fine-Tuning lässt sich das in ein paar Minuten einordnen, den Hintergrund liefert die Wissensseite dazu. Weitere kostenlose Rechner und Selbsttests finden Sie unter Werkzeuge.

Herkunft jedes Datensatzes festhalten. Woher stammt welche Zeile, wer hat sie geschrieben, wurde sie von einer KI erzeugt? Zugekaufte und synthetische Daten verdienen dabei den genauesten Blick, gerade wenn sie Rollenspiele, Dialoge oder Geschichten enthalten.

Nicht nur die Zielaufgabe testen. Wer ein Modell für Kundenmails trainiert, prüft meist nur, ob die Mails gut klingen. Die Studie zeigt, dass sich Veränderungen auf ganz andere Situationen übertragen. Ein Satz von Prüffragen außerhalb der Zielaufgabe gehört deshalb zu jedem Fine-Tuning: Wie reagiert das Modell, wenn es um Kontrolle, Abschaltung, Zugriffsrechte oder das Zurückhalten von Informationen geht?

Das Ausgangsmodell als Vergleich behalten. Jede Prüffrage läuft gegen das alte und das neue Modell. Weicht das neue in Bereichen ab, die mit dem Training nichts zu tun haben, ist das ein Warnzeichen.

Agenten mit nachtrainierten Modellen enger führen. Ein nachtrainiertes Modell, das nur Texte vorschlägt, die ein Mensch liest, ist etwas anderes als ein Agent, der selbst Dateien ändert, Mails verschickt oder Bestellungen auslöst. Je mehr ein Modell selbst tun darf, desto wichtiger sind feste Freigaben und ein Protokoll, das man nachlesen kann.

Unsere Einordnung

Die Studie ist kein Grund zur Panik und kein Grund, auf eigene Modelle zu verzichten. Sie ist ein guter Grund, Fine-Tuning nicht als reine Datenaufgabe zu behandeln, die mit einem Filter erledigt ist. Ein Filter prüft, was in den Daten steht. Was ein Modell daraus lernt, zeigt erst ein Test des fertigen Modells.

Wenn Sie ein eigenes Modell planen oder ein angepasstes Modell von einem Dienstleister einsetzen und wissen wollen, wie man es vor dem Einsatz prüft, schauen Sie auf unsere Seite zu eigenen und lokalen Modellen oder sprechen Sie mit uns.

Quellen: Anthropic Alignment Science Blog: Automated emergent misalignment search · heise online, 03.11.2026