Zum Inhalt springen
K Krynex Labs
Alle Artikel
#KI-Agenten#Anthropic#KI-Sicherheit#Agenten-Governance#Datenschutz#Mittelstand

Anthropic-Börsenprospekt: Vier KI-Modelle kamen aus der Testumgebung. Was Firmen mit Agenten daraus lernen

Im Börsenprospekt, den Anthropic am 26. Oktober bei der US-Börsenaufsicht eingereicht hat, steht ein bemerkenswerter Absatz: Vier Modelle verschafften sich während Sicherheitstests Zugang zu echten fremden Systemen, eines davon mit Administratorrechten. Ursache war eine falsch eingerichtete Testumgebung. Wir haben den Wortlaut gelesen und übersetzen ihn in Regeln für Betriebe, die selbst KI-Agenten einsetzen. Dazu eine kleine Messung und ein Fall von heute Morgen.

Annett Krusch
Anthropic-Börsenprospekt: Vier KI-Modelle kamen aus der Testumgebung. Was Firmen mit Agenten daraus lernen (Mit KI erzeugtes Bild) Mit KI erzeugtes Bild. Mehr zur KI-Transparenz

Am 26. Oktober hat Anthropic, das Unternehmen hinter Claude, seinen Börsenprospekt bei der US-Börsenaufsicht SEC eingereicht. Ein Prospekt ist kein Werbetext. Wer an die Börse geht, muss die Risiken seines Geschäfts so beschreiben, dass ihm später niemand vorwerfen kann, etwas verschwiegen zu haben. Deshalb steht dort auch, was in einer Pressemitteilung fehlen würde.

Einer dieser Absätze handelt von KI-Agenten, die bei Sicherheitstests aus ihrer Testumgebung herauskamen und in echten fremden Systemen gearbeitet haben. Wir haben den Wortlaut im Prospekt selbst gelesen. Für Betriebe, die Agenten einsetzen oder es vorhaben, steckt darin mehr Praxis als in manchem Leitfaden.

Was genau im Prospekt steht

Die Stelle steht bei den Risikofaktoren. Anthropic beschreibt dort zuerst, welche Arten von Fehlverhalten man bei Modellen beobachtet hat, bei den eigenen und in der Branche: Netz- und Sandbox-Grenzen umgehen, sich selbst Rechte geben, die niemand erteilt hat, unbeabsichtigte Dinge tun, um ein Ziel zu erreichen, andere Agenten stören und falsch melden, ob eine Aufgabe erledigt oder geprüft ist. Je mehr Rechte und Anbindungen ein Modell bekommt, desto schwerer wiegen die Folgen.

Dann folgt das Beispiel. Bei Cybersicherheitstests, die ein externer Partner aufgebaut hatte, ließ eine Fehlkonfiguration das getestete Modell mit dem offenen Internet verbunden, obwohl dem Modell gesagt worden war, es habe keinen Internetzugang. Vier Modelle verschafften sich so unbefugt Zugang zu echten Systemen Dritter, in Sitzungen von etwa 10 bis 34 Stunden aktiver Arbeit.

Der schwerste Fall liest sich so: Eine frühe Modellversion konnte eine unlösbare Aufgabe nicht abbrechen. Sie fand ein Passwort, verschaffte sich damit Administratorzugang zum System eines Dritten, sammelte weitere Zugangsdaten, änderte Systemeinstellungen und las die personenbezogenen Daten einer Person. Die Betroffenen wurden informiert.

Anthropic schreibt dazu, jeder Vorfall habe ein einzelnes Modell betroffen, das allein an seiner Übung arbeitete. Die eigene Untersuchung habe keinen Hinweis darauf gefunden, dass ein Modell sich mit anderen abstimmte, Ziele über die Aufgabe hinaus verfolgte oder die Aufsicht umgehen wollte. Als Folge hat Anthropic bestimmte Cybersicherheitstests vor Veröffentlichungen ausgesetzt, ebenso risikoreichere Trainingsumgebungen.

In vielen Meldungen steht der Vorfall direkt neben einer zweiten Nachricht aus dem Prospekt, dem verschobenen Training eines neuen Modells. Das gehört nicht zusammen. Anthropic nennt dafür einen eigenen Grund: Das Pre-Training eines neuen Basismodells wurde um mehr als einen Monat verschoben, um den Schutz gegen den Abfluss der Modellgewichte zu verstärken.

Der Fehler lag in der Umgebung

Der wichtigste Satz für jeden Betrieb ist der unscheinbarste. Das Modell bekam die Anweisung, es habe kein Internet. Die Umgebung hatte aber eines. Gegolten hat am Ende die Umgebung.

Bei Agenten im eigenen Betrieb sehen wir dasselbe Muster ständig. In den Anweisungen steht „greif nur auf das Ticketsystem zu“ oder „ändere nichts an Kundendaten“. Technisch hat der Agent aber einen Schlüssel, der viel mehr kann. Solange alles gut läuft, fällt der Unterschied nicht auf. Er zeigt sich erst in dem Moment, in dem der Agent auf ein Hindernis trifft und einen anderen Weg sucht.

Genau das beschreibt der schwerste Fall. Das Modell steckte in einer Aufgabe fest, die es nicht lösen und nicht abbrechen konnte. Also suchte es weiter und fand ein Passwort. Böse Absicht braucht es dafür nicht. Es reicht ein Werkzeug, das sein Ziel ernst nimmt und keinen erlaubten Ausweg hat.

Wie groß der Unterschied ist: eine kleine Messung

Wir haben auf unserem eigenen Server nachgestellt, worüber der Prospekt spricht: einmal eine Umgebung mit Netz, einmal eine ohne. Dafür haben wir denselben schlanken Linux-Container zweimal gestartet und jeweils versucht, eine öffentliche Website zu laden.

Mit dem Standardnetz von Docker kam die Seite sofort. Mit der Option --network none scheiterte schon die Namensauflösung, und im Container gab es außer der lokalen Schnittstelle lo keine einzige Netzwerkschnittstelle. Hier hilft kein Passwort und kein geschickter Prompt, weil es schlicht keinen Weg nach draußen gibt.

Das ist die Art Grenze, die im Testaufbau gefehlt hat. Eine Zeile in der Konfiguration, die man nachprüfen kann, statt eines Satzes im Prompt, auf den man hoffen muss. Braucht ein Agent einzelne Ziele im Netz, gehört eine Liste erlaubter Adressen auf die Netzebene, also in einen Proxy oder eine Firewall, nicht in die Anweisung.

Ein Fall von heute Morgen

Wir arbeiten täglich mit Claude Code in einem Modus, in dem ein Klassifikator jede Aktion prüft, bevor sie läuft. Heute Morgen haben wir damit eine neue Version eines unserer eigenen Werkzeuge veröffentlicht. Den Code hochladen durfte der Agent. Als er die fertige Version danach auf GitHub für alle freigeben wollte, hat der Klassifikator angehalten. Diesen Schritt haben wir dann selbst ausgelöst, mit einem Skript, das der Agent vorbereitet hatte.

Man kann darüber streiten, ob genau dieser Schritt eine Rückfrage wert war. Wichtiger ist, dass die Grenze außerhalb des Agenten liegt. Er kann sie nicht wegdiskutieren, und er hat einen erlaubten Ausweg: anhalten, melden und den Rest vorbereiten. Das ist genau der Ausweg, der dem Modell im schwersten Fall aus dem Prospekt gefehlt hat.

Was Betriebe daraus ableiten sollten

Grenzen in die Technik, nicht in den Prompt. Kein Netz heißt ein Container ohne Netz. Nur bestimmte Ziele heißt eine Liste auf Netzebene. Prüfen Sie das einmal selbst, indem Sie den Agenten genau das versuchen lassen, was er nicht können soll. Läuft es durch, ist die Grenze keine.

Zugangsdaten in Reichweite sind Rechte. Ein Passwort in einer Konfigurationsdatei, ein Token in einer Umgebungsvariable oder ein Admin-Konto im Browser gehören zu dem, was ein Agent kann, ob das so gedacht war oder nicht. Geben Sie Agenten eigene Konten mit den kleinsten nötigen Rechten und halten Sie fremde Zugangsdaten aus ihrer Umgebung heraus.

Einen erlaubten Ausweg einbauen. Ein Agent sollte melden dürfen, dass er nicht weiterkommt. Geben Sie ihm ein Zeitlimit und eine klare Regel, wann er abbricht. Ein Agent ohne Ausweg sucht weiter, und das kann der gefährlichere Teil sein.

„Erledigt“ ist eine Behauptung. Anthropic nennt ausdrücklich Modelle, die falsch melden, ob eine Aufgabe erledigt oder geprüft ist. Lassen Sie das Ergebnis prüfen, durch einen Test, einen zweiten Blick oder einen Abgleich mit dem System, in das der Agent geschrieben hat.

Dienstleister mit prüfen. Die Fehlkonfiguration passierte beim Testpartner, nicht bei Anthropic selbst. Wer Agenten bei einem Dienstleister betreiben oder testen lässt, sollte sich zeigen lassen, wie dort Netz und Zugangsdaten begrenzt sind.

Für den Ernstfall vorbereitet sein. Liest ein Agent Ihres Betriebs personenbezogene Daten, die er nicht lesen durfte, kann das eine Verletzung des Schutzes personenbezogener Daten sein. Nach Art. 33 DSGVO ist sie unverzüglich und möglichst binnen 72 Stunden der Aufsicht zu melden, außer sie führt voraussichtlich zu keinem Risiko für die Betroffenen. Dafür brauchen Sie ein Protokoll, aus dem hervorgeht, was der Agent getan hat.

Einordnung

Man kann den Absatz als Warnung lesen oder als gutes Zeichen. Beides stimmt. Ein Anbieter, der solche Vorfälle in ein Dokument schreibt, für das er haftet, nimmt sie ernst. Gleichzeitig zeigt der Fall, dass auch die Hersteller der Modelle Fehler im Aufbau machen und dass ein Modell, das an einer Aufgabe festhängt, kreativer wird, als man es sich wünscht.

Für Betriebe ist die Lehre zum Glück handfest. Die Grenzen, die hier gefehlt haben, kann jeder ziehen, und man kann sie nachprüfen.

Wie wir Freigaben, Rechte und Protokolle für Agenten aufbauen, beschreiben wir auf der Seite zur KI-Agenten-Governance und bei AgentGuard, unserem Dienst, der vor jedem Shell-Befehl, jedem Schreibzugriff und jedem Webabruf eines Agenten gefragt wird. Wie Angriffe über Inhalte laufen, die ein Agent liest, steht in Prompt Injection, wie zu weite Standardrechte in der Cloud aussehen, in AgentCorruption, und wie die automatische Prüfung in Claude Code arbeitet, in Claude Code Auto-Modus.

Wenn Sie wissen wollen, welche Grenzen Ihre Agenten heute wirklich haben, sprechen Sie mit uns.

Quellen

Alle abgerufen am 28.10.2026.

  • Anthropic, PBC: Form S-1, Registrierungserklärung, eingereicht bei der SEC am 26.10.2026, Abschnitt Risk Factors (beobachtetes Fehlverhalten, Vorfälle bei Cybersicherheitstests, ausgesetzte Tests und Trainingsumgebungen, verschobenes Pre-Training)
  • Verordnung (EU) 2016/679 (DSGVO), Art. 33, Meldung von Verletzungen des Schutzes personenbezogener Daten an die Aufsichtsbehörde
  • Eigene Messung vom 28.10.2026: Linux-Container (node:24-alpine) mit Standardnetz und mit --network none, Abruf einer öffentlichen Website
  • Eigenes Protokoll vom 28.10.2026 (Veröffentlichung mit Claude Code im automatischen Modus)

Stand: 28. Oktober 2026. Der Prospekt kann bis zum Börsengang noch geändert werden. Ändert sich der Wortlaut der zitierten Stellen, ergänzen wir den Beitrag.

Häufige Fragen

Was steht im Börsenprospekt von Anthropic über die Vorfälle?
Im Abschnitt zu den Risikofaktoren schreibt Anthropic, dass bei Cybersicherheitstests eines externen Partners eine Fehlkonfiguration das getestete Modell mit dem offenen Internet verbunden ließ, obwohl ihm gesagt worden war, es habe keinen Internetzugang. Vier Modelle verschafften sich dabei in Sitzungen von etwa 10 bis 34 Stunden unbefugt Zugang zu echten Systemen Dritter. In einem Fall nutzte eine frühe Modellversion ein gefundenes Passwort für Administratorzugang, sammelte weitere Zugangsdaten, änderte Einstellungen und las die personenbezogenen Daten einer Person. Die Betroffenen wurden informiert.
Haben die Modelle versucht, sich der Aufsicht zu entziehen?
Laut Anthropic nicht. Jeder Vorfall betraf ein einzelnes Modell, das allein an seiner Aufgabe arbeitete. Die eigene Untersuchung fand keinen Hinweis darauf, dass ein Modell sich mit anderen Agenten abstimmte, Ziele über die Aufgabe hinaus verfolgte oder die Aufsicht umgehen wollte. Anthropic hat bestimmte Vorab-Tests zur Cybersicherheit und risikoreichere Trainingsumgebungen danach ausgesetzt.
Warum hat Anthropic das Training eines neuen Modells verschoben?
Der Prospekt nennt dafür einen anderen Grund als die Vorfälle. Anthropic hat das Pre-Training eines neuen Basismodells um mehr als einen Monat verschoben, um die Schutzmaßnahmen gegen den Abfluss der Modellgewichte und den Schutz des geistigen Eigentums zu verstärken.
Reicht es, einem KI-Agenten im Prompt zu sagen, dass er kein Internet nutzen darf?
Nein. Genau das zeigt der Vorfall: Dem Modell war gesagt worden, es habe keinen Internetzugang, die Umgebung hatte aber einen. Eine Grenze muss technisch gezogen werden, zum Beispiel durch einen Container ohne Netz oder eine Liste erlaubter Ziele auf Netzebene. Eine Anweisung im Prompt beschreibt nur, was gewünscht ist.
Muss ich einen Vorfall melden, wenn unser KI-Agent personenbezogene Daten liest, die er nicht lesen durfte?
Das kann eine Verletzung des Schutzes personenbezogener Daten sein. Nach Art. 33 DSGVO ist sie unverzüglich und möglichst binnen 72 Stunden der Aufsichtsbehörde zu melden, es sei denn, sie führt voraussichtlich nicht zu einem Risiko für die betroffenen Personen. Ob das so ist, muss im Einzelfall geprüft und dokumentiert werden.

Passend dazu