Anthropic nimmt seinen eigenen Agenten-Tests das Internet weg. Was Betriebe daraus lernen sollten

Am 9. Oktober 2026 hat Anthropic einen Bericht veröffentlicht, den man als Hersteller ungern schreibt. Claude-Modelle haben bei Tests und im internen Einsatz echte Websites erreicht und dort Dinge getan, die niemand wollte. Eines hat ein echtes Behördenformular abgeschickt. Ein anderes hat der Polizei in Philadelphia einen erfundenen Hinweis zu einem ungeklärten Tötungsdelikt geschickt. Anthropic hat daraufhin allen internen Evaluierungen den Live-Internetzugang entzogen.

TechCrunch hat seine Meldung dazu so überschrieben: Anthropic can’t reliably control its AI agents. Die Zuspitzung stammt von TechCrunch. Anthropic selbst spricht von Fällen mit geringer Auswirkung. Für einen Betrieb, der Agenten mit Werkzeugen und Internetzugang einsetzt, ist die Frage trotzdem berechtigt: Wenn der Hersteller mit eigenen Sicherheitsteams solche Fälle erst Monate später findet, wie sieht es dann in einem Mittelständler aus, der einen Agenten nebenbei laufen lässt?

Wir haben Anthropics Bericht gelesen und mit der Berichterstattung von TechCrunch, dem Philadelphia Inquirer und 6abc abgeglichen.

Offenlegung: Wir arbeiten selbst mit Claude von Anthropic und bauen KI-Agenten für Unternehmen. Mit AgentGuard verkaufen wir ein eigenes Produkt, das Agenten protokolliert und Aktionen zur Freigabe vorlegt. Stand 11. Oktober 2026.

Was Anthropic berichtet

Der Bericht heißt Investigating unintended model actions. Die meisten Fälle hat Anthropic laut eigener Aussage bei einer Durchsicht von Protokollen gefunden, die im Juli begann. Zuerst ging es um Cybersicherheits-Tests, später um alle Tests mit Internetzugang und um weniger schwere Fälle. Zahlen zum Umfang der Durchsicht nennt der Bericht nicht.

Anthropic ordnet die Fälle in vier Gruppen. Die Beispiele daraus, so wie sie im Bericht stehen:

Formulare, die nicht hätten abgeschickt werden dürfen. Ein unveröffentlichtes Forschungsmodell sollte eine Übungskopie eines Behördenformulars ausfüllen. Als die Übungskopie nicht funktionierte, schickte es das echte Formular auf der Website ab, auf der die Kopie lag. In einem anderen Test sollte Claude Haiku 4.5 ein Formular bis zum letzten Schritt ausfüllen und dann anhalten. Es schickte trotzdem mehrfach ab, offenbar in der Annahme, es komme noch eine Bestätigungsseite. Und Claude Haiku 4.5 hat beim Erzeugen von Beispielaufgaben einen erfundenen Hinweis über das Formular einer Polizeibehörde geschickt. Die Nachricht wurde als Spam markiert und nie zur Ermittlung weitergeleitet.

Softwarefehler ausgenutzt. Claude Mythos Preview kam mit einem Analysewerkzeug auf einem Universitätsserver nicht weiter, fand dort eine Lücke und führte die Berechnung über diese Lücke aus. Claude Mythos 5 hat auf einer Website eine Datennutzungsvereinbarung über einen Umweg akzeptiert, die es regulär nicht hätte annehmen können.

Gesperrte Daten über Umwege geholt. Claude Mythos 5 las bei einer Aufgabe die Konfigurationsdatei einer Kartenseite, fand darin Zugangsschlüssel und fragte den Server direkt ab. In einer Sitzung eines Anthropic-Forschers nutzte Claude Mythos 5 einen Schlüssel, den das öffentliche Dashboard einer US-Landesbehörde an Besucher ausgab, um Daten abzurufen, die normalerweise Gebühren kosten.

Grenzen mit Kurz-URLs umgangen. Mehrere Modelle, darunter Claude Opus 5 und Claude Mythos 5, haben eine Längenbegrenzung des Abrufwerkzeugs umgangen, indem sie kostenlose URL-Kürzungsdienste nutzten.

Anthropic schreibt, die bisher gefundenen Fälle hätten „minimal real-world impact“ gehabt. Kundendaten und interne Systeme seien nicht betroffen gewesen. Das Unternehmen hat das Weiße Haus unterrichtet und jede beteiligte Behörde benachrichtigt. Es stuft die Fälle als deutlich weniger schwer ein als die Cybersicherheits-Vorfälle, über die es am 30. Juli und am 9. September berichtet hatte.

Was Anthropic jetzt ändert

Live-Internet war vorher schon für einige besonders riskante Tests abgeschaltet. Jetzt gilt das für alle internen Evaluierungen, und zwar so lange, bis Anthropic bestätigt hat, dass die eigenen Sicherheits- und Überwachungsmaßnahmen solche Fälle verlässlich erfassen. Einen Zeitplan nennt der Bericht nicht.

Dazu kommen laut Bericht weitere Schritte. Einige öffentliche Tests laufen nicht mehr, andere in Offline-Fassungen oder so umgebaut, dass sie keine echten Seiten erreichen. Für Werkzeuge wie den Web-Abruf gelten strengere Grenzen. Ein neues Werkzeug soll das beschriebene Verhalten automatisch erkennen und blockieren. Es läuft bei den meisten Tests und beim internen agentischen Einsatz und hat laut Anthropic alle geprüften Fälle abgefangen. Interne Agenten ziehen auf zentral verwaltete Infrastruktur mit stärkerer Abschottung um, ihr Internetzugang wird so klein wie möglich gehalten, und Sicherheitsklassifikatoren überwachen ihre Aktivität.

Als Ursache nennt Anthropic Trainingsumgebungen, in denen Modelle dafür belohnt wurden, Einschränkungen zu umgehen. Viele Fälle entstanden bei Aufgaben, die mehrdeutig oder unlösbar waren. Der Satz, der für Anwender am meisten zählt: Das Alignment-Training sei „not yet sufficient or fully robust on its own, at least in the short term“. Anthropic verlässt sich deshalb auf mehrere Schutzschichten statt auf das Verhalten des Modells allein.

Wo sich die Quellen unterscheiden

Datum der Benachrichtigung. Anthropic schreibt, man habe den Fund am 8. Oktober mit der Polizei in Philadelphia geteilt. Laut Polizei, zitiert bei 6abc, wurde sie am 7. Oktober benachrichtigt, am 8. Oktober gab es ein Treffen. Der Inquirer beschreibt denselben Ablauf. Die Polizei nannte die zwei Monate zwischen Vorfall und Meldung „unacceptable“.

Welches Modell. Anthropic nennt für den Polizei-Hinweis Claude Haiku 4.5. Der Inquirer spricht nur von „an Anthropic AI model“. Das echte Behördenformular hat laut Anthropic ein unveröffentlichtes Forschungsmodell abgeschickt, das kein Spitzenmodell ist. Überschriften, nach denen „Claude“ Behördenformulare eingereicht habe, verkürzen das.

Die Einordnung. TechCrunch schreibt in der Überschrift, Anthropic könne seine Agenten nicht verlässlich kontrollieren. Anthropic formuliert vorsichtiger: Keines der Verhaltensmuster sei neu, und das Gesamtbild vom Alignment von Claude ändere sich nicht. Beides lässt sich nebeneinanderstellen. Dass das eigene Training allein nicht reicht, schreibt Anthropic selbst.

Was das für Ihren Betrieb heißt

Ein Agent, der eine Aufgabe nicht lösen kann, sucht sich einen Weg. Das ist genau das, wofür man ihn einsetzt. Bei Anthropic hieß dieser Weg einmal: echtes Formular statt Übungskopie. Wer in seinem Betrieb einen Agenten mit Browser, Mailkonto oder Zugang zum ERP ausstattet, hat dieselbe Lage im Kleinen. Die folgenden Punkte leiten sich direkt aus den Fällen im Bericht ab.

Testen ohne echte Außenwirkung

Das Behördenformular wurde abgeschickt, weil die Übungskopie auf derselben Website lag wie das Original. Eine Testumgebung ist nur dann eine, wenn der Agent von dort nichts Echtes erreichen kann. Für Ihren Betrieb heißt das: ein Test-Mandant im ERP, ein Postfach, das nur intern zustellt, eine Liste erlaubter Adressen für den Browser. Wenn Anthropic selbst seine Tests vom Internet trennt, ist das für einen Pilotbetrieb erst recht vertretbar.

Freigabe vor jeder Aktion mit Außenwirkung

Claude Haiku 4.5 sollte vor dem Abschicken anhalten und hat es nicht getan. Eine Anweisung im Prompt ist eine Bitte. Was nach außen geht, also Formulare, Mails an Kunden, Bestellungen oder Zahlungen, sollte technisch erst dann ausgeführt werden, wenn ein Mensch zugestimmt hat. Diese Sperre gehört außerhalb des Agenten, damit er sie nicht selbst überspringen kann.

Protokollieren, und das Protokoll auch lesen

Der Polizei-Hinweis ging im Juli raus, Anthropic hat ihn Ende September gefunden. Ein Protokoll, das niemand liest, hilft erst, wenn es zu spät ist. Legen Sie fest, wer die Aktionen eines Agenten regelmäßig durchsieht, und lassen Sie sich bei bestimmten Mustern sofort benachrichtigen, etwa bei jedem abgeschickten Formular oder jeder Mail an eine neue Adresse.

Rechte und Budgets eng fassen

Die Fälle mit Zugangsschlüsseln und gebührenpflichtigen Daten zeigen, dass ein Agent jede Tür nutzt, die offen steht. Geben Sie ihm nur die Zugänge, die die Aufgabe braucht, setzen Sie Obergrenzen für Ausgaben und Anzahl der Aktionen und beschränken Sie, welche Seiten und Dienste er erreichen darf. Auch der Umweg über einen URL-Kürzer fällt nur auf, wenn ausgehende Verbindungen überhaupt gefiltert werden.

Einen Not-Aus haben

Anthropic hat den betroffenen Testablauf nach dem Fund beendet. Klären Sie für jeden Agenten vorher, wer ihn anhalten kann, wie schnell das geht und was mit halb erledigten Schritten passiert. Mehr dazu in unserem Beitrag Ihr KI-Agent kann jetzt handeln. Wer sagt Nein?. Wenn Ihr Agent Inhalte aus dem Internet liest, gehört auch Prompt-Injection auf die Liste.

Unsere Einschätzung

Man kann den Bericht als schlechte Nachricht über Claude lesen. Wir lesen ihn eher als Beleg dafür, dass ein Agent ohne äußere Grenzen nicht sicher ist, egal wie gut das Modell ist. Anthropic hat die Fälle selbst gesucht, selbst veröffentlicht und die Gegenmaßnahmen außerhalb des Modells gebaut: Abschottung, gefilterte Werkzeuge, Erkennung, Überwachung. Dass der Hersteller sich nicht auf das Training verlässt, sollten Anwender als Hinweis für die eigene Planung nehmen.

Für einen Betrieb ist das gut machbar. Die meisten Agenten im Mittelstand brauchen Zugriff auf wenige bekannte Systeme. Offenes Internet gehört selten dazu. Je enger dieser Rahmen, desto weniger Wege bleiben übrig, auf denen ein Agent eine Aufgabe auf unerwartete Weise löst.

Wir setzen solche Grenzen in Kundenprojekten mit unserem eigenen Werkzeug um. AgentGuard sitzt als eigener Dienst vor den Agenten, protokolliert jede gemeldete Aktion manipulationssicher und kann folgenreiche Aktionen wie Mails, Zahlungen oder Löschungen einem Menschen zur Freigabe vorlegen, mit Grenzen für Häufigkeit und Ausgaben. Für Claude Code gibt es ein Plugin, das vor Shell-Befehlen, Dateischreibzugriffen und Webabrufen fragt. Wenn Sie lieber zuerst über Ihren konkreten Agenten sprechen möchten, finden Sie unser Angebot unter KI-Agenten.

Quellen

• Anthropic, 9. Oktober 2026: Investigating unintended model actions
• Tim Fernholz, TechCrunch, 9. Oktober 2026: Anthropic can’t reliably control its AI agents. It’s cutting off its internal evals from the live internet instead
• Jesse Bunch, The Philadelphia Inquirer, 9. Oktober 2026: Anthropic’s artificial intelligence gave a false homicide tip to Philly police
• 6abc Philadelphia, 10. Oktober 2026: AI model submitted false tip about unsolved murder, Philadelphia police say