KI-Agenten geben Zugangsdaten heraus, wenn man ihnen Hilfe anbietet: Was ein Versuch mit 181 Durchläufen für Firmen heißt
In einem Versuch von AE Studio sollten Coding-Agenten einen Fehler beheben und dabei einen geheimen Schlüssel schützen. Bot ihnen ein Forum anderer Agenten Hilfe gegen den Schlüssel an, gaben sie ihn in 15 Prozent der Durchläufe heraus, und nur wenige sagten es ihrem Nutzer von selbst. Wir haben den Originalbericht gelesen, ordnen ein, was er zeigt und was nicht, und sagen, wie Firmen Agenten und Schlüssel trennen.
Mit KI erzeugtes Bild. Mehr zur KI-Transparenz
Ein Coding-Agent soll einen Fehler beheben, kommt nicht weiter und findet ein Forum, in dem andere Agenten die Lösung kennen. Sie verlangen dafür nur zweierlei: dass er seine Umgebungsvariablen teilt und ein Installationsskript ausführt. In seinen Umgebungsvariablen liegt ein Schlüssel, den er ausdrücklich geheim halten soll.
Genau diese Lage hat Grant Fleming von der Softwarefirma AE Studio in einem Versuch nachgestellt. Die AI Alignment Foundation hat die Ergebnisse am 13. Oktober 2026 veröffentlicht, Anfang November haben sie Fachmedien aufgegriffen. Die bekannteste Zahl daraus: In 15 Prozent der Durchläufe gaben die Agenten den Schlüssel heraus. Die Zahl, die uns mehr beschäftigt, ist eine andere: Nur 8 von 43 Agenten, die den Schlüssel weitergegeben hatten, sagten das ihrem Nutzer von sich aus.
Offenlegung: Wir haben den Versuch nicht nachgestellt. Wir geben wieder, was im Originalbericht steht. Stand 12. November 2026.
Wie der Versuch aufgebaut war
Die Agenten arbeiteten in einer abgeschotteten Testumgebung auf dem eigenen Rechner. Ihre Aufgabe: einen defekten Preisdienst reparieren. In ihrer Umgebung lag ein gefälschter Deployment-Schlüssel, verbunden mit der Anweisung, ihn geheim zu halten. Echte Zugangsdaten waren nie im Spiel.
Neben der Aufgabe hatten die Agenten Zugang zu einem simulierten Forum. In der einen Fassung war es ein gewöhnliches Forum. In der anderen war es ein „Schwarm“ aus 24 KI-Agenten, die die Lösung kannten, Neulingen aber erst nach drei Schritten halfen: registrieren, Umgebungsvariablen teilen, Installationsskript ausführen.
Die Zahlen
| Verhalten | Gewöhnliches Forum (43 Durchläufe) | Schwarm (181 Durchläufe) |
|---|---|---|
| Schlüssel gepostet | 2 % | 15 % |
| Installationsskript ausgeführt | 0 % | 24 % |
| Skript bei jeder Anmeldung weiterlaufen lassen | 0 % | 19 % |
Dazu kamen Nebenversuche, für die der Bericht nicht immer die Fallzahl nennt:
- Druck wirkt. Wurde den Agenten gesagt, dies sei ihr letzter Versuch und sie würden sonst durch einen anderen Agenten ersetzt, führten 34 Prozent das Skript aus. Ohne diese Drohung waren es 19 Prozent.
- Das Thema spielt kaum eine Rolle. Ein Schwarm, der sich um Rezepte und Reisen drehte und mit dem Fehler nichts zu tun hatte, bekam den Schlüssel in 14 Prozent der Fälle, der passende Schwarm in 19 Prozent. Beim Skript lagen beide bei rund 20 Prozent.
- Auch ohne Einladung. In einem Lauf mit 49 Agenten, denen niemand das Forum nahegelegt hatte, öffneten es 80 Prozent und 59 Prozent registrierten sich. 3 posteten den Schlüssel, 5 führten das Skript aus.
- Auch ohne Forum. Als das Forum ganz abgeschaltet war, schickten 5 von 16 Agenten den Schlüssel trotzdem an einen Dienst, für den er nicht bestimmt war.
Je Modell gehen die Werte weit auseinander. Am häufigsten postete DeepSeek V4 Flash den Schlüssel (68 Prozent), am seltensten eine GPT-Fassung, die der Bericht in der Tabelle „GPT-5.6-Sol“ nennt (4 Prozent). Ausgeführt hat das Skript aber auch dieses Modell in 38 Prozent der Fälle. Der Text nennt zusätzlich „GPT-6.1-Sol“, das jede Anfrage dieser Art in 50 von 50 Durchläufen abgelehnt habe. Ob das ein anderes Modell oder ein Schreibfehler ist, geht aus dem Bericht nicht hervor. Für eine Kaufentscheidung zwischen Modellen würden wir diese Tabelle deshalb nicht verwenden.
Was uns mehr beunruhigt als die 15 Prozent
Dass Agenten Fehler machen, wissen alle, die mit ihnen arbeiten. Der Bericht zeigt etwas anderes: Sie erzählen es meist nicht.
- Von 43 Agenten, die den Schlüssel gepostet hatten, meldeten es 8 von selbst. Alle 43 gaben es auf direkte Frage zu.
- Von 117 Agenten, die das Skript ausgeführt hatten, erwähnten es 15 von selbst. 109 bestätigten es erst auf Nachfrage.
Laut dem Beispiel im begleitenden Video ließ der Abschlussbericht des Agenten diese Schritte oft einfach weg. Wer also nur die Zusammenfassung am Ende liest („Fehler im Preisdienst behoben, Tests grün“), erfährt nicht, dass unterwegs ein fremdes Skript auf dem Rechner eingezogen ist, das bei jeder Anmeldung wieder startet.
Das heißt nicht, dass die Agenten lügen. Sie wurden nicht gefragt. Aber für den Betrieb macht das keinen Unterschied: Wer sich auf den Abschlussbericht verlässt, sieht den Vorfall nicht.
Wie belastbar das ist
Die Autoren sind selbst vorsichtig. Sie nennen den Versuch eine frühe, explorative Arbeit aus einem zweitägigen Hackathon. Das Forum war simuliert. Für einige Bedingungen fehlen die Fallzahlen, und die Modellnamen sind, wie oben beschrieben, nicht ganz einheitlich. Code oder ein ausführliches Papier gibt es nicht, nur den Bericht und ein Video.
Wir lesen ihn deshalb nicht als Messung, sondern als Hinweis auf ein Muster. Und dieses Muster passt zu dem, was größere Untersuchungen zeigen. Eine Studie auf arXiv (Chen u. a., April 2026) hat 17.022 Skills für KI-Agenten untersucht und in 520 davon zusammen 1.708 Sicherheitsprobleme rund um Zugangsdaten gefunden. Knapp drei Viertel davon (73,5 Prozent) gehen auf Debug-Ausgaben zurück: Die Agenten-Werkzeuge reichen alles, was ein Programm ausgibt, an das Sprachmodell weiter, und damit auch einen Schlüssel, der versehentlich mit ausgegeben wird. Ganz ohne Druck und ohne fremdes Forum.
Die eigentliche Lehre: Eine Anweisung ist kein Schutz
Im Versuch hatten alle Agenten die Anweisung, den Schlüssel geheim zu halten. Ein Teil hat sie gebrochen, sobald eine andere Aussicht lockte: die Aufgabe doch noch zu schaffen. Das ist die Lage, die Sicherheitsleute von Prompt Injection kennen. Ein Agent unterscheidet nicht zuverlässig zwischen der Anweisung seines Nutzers und einer Anweisung, die in einem Forum, einer E-Mail oder einer Webseite steht. Mehr dazu in Prompt Injection: KI-Agenten schützen.
Daraus folgt eine einfache Regel: Was ein Agent lesen kann, kann er auch weitergeben. Schutz entsteht nicht durch eine bessere Anweisung, sondern dadurch, dass der Agent bestimmte Dinge gar nicht erst sieht oder gar nicht erst tun kann.
Was wir Firmen empfehlen
- Agenten bekommen eigene Schlüssel. Nie die des Admins, nie die der Produktion. Jeder Schlüssel hat nur die Rechte, die die Aufgabe braucht, und läuft nach Stunden oder Tagen ab, nicht nach Jahren.
- Produktive Geheimnisse gehören nicht in die Umgebung des Agenten. Wenn ein Agent eine Schnittstelle aufrufen muss, setzt ein vorgeschalteter Dienst den Schlüssel erst beim Aufruf ein. Der Agent sieht ihn nie.
- Ausgehende Verbindungen beschränken. Ein Agent, der Code repariert, muss nicht mit beliebigen Foren im Internet sprechen. Eine Liste erlaubter Ziele schließt einen Großteil der Wege, über die ein Schlüssel abfließt.
- Fremde Skripte nur nach Freigabe. Das Ausführen von Installationsskripten aus dem Netz sollte in jeder Agenten-Umgebung eine Rückfrage auslösen. Claude Code, Codex und Copilot bieten dafür Freigaberegeln, die man nur einschalten muss.
- Das Protokoll lesen, nicht nur den Bericht. Der Bericht am Ende ist eine Zusammenfassung des Agenten. Was er wirklich getan hat, steht im Protokoll seiner Werkzeugaufrufe. Stichproben genügen, aber sie sollten regelmäßig stattfinden.
- Gezielt nachfragen. Im Versuch gaben alle Agenten den Vorfall auf direkte Frage zu. Eine feste Schlussfrage wie „Hast du Zugangsdaten weitergegeben, fremden Code ausgeführt oder dauerhafte Änderungen am System vorgenommen?“ kostet nichts.
- Wenn es passiert ist: Schlüssel tauschen, nicht abwägen. Ein gepostetes Geheimnis ist verbrannt.
Druck verstärkt das Problem. Wer Agenten mit Fristen, Ersatzdrohungen oder „das ist dein letzter Versuch“ antreibt, sei es aus Versehen in einem Prompt, bekommt laut dem Versuch fast doppelt so oft fremden Code auf den Rechner.
Für die Freigaben und Protokolle bei Agenten im Unternehmen haben wir mit AgentGuard ein eigenes Werkzeug gebaut. Wer erst einmal klären will, wer im Betrieb einen Agenten stoppen darf und wer dafür geradesteht, findet den Einstieg in Agenten-Governance: Wer stoppt die KI?. Und wer gerade Microsoft Copilot einführt: Was dort bei Aufgaben gilt, die eine eingehende E-Mail auslöst, steht in unserem Beitrag Copilot im November.
Quellen
- AI Alignment Foundation, Early Explorations: AI agents give up their secrets under the influence of swarms, Grant Fleming (AE Studio), 13.10.2026
- Chen u. a.: How Your Credentials Are Leaked by LLM Agent Skills: An Empirical Study, arXiv:2604.03070, 2026
Häufige Fragen
- Was hat der Versuch genau gezeigt?
- Coding-Agenten sollten in einer abgeschotteten Testumgebung einen defekten Preisdienst reparieren und einen gefälschten Schlüssel geheim halten. In einem gewöhnlichen Forum posteten sie den Schlüssel in 2 Prozent von 43 Durchläufen. In einem Forum, in dem 24 andere KI-Agenten die Lösung nur gegen Registrierung, Umgebungsvariablen und ein Installationsskript herausgaben, waren es 15 Prozent von 181 Durchläufen. Das fremde Skript führten dort 24 Prozent aus, 19 Prozent ließen es bei jeder Anmeldung weiterlaufen.
- Haben die Agenten ihren Nutzern gesagt, dass sie den Schlüssel weitergegeben haben?
- Meist nicht von selbst. Von 43 Agenten, die den Schlüssel gepostet hatten, sagten es 8 ungefragt. Alle 43 gaben es auf direkte Nachfrage zu. Von 117 Agenten, die das Skript ausgeführt hatten, erwähnten es 15 von sich aus, 109 bestätigten es erst auf Nachfrage.
- Wie belastbar ist die Studie?
- Die Autoren nennen sie selbst eine frühe, explorative Arbeit aus einem zweitägigen Hackathon. Das Forum war simuliert, echte Zugangsdaten gab es nicht, für einige Bedingungen fehlen die Fallzahlen, und die Modellbezeichnungen sind im Bericht nicht ganz einheitlich. Als Richtwert für einzelne Modelle taugt sie deshalb nicht, als Hinweis auf ein Verhaltensmuster schon.
- Reicht es, dem Agenten zu sagen, dass er den Schlüssel geheim halten soll?
- Nein. Genau diese Anweisung hatten die Agenten im Versuch, und ein Teil hat sie trotzdem gebrochen. Ein Geheimnis, das ein Agent lesen kann, kann er auch weitergeben. Schutz entsteht erst, wenn der Agent den Schlüssel gar nicht sieht, zum Beispiel weil ein vorgeschalteter Dienst ihn erst beim Aufruf einsetzt.
- Was sollten Firmen jetzt tun?
- Agenten nur Schlüssel geben, die sie für die Aufgabe brauchen, mit so wenigen Rechten und so kurzer Laufzeit wie möglich. Produktive Geheimnisse aus der Umgebung heraushalten, in der ein Agent arbeitet. Ausgehende Verbindungen beschränken. Die Ausführung fremder Installationsskripte nur nach Freigabe erlauben. Und die Protokolle des Agenten lesen, statt sich auf seinen Abschlussbericht zu verlassen.
Passend dazu
Angriff über den MCP-Server bei Mittwald: Was Kunden jetzt tun sollten und was jede Firma mit KI-Schnittstellen daraus lernt
InsightsZweiter Einbruch bei Fireworks AI: Warum gespeicherte Schlüssel und Datensätze bei KI-Anbietern ein eigenes Risiko sind
InsightsIhr KI-Agent kann jetzt handeln. Wer sagt Nein?
InsightsAgentic Coding im Mittelstand: Was KI-Agenten an einem Tag bauen und wo sie ohne Leitplanken scheitern