Gedächtnis von KI-Agenten absichern: Prüfung, Härtung, gemeinsames Gedächtnis mit Freigabe

Worum es geht

Ein KI-Agent, der Anfragen beantwortet oder Post sortiert, wird nützlicher, wenn er sich etwas merkt: dass Kunde A immer per Vorkasse zahlt, welcher Lieferant für Teil B zuständig ist, welche Antwort beim letzten Mal gepasst hat. Dieses Gedächtnis ist eine Datenbank, in die der Agent selbst schreibt. Und alles, was der Agent liest, kann auf diesem Weg dort landen.

Das ist kein theoretisches Problem. MITRE ATLAS, die Wissensbasis zu Angriffen auf KI-Systeme, führt die Technik AML.T0080.000 „Memory“: Angreifer können über direkte oder indirekte Prompt Injection Erinnerungen einschleusen, die Anweisungen enthalten oder den Nutzer in eine bestimmte Richtung lenken. Als Gegenmaßnahme nennt ATLAS „Memory Hardening“ (AML.M0031): Schreibzugriffe auf das Gedächtnis nur nach Prüfung und Freigabe, Integritätsprüfung abgerufener Einträge, bevor der Agent handelt, und ein Verfahren, um vergiftete Einträge zu überwachen und zu bereinigen.

Zwei Forschungsarbeiten zeigen, wie wenig dafür nötig ist. In AgentPoison reichte ein Anteil vergifteter Einträge von unter 0,1 Prozent für eine durchschnittliche Erfolgsquote von über 80 Prozent. In MINJA gelangen die schädlichen Einträge allein über normale Anfragen an den Agenten in sein Gedächtnis, ohne direkten Zugriff auf die Datenbank.

Wie eine einzelne Anweisung in einer E-Mail einen Agenten umlenkt, haben wir in unserem Test zu Prompt Injection selbst gemessen. Beim Gedächtnis kommt hinzu, dass die Anweisung bleibt.

Die Pakete

Gedächtnis-Audit

2.490 € netto · 3 bis 5 Tage · für bestehende Agenten und Wissensdatenbanken

• Bestandsaufnahme: Welche Agenten und Wissensdatenbanken gibt es, was merken sie sich, und auf welchen Wegen kommen Einträge hinein
• 10 bis 20 Angriffsfälle, abgestimmt auf eure Agenten, durchgespielt in einer Testumgebung oder in Absprache an einer Kopie
• Bericht mit jedem Befund, seiner Einordnung nach MITRE ATLAS und OWASP und einer Empfehlung, sortiert nach Wirkung
• Abschlussgespräch mit eurer IT

Härtung

3.900 bis 7.900 € netto Einrichtung · je nach Zahl der Agenten und Schreibwege

• Gedächtnis mit Cyberbrain: Einträge mit Herkunft und Vertrauensstufe, Fremdmaterial bleibt als ungeprüft markiert, und wo ein Eintrag einem vertrauenswürdigeren widerspricht, wird das angezeigt
• Was ein Agent von außen mitbringt, aus einer Mail, von einer Webseite oder von einem anderen Agenten, wird keine Notiz, sondern wartet als Vorschlag, bis ein Mensch es annimmt oder ablehnt: in der Oberfläche von Cyberbrain oder über eine Freigabe in AgentGuard
• Eine Anbindung, etwa ein Agent in n8n, lässt sich als Ganzes als nicht vertrauenswürdig einstufen und auf ihre eigenen Bereiche begrenzen. Sie kann sich dann weder als vertrauenswürdig ausgeben noch den Rest des Gedächtnisses lesen
• Jede Aktion der Agenten läuft über AgentGuard: Folgenreiches gibt ein Mensch frei, alles steht in einem verketteten, signierten Protokoll
• Ein Verfahren für den Ernstfall: alle Einträge aus einer als vergiftet erkannten Quelle finden, markieren und zurücknehmen
• Betrieb zu den Listenpreisen: Cyberbrain 99 € netto im Monat je Rechner, der an die Sammelstelle liefert, AgentGuard ab 49 € netto im Monat

Cyberbrain spricht MCP, auch über HTTP mit eigenem Schlüssel je Agent, und eine HTTP-Schnittstelle. Herkunft, Quarantäne, Freigabe und Bereichsgrenzen sind seit Version 0.7.6 (3. Oktober 2026) enthalten. Herkunft, Quarantäne und Freigabe laufen bei uns selbst an unserem SEO-Agenten in n8n. Die Anbindung an eure Agenten ist Teil der Einrichtung.

Gemeinsames Gedächtnis ab dem zweiten Agenten

1.900 bis 2.900 € netto Einrichtung · als Baustein in einem Agentenprojekt

Sobald mehrere Agenten zusammenarbeiten, etwa einer für Anfragen und einer für den Service, sollen sie voneinander wissen. Ungefiltert geteilt verbreitet sich ein falscher Eintrag dann aber in alle. Wir richten das Teilen deshalb nach Bereichen ein: Ein Rechner teilt nur die Bereiche, die für ihn freigeschaltet sind, mit Begründung. Wo zwei Agenten denselben Eintrag unabhängig voneinander geändert haben, entscheidet ein Mensch, welche Fassung gilt. Einträge über Personen lassen sich auch an der zentralen Stelle löschen, über die sie geteilt wurden.

Was ihr danach in der Hand habt

• Eine Übersicht, auf welchen Wegen Inhalte in das Gedächtnis eurer Agenten gelangen, mit Bewertung jedes Wegs
• Ein Gedächtnis, in dem jeder Eintrag eine Herkunft hat und wichtige Einträge erst nach Freigabe gelten
• Ein Protokoll, mit dem sich später zeigen lässt, welcher Agent was gelernt und wer es freigegeben hat
• Ein Vorgehen, falls sich eine Quelle als vergiftet herausstellt

Für wen das passt

Für Unternehmen, deren Agenten Inhalte von außen lesen und sich etwas merken: Posteingang-Agenten im Großhandel und bei Stadtwerken, Wissensdatenbanken in Kanzleien und Steuerberatungen, und überall, wo es auf saubere Daten ankommt, wie in der Medizintechnik.

Wofür wir nicht die Richtigen sind

• Eine Zusage, dass eure Agenten vor allen Angriffen sicher sind. Die gibt es nicht, und wir geben sie nicht.
• Sicherheitsplattformen für große Konzerne mit eigenem Sicherheitsteam und Hunderten Agenten. Dafür gibt es spezialisierte Anbieter.
• Zertifizierte Prüfungen nach ISO 27001 oder vergleichbaren Normen. Unser Audit ist eine technische Prüfung, kein Zertifikat.
• Einen vollständigen Penetrationstest eurer gesamten IT. Für die KI-Anwendungen selbst gibt es unser AI-Security-Pentesting.