Gedächtnis für KI-Agenten: Vektorsuche oder Volltextsuche? Wir haben beides gemessen

Die kurze Antwort zuerst. Ein KI-Agent hat von sich aus kein Gedächtnis. Jede Sitzung beginnt leer, und was er gestern gelernt hat, ist weg, wenn es nicht irgendwo aufgeschrieben wurde. Wer Agenten im Betrieb einsetzt, fürs Programmieren oder für Büroarbeit, muss also entscheiden, wo diese Notizen liegen und wie der Agent das Richtige darin wiederfindet.

Dafür gibt es zwei Wege: eine Datei, die bei jedem Start ganz geladen wird, und eine Suche über viele Notizen. Bei der Suche wird gern gesagt, ohne Vektoren gehe es nicht. Wir haben das am 26. September 2026 gemessen, auf einem öffentlichen Datensatz und auf unserem eigenen Arbeitsgedächtnis. Das Ergebnis hat uns selbst überrascht: Die schlichte Wortsuche findet fast alles. Die Vektoren helfen an einer bestimmten Stelle, und die ist wichtig.

Die Übersicht

Frage	Kurze Antwort
Merkt sich das Modell selbst etwas?	Nein. Jede Sitzung beginnt mit leerem Kontext.
Reicht eine Datei wie CLAUDE.md?	Für feste Regeln ja. Anthropic empfiehlt unter 200 Zeilen je Datei.
Wortsuche oder Vektorsuche?	Die Wortsuche trägt den Großteil. In unserer Messung gleich oft auf Platz eins.
Wo helfen Vektoren?	Wenn die Antwort über mehrere Sitzungen verteilt ist, und bei anders formulierten Fragen.
Wie schnell?	Mit laufendem Dienst 8 bis 14 Millisekunden je Suche, ohne Dienst rund 1,5 Sekunden.
Was sagt die Messung nicht?	Ob der Agent am Ende richtig antwortet. Gemessen ist nur, ob er die richtige Notiz findet.

Warum ein Agent vergisst

Ein Sprachmodell sieht in jedem Moment nur, was in seinem Kontextfenster steht: Ihre Anweisung, den bisherigen Verlauf und was es in dieser Sitzung gelesen hat. Endet die Sitzung, ist dieser Inhalt weg. Anthropic schreibt das für Claude Code ausdrücklich: „Each Claude Code session begins with a fresh context window.“

Alles, was wir „Gedächtnis“ nennen, ist deshalb ein Umweg. Etwas wird aufgeschrieben, und in der nächsten Sitzung wird es wieder hineingegeben. Die Frage ist nur, wer auswählt, was hineinkommt.

Weg eins: Dateien, die immer geladen werden

Der einfachste Weg ist eine Textdatei, die der Agent bei jedem Start liest. Bei Claude Code heißt sie CLAUDE.md. Laut Anthropic liest Claude Code auch eine vorhandene AGENTS.md. Darin stehen Regeln, Befehle und Eigenheiten des Projekts. Laut der Dokumentation von Anthropic werden diese Dateien zu Beginn jeder Sitzung in den Kontext geladen, und zwar ganz. Anthropic empfiehlt, jede Datei unter 200 Zeilen zu halten: „Longer files consume more context and reduce adherence.“ Längere Dateien kosten also Platz und werden schlechter befolgt.

Dazu kommt ein automatisches Gedächtnis. Claude schreibt selbst Notizen in einen Ordner, mit einer Datei MEMORY.md als Inhaltsverzeichnis. Davon werden beim Start nur die ersten 200 Zeilen oder 25 KB geladen, je nachdem, was zuerst erreicht ist. Die einzelnen Themendateien liest Claude erst, wenn es sie braucht.

Wichtig für die Praxis ist ein Satz aus derselben Dokumentation: Claude behandelt diese Dateien „as context, not enforced configuration“. Eine Regel in CLAUDE.md ist eine Bitte, keine Sperre. Wer etwas sicher verhindern will, braucht einen technischen Riegel davor. Mehr dazu steht in unserem Beitrag über Prompt Injection bei KI-Agenten.

Für einen kleinen Betrieb mit einem Projekt reicht dieser Weg oft. Er stößt an seine Grenze, sobald sich Wissen ansammelt. Unser eigener Notizspeicher hatte zur Messung 1.522 Notizen. Das passt in keine Datei, die bei jedem Start vollständig geladen wird.

Weg zwei: eine Suche über viele Notizen

Ab einer gewissen Menge liegen die Notizen in einem Speicher, und der Agent fragt ihn bei Bedarf ab. Dann entscheidet die Suche, was er zu sehen bekommt. Findet sie die richtige Notiz nicht, weiß der Agent davon nichts, und er merkt es nicht einmal. Die Suche ist deshalb das eigentliche Gedächtnis.

Es gibt zwei Grundarten.

Die Wortsuche (auch Volltextsuche oder lexikalische Suche) vergleicht die Wörter der Frage mit den Wörtern der Notizen. Seltene Wörter zählen mehr als häufige, kurze Treffer mehr als lange. Das verbreitete Verfahren heißt BM25 und steckt zum Beispiel in der Datenbank SQLite, deren Volltextsuche FTS5 es mitbringt. Sie ist schnell, braucht kein Modell und findet Namen, Fehlercodes und Fachbegriffe zuverlässig. Sie scheitert, wenn die Frage andere Wörter benutzt als die Notiz.

Die Vektorsuche (semantische Suche) übersetzt jeden Text vorher in eine Liste von Zahlen, einen Vektor. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen, auch wenn sie keine Wörter teilen. „Server abgeschaltet“ und „Rechner außer Betrieb genommen“ liegen dann nah beieinander. Der Preis: Man braucht ein Modell, das diese Zahlen berechnet, und die Suche zieht gern Texte nach oben, die nur ungefähr zum Thema passen.

Hybrid heißt, beide laufen, und ihre Rangfolgen werden zu einer Liste verschmolzen. So arbeitet auch unser Gedächtnis-Werkzeug Cyberbrain, mit dem wir die Messung gemacht haben. Die Wortsuche läuft dort über SQLite FTS5, die Vektoren kommen aus einem kleinen Modell (potion-multilingual-128M, MIT-Lizenz, 256 Zahlen je Text), das ohne Grafikkarte auf dem eigenen Rechner läuft. Wer die Architektur-Frage größer stellt, also Suche gegen Nachtrainieren gegen sehr lange Kontexte, findet sie in RAG, Fine-Tuning oder Long-Context.

Was wir gemessen haben

Die Frage war einfach: Findet die hybride Suche die richtige Notiz öfter als die reine Wortsuche? Beide Male lief dasselbe Programm (Cyberbrain 0.6.1) über dieselben Notizen. Der einzige Unterschied war, ob das Vektormodell eingeschaltet ist. Das Messskript prüft bei jeder einzelnen Antwort, dass wirklich im richtigen Modus gesucht wurde, und bricht sonst ab. Es gab keine Aufrufe an ein großes Sprachmodell und keine Kosten. Gerechnet hat ein Server mit 12 virtuellen Kernen und ohne Grafikkarte.

Der öffentliche Datensatz: LongMemEval

LongMemEval ist ein Test für das Langzeitgedächtnis von Chat-Assistenten. Er stammt von Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang und Dong Yu und wurde auf der Konferenz ICLR 2025 vorgestellt. Die Daten stehen unter MIT-Lizenz auf GitHub. Der Test enthält 500 Fragen. Zu jeder Frage gibt es einen langen Verlauf aus vielen Gesprächssitzungen, in dem die Antwort irgendwo steckt. Das „S“ in LongMemEval-S steht für die kleine Variante: rund 115.000 Token je Verlauf, nach Angabe der Autoren etwa 40 Sitzungen. In der bereinigten Fassung haben wir im Schnitt 48 Sitzungen je Frage nachgezählt. Die große Variante M hat rund 500 Sitzungen je Verlauf.

Wir haben die bereinigte Fassung von Hugging Face genommen, in der die Autoren im September 2025 störende Sitzungen entfernt haben. 30 der 500 Fragen sind absichtlich unbeantwortbar, sie prüfen, ob ein Assistent „weiß ich nicht“ sagt. Dort gibt es nichts zu finden, also haben wir sie weggelassen. Blieben 470 Fragen. Für jede haben wir einen eigenen Speicher aus ihrem Verlauf gebaut, jede Sitzung eine Notiz, und gezählt, ob die Sitzung mit der Antwort oben landet. Der ganze Lauf dauerte rund sechs Minuten.

Die Zahlen, und was sie für einen Laien bedeuten

Drei Kennzahlen reichen, um das Ergebnis zu lesen:

• Treffer auf Platz 1 (Fachbegriff r@1): Wie oft stand die richtige Notiz ganz oben? 0,843 heißt: bei 84 von 100 Fragen.
• Treffer unter den ersten 10 (r@10): Wie oft war sie wenigstens unter den ersten zehn? Das ist wichtig, weil ein Agent meist mehrere Treffer liest.
• Mittlerer Rang (MRR): Eine Zahl zwischen 0 und 1. Bei 1 steht der richtige Treffer immer oben. Je kleiner die Zahl, desto weiter unten steht er im Schnitt.

Alle 470 Fragen	Platz 1	unter den ersten 10	MRR
Hybrid (Wörter und Vektoren)	0,843	0,985	0,895
Nur Wortsuche	0,843	0,979	0,892

Auf Platz eins sind beide gleich gut. In 396 von 470 Fragen stand die richtige Sitzung ganz oben, egal ob mit oder ohne Vektoren. Unter den ersten zehn liegt hybrid um sechs Tausendstel vorn, das sind drei Fragen. Die Fragen in LongMemEval teilen meistens Wörter mit der Sitzung, in der die Antwort steht, und dann reicht die Wortsuche.

Der Unterschied zeigt sich bei einer anderen Kennzahl. Manche Fragen brauchen mehrere Sitzungen, etwa diese aus dem Datensatz: „How many different doctors did I visit?“, also wie viele verschiedene Ärzte jemand besucht hat. Dann genügt es nicht, eine richtige Sitzung zu finden, man braucht alle. Gezählt haben wir, wie oft alle nötigen Sitzungen unter den ersten zehn waren:

Fragen über mehrere Sitzungen (121)	alle nötigen unter den ersten 10
Hybrid	0,893
Nur Wortsuche	0,802

Das sind neun Prozentpunkte, rund 108 gegen 97 Fragen. Für einen Agenten ist das der Unterschied zwischen einer vollständigen und einer halben Antwort, und die halbe klingt genauso überzeugt. Bei Fragen zu zeitlichen Abläufen lag hybrid mit 0,898 gegen 0,866 ebenfalls vorn.

Es gibt auch die Gegenrichtung. Bei Fragen, deren Antwort in einer einzigen Sitzung steht, verliert hybrid auf Platz eins: bei Aussagen des Nutzers 0,828 gegen 0,938, bei Aussagen des Assistenten 0,929 gegen 0,982. Die Vektoren ziehen Sitzungen nach oben, die thematisch ähnlich sind, aber die falsche Antwort enthalten. Schwer waren für beide Verfahren die Fragen nach persönlichen Vorlieben. Dort stand die richtige Sitzung nur bei 0,433 (hybrid) und 0,400 (Wortsuche) der Fragen oben.

Unser eigener Speicher: 34 Fragen

Ein öffentlicher Datensatz besteht aus englischen Alltagsgesprächen. Unsere Notizen sind deutsch, technisch und kurz. Deshalb haben wir dieselbe Messung auf einer Kopie unseres Arbeitsgedächtnisses wiederholt: 1.522 Notizen, 34 Fragen, zu denen wir vorher festgelegt haben, welche Notiz die richtige ist. Darunter Fragen mit wörtlichen Begriffen, umformulierte Fragen, Fragen mit anderen Wortformen und Fragen auf Englisch zu deutschen Notizen.

34 Fragen, eigener Speicher	Platz 1	unter den ersten 3	unter den ersten 10	MRR
Hybrid	0,500	0,794	0,882	0,667
Nur Wortsuche	0,500	0,676	0,941	0,624

Unter den ersten drei Treffern fand hybrid die richtige Notiz bei 27 von 34 Fragen, die Wortsuche bei 23. Das ist der Bereich, den ein Agent tatsächlich liest. Unter den ersten zehn lag dagegen die Wortsuche vorn, 32 gegen 30 Fragen. Hybrid sortiert also besser nach oben, verdrängt aber gelegentlich eine richtige Notiz nach hinten.

Ehrlich gesagt: 34 Fragen sind wenig. Eine einzige Frage macht 0,03 aus, und kleinere Unterschiede sind Zufall. Die Fragen haben wir selbst geschrieben, und wir kennen das System. Das ist ein Rauchtest, kein neutraler Vergleich. Er zeigt aber in dieselbe Richtung wie eine Messung mit demselben Fragensatz einen Tag vorher, bei der der Abstand unter den ersten drei ebenfalls elf bis zwölf Prozentpunkte betrug.

Wie lange eine Suche dauert

Gemessen haben wir die ganze Zeit vom Aufruf bis zur Antwort, einschließlich Programmstart, über je 20 Anfragen.

Weg	rund 50 Notizen	1.522 Notizen
Nur Wortsuche	9,3 ms	13,8 ms
Hybrid, Modell wird bei jeder Anfrage geladen	1.500 ms	1.473 ms
Hybrid über einen laufenden Hintergrunddienst	7,8 ms	13,6 ms

Das sind Mediane. Die Vektorsuche selbst ist billig. Teuer ist das Laden des Modells, rund anderthalb Sekunden. Hält ein Dienst das Modell im Speicher, kostet die hybride Suche so viel wie die reine Wortsuche.

Wo die Zahlen enden

Diese Messung sagt, ob die Suche die richtige Notiz findet. Sie sagt nicht, ob der Agent daraus die richtige Antwort macht. Dazu bräuchte es ein Sprachmodell, das die Treffer liest und antwortet, und einen Prüfer, der die Antworten bewertet. Das haben wir nicht gemessen.

Deshalb sind unsere Zahlen auch nicht mit den LongMemEval-Werten vergleichbar, die Anbieter von Gedächtnis-Diensten veröffentlichen. Die messen in der Regel, wie oft die fertige Antwort stimmt. Die Autoren von LongMemEval berichten in ihrer Arbeit, dass kommerzielle Chat-Assistenten und Modelle mit langem Kontext bei Informationen aus länger zurückliegenden Gesprächen rund 30 Prozent an Genauigkeit verlieren. Gutes Wiederfinden ist die Voraussetzung dafür, dass das nicht passiert, aber keine Garantie.

Dazu kommt: Es ist ein öffentlicher Datensatz, eine Sprache, ein Vektormodell, ein Suchprogramm. Mit einem größeren Modell oder einem anderen Verfahren zum Verschmelzen der Listen können die Abstände anders ausfallen. Die große Variante LongMemEval-M mit rund 500 Sitzungen je Frage haben wir nicht gemessen.

Was daraus für den Betrieb folgt

Die wichtigste Erkenntnis ist unspektakulär: Fangen Sie mit einer guten Wortsuche an. Sie kommt ohne Modell und ohne Vektordatenbank aus und findet in unserer Messung auf Platz eins genauso oft das Richtige. Wer Ihnen erklärt, ein Agenten-Gedächtnis sei ohne Vektordatenbank wertlos, sollte das an Ihren Daten zeigen.

Vektoren lohnen sich, sobald Fragen über mehrere Notizen gehen oder anders formuliert sind als die Notizen. Genau das passiert in einem wachsenden Speicher ständig: Die Frage kommt Wochen später, von jemand anderem, in anderen Worten. Dann sind neun Prozentpunkte mehr vollständige Treffer viel wert. Achten Sie darauf, dass das Modell im Hintergrund geladen bleibt, sonst kostet jede Suche anderthalb Sekunden.

Und die Art, wie Notizen geschrieben werden, zählt so viel wie die Technik. Uns ist im September passiert, dass eine Frage nach dem Zustand eines Dienstes eine ältere Notiz fand, die ihn als laufend beschrieb, und nicht die neuere über seine Abschaltung. Die neuere Notiz stand erst mit den Worten der Antwort oben. Seitdem beginnt jede unserer Notizen mit einer Zeile, in der steht, wie jemand fragen würde, der das Problem gerade hat. Das hilft der Wortsuche und der Vektorsuche gleichermaßen.

Die feste Datei wie CLAUDE.md bleibt trotzdem nötig. Dort gehört hinein, was in jeder Sitzung gelten muss, kurz und konkret. Alles andere gehört in einen Speicher mit Suche. Welche Grundfehler bei Suchsystemen häufig sind, steht in unserem Beitrag zu RAG-Systemen. Wie ein Agent über eine Schnittstelle an so einen Speicher kommt, erklärt der Beitrag zu MCP-Servern.

Vier Fragen vor der Wahl

1. Wie viel muss der Agent in jeder Sitzung wissen? Das kommt in eine kurze Datei, nicht in die Suche.
2. Wie viele Notizen werden es in einem Jahr? Bei einigen Dutzend reicht die Datei, bei Hunderten braucht es eine Suche.
3. Fragen Ihre Leute mit denselben Wörtern, die in den Notizen stehen? Wenn ja, genügt die Wortsuche lange. Wenn nicht, oder wenn Antworten über mehrere Notizen verteilt sind, lohnt hybrid.
4. Wo liegen die Notizen, und wer darf sie lesen? Ein Gedächtnis sammelt mit der Zeit Kundennamen und interne Entscheidungen. Es gehört so geschützt wie das Projekt selbst.

Wenn Sie ein Gedächtnis für Ihre Agenten aufbauen wollen, das lokal läuft und Treffer mit Quelle zurückgibt, finden Sie unser Werkzeug auf der Seite zu Cyberbrain. Die Messung oben gilt aber für jedes System mit Wort- und Vektorsuche: Probieren Sie es an Ihren eigenen Fragen aus, bevor Sie sich festlegen.

Wie sich die Suche neben Spracherkennung, Textaufgaben und der Kontrolle von Agenten auf einem Server ohne Grafikkarte schlägt, haben wir im Whitepaper Lokal oder Cloud? zusammengefasst, mit PDF zum Herunterladen.

Quellen

Alle abgerufen am 27.09.2026.

• Anthropic, Claude Code Dokumentation: How Claude remembers your project
• Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang, Dong Yu: LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory, ICLR 2025
• LongMemEval auf GitHub: xiaowu0162/LongMemEval (MIT-Lizenz)
• Bereinigter Datensatz auf Hugging Face: xiaowu0162/longmemeval-cleaned (MIT-Lizenz)
• SQLite: FTS5 Extension, Abschnitt 5.1.1 „The bm25() function“
• Minish Lab: potion-multilingual-128M (MIT-Lizenz)

Stand: 27. September 2026. Messung am 26.09.2026 mit Cyberbrain 0.6.1 und dem Modellprofil m2v-mean-d256 (potion-multilingual-128M, 256 Dimensionen) auf einer virtuellen Maschine mit AMD EPYC Milan, 12 Kernen, 23 GiB Arbeitsspeicher, ohne Grafikkarte. LongMemEval-S in der bereinigten Fassung, 470 Fragen ohne die 30 Enthaltungsfragen, je Frage ein eigener Speicher, eine Sitzung je Notiz, bewertet auf Ebene der Sitzungen. Eigener Speicher: Kopie mit 1.522 Notizen, 34 selbst geschriebene Fragen. Latenz: Median über 20 Anfragen, Programmstart eingeschlossen. Gemessen wurde das Wiederfinden, nicht die Antwortgenauigkeit.