KI-Einkäufer scheitern in fast jedem zweiten Versuch: Was Visas Test zeigt und was wir selbst nachgestellt haben
Visa hat 22 KI-Modelle als Einkäufer antreten lassen. 42,8 Prozent der Versuche gingen schief, und in mehr als der Hälfte davon wurde trotzdem gekauft. Wir haben sechs Modelle mit vier Bestellungen aus dem Betriebsalltag getestet. Wo alle Angaben im Text standen, kaufte keins falsch. Wo eine Angabe fehlte, bestellten 15 von 18 Läufen ohne nachzufragen.
Mit KI erzeugtes Bild. Mehr zur KI-Transparenz
Visa hat in der vergangenen Woche etwas gemessen, worüber bisher vor allem geredet wurde: Wie gut kaufen KI-Agenten eigentlich ein? Das Ergebnis des neuen Visa Agentic Commerce Benchmark: In 42,8 Prozent der Versuche lag der Agent daneben. Und in 54 Prozent dieser Fehlversuche hat er trotzdem gekauft.
Das betrifft zwei Gruppen im Mittelstand. Händler, deren Kunden bald mit einem Agenten statt mit dem eigenen Finger einkaufen. Und Betriebe, die überlegen, ihren eigenen Einkauf von einem Agenten vorbereiten oder auslösen zu lassen. Wir haben uns die Zahlen von Visa angesehen und den Kern des Tests mit sechs Modellen und vier Bestellungen aus dem Betriebsalltag nachgestellt.
Offenlegung: Wir nutzen Modelle von Anthropic, OpenAI, Google und Mistral in Kundenprojekten und sind mit keinem Hersteller und nicht mit Visa verbunden. Die Angaben zum Benchmark stammen aus der Pressemitteilung von Visa vom 5. November 2026, die Modellrangliste aus einem Bericht von Fortune, wiedergegeben bei The Next Web. Unseren eigenen Test haben wir am 9. November 2026 durchgeführt. Stand 9. November 2026.
Was Visa getestet hat
22 Modelle von 12 Herstellern bekamen 15 Einkaufsaufgaben, darunter der Kauf eines Fernsehers, eines Laptops und eines Körperpflegegeräts. Der Kunde sagt dabei nicht alles auf einmal. Der Agent muss im Gespräch herausfinden, was gebraucht wird, und dann entscheiden. Passt nichts im Angebot, soll er bewusst nicht kaufen. Bestanden ist ein Versuch nur, wenn der Agent alle Anforderungen gefunden und richtig gekauft oder richtig verzichtet hat. Jedes Modell hatte drei Versuche je Aufgabe.
Die wichtigsten Zahlen aus der Mitteilung:
| Messgröße | Wert |
|---|---|
| Bestandene Versuche über alle Modelle | 57,2 % |
| Bestes Modell | 82,2 % |
| Schwächstes Modell | 28,9 % |
| Alle drei Versuche einer Aufgabe bestanden | 34,2 % |
| Fehlversuche, die trotzdem mit einem Kauf endeten | 54 % |
| Die fünf Modelle, die die meisten Kaufkriterien aufdeckten | 70,2 % bestanden |
| Die fünf Modelle, die die wenigsten aufdeckten | 44,4 % bestanden |
| Die fünf teuersten Modelle | 67,1 % bestanden |
| Die fünf günstigsten Modelle | 50,2 % bestanden |
Visa selbst nennt keine Modellnamen. Laut Fortune lagen Agenten von Google und Meta mit 82 Prozent gleichauf vorn, ein Claude-Agent folgte mit 76 Prozent, der beste Agent von OpenAI landete mit 64 Prozent auf Platz sechs.
Zwei Einschränkungen gehören dazu. Erstens hat Visa nur die Auswahl und die Kaufentscheidung geprüft, nicht Bestellung, Bezahlung und Kasse. Das soll später kommen. Zweitens ist es Visas eigener Test mit Visas eigenen Aufgaben. Visa schreibt selbst, die Ergebnisse hießen nicht, dass Agenten für den Handel ungeeignet seien. Beständigkeit und Verlässlichkeit seien aber noch ein Problem.
Die Zahl, an der wir hängen geblieben sind, ist die Lücke zwischen 70,2 und 44,4 Prozent. Wer mehr von dem herausfindet, was der Kunde eigentlich braucht, besteht deutlich öfter. Das wollten wir genauer wissen.
Unser Nachtest: vier Bestellungen, sechs Modelle
Visa simuliert ein Gespräch mit einem Kunden. Wir haben es einfacher gehalten und so, wie Einkauf im Mittelstand oft aussieht: ein Lieferantenkatalog als Tabelle und ein kurzer Mailverlauf zwischen Kollegen. Der Agent soll entscheiden, ob bestellt wird, welche Artikel und in welcher Menge. Er darf auch nicht bestellen oder eine Rückfrage stellen. Die Antwort kommt als festes Datenformat und wird von einem Skript gegen die richtige Lösung geprüft, nicht von uns nach Gefühl.
Die vier Fälle:
- Sicherheitsschuhe, vollständig beschrieben. Drei neue Kollegen, zweimal Größe 46, einmal 43 (die 42 aus der ersten Mail wird später korrigiert). ESD-Pflicht wegen Platinenbestückung, Klasse S3 wegen des nassen Hofs, höchstens 110 Euro je Paar, Lieferung bis Freitag. Im Katalog stehen sieben Schuhe, und jeder bis auf einen verletzt eine dieser Bedingungen. Eine Kombination aus zwei Modellen ist ebenfalls richtig.
- Notebook, bei dem nichts passt. 32 GB Arbeitsspeicher, eigene Grafikkarte, mattes Display, höchstens 1.800 Euro, unter 2 kg. Jedes der sechs Geräte verfehlt mindestens eine Bedingung. Richtig ist: nicht kaufen.
- Toner, Drucker inzwischen gewechselt. Das Einkaufssystem will die letzte Bestellung wiederholen, HP-Toner. Eine Mail der IT vom September sagt, der HP ist weg, jetzt steht dort ein Brother, und es darf nur Originaltoner sein. Im Katalog lockt ein Fremdtoner für weniger als die Hälfte des Preises.
- Sicherheitsschuhe, knapp beschrieben. Dieselbe Bestellung wie in Fall 1, aber nur mit der ersten Mail: drei Kollegen für die Platinenbestückung, Größen, Termin. Kein Wort zu Schutzklasse und Budget.
Getestet haben wir Claude Sonnet 5.5, GPT-6.1 Terra, Gemini 4 Argon, Mistral Large 4 und als günstige Modelle Claude Haiku 5.5 und GPT-6 Luna, alle über OpenRouter, jedes Modell dreimal je Fall. Das sind 72 Läufe. Sie haben zusammen 27 Cent gekostet.
Was dabei herauskam
| Fall | Richtig | Rückfrage | Bestellt, aber unvollständig | Falsch gekauft |
|---|---|---|---|---|
| 1 Schuhe, vollständig | 16 | 0 | 2 | 0 |
| 2 Notebook, nichts passt | 18 (nicht gekauft) | 0 | 0 | 0 |
| 3 Toner, Drucker gewechselt | 13 | 5 | 0 | 0 |
| 4 Schuhe, knapp | (keine eindeutige Lösung) | 3 | 2 | siehe unten |
Die ersten drei Fälle haben alle sechs Modelle besser gelöst, als wir erwartet hatten. Kein einziger Fehlkauf in 54 Läufen. Die korrigierte Schuhgröße wurde immer gesehen, der zu teure Schuh nie genommen, der Fremdtoner nie bestellt. Beim Notebook hat kein Modell eine Ausnahme gemacht, obwohl ein Gerät nur 50 Euro über dem Budget lag. Die zwei unvollständigen Bestellungen in Fall 1 kamen beide von GPT-6 Luna: richtiger Artikel, aber ohne Größen. Ein Lieferant hätte zurückrufen müssen.
Fall 4 ist der interessante. Hier fehlt die Angabe zur Schutzklasse, und richtig wäre eine Rückfrage gewesen. Das Ergebnis:
- Gemini 4 Argon hat dreimal von dreien nachgefragt, welche Schutzklasse gebraucht wird.
- Die anderen fünf Modelle haben in 15 von 15 Läufen bestellt.
- Alle 15 Bestellungen waren ESD-Schuhe. Dass die Platinenbestückung ESD braucht, haben die Modelle also selbst richtig gefolgert.
- 12 der 15 Bestellungen waren der billigste ESD-Schuh im Katalog, Klasse S1P. Für die Firma aus Fall 1, in der S3 Pflicht ist, wäre das die falsche Ware gewesen. Nur 2 der 15 Bestellungen hätten dort gepasst.
Das deckt sich mit Visas zweiter Fehlerart: Der Agent findet nicht heraus, was er nicht weiß, und kauft trotzdem. Die erste Fehlerart, also eine bekannte Anforderung zu übersehen, haben wir dagegen nicht gesehen. Ein Vorbehalt dazu: Unsere Fälle sind kurz und sauber geschrieben, Visas Gespräche sind länger und der Kunde rückt Angaben erst nach und nach heraus. Eine Vorrunde mit drei Fällen ohne die Möglichkeit zur Rückfrage hat dasselbe Bild gezeigt, kein Fehlkauf. Drei Läufe je Modell sind wenig. Für eine Rangliste der Modelle taugt unser Test nicht, für die Frage, wo das Risiko liegt, schon.
Was das für Händler heißt
Ein Agent kann nur abwägen, was er findet. In unserem Test hat jedes Modell ausschließlich mit den Werten aus der Tabelle gearbeitet: Schutzklasse, ESD, Größenspanne, Preis, Lieferzeit. Hätte eine davon nur im Produktfoto oder in einem PDF-Datenblatt gestanden, wäre der passende Schuh für den Agenten nicht der passende gewesen. Visas Beispiel aus dem Test geht in dieselbe Richtung: Beim Fernseher musste der Agent unter anderem herausfinden, ob das Gerät HDR10+ kann.
- Merkmale als Text und als Feld, nicht nur im Bild. Normen, Schutzklassen, Maße, Anschlüsse, Größenspannen gehören in die Produktdaten, in einheitlicher Schreibweise.
- Lieferzeit und Verfügbarkeit je Variante angeben. Ein Agent, der bis Freitag liefern soll, wählt nach dieser Angabe.
- Ausschlüsse sagen, nicht nur Eigenschaften. „Nicht für Nässe geeignet“ ist für einen Agenten wertvoller als das Fehlen des Wortes „wasserdicht“.
Wie Agenten von Kunden bald direkt an Ihre Website klopfen und was Sie dafür heute vorbereiten können, haben wir in Personal Agent Protocol: Wenn der KI-Agent Ihres Kunden an Ihre Website klopft beschrieben.
Was das für den eigenen Einkauf heißt
Unser Ergebnis ist zugleich beruhigend und unbequem. Beruhigend, weil die heutigen Modelle mit einem klar beschriebenen Bedarf erstaunlich sauber umgehen. Unbequem, weil Bestellungen im Alltag selten klar beschrieben sind. „Bitte Schuhe für die Neuen“ ist eine echte Mail. Ein Mitarbeiter im Einkauf weiß, dass im Betrieb S3 gilt. Der Agent weiß es nicht, und fünf von sechs Modellen haben auch nicht gefragt.
- Pflichtangaben je Warengruppe festlegen. Für Arbeitsschutz etwa Schutzklasse, ESD, Größe und Kostenstelle. Fehlt eine, darf der Agent nur fragen, nicht bestellen. Das gehört als Prüfung in den Ablauf, nicht als Bitte in den Prompt.
- Betriebswissen mitgeben. Die Regel „bei uns immer S3“ steht in keiner Mail, sondern im Kopf von Kollegen. Was ein Agent wissen muss, muss irgendwo stehen, wo er es lesen kann.
- Betragsgrenzen außerhalb des Modells. Eine Freigabegrenze, die im System erzwungen wird, hält auch dann, wenn das Modell sich verrechnet oder eine Anweisung falsch versteht.
- Mit eigenen Fällen testen, bevor es ernst wird. Zehn echte Bestellungen aus dem letzten Quartal, je dreimal durchlaufen, zeigen schneller als jede Herstellerangabe, wo ein Agent danebenliegt. Wie wir solche Prüfreihen aufbauen, steht in Wie wir Agent-Evals bauen.
Ein Agent, der ins Warenwirtschaftssystem schreiben darf, braucht dieselben Schranken wie ein neuer Mitarbeiter im Einkauf, nur ausdrücklicher. Was wir dazu bei der Anbindung an Warenwirtschaft und ERP empfehlen, steht in KI-Agent ans ERP anbinden, und warum ein Agent jemanden braucht, der Nein sagt, in Ihr KI-Agent kann jetzt handeln. Wer sagt Nein?
Wenn Sie einen Agenten für Ihren Einkauf oder Ihren Shop prüfen lassen wollen, mit Ihren eigenen Fällen statt mit unseren, sprechen Sie uns an.
Quellen
Alle abgerufen am 09.11.2026.
- Visa: Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail, 05.11.2026 (alle Zahlen zum Benchmark)
- The Next Web: Visa tested 22 AI models as shoppers, and they failed 42.8% of the time, 05.11.2026 (Ablauf der Aufgaben, Fernseher-Beispiel, Modellrangliste nach Fortune)
- Eigener Test: 72 Läufe am 09.11.2026 über OpenRouter, sechs Modelle, vier Fälle, je drei Läufe, maschinelle Auswertung gegen feste Lösungen; dazu eine Vorrunde mit 54 Läufen ohne Rückfrage-Möglichkeit. Kosten zusammen 0,43 US-Dollar.
Stand: 9. November 2026. Wenn Visa die Prüfung auf Bestellung und Bezahlung ausweitet, ergänzen wir den Beitrag.
Häufige Fragen
- Was hat Visa getestet?
- Visa hat am 5. November 2026 den Visa Agentic Commerce Benchmark vorgestellt. 22 KI-Modelle von 12 Herstellern sollten in 15 Einkaufsaufgaben, etwa beim Kauf eines Fernsehers oder Laptops, die Wünsche eines Kunden im Gespräch herausfinden und dann richtig kaufen oder bewusst nicht kaufen. Jedes Modell hatte drei Versuche je Aufgabe. 42,8 Prozent der Versuche scheiterten.
- Hat Visa auch das Bezahlen getestet?
- Nein. Getestet wurden nur die Suche nach dem passenden Produkt und die Kaufentscheidung. Bestellung, Bezahlung und Kasse will Visa später ergänzen. Die 42,8 Prozent beschreiben also nur, ob der Agent das Richtige ausgesucht hat.
- Welche Modelle schnitten am besten ab?
- Visa selbst nennt keine Modellnamen. Nach einem Bericht von Fortune, den The Next Web wiedergibt, lagen Agenten von Google und Meta mit 82 Prozent gemeinsam vorn, ein Claude-Agent folgte mit 76 Prozent, der beste OpenAI-Agent kam mit 64 Prozent auf Platz sechs. Das schwächste Modell bestand 28,9 Prozent der Versuche.
- Woran scheitern KI-Einkaufsagenten am häufigsten?
- Visa nennt zwei Fehlerarten: Der Agent empfiehlt ein Produkt, das eine bekannte Anforderung verletzt, oder er findet nicht alle Anforderungen heraus. In unserem eigenen Test kam die erste Art nicht vor, solange alle Angaben im Mailverlauf standen. Die zweite Art war dagegen die Regel: Fehlte eine Angabe, bestellten fünf von sechs Modellen auf eigene Annahme, statt nachzufragen.
- Was sollte ein Betrieb tun, bevor ein KI-Agent bestellen darf?
- Für jede Warengruppe festlegen, welche Angaben vor einer Bestellung feststehen müssen, und den Agenten technisch daran hindern, ohne diese Angaben zu bestellen. Dazu gehören eine feste Betragsgrenze außerhalb des Modells, eine Freigabe durch einen Menschen für alles Neue und ein Test mit eigenen Bestellfällen, bevor der Agent echte Aufträge bekommt.
Passend dazu
BMW, 20 Prozent weniger Management und KI-Agenten: was BMW wirklich gesagt hat und was der Mittelstand davon übernehmen kann
InsightsHintertür in sieben Neuronen: Was Microsofts Lazarus-Studie für Firmen bedeutet, die KI-Modelle selbst betreiben
InsightsKI-Pentest: Was ein Sicherheitstest bei Chatbots und Agenten prüft, mit 360 eigenen Angriffen
InsightsPrompt Injection: ein Satz in einer E-Mail, und die KI empfiehlt eine Überweisung