Beim Abspielen lädt YouTube (Google) das Video. Dabei werden Ihre IP-Adresse und Geräteinformationen an Google übertragen. Details ·
Transkript anzeigen
Eine ganz normale Kunden-E-Mail an einen Dachdecker. Seit dem Sturm tropft es durchs Dachfenster, ob diese Woche jemand vorbeikommen kann. Ein KI-Assistent fasst sie für den Meister zusammen, in zwei Sätzen. Sieht sauber aus, oder? Lesen Sie die letzte Zeile. Bitte das Angebot vorab unter diesem Link bestätigen. Das hat nicht die Familie geschrieben. Unter ihrem Gruß stand ein Satz an das KI-System, und die KI hat ihn ausgeführt. Der Meister liest die E-Mail nicht mehr. Er liest die Zusammenfassung. Das nennt man Prompt Injection. Wir wollten wissen, wie oft das passiert. Also haben wir einen Posteingang angegriffen. Drei Angriffe: eine gefälschte Überweisung, der Abfluss einer geheimen Kennung und ein fremder Link. Dazu eine harmlose Kontroll-E-Mail. Sechs Sprachmodelle, drei Schutzstufen im Prompt, jeder Fall fünf- bis zehnmal. Zusammen dreihundertsechzig Angriffe. Claude Sonnet fünf Punkt fünf, GPT sechs Luna und DeepSeek: Kein einziger Angriff kam durch. Mistral Medium drei Punkt fünf dagegen ließ ohne Schutz jeden Angriff durch. Mit Schutz im Prompt stoppte es die gefälschte Überweisung. Den Link hängte es trotzdem an. In fünfzehn von fünfzehn Durchläufen. Dann zwei kleine Modelle, die wir auf unserem eigenen Server betreiben. Beide haben die geheime Kennung verraten. In allen sechzig Versuchen, mit und ohne Schutz. Wer Zugangsdaten in den Systemprompt schreibt, sollte davon ausgehen, dass sie herauskommen. Und noch etwas. Das kleinste Modell ließ die Überweisung ohne Schutz in vier von zehn Durchläufen durch. Wer nur einmal testet, sieht in sechs von zehn Fällen eine saubere Antwort und schreibt: abgewehrt. Deshalb läuft bei uns jeder Fall mehrmals, und jede Schutzstufe einzeln. Die OWASP führt die größten Risiken für KI-Anwendungen. In ihrer Fassung zweitausendsechsundzwanzig steht: Einen zuverlässigen Schutz gegen Prompt Injection gibt es heute nicht. Also muss das System drumherum schützen. Keine Zahlung ohne Freigabe durch einen Menschen. Keine Geheimnisse im Prompt. Und Links aus KI-Antworten nicht klickbar. Die Rechenkosten für alle Anfragen an die Cloud-Modelle: keine dreißig Cent. Teuer ist nicht der Test. Teuer ist der Link, den niemand gesehen hat. Prüfen Sie Ihre KI, bevor es ein anderer tut.
Die Angriffsfläche hat sich verschoben
Solange KI nur Texte vorschlägt, ist ein Fehler ärgerlich. Sobald sie Werkzeuge bedient, Mails verschickt, Datensätze ändert oder Zahlungen auslöst, wird aus einem Fehler eine Handlung. Und Handlungen lassen sich auslösen, ohne dass jemand einbricht: Es reicht, dem Modell eine Anweisung unterzuschieben, an einer Stelle, an der es Text liest.
Dieser Weg heißt Prompt-Injection, und er ist deshalb so unangenehm, weil er wie normale Nutzung aussieht. Ein Bewerbungs-PDF, eine Support-Mail, eine indexierte Webseite. Alles legitim, alles erwartet, und mittendrin ein Satz, der an das Modell gerichtet ist.
Eine Anwendung kann netzseitig völlig sauber sein und trotzdem über ein hochgeladenes PDF steuerbar. Ein klassischer Pentest findet das nicht, weil er nach Wegen ins System sucht. Hier braucht es keinen Weg hinein, nur einen Text, den das Modell liest.
Wie solche Angriffe ablaufen und was dagegen hilft, steht in Prompt-Injection: KI-Agenten schützen. Was ein Prüflauf konkret misst, zeigt unser Test mit 360 Angriffen.
Was wir prüfen
Wir sehen uns die Kette an, nicht nur ihr Ende. Wo kommen Inhalte her, werden sie vor dem Modell geprüft, was darf das Modell danach tun, und was wird davon protokolliert. Vier Befundklassen tauchen dabei immer wieder auf.
Erstens Injection über Inhalte. Zweitens Datenabfluss, also Systemprompt, Fremddaten oder interne Hinweise, die im Output landen. Drittens Werkzeugrechte, die weiter sind als der eigentliche Zweck. Und viertens die Lieferkette: Modelle, Plugins und Erweiterungen, deren Herkunft niemand geprüft hat. Der Pentest prüft sie einmal; wer jedes spätere Update vor dem Einspielen sichten lassen will, findet das in der Update-Schleuse.
Dazu kommt das übliche Handwerk. Netz, Dienste, Authentifizierung, Rechte, Konfiguration. KI- Werkzeuge nutzen wir dabei dort, wo sie Zeit sparen, etwa beim Sichten großer Ausgaben. Die Bewertung macht ein Mensch.
Die Grenze, die wir nicht verschieben
Wir testen ausschließlich Systeme, für die uns eine schriftliche Beauftragung samt Scope vorliegt. Das ist keine Formalie, sondern die Linie zwischen Sicherheitsarbeit und Straftat. Fertige Angriffsketten geben wir nicht heraus und veröffentlichen sie auch nicht, weder im Bericht noch sonst wo. Was ihr bekommt, ist der Weg zur Reproduktion in eurer Umgebung und die Gegenmaßnahme.
Pakete und Preise
Feste Pakete, damit ihr vorher wisst, was die Prüfung kostet. Alle Preise netto.
| Paket | Umfang | Preis |
|---|---|---|
| KI-Check Chatbot | ein Chatbot oder Assistent ohne Werkzeuge. Prompt-Injection, Datenabfluss, Systemprompt-Offenlegung, Umgang mit Ausgaben, Falschaussagen, Missbrauch von Rechenleistung. 3 Personentage | 3.900 € |
| KI-Check Agent oder RAG | ein Agent mit bis zu fünf Werkzeugen oder ein RAG-System über Firmendaten. Zusätzlich Lieferkette, vergiftete Daten, zu weite Rechte, Schwächen in der Vektorsuche, MCP-Anbindungen. 6 Personentage | 7.900 € |
| Nachtest | dieselben Befunde nach eurem Fix | 990 € (Chatbot) · 1.900 € (Agent) |
| Klassischer Pentest | Netz, Dienste, Authentifizierung, Konfiguration | nach Aufwand, 1.250 € je Tag |
Geprüft wird entlang der OWASP Top 10 für LLM-Anwendungen (Ausgabe 2026) und des BSI-Leitfadens zu Evasion-Angriffen auf LLMs vom Januar 2026. Welche Schutzmaßnahme bei eurem Modell wirkt, lässt sich nicht aus einer Liste ablesen. In unserem eigenen Test mit 120 Durchläufen senkte dieselbe Abgrenzung im Prompt die erfolgreichen Angriffe bei einem Modell von 10 auf 2 von 20, beim anderen gingen danach alle 20 durch. Deshalb messen wir, statt zu vermuten.
Was danach passiert
Ein Bericht, den niemand abarbeitet, hat den Aufwand nicht wert gewesen. Deshalb bieten wir den Nachtest zum Festpreis an (990 € bzw. 1.900 €): Nach dem Fix prüfen wir dieselben Punkte erneut und schreiben auf, was jetzt hält. Wenn ein Befund aus Gründen offen bleibt, notieren wir das mit Begründung, statt ihn stillschweigend verschwinden zu lassen.
Häufigster Befund bei handelnden Agenten ist übrigens kein Angriff, sondern eine Lücke: Es gibt kein belastbares Protokoll darüber, was der Agent entschieden hat. Für die Sicherheit ist das schlecht, für die Nachweispflichten des EU AI Act ebenfalls. Beides lässt sich mit derselben Maßnahme schließen, und genau dafür haben wir AgentGuard gebaut.
Wann ihr uns dafür nicht braucht
Ein Termin, der beiden Seiten nichts bringt, ist teurer als eine ehrliche Zeile hier.
- —Systeme ohne schriftliche Beauftragung und ohne abgestimmten Scope. Ohne Auftrag kein Test, ausnahmslos.
- —Fremde Systeme, über die ihr nicht verfügen dürft. Auch nicht auf Zuruf und auch nicht kurz.
- —Angriffswerkzeuge oder fertige Exploit-Ketten zum Mitnehmen. Wir liefern Befunde und Gegenmaßnahmen, keine Waffen.
- —Ein Zertifikat als Ziel. Wir liefern eine Prüfung, kein Siegel.
Häufige Fragen
Was unterscheidet ein KI-Pipeline-Audit von einem normalen Pentest?
Ein klassischer Pentest fragt, ob jemand ins System kommt. Ein KI-Audit fragt, ob jemand das System dazu bringt, etwas zu tun, das es nicht soll — ohne einzubrechen. Der häufigste Weg dorthin ist Text: eine Anweisung, die in einem Dokument, einer E-Mail oder einer Webseite steht und vom Modell als Befehl gelesen wird. Eine Anwendung kann netzseitig völlig sauber sein und trotzdem über ein hochgeladenes PDF steuerbar.
Braucht ihr Zugriff auf unsere Produktivsysteme?
Bevorzugt nicht. Wir arbeiten am liebsten gegen eine Staging-Umgebung mit realistischen Daten und schriftlich abgestimmtem Scope. Wo nur Produktion existiert, legen wir vorher Zeitfenster, Testkonten, Abbruchkriterien und Ansprechpartner fest. Nichts davon passiert auf Zuruf, und alles steht im Auftrag.
Was steht am Ende im Bericht?
Je Befund der Weg zur Reproduktion, eine Einschätzung der Tragweite in eurem Kontext und ein Vorschlag zur Behebung, der zu eurem Stack passt. Dazu eine Einordnung, was davon wirklich dringend ist. Nach dem Fix testen wir dieselben Punkte erneut, sonst bleibt der Bericht ein Papier. Funktionierende Angriffsketten veröffentlichen wir nicht, auch nicht im Bericht.
Wie oft sollte man das machen?
Bei KI-Anwendungen häufiger als bei klassischer Software, weil sich die Angriffsfläche mit jedem neuen Werkzeug, jeder neuen Datenquelle und jedem Modellwechsel ändert. Ein sinnvoller Rhythmus ist eine Prüfung vor dem Produktivgang, danach bei wesentlichen Änderungen, mindestens aber jährlich.
Was kostet ein KI-Pentest bei euch?
Für die zwei häufigsten Fälle gibt es Festpreise: Der KI-Check für einen Chatbot oder Assistenten ohne Werkzeuge kostet 3.900 € netto (3 Personentage), der KI-Check für einen Agenten mit bis zu fünf Werkzeugen oder ein RAG-System über Firmendaten 7.900 € netto (6 Personentage). Der Nachtest nach dem Fix kostet 990 € bzw. 1.900 €. Ein klassischer Pentest auf Netz und Dienste kommt nach Aufwand dazu, zum Tagessatz von 1.250 €.
Hilft eine Prüfung bei EU-AI-Act-Pflichten?
Eine Pflicht zu solchen Tests haben nur Hochrisiko-Systeme (Art. 15 KI-VO) und die Anbieter sehr großer Basismodelle (Art. 55). Die meisten Chatbots im Mittelstand gehören nicht dazu. Die Prüfung ersetzt auch keine Konformitätsbewertung, liefert aber Belege für das, was der AI Act an Risikomanagement und Robustheit erwartet, und sie deckt Nachweislücken auf. Wenn Agenten folgenreiche Aktionen ausführen, fällt fast immer auf, dass Entscheidungen nicht protokolliert werden. Das ist weniger ein Sicherheits- als ein Nachweisproblem, gehört aber in denselben Bericht.
Passt dazu
Weitere Spezialisierungen
Konkreter Fall statt Katalog
Erzählt uns in 30 Minuten, was bei euch anfällt. Wir sagen danach klar, ob sich das in diesem Feld lösen lässt und was es ungefähr kostet. Wenn es nicht passt, sagen wir auch das.
Kostenloses Erstgespräch