Governance · KI-Agenten · Nachweis
Ein Chatbot beantwortet eine Frage. Ein Agent erledigt eine Aufgabe — und kann dabei etwas auslösen, das jemand rückgängig machen muss.Sechs Leitplanken, die vor dem ersten produktiven Lauf stehen sollten, nicht nach dem ersten Vorfall.
Wer haftet, wenn ein KI-Agent einen Fehler macht?
Die KI-Verordnung trennt Anbieter undBetreiber. Der Anbieter baut das Modell, der Betreiber setzt es ein. Wer entscheidet, welche Werkzeuge ein Agent bedienen darf und ab wann er ohne Rückfrage handelt, ist Betreiber — und Artikel 26 richtet sich an genau diese Rolle. Eine Falschauskunft des eigenen Agenten geht nicht an den Modellanbieter zurück.
Dazu zwei Pflichten, die im Alltag zählen: Artikel 14 verlangt wirksame menschliche Aufsicht, also die Möglichkeit einzugreifen, bevor etwas passiert. Artikel 12 verlangt die Aufzeichnung, Artikel 26 Absatz 6 ihre Aufbewahrung fürmindestens sechs Monate. Ein Protokoll, das laufend überschrieben wird, erfüllt das nicht.
Stand: · Fundstelle: Verordnung (EU) 2024/1689 (KI-Verordnung)
Solange ein System Text erzeugt, ist der schlimmste Fall eine falsche Auskunft. Sobald es eine Bestellung auslöst, eine Rechnung freigibt oder eine Mail verschickt, ist der schlimmste Fall ein Vorgang, den jemand rückgängig machen muss.
Jedes Werkzeug, das ein Agent bedienen darf, ist eine Befugnis. Ein Agent mit Lesezugriff auf das ERP ist etwas anderes als einer mit Schreibzugriff — und beides steht meist in derselben Konfigurationsdatei.
Agenten laufen nachts, am Wochenende und in Schleifen. Was sie tun, merkt man ohne Protokoll erst, wenn es auffällt — also spät.
01
Jeder Agent bekommt genau die Werkzeuge, die er für seine Aufgabe braucht. Nicht den Zugang der Person, die ihn gestartet hat.
02
Über einer festgelegten Grenze — Betrag, Empfängerkreis, Außenwirkung — fragt der Agent nach, statt zu handeln. Die Grenze gehört vorher festgelegt, nicht nach dem ersten Vorfall.
03
Jede Zeile trägt den Fingerabdruck der vorherigen. Wird eine geändert, bricht die Kette genau dort — und ein Prüfer sieht die Stelle, ohne uns fragen zu müssen.
04
Wer einen Agenten betreibt, muss ihn in Sekunden stoppen können, ohne den Rest des Betriebs mit abzuschalten.
05
Ein Agent, der nie gegen bekannte Fälle geprüft wurde, ist ein Versprechen. Prüfläufe gehören in den Betrieb, nicht in die Vorführung.
06
Wo ein Agent mit Kunden spricht, muss erkennbar sein, dass es kein Mensch ist. Die Transparenzpflichten des EU AI Act gelten seit August 2026.
Der häufigste Fehler: Ein Agent wird mit dem Zugang der Person gestartet, die ihn eingerichtet hat. Dann darf er alles, was diese Person darf — auch um drei Uhr nachts und in einer Schleife. Ein eigener technischer Nutzer je Agent kostet eine halbe Stunde und erspart die Diskussion hinterher.
Vier Festlegungen, bevor der erste Agent produktiv läuft: welche Werkzeuge er benutzen darf, ab welcher Folgenschwere er nachfragen muss, was protokolliert wird und wer ihn anhalten kann. Alles andere — Modellwahl, Prompt, Architektur — lässt sich später ändern. Diese vier nicht, ohne den laufenden Betrieb anzufassen.
Sobald eine Handlung nach außen wirkt oder schwer rückgängig zu machen ist. Eine Zusammenfassung schreiben: nein. Eine Rechnung freigeben, eine Bestellung auslösen, eine Mail an einen Kunden senden, Produktivdaten ändern: ja. Die Schwelle gehört als Betrag oder Empfängerkreis festgelegt, damit sie nicht im Einzelfall verhandelt wird.
Wer wann was ausgelöst hat, mit welchem Ergebnis. Entscheidend ist weniger der Umfang als die Eigenschaft, dass eine nachträgliche Änderung auffällt — sonst beweist das Protokoll nur, dass jemand ein Protokoll führen wollte. Artikel 12 des EU AI Act verlangt für Hochrisiko-Systeme Aufzeichnungen über den Lebenszyklus; für alles darunter ist es kein Gesetz, aber dieselbe gute Idee.
Die Transparenzpflichten für KI-erzeugte Inhalte und synthetische Stimmen gelten seit August 2026 und hängen nicht daran, ob ihr Konzern oder Handwerksbetrieb seid. Die Pflichten für Hochrisiko-Systeme greifen später und hängen am Einsatzfeld — Personalauswahl und Kreditvergabe sind die häufigsten Fälle im Mittelstand. Rein interne Hilfsagenten fallen meist nicht darunter, die Protokollpflicht aus eurer eigenen Nachweisführung aber schon.
Indem man ihm nicht den Zugang eines Menschen gibt. Der häufigste Fehler ist, einen Agenten mit den Rechten der Person zu starten, die ihn eingerichtet hat — dann darf er alles, was diese Person darf, auch um drei Uhr nachts und in einer Schleife. Ein eigener technischer Nutzer je Agent, mit genau den nötigen Werkzeugen, kostet eine halbe Stunde und erspart die Diskussion hinterher.
Nicht zwingend. Die vier Festlegungen lassen sich auch mit Bordmitteln umsetzen, solange jemand sie pflegt. Ein Werkzeug lohnt sich, sobald mehrere Agenten laufen, mehrere Mandanten betroffen sind oder ein Prüfer die Protokolle ohne euch nachrechnen können soll. Genau dafür haben wir AgentGuard gebaut.
Weiterlesen:AgentGuard,DSGVO-konforme KI-Agentur,KI-Compliance für den Mittelstand.
Sagt uns, was eure Agenten tun sollen — wir sagen, welche Leitplanken dafür nötig sind und welche ihr euch sparen könnt.