# KI-Agenten-Governance — die Leitplanken — Krynex Labs

> Was ein handelnder KI-Agent braucht, bevor er produktiv läuft: Befugnisse, Freigabeschwelle, fälschungssicheres Protokoll und ein Stopp-Schalter.

Quelle: https://www.krynexlabs.de/ki-agenten-governance/
Stand: 2026-11-18
Anbieter: Krynex Labs UG (haftungsbeschränkt), Chemnitz · https://www.krynexlabs.de

---
Governance · KI-Agenten · Nachweis

# Governance für KI-Agenten

Ein Chatbot beantwortet eine Frage. Ein Agent erledigt eine Aufgabe — und kann dabei etwas auslösen, das jemand rückgängig machen muss. **Sechs Leitplanken**, die vor dem ersten produktiven Lauf stehen sollten, nicht nach dem ersten Vorfall.

[Über eure Agenten sprechen →](https://www.krynexlabs.de/kontakt/) [AgentGuard ansehen](https://www.krynexlabs.de/services/agentguard/)

## Kurz beantwortet

Wer haftet, wenn ein KI-Agent einen Fehler macht?

Die KI-Verordnung trennt **Anbieter** und **Betreiber**. Der Anbieter baut das Modell, der Betreiber setzt es ein. Wer entscheidet, welche Werkzeuge ein Agent bedienen darf und ab wann er ohne Rückfrage handelt, ist Betreiber — und Artikel 26 richtet sich an genau diese Rolle. Eine Falschauskunft des eigenen Agenten geht nicht an den Modellanbieter zurück.

Dazu zwei Pflichten, die im Alltag zählen: Artikel 14 verlangt wirksame menschliche Aufsicht, also die Möglichkeit einzugreifen, *bevor* etwas passiert. Artikel 12 verlangt die Aufzeichnung, Artikel 26 Absatz 6 ihre Aufbewahrung für **mindestens sechs Monate**. Ein Protokoll, das laufend überschrieben wird, erfüllt das nicht.

Stand: 22\. September 2026 · Fundstelle: [Verordnung (EU) 2024/1689 (KI-Verordnung)](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689)

Beim Abspielen lädt YouTube (Google) das Video. Dabei werden Ihre IP-Adresse und Geräteinformationen an Google übertragen. [Details](https://www.krynexlabs.de/datenschutz/#youtube) ·

Ein KI-Agent löst nachts eine Bestellung aus — falscher Lieferant, vierstelliger Betrag. Wer haftet? Nicht der Anbieter des Modells, sondern der Betreiber: das Unternehmen, das entschieden hat, welche Werkzeuge der Agent bedienen darf. Dieses Video zeigt, woran der Unterschied zwischen Chatbot und Agent hängt, was Artikel 26 der KI-Verordnung vom Betreiber verlangt, wie lange Protokolle aufzuheben sind — und welche vier Zeilen Sie diese Woche aufschreiben können.

Transkript anzeigen

Ein Agent hat nachts eine Bestellung ausgelöst. Falscher Lieferant, vierstelliger Betrag. Am Morgen steht die Frage im Raum: wer haftet dafür? Und dann kommt fast immer einer dieser Sätze. Das Modell kommt vom Anbieter, also haftet der Anbieter. Oder: der Agent hat das selbst entschieden, das konnte keiner wissen. Beide haben eine richtige Hälfte. Beide tragen nicht. Der Unterschied ist nicht die Technik, es ist die Fallhöhe. Ein Chatbot antwortet. Ein Agent handelt. Solange ein System Text erzeugt, ist der schlimmste Fall eine falsche Auskunft. Sobald es ein Werkzeug bedient, ist der schlimmste Fall schon draußen. Und meistens sieht niemand zu. Agenten laufen nachts, am Wochenende und in Schleifen. So sieht so ein Lauf aus: Liste gelesen, Preise verglichen, Vorschlag erzeugt. Und dann eine Zeile, die anders ist als alle davor — sie ruft ein Werkzeug auf. Ab da ist es keine Antwort mehr, sondern eine Handlung. Der erste Mensch öffnet dieses Protokoll Stunden später. Was ein Agent anrichten kann, hängt nicht am Modell. Es hängt daran, was er bedienen darf. Jedes Werkzeug ist eine Befugnis. Derselbe Agent mit Leserecht schreibt schlimmstenfalls eine falsche Zahl in einen Bericht. Mit Schreibrecht hinterlässt er einen stillen Fehler in Ihren Stammdaten. Und mit Zugriff nach außen verlässt der Fehler das Haus — als Mail, als Bestellung, als Zahlung. Ein neuer Mitarbeiter bekommt diese Rechte nicht am ersten Tag. Ein Agent bekommt sie oft in der ersten Stunde. Zurück zur Frage. Die KI-Verordnung trennt zwischen Anbieter und Betreiber. Der Anbieter baut das Modell. Der Betreiber setzt es ein. Sie haben entschieden, welche Werkzeuge Ihr Agent bedienen darf. Sie haben entschieden, ab wann er ohne Rückfrage handelt. Er läuft in Ihrem Namen, gegenüber Ihren Kunden. Damit sind Sie Betreiber, und Artikel 26 richtet sich an genau diese Rolle. Eine Falschauskunft Ihres Agenten geht nicht an den Anbieter zurück. Sie bleibt bei Ihnen. Das ist kein Grund, keine Agenten einzusetzen. Es ist ein Grund, ihnen eine Schwelle zu geben. Bei uns legt jeder Agent eine folgenreiche Aktion erst vor, bevor er sie ausführt. Sie läuft durch zehn Gates: Identität, Umfang, Takt, Betrag, Risiko, Inhalt. Am Ende steht genau eines von drei Dingen. Erlaubt, blockiert, oder ein Mensch entscheidet. So läuft das bei allen unseren Agenten, jeden Tag. Und was passiert ist, muss nachlesbar bleiben. Artikel 12 der KI-Verordnung verlangt die Aufzeichnung. Artikel 26 Absatz 6 verlangt, sie aufzuheben, mindestens sechs Monate lang. Das klingt nach einer Formalie, bis jemand fragt, warum Ihr Agent an einem Dienstag im März genau das getan hat. Ein Protokoll, das laufend überschrieben wird, beantwortet diese Frage nicht mehr. Was Sie diese Woche tun können, ohne Projekt und ohne Beratung. Schreiben Sie auf, welche Ihrer Systeme handeln und nicht nur antworten. Schreiben Sie daneben, welche Werkzeuge jedes davon bedienen darf. Legen Sie eine Grenze fest, über der nachgefragt wird: ein Betrag, ein Empfängerkreis, eine Außenwirkung. Und prüfen Sie, wie lange Ihre Protokolle liegen bleiben. Das ist ein Nachmittag. Es ist auch die Liste, nach der ein Prüfer fragt. Die Fundstellen stehen in der Beschreibung, alle nachschlagbar. Wer handelt, muss anhalten können. Krynex Labs.

## Warum Agenten andere Regeln brauchen

### Ein Chatbot antwortet. Ein Agent handelt.

Solange ein System Text erzeugt, ist der schlimmste Fall eine falsche Auskunft. Sobald es eine Bestellung auslöst, eine Rechnung freigibt oder eine Mail verschickt, ist der schlimmste Fall ein Vorgang, den jemand rückgängig machen muss.

### Die Fallhöhe steigt mit dem Werkzeugzugriff

Jedes Werkzeug, das ein Agent bedienen darf, ist eine Befugnis. Ein Agent mit Lesezugriff auf das ERP ist etwas anderes als einer mit Schreibzugriff — und beides steht meist in derselben Konfigurationsdatei.

### Niemand sieht zu

Agenten laufen nachts, am Wochenende und in Schleifen. Was sie tun, merkt man ohne Protokoll erst, wenn es auffällt — also spät.

## Die sechs Leitplanken

01

### Befugnisse benennen, nicht vererben

Jeder Agent bekommt genau die Werkzeuge, die er für seine Aufgabe braucht. Nicht den Zugang der Person, die ihn gestartet hat.

02

### Schwelle für Folgenreiches

Über einer festgelegten Grenze — Betrag, Empfängerkreis, Außenwirkung — fragt der Agent nach, statt zu handeln. Die Grenze gehört vorher festgelegt, nicht nach dem ersten Vorfall.

03

### Protokoll, das man nicht nachträglich schön schreiben kann

Jede Zeile trägt den Fingerabdruck der vorherigen. Wird eine geändert, bricht die Kette genau dort — und ein Prüfer sieht die Stelle, ohne uns fragen zu müssen.

04

### Ein Schalter, der alles anhält

Wer einen Agenten betreibt, muss ihn in Sekunden stoppen können, ohne den Rest des Betriebs mit abzuschalten.

05

### Prüfläufe vor dem Einsatz

Ein Agent, der nie gegen bekannte Fälle geprüft wurde, ist ein Versprechen. Prüfläufe gehören in den Betrieb, nicht in die Vorführung.

06

### Kennzeichnung nach außen

Wo ein Agent mit Kunden spricht, muss erkennbar sein, dass es kein Mensch ist. Die Transparenzpflichten des EU AI Act gelten seit August 2026.

## Welche Kontrolle mit welchem Werkzeug?

Jede Leitplanke lässt sich mit Bordmitteln umsetzen. Ein Werkzeug wie unser AgentGuard nimmt die Pflege ab, sobald mehrere Agenten laufen. Zwei Zeilen deckt es nicht ab, das steht dann auch so da. Die Artikel beziehen sich auf die KI-Verordnung (EU) 2024/1689; die Hochrisiko-Pflichten gelten nach dem Digital Omnibus ab dem 2. Dezember 2027. Welche Protokolle wann Pflicht sind, steht ausführlich auf [Was muss ein KI-Audit-Trail protokollieren?](https://www.krynexlabs.de/wissen/ai-audit-trail-pflichten/)

| Kontrolle | Wo es steht | Mit Bordmitteln | Mit AgentGuard |
| --- | --- | --- | --- |
| Befugnisse je Agent | Art. 26 Abs. 1 KI-VO (Einsatz nach Gebrauchsanweisung), Art. 32 DSGVO | Eigener technischer Nutzer je Agent, API-Schlüssel nur mit den nötigen Rechten | Mandat je Agent, vor jeder Aktion geprüft; jede Anbindung mit eigenem, sperrbarem Schlüssel |
| Freigabe vor Folgenreichem | Art. 14 Abs. 4 d KI-VO (Ergebnis übergehen oder rückgängig machen) | Freigabeschritt im Workflow, etwa eine Bestätigung per Mail vor dem Versand | Aufsicht-Stufe: Zahlung, Mail, Löschung oder Vertrag warten auf einen Menschen, mit Namen und Notiz im Protokoll |
| Protokoll, das Änderungen zeigt | Art. 12, Art. 19 Abs. 1 und Art. 26 Abs. 6 KI-VO (mind. 6 Monate), Art. 5 Abs. 2 DSGVO | Eigene Log-Datenbank, Archiv mit Schreibschutz (z. B. S3 Object Lock) | Jeder Eintrag hash-verkettet und signiert, Kettenprüfung zeigt die Stelle einer Änderung |
| Not-Aus | Art. 14 Abs. 4 e KI-VO (Stopp-Taste oder ähnliches Verfahren) | Schlüssel sperren oder Workflow deaktivieren, je System einzeln | Not-Aus für einen Agenten oder alle, von einer Person allein; auch erteilte Freigaben gelten dann nicht |
| Grenzen für Menge und Kosten | keine Pflicht, Schutz vor Schleifen | Budgetgrenze beim Modellanbieter, Ratenbegrenzung in der Schnittstelle | Prüfungen auf Rate, Sperrfrist und Ausgaben vor jeder Aktion |
| Inhalt vor dem Versand prüfen | Art. 32 DSGVO | Filter auf Zugangsdaten und Kontonummern im eigenen Code | Inhaltsprüfung: Zugangsdaten stoppen die Aktion, Kontonummern gehen an einen Menschen |
| Prüfläufe vor dem Einsatz | Art. 9 Abs. 6 KI-VO (Tests, Pflicht des Anbieters bei Hochrisiko) | Feste Testfälle, die vor jeder Änderung laufen | deckt AgentGuard nicht ab |
| Kennzeichnung nach außen | Art. 50 KI-VO, seit 2. August 2026 | Hinweis im Chatfenster oder in der Telefonansage | deckt AgentGuard nicht ab |
| Nachweis für Prüfer | Art. 26 Abs. 6 KI-VO, Art. 5 Abs. 2 DSGVO | Export aus der Log-Datenbank, von Hand zusammengestellt | Nachweis-Archiv je Zeitraum und Einstufung nach Anhang III als Bericht |

Stand: 18. November 2026. AgentGuard-Angaben nach unserer [Leistungsseite](https://www.krynexlabs.de/services/agentguard/), Protokoll-Modus ab 49 € im Monat, mit Aufsicht ab 99 € im Monat. Testfälle für Agenten: [Agent-Evals](https://www.krynexlabs.de/blog/agent-evals/), Kennzeichnung: [Kennzeichnungs-Check nach Art. 50](https://www.krynexlabs.de/services/ki-kennzeichnung/).

**Der häufigste Fehler:** Ein Agent wird mit dem Zugang der Person gestartet, die ihn eingerichtet hat. Dann darf er alles, was diese Person darf — auch um drei Uhr nachts und in einer Schleife. Ein eigener technischer Nutzer je Agent kostet eine halbe Stunde und erspart die Diskussion hinterher.

## Häufige Fragen zur Agenten-Governance

Was bedeutet Governance bei KI-Agenten konkret? +

Vier Festlegungen, bevor der erste Agent produktiv läuft: welche Werkzeuge er benutzen darf, ab welcher Folgenschwere er nachfragen muss, was protokolliert wird und wer ihn anhalten kann. Alles andere — Modellwahl, Prompt, Architektur — lässt sich später ändern. Diese vier nicht, ohne den laufenden Betrieb anzufassen.

Ab wann braucht ein Agent eine Freigabe durch einen Menschen? +

Sobald eine Handlung nach außen wirkt oder schwer rückgängig zu machen ist. Eine Zusammenfassung schreiben: nein. Eine Rechnung freigeben, eine Bestellung auslösen, eine Mail an einen Kunden senden, Produktivdaten ändern: ja. Die Schwelle gehört als Betrag oder Empfängerkreis festgelegt, damit sie nicht im Einzelfall verhandelt wird.

Was muss protokolliert werden? +

Wer wann was ausgelöst hat, mit welchem Ergebnis. Entscheidend ist weniger der Umfang als die Eigenschaft, dass eine nachträgliche Änderung auffällt — sonst beweist das Protokoll nur, dass jemand ein Protokoll führen wollte. Artikel 12 des EU AI Act verlangt für Hochrisiko-Systeme Aufzeichnungen über den Lebenszyklus; für alles darunter ist es kein Gesetz, aber dieselbe gute Idee.

Betrifft uns der EU AI Act, wenn wir nur intern Agenten einsetzen? +

Die Transparenzpflichten für KI-erzeugte Inhalte und synthetische Stimmen gelten seit August 2026 und hängen nicht daran, ob ihr Konzern oder Handwerksbetrieb seid. Die Pflichten für Hochrisiko-Systeme greifen später und hängen am Einsatzfeld — Personalauswahl und Kreditvergabe sind die häufigsten Fälle im Mittelstand. Rein interne Hilfsagenten fallen meist nicht darunter, die Protokollpflicht aus eurer eigenen Nachweisführung aber schon.

Wie verhindert man, dass ein Agent mehr darf als gedacht? +

Indem man ihm nicht den Zugang eines Menschen gibt. Der häufigste Fehler ist, einen Agenten mit den Rechten der Person zu starten, die ihn eingerichtet hat — dann darf er alles, was diese Person darf, auch um drei Uhr nachts und in einer Schleife. Ein eigener technischer Nutzer je Agent, mit genau den nötigen Werkzeugen, kostet eine halbe Stunde und erspart die Diskussion hinterher.

Braucht man dafür ein eigenes Werkzeug? +

Nicht zwingend. Die vier Festlegungen lassen sich auch mit Bordmitteln umsetzen, solange jemand sie pflegt. Ein Werkzeug lohnt sich, sobald mehrere Agenten laufen, mehrere Mandanten betroffen sind oder ein Prüfer die Protokolle ohne euch nachrechnen können soll. Genau dafür haben wir AgentGuard gebaut.

Weiterlesen: [AgentGuard](https://www.krynexlabs.de/services/agentguard/), [DSGVO-konforme KI-Agentur](https://www.krynexlabs.de/dsgvo-konforme-ki-agentur/), [KI-Compliance für den Mittelstand](https://www.krynexlabs.de/ai-compliance-mittelstand/).

## Agenten, die man nachrechnen kann

Sagt uns, was eure Agenten tun sollen — wir sagen, welche Leitplanken dafür nötig sind und welche ihr euch sparen könnt.

[Kostenloses Erstgespräch →](https://www.krynexlabs.de/kontakt/) [KI-Agenten bauen lassen](https://www.krynexlabs.de/services/ai-agents/)
