Ein Eintrag gegen KI-Training: Was das neue robots.txt-Signal von OpenAI, Google, Microsoft und Anthropic taugt
Vier große KI-Anbieter wollen ein gemeinsames Signal in der robots.txt beachten, mit dem Websites dem Training generativer KI widersprechen. Wir haben den Entwurf bei der IETF und die Angaben der Anbieter gelesen, das Signal mit einem verbreiteten Parser getestet und erklären, was es abdeckt, was nicht, und ab wann es wirkt.
Mit KI erzeugtes Bild. Mehr zur KI-Transparenz
Am 30. Oktober haben OpenAI, Google, Microsoft und Anthropic angekündigt, dass sie ein gemeinsames Signal gegen KI-Training beachten wollen. Bisher musste eine Website jeden Trainings-Crawler einzeln sperren: GPTBot für OpenAI, ClaudeBot für Anthropic, Google-Extended für Google, dazu viele kleinere. Künftig soll ein einziger Eintrag in der robots.txt reichen.
Das klingt nach einer Vereinfachung, und im Kern ist es eine. Im Detail gibt es aber drei Punkte, die man kennen sollte, bevor man die eigene robots.txt ändert. Einer davon steht nur im Entwurf selbst und kommt in den meisten Berichten nicht vor. Wir haben ihn mit einem verbreiteten Parser nachgeprüft.
Was genau angekündigt wurde
Kevin Kelley, bei Anthropic für Standards zuständig, hat am 30. Oktober einen Entwurf bei der IETF eingereicht, der Organisation, die Internetstandards abstimmt. Der Titel: „Machine-Readable Training Preference Signal“. Es ist ein Entwurf eines Einzelnen, kein beschlossener Standard. Die IETF hat ihn noch nicht angenommen, und er läuft am 3. Mai 2027 aus, wenn er bis dahin nicht weiterentwickelt wird.
Der Entwurf erfindet keine neue Syntax. Er führt einen Namen ein, der in der robots.txt wie ein Crawler behandelt wird:
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/Disallow heißt: Diese Inhalte sollen nicht zum Training genutzt werden.
Allow heißt: Training ist erwünscht. Im Beispiel widerspricht die Website
dem Training für alles außer dem Pressebereich. Groß- und Kleinschreibung
spielt keine Rolle, der Name muss aber sonst genau so geschrieben werden,
mit zwei Unterstrichen am Anfang.
Gemeint ist nur das Training generativer KI, also das Verändern der gelernten Parameter eines Modells, das Texte, Bilder oder Ähnliches erzeugt. Ausdrücklich nicht gemeint sind Modelle, die nur einordnen, sortieren oder bewerten. Der Entwurf übernimmt diese Begriffe aus der laufenden Arbeit der IETF-Arbeitsgruppe aipref und will sie anpassen, wenn die Gruppe sich einigt.
Wer es ab wann beachtet
Hier gehen die Angaben auseinander, und genau das ist für die Praxis wichtig.
| Anbieter | Stand laut Quelle |
|---|---|
| Microsoft | ab 1. Februar 2027, jeweils beim nächsten Abruf einer Seite |
| OpenAI | „in den kommenden Monaten“ |
| im Laufe des Jahres 2027 | |
| Anthropic | laut Berichten schon jetzt, die eigene Hilfeseite nennt es noch nicht |
| Meta | unterstützt die Idee, hat aber keine Umsetzung zugesagt |
Die genauesten Angaben macht Microsoft im eigenen Blog. Für Google haben wir keine eigene Mitteilung gefunden, die Angabe stammt aus Berichten über die Ankündigung. Bei Anthropic ist uns ein Widerspruch aufgefallen: Mehrere Berichte schreiben, Anthropic beachte das Signal bereits. Die Hilfeseite von Anthropic zu den eigenen Crawlern, Stand 7. April 2026, nennt am 1. November nur ClaudeBot, Claude-User und Claude-SearchBot. Das neue Signal kommt dort nicht vor.
Was das Signal nicht abdeckt
Das Signal betrifft das Training. Es betrifft nicht die Suche und nicht den Abruf einer Seite, weil ein Nutzer gerade eine Frage stellt. Bei Microsoft heißt dieser zweite Fall Grounding: Ein Modell liest eine Seite, um eine Antwort darauf zu stützen, ohne sie ins Training zu übernehmen.
Für Grounding gibt es bei Microsoft keine Einstellung in der robots.txt, sondern nur auf Seitenebene, als Meta-Tag oder HTTP-Kopfzeile:
<meta name="Bingbot" content="ai-grounding:disallow">Microsoft warnt, dass eine Sperre für Grounding die Sichtbarkeit in KI-Antworten deutlich verringert. Die klassische Bing-Suche bleibt in beiden Fällen unberührt. Wer bisher NoArchive oder NoCache als Bremse für KI genutzt hat: Ab dem 1. März 2027 liest Microsoft diese Angaben nicht mehr als Wunsch zu Training oder Grounding.
Und rückwirkend wirkt nichts davon. Was schon in einem Modell steckt, holt das Signal nicht heraus.
Der Stern zählt nicht, und ein Parser sieht das anders
Der Punkt, den wir in kaum einem Bericht gefunden haben, steht in Abschnitt
4.2 des Entwurfs: User-agent: * darf nicht als Treffer für das neue Signal
gelesen werden. Gibt es keine eigene Gruppe für __usage_ai-training, hat
die Website zum Training schlicht nichts gesagt.
Das heißt: Eine robots.txt, die mit User-agent: * und Disallow: /
alles für alle sperrt, ist nach dem Entwurf kein Widerspruch gegen
KI-Training. Sie sperrt nur den Abruf für Crawler, die sich daran halten.
Wir haben ausprobiert, wie ein verbreiteter Parser das liest. Der
robots.txt-Parser in der Standardbibliothek von Python, urllib.robotparser,
steckt in vielen kleinen Crawlern und Prüfwerkzeugen. Wir haben ihn mit drei
Dateien gefragt, ob unter /blog/ gelesen werden darf.
| robots.txt | __usage_ai-training |
ClaudeBot | Googlebot |
|---|---|---|---|
nur User-agent: * mit Disallow: / |
gesperrt | gesperrt | gesperrt |
eigene Gruppe __usage_ai-training mit Disallow: /, sonst alles erlaubt |
gesperrt | erlaubt | erlaubt |
| unsere eigene robots.txt (alles erlaubt) | erlaubt | erlaubt | erlaubt |
Die zweite Zeile ist die gute Nachricht: Die neue Gruppe stört andere Crawler nicht. Wer sie einfügt, sperrt damit nicht versehentlich die Suche.
Die erste Zeile zeigt das Problem. Der Python-Parser wendet den Stern auch auf das neue Signal an und meldet einen Widerspruch, den es nach dem Entwurf nicht gibt. Ein Werkzeug, das so gebaut ist, würde einer Website eine Haltung zuschreiben, die sie nie ausgedrückt hat. Für die großen Anbieter ist das kein Thema, sie bauen eigene Parser nach dem Entwurf. Wer aber selbst Daten sammelt oder robots.txt-Dateien auswertet, sollte den Sonderfall kennen und abfangen.
Was das mit dem Urheberrecht zu tun hat
In Deutschland erlaubt § 44b UrhG das Text und Data Mining, also auch das Sammeln für KI-Training, solange der Rechteinhaber sich das nicht vorbehalten hat. Bei Inhalten im Netz ist so ein Vorbehalt nach § 44b Abs. 3 UrhG nur wirksam, „wenn er in maschinenlesbarer Form erfolgt“.
Ein gemeinsames, von den großen Anbietern beachtetes Signal ist genau so eine maschinenlesbare Form, und eine eindeutigere als eine Liste einzelner Crawler-Namen, die nie vollständig ist. Ob ein Gericht den Eintrag als Vorbehalt anerkennt, ist noch nicht entschieden. Ein Eintrag schadet aber nicht, und er ist deutlicher als alles, was es bisher gab. Was die Datenschutzbehörden zu robots.txt und KI-Scraping sagen, haben wir in KI-Crawler auf der Firmenseite ausgewertet.
So würden wir es heute eintragen
Wer dem KI-Training widersprechen, aber in Suchmaschinen und KI-Suchen sichtbar bleiben will, ergänzt die robots.txt jetzt um die neue Gruppe und lässt die alten Sperren stehen, bis alle Anbieter umgestellt haben:
# Neues gemeinsames Signal gegen KI-Training (Entwurf, IETF)
User-Agent: __usage_ai-training
Disallow: /
# Bisherige Sperren einzelner Trainings-Crawler, vorerst behalten
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Suche und KI-Suche bleiben erlaubt
User-agent: *
Allow: /Drei Hinweise dazu. Der Entwurf erlaubt den Anbietern, eine Regel für ihren eigenen Crawler-Namen höher zu gewichten als das allgemeine Signal (Abschnitt 4.5). Wer also GPTBot ausdrücklich erlaubt und gleichzeitig mit dem neuen Signal widerspricht, sendet einen Widerspruch, den OpenAI zu eigenen Gunsten auflösen darf. Beide Einträge sollten deshalb dasselbe sagen. Laut Google steuert Google-Extended außer dem Training auch das Grounding von Gemini, eine Sperre wirkt also auch auf KI-Antworten von Google. Und robots.txt beachten nur Crawler, die sich daran halten. Gegen alle anderen hilft sie nicht.
Wir selbst tragen das Signal nicht ein. Unsere Inhalte sollen gefunden und zitiert werden, auch von KI-Systemen, deshalb erlaubt unsere robots.txt allen Crawlern alles und lädt die KI-Suchdienste ausdrücklich ein. Das ist eine Entscheidung für unseren Fall. Ein Verlag, ein Fotograf oder ein Betrieb mit eigenen Fachtexten kann das gut anders sehen.
Ob sich ein Widerspruch lohnt, hängt davon ab, wovon die eigene Website lebt. Wenn Sie das für Ihre Seite durchgehen wollen oder wissen möchten, wie Ihre Inhalte in KI-Antworten auftauchen, sprechen Sie mit uns. Wie wir Aussagen in KI-Texten gegen ihre Quellen prüfen, zeigt unser KI-Faktencheck.
Quellen
Alle abgerufen am 01.11.2026.
- IETF Datatracker: draft-kelley-aipref-training-preference-signal-00, Machine-Readable Training Preference Signal, Kevin Kelley (Anthropic), 30.10.2026 (Name des Signals, Syntax, Abschnitt 4.2 zu
User-agent: *, Abschnitt 4.5 zum Vorrang, Begriff AI Training, Ablauf 03.05.2027) - Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding, Krishna Madhavan, 30.10.2026 (Syntax, Grounding auf Seitenebene, Termine 15.12.2026, 01.02.2027, 01.03.2027, 30.09.2027, keine Auswirkung auf die klassische Suche)
- SiliconANGLE: Google, Anthropic and others to support new AI crawling opt-out standard, 30.10.2026 (Zeitangaben OpenAI und Google, Haltung von Meta)
- OpenAI: Helping websites express AI training preferences (für uns nicht abrufbar, Fehler 403; Angaben zu OpenAI deshalb aus SiliconANGLE)
- Claude Hilfe: Does Anthropic crawl data from the web, and how can site owners block the crawler?, Stand 07.04.2026
- Gesetze im Internet: § 44b UrhG Text und Data Mining
- Python-Dokumentation: urllib.robotparser, eigener Test am 01.11.2026
Stand: 1. November 2026. Das Signal ist ein Entwurf und kann sich bis zu einem Standard noch ändern. Dieser Beitrag ist keine Rechtsberatung.
Häufige Fragen
- Was ist __usage_ai-training?
- Ein neuer Name für die robots.txt, mit dem eine Website sagt, ob ihre Inhalte für das Training generativer KI genutzt werden dürfen. Er steht in einem Entwurf, den Kevin Kelley von Anthropic am 30. Oktober 2026 bei der IETF eingereicht hat. Der Name wird wie ein Crawler-Name in eine User-Agent-Zeile geschrieben, darunter folgt Disallow für einen Widerspruch oder Allow für eine Zustimmung.
- Ab wann beachten die Anbieter das Signal?
- Unterschiedlich. Microsoft beachtet es laut eigenem Blog ab dem 1. Februar 2027, sobald eine Seite neu abgerufen wird. OpenAI will es nach Berichten in den kommenden Monaten unterstützen, Google im Laufe des Jahres 2027. Für Anthropic melden mehrere Berichte, das Signal werde bereits beachtet. Die Hilfeseite von Anthropic zu den eigenen Crawlern nennt es am 1. November 2026 aber noch nicht.
- Verschwindet meine Website aus der Suche, wenn ich das Signal setze?
- Nein. Das Signal betrifft nur das Training generativer Modelle. Microsoft schreibt ausdrücklich, dass es die Aufnahme in die klassische Bing-Suche nicht verändert. Für die Nutzung in KI-Antworten, das sogenannte Grounding, gibt es bei Microsoft eine eigene Einstellung auf Seitenebene, die nicht über die robots.txt läuft.
- Reicht User-agent: * mit Disallow, um dem KI-Training zu widersprechen?
- Nach dem Entwurf nicht. Er schreibt vor, dass User-agent: * nicht als Treffer für das neue Signal gelesen werden darf. Wer nur alles für alle sperrt, hat damit keine Aussage zum KI-Training gemacht. Unser Test zeigt außerdem, dass der robots.txt-Parser aus der Standardbibliothek von Python genau das falsch macht und den Stern auf das Signal anwendet.
- Ersetzt das Signal die bisherigen Einträge für GPTBot, ClaudeBot und Google-Extended?
- Noch nicht. Solange nicht alle Anbieter das Signal beachten, sollten bestehende Sperren für einzelne Trainings-Crawler stehen bleiben. Das neue Signal kommt zusätzlich dazu. Rückwirkend wirkt es nicht: Was bereits in einem Modell steckt, holt es nicht heraus.