# KI-Crawler und robots.txt: was die EDPB-Leitlinien sagen

> EDPB-Leitlinien 03/2026: robots.txt zählt beim KI-Scraping. Messung an 50 sächsischen Firmen-Websites, Crawler-Übersicht und Vorlagen.

Quelle: https://www.krynexlabs.de/blog/ki-crawler-robots-txt-edpb-leitlinien-web-scraping/
Stand: 2026-10-27
Anbieter: Krynex Labs UG (haftungsbeschränkt), Chemnitz · https://www.krynexlabs.de

---
[Alle Artikel](https://www.krynexlabs.de/blog/)

#DSGVO#KI-Crawler#robots.txt#Web Scraping#EDPB#Urheberrecht#Website

# KI-Crawler auf der Firmenseite: was robots.txt jetzt zählt

Die europäischen Datenschutzbehörden wollen, dass KI-Anbieter beim Sammeln von Trainingsdaten Websites auslassen, die das per robots.txt ablehnen. Die Konsultation zu den Leitlinien 03/2026 endet am 30. Oktober. Wir haben die Leitlinien, RFC 9309 und die Dokumentation der Crawler gelesen, die robots.txt von 50 sächsischen Unternehmen einmal abgerufen und ausgewertet und legen offen, wie wir es auf unserer eigenen Seite halten.

[Annett Krusch](https://www.krynexlabs.de/ueber-uns/) 27\. Oktober 2026

 

Am Freitag endet die öffentliche Konsultation zu den **Leitlinien 03/2026 des Europäischen Datenschutzausschusses (EDPB) zum Web Scraping für generative KI**. Darin steht ein Satz, der für jede Firmen-Website mit einer Teamseite interessant ist: Wer Trainingsdaten aus dem Web sammelt, soll Seiten auslassen, die sich per robots.txt dagegen wehren.

Die robots.txt ist eine kleine Textdatei, die bei den meisten Websites seit Jahren unbeachtet im Hauptverzeichnis liegt. Sie war bisher vor allem ein Thema für Suchmaschinen und, seit 2021, für den urheberrechtlichen Vorbehalt gegen Text und Data Mining. Jetzt bekommt sie auch im Datenschutz Gewicht. Wir haben nachgesehen, was das heißt, und gemessen, wie es auf den Websites sächsischer Unternehmen aussieht.

## Was die Datenschützer schreiben

Die Leitlinien wurden am 7. Juli 2026 als Version 1.0 angenommen. Stellungnahmen nimmt der EDPB bis zum **30\. Oktober 2026, 23:59 Uhr MEZ** entgegen. Es geht um Scraping für das Training und Fine-Tuning generativer KI-Modelle, also um Organisationen, die selbst Daten aus dem Netz sammeln oder einen gescrapten Datensatz übernehmen (Rn. 1 bis 6). Den Abruf einer Seite in dem Moment, in dem ein Nutzer eine KI etwas fragt, behandeln die Leitlinien nicht eigens.

Für Website-Betreiber zählen vor allem zwei Stellen, dazu ein Satz zur Einwilligung.

**Vor dem Sammeln aussortieren.** Wer scrapt, soll vorab Websites ausschließen, die sich erkennbar gegen Scraping wehren, „through the use of technical measures, such as the use of robots authentication to view content, robots.txt or ai.txt files, or CAPTCHA“ (Rn. 37, ähnlich schon Rn. 11).

**Die Sperre zählt in der Abwägung.** Eine Einwilligung kommt laut den Leitlinien beim Scraping kaum in Frage (Rn. 44), geprüft wird deshalb meist das berechtigte Interesse nach Art. 6 Abs. 1 Buchst. f DSGVO. Dabei kommt es darauf an, womit Betroffene vernünftigerweise rechnen müssen. Die Leitlinien nennen ausdrücklich die Sperren der Website: Wissen Betroffene, dass eine Seite solche Maßnahmen nutzt, und wird sie trotzdem gescrapt, „it is less likely that they can expect the processing“ (Rn. 64). Beispiel 5 spielt das an einer Plattform durch, die Scraping per robots.txt und CAPTCHA verbietet: Wer dort Daten hochlädt, muss nicht damit rechnen, dass Dritte sie für KI-Training einsammeln.

Und umgekehrt: Keine Sperre heißt nicht ja. Das Fehlen einer robots.txt „does not amount to consent within the meaning of the GDPR“ (Rn. 45). Wer keine Datei hat, hat damit nicht in irgendetwas eingewilligt.

Wie die Abwägung zum berechtigten Interesse bei KI gerade auch auf EU-Ebene neu verhandelt wird, haben wir im Beitrag zur [DSGVO-Reform und dem berechtigten Interesse](https://www.krynexlabs.de/blog/dsgvo-reform-ki-berechtigtes-interesse-rat/) aufgeschrieben.

## Was das Urheberrecht dazu sagt

Für Texte und Bilder auf der Website gilt schon länger § 44b UrhG. Text und Data Mining an rechtmäßig zugänglichen Werken ist erlaubt, außer der Rechteinhaber hat es sich vorbehalten. Bei Werken im Netz ist dieser Vorbehalt „nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt“ (Abs. 3). Ob ein Vorbehalt in Worten, etwa in den Nutzungsbedingungen, dafür reicht, ist umstritten. Eine robots.txt ist in jedem Fall maschinenlesbar. Was das für die Rechte an KI-Ergebnissen heißt, steht in unserem Wissen zum [Urheberrecht an KI-Ausgaben](https://www.krynexlabs.de/wissen/urheberrecht-ai-outputs/).

Die robots.txt trägt damit jetzt zwei Signale: eines für das Urheberrecht an Ihren Inhalten und eines für den Datenschutz der Menschen, die auf Ihrer Seite stehen.

## Was robots.txt kann und was nicht

Seit 2022 ist das Format als RFC 9309 standardisiert. Zwei Sätze daraus sollte jeder kennen. Erstens: „These rules are not a form of access authorization.“ Die Datei ist eine Bitte, kein Schloss. Crawler, die sich nicht daran halten, lesen trotzdem. Zweitens: Ein Crawler sucht die Gruppe, die seinen Namen trägt, unabhängig von Groß- und Kleinschreibung. Findet er keine, gilt für ihn die Gruppe `User-agent: *`.

Weniger bekannt ist, was passiert, wenn die Datei fehlt oder der Server streikt. Antwortet der Server mit einem Fehler im Bereich 400 bis 499, etwa „nicht gefunden“, darf ein Crawler alles abrufen. Antwortet er mit einem Serverfehler zwischen 500 und 599, muss der Crawler annehmen, dass alles gesperrt ist. Zwischenspeichern soll er die Datei in der Regel nicht länger als 24 Stunden.

Und noch etwas: Die robots.txt ist öffentlich. Wer dort `Disallow: /team/` einträgt, verrät jedem, wo die Teamseite liegt, und schützt sie nur vor den höflichen Crawlern.

## Welche Crawler es gibt

Die großen Anbieter trennen inzwischen sauber zwischen Training, Suche und Abruf auf Nutzerwunsch. Die Tabelle fasst zusammen, was sie selbst in ihrer Dokumentation schreiben.

| Anbieter | Name in der robots.txt | Zweck laut Anbieter |
| --- | --- | --- |
| OpenAI | GPTBot | Training der Basismodelle |
| OpenAI | OAI-SearchBot | Suche in ChatGPT; wer ihn sperrt, erscheint dort nicht in Suchantworten |
| OpenAI | ChatGPT-User | Abruf, wenn ein Nutzer fragt; laut OpenAI gelten robots.txt-Regeln dafür womöglich nicht |
| Anthropic | ClaudeBot | Sammeln von Inhalten, die zum Training beitragen können |
| Anthropic | Claude-SearchBot | Verbesserung der Suchergebnisse |
| Anthropic | Claude-User | Abruf, wenn ein Nutzer Claude fragt; per robots.txt sperrbar |
| Google | Google-Extended | Training künftiger Gemini-Modelle und Grounding; kein eigener Crawler, wirkt nicht auf die Google-Suche |
| Perplexity | PerplexityBot | Suche; laut Perplexity nicht für das Training von Basismodellen |
| Perplexity | Perplexity-User | Abruf auf Nutzerwunsch; ignoriert robots.txt laut Perplexity in der Regel |
| Common Crawl | CCBot | Offenes Archiv des Webs, das jeder herunterladen kann |

Zwei Dinge fallen auf. Google-Extended ist kein eigener Crawler, sondern ein Schalter: Gelesen wird mit den bestehenden Google-Crawlern, das Token entscheidet nur über die Verwendung. Und bei Common Crawl endet die Kontrolle mit dem Abruf, denn was andere später mit dem Archiv machen, regelt Ihre robots.txt nicht mehr.

## Unsere Messung: 50 sächsische Unternehmen

Wir wollten wissen, ob Unternehmen in Sachsen davon schon Gebrauch machen.

**Wie wir ausgewählt haben.** Grundlage ist Wikidata, abgefragt am 27. Oktober 2026. Wir haben alle Einträge genommen, deren Sitz in einer sächsischen Gemeinde liegt (amtlicher Gemeindeschlüssel beginnt mit 14), die eine offizielle Website haben und nicht als aufgelöst markiert sind. Das waren 1.632 Organisationen. Davon blieben die Einträge, die Wikidata als Unternehmen führt, etwa als Gewerbebetrieb, Hersteller, Brauerei, Softwareunternehmen oder Architekturbüro. Vereine, Behörden, Hochschulen, Institute, Banken und Sparkassen, Verkehrs- und Versorgungsunternehmen, börsennotierte Gesellschaften und Tochterunternehmen haben wir ausgeschlossen, ebenso alles mit 500 oder mehr Beschäftigten laut Wikidata. Nach einer ersten Durchsicht haben wir außerdem Stadtwerke, Messe, Zoo und Landesgesellschaften als öffentliche Unternehmen herausgenommen. Übrig blieben 346 Unternehmen. Daraus haben wir 50 in einer festen Zufallsreihenfolge gezogen, je Domain höchstens ein Unternehmen.

Das ist keine repräsentative Stichprobe des sächsischen Mittelstands. Wikidata kennt vor allem Unternehmen, über die schon einmal jemand geschrieben hat, Dresden und Leipzig sind stark vertreten, und die Zahl der Beschäftigten fehlt oft. Es ist aber eine Auswahl, die wir nicht selbst zusammengestellt haben und die jeder nachvollziehen kann.

**Wie wir gemessen haben.** Je Website genau ein Abruf von `https://<domain>/robots.txt`, mit einem Namen im Abruf, der uns und den Zweck nennt, Weiterleitungen bis zu fünf Stufen wie in RFC 9309 vorgesehen, 20 Sekunden Zeitlimit. Ausgewertet haben wir nach den Regeln aus RFC 9309, ob ein Crawler die Startseite abrufen darf. Firmennamen veröffentlichen wir nicht.

**Was herauskam.**

| Ergebnis | Websites |
| --- | --- |
| liefert eine robots.txt aus | 36 |
| davon mit mindestens einer Regelgruppe | 31 |
| davon leer, nur mit Sitemap oder nur mit Kommentaren | 5 |
| keine robots.txt (Antwort 403 oder 404) | 5 |
| liefert eine HTML-Seite statt einer robots.txt | 2 |
| bei unserem Abruf nicht erreichbar | 7 |
| nennt mindestens einen KI-Crawler mit Namen | 1 |
| sperrt GPTBot, ClaudeBot, CCBot oder Google-Extended | 0 |
| sperrt einen der KI-Suchdienste | 0 |
| sperrt alle Crawler komplett | 0 |

Die eine Website, die KI-Crawler nennt, gehört einem KI-Unternehmen und lädt alle ausdrücklich ein. Sonst taucht kein KI-Crawler in den 50 Dateien auf. Auch die neueren Angaben zur Nutzung, wie Cloudflare sie mit `Content-Signal` anbietet, setzt keine der Seiten. Eine Datei trägt zwar den erklärenden Vorspann dazu, aber ohne eine einzige Angabe.

Unter den sieben nicht erreichbaren sind zwei Zeitüberschreitungen, drei Fehler bei Zertifikat oder Verschlüsselung, eine Weiterleitungsschleife und ein Serverfehler 503. Ein einzelner Abruf kann Pech sein. Antwortet eine Seite aber dauerhaft mit einem Serverfehler, muss ein Crawler, der sich an RFC 9309 hält, sie als komplett gesperrt behandeln. Das ist dann eine Sperre, die niemand beabsichtigt hat.

Die meisten Regeln, die wir gesehen haben, stammen erkennbar aus dem Content-Management-System: Verwaltungsbereiche von WordPress oder TYPO3 sperren, Sitemap angeben. Eine Website sperrt ihr Teamverzeichnis für alle Crawler, was die Teamseite eher bekannt macht als schützt.

Kurz gesagt: Die robots.txt ist in unserer Stichprobe ein Erbe des Website-Baukastens, keine Entscheidung über KI. Das ist kein Vorwurf, nur ein Hinweis, dass die Datei bisher selten jemand angesehen hat.

## Wie wir es selbst halten

Unsere eigene robots.txt erlaubt alles und nennt seit dem 23. Oktober 2026 die KI-Suchdienste von Anthropic, OpenAI und Perplexity ausdrücklich. Auch ClaudeBot steht dort mit `Allow: /`. GPTBot, CCBot und Google-Extended nennen wir nicht, für sie gilt die offene Gruppe `User-agent: *`. Wir lassen also auch das Training zu.

Das ist eine bewusste Entscheidung. Unsere Inhalte sind dafür geschrieben, gefunden und zitiert zu werden, auch in KI-Antworten. Namen stehen bei uns im Impressum und auf der Seite über uns, und zwar gerade, weil wir als Ansprechpartner gefunden werden wollen. Für ein Unternehmen, das Fotos und Durchwahlen der ganzen Belegschaft zeigt, kann die Rechnung anders ausgehen.

## Vorlagen zum Übernehmen

**Alles offen.** Wer gefunden werden will, auch in KI-Suchen, und das Training in Kauf nimmt:

```
User-agent: *
Allow: /

Sitemap: https://www.example.de/sitemap.xml
```

**Suche ja, Training nein.** Wer in KI-Suchen auftauchen, aber nicht in Trainingsdaten landen will. Ihre bisherigen Regeln, etwa für Verwaltungsbereiche, bleiben in der Gruppe `User-agent: *` stehen:

```
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.de/sitemap.xml
```

Mehrere `User-agent`\-Zeilen über einer Regel bilden nach RFC 9309 eine gemeinsame Gruppe. Denken Sie daran, dass Google-Extended laut Google auch das Grounding in Gemini steuert.

**KI komplett aussperren.** Wer gar nicht von KI-Diensten gelesen werden will, ergänzt in der ersten Gruppe die Such- und Nutzer-Crawler:

```
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Disallow: /

User-agent: *
Allow: /
```

Ehrlich dazu: OpenAI und Perplexity schreiben selbst, dass ihre Abrufe auf Nutzerwunsch robots.txt nicht unbedingt beachten. Und jeder Crawler, der sich unter falschem Namen meldet, liest weiter. Wer Inhalte wirklich schützen muss, braucht eine Anmeldung oder eine Sperre auf dem Server.

## Was wir raten

Schauen Sie sich Ihre robots.txt einmal an, sie liegt unter `https://ihre-domain.de/robots.txt`. Liefert sie eine HTML-Seite oder einen Serverfehler, sollten Sie das als Erstes beheben, egal wie Sie zu KI stehen.

Entscheiden Sie dann bewusst, getrennt nach Training und Suche. Haben Sie eine Teamseite mit Namen und Fotos, ist „Training nein“ seit den Leitlinien ein Signal, das in der Abwägung des Scrapers gegen ihn zählt. Ersetzen kann es nicht die Frage, ob die Daten überhaupt öffentlich stehen müssen. Und wer zu den Leitlinien etwas sagen will, hat dafür bis Freitag, 23:59 Uhr, Zeit.

Wie wir KI im Betrieb so aufsetzen, dass der Datenschutz mitgedacht ist, steht auf unserer Seite zur [DSGVO-konformen KI-Agentur](https://www.krynexlabs.de/dsgvo-konforme-ki-agentur/). Wenn Sie Ihre Website und Ihre Datenflüsse einmal durchsehen lassen wollen, [melden Sie sich bei uns](https://www.krynexlabs.de/kontakt/).

## Quellen

Alle abgerufen am 27.10.2026.

-   EDPB: [Guidelines 03/2026 on web scraping in the context of generative AI, Version 1.0](https://www.edpb.europa.eu/system/files/2026-07/edpb_guidelines_2020603_webscraping_v1_en_0.pdf), angenommen am 07.07.2026 (Rn. 1 bis 6, 11, 37, 44 bis 45, 64, Beispiele 4 und 5)
-   EDPB: [Konsultationsseite zu den Leitlinien 03/2026](https://www.edpb.europa.eu/public-consultations/guidelines-032026-on-web-scraping-in-the-context-of-generative-ai_en) (Frist 30.10.2026, 23:59 MEZ)
-   Gesetze im Internet: [§ 44b UrhG Text und Data Mining](https://www.gesetze-im-internet.de/urhg/__44b.html)
-   Amtsblatt der EU: [Verordnung (EU) 2016/679 (DSGVO)](https://eur-lex.europa.eu/eli/reg/2016/679/oj/deu), Art. 6 Abs. 1 Buchst. f
-   IETF: [RFC 9309 Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309), September 2022 (Abschnitte 1, 2.2.1, 2.3.1, 2.4)
-   OpenAI: [Overview of OpenAI Crawlers](https://platform.openai.com/docs/bots)
-   Anthropic: [Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
-   Google: [Google’s common crawlers, Abschnitt Google-Extended](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
-   Perplexity: [Perplexity Crawlers](https://docs.perplexity.ai/guides/bots)
-   Common Crawl: [CCBot](https://commoncrawl.org/ccbot)
-   Wikidata: [Abfrage-Dienst](https://query.wikidata.org/), Grundlage der Stichprobe, Abfrage vom 27.10.2026
-   Eigene Messung: je ein Abruf der robots.txt von 50 Unternehmens-Websites am 27.10.2026, ausgewertet nach RFC 9309

*Stand: 27. Oktober 2026. Sobald der EDPB die endgültige Fassung der Leitlinien beschließt, ergänzen wir den Beitrag.*

## Häufige Fragen

Was sagen die EDPB-Leitlinien 03/2026 zu robots.txt?

Wer für das Training generativer KI Daten aus dem Web sammelt, soll Websites auslassen, die sich mit technischen Mitteln wie robots.txt, ai.txt oder CAPTCHA erkennbar gegen Scraping wehren (Rn. 37). In der Abwägung zum berechtigten Interesse zählen solche Sperren gegen den Scraper: Wissen Betroffene davon und wird trotzdem gescrapt, können sie die Verarbeitung weniger erwarten (Rn. 64, Beispiele 4 und 5). Umgekehrt ist eine fehlende robots.txt keine Einwilligung im Sinne der DSGVO (Rn. 45).

Bis wann kann man zu den Leitlinien Stellung nehmen?

Bis zum 30. Oktober 2026, 23:59 Uhr MEZ, über das Formular auf der Konsultationsseite des EDPB. Die Leitlinien wurden am 7. Juli 2026 als Version 1.0 angenommen. Eingereichte Stellungnahmen veröffentlicht der EDPB.

Gelten die Leitlinien auch für KI-Suchdienste und Agenten?

Sie behandeln Web Scraping für Training und Fine-Tuning generativer KI-Modelle. Den Abruf einer Seite in dem Moment, in dem ein Nutzer etwas fragt, behandeln sie nicht eigens. Die Anbieter trennen das in ihren Crawlern: OpenAI etwa nutzt GPTBot für Training, OAI-SearchBot für die Suche und ChatGPT-User für Abrufe auf Nutzerwunsch.

Kann ich KI-Training sperren, ohne aus der KI-Suche zu verschwinden?

Weitgehend ja. Sperren Sie in der robots.txt die Trainings-Crawler GPTBot, ClaudeBot und CCBot sowie das Token Google-Extended und lassen Sie OAI-SearchBot, Claude-SearchBot und PerplexityBot zu. Laut Google steuert Google-Extended außer dem Training auch das Grounding von Gemini, eine Sperre wirkt also auch dort. Und robots.txt beachten nur Crawler, die sich daran halten.

Wie viele sächsische Unternehmen sperren KI-Crawler?

In unserer Stichprobe keines. Von 50 zufällig gezogenen Unternehmen mit Sitz in Sachsen lieferten 36 eine robots.txt aus. Nur eine davon nannte überhaupt einen KI-Crawler, und zwar um alle einzuladen. Keine der 50 Websites sperrt GPTBot, ClaudeBot, CCBot oder Google-Extended.

## Passend dazu

Insights

Ein Eintrag gegen KI-Training: Was das neue robots.txt-Signal von OpenAI, Google, Microsoft und Anthropic taugt

→ https://www.krynexlabs.de/blog/robots-txt-usage-ai-training-ki-training-widersprechen/

Insights

Telefon-KI fertig kaufen oder selbst bauen: IONOS, ElevenLabs Agents und Reception.ai im Kostenvergleich

→ https://www.krynexlabs.de/blog/ki-telefonassistent-ionos-oder-elevenlabs/

Wissen

GLM von Z.ai — was die günstigen chinesischen Modelle taugen und wo die Grenze liegt

→ https://www.krynexlabs.de/wissen/glm-zai-modelle-2026/

Wissen

Kameras in Entsorgungsanlagen: Datenschutz, Betriebsrat, Fahrer im Bild

→ https://www.krynexlabs.de/wissen/kamera-entsorgungsanlage-datenschutz-betriebsrat/