Ich habe am 17. September 2026 die robots.txt von 50 der reichweitenstärksten Medien in Deutschland, Österreich und der Schweiz geladen und für 17 KI-Bots sowie Googlebot und Bingbot ausgewertet. Kurz gesagt: 69 % sperren OpenAIs Trainings-Bot GPTBot, aber nur 18 % sperren OAI-SearchBot, den Bot hinter den Suchergebnissen von ChatGPT. Google und Bing kommen überall rein.
Korrektur und neue Messung vom 17. September 2026
Die erste Fassung dieser Studie vom April kam auf 52 % für GPTBot. Diese Zahl war zu niedrig. Das Skript hat einen Bot nur dann als gesperrt gezählt, wenn seine Regeln keine einzige Allow-Zeile enthielten, eine Seite, die GPTBot überall außer auf der „Über uns“-Seite sperrt, galt also als offen. Außerdem setzte die April-Fassung GPTBot mit „ChatGPT“ gleich, obwohl die ChatGPT-Suche einen anderen Bot nutzt, und sie wertete Server-Antworten aus, die über einen Proxy gemessen wurden und nichts darüber aussagen, wie eine Seite die echten Crawler behandelt. Ich habe alle 50 Seiten mit einem Parser nach RFC 9309 neu gemessen und die Studie neu geschrieben. Die Zahlen unten ersetzen die vom April.
Die Kernzahlen
Von den 49 Seiten, deren robots.txt lesbar war (puls24.com hat nicht geantwortet), sperren so viele den jeweiligen Bot, entweder für die ganze Seite oder für ihre Artikel:
- Trainings-Bots: GPTBot 34 (69 %), CCBot 31 (63 %), ClaudeBot 30 (61 %), Bytespider 29 (59 %), Applebot-Extended 28 (57 %), Google-Extended 26 (53 %), Meta-ExternalAgent 25 (51 %), anthropic-ai 21 (43 %), cohere-ai 21 (43 %)
- Bots für KI-Suchindizes: PerplexityBot 16 (33 %), OAI-SearchBot 9 (18 %), Claude-SearchBot 7 (14 %)
- Nutzerausgelöste Bots: ChatGPT-User 15 (31 %), MistralAI-User 11 (22 %), Perplexity-User 7 (14 %), Claude-User 5 (10 %), Google-Agent 2 (4 %)
- Klassische Suche: Googlebot 0, Bingbot 0
Sperrquote pro Bot (49 DACH-Medien)
Die Einteilung ist wichtig, weil diese Bots unterschiedliche Aufgaben haben. Trainings-Bots sammeln Inhalte für künftige Modelle. Bots für Suchindizes bauen den Index auf, den ChatGPT, Claude oder Perplexity durchsuchen, wenn sie mit Quellen antworten. Nutzerausgelöste Bots rufen eine einzelne Seite ab, weil jemand im Chat danach gefragt hat.
Training gesperrt, Suche erlaubt
Das deutlichste Muster in den Daten: Die meisten Medien trennen beides bereits. 25 der 34 Seiten, die GPTBot sperren, lassen OAI-SearchBot durch. Bei Anthropic sind es 23 Seiten, die ClaudeBot sperren und Claude-SearchBot erlauben. Nein zum Training, ja zur Auffindbarkeit in der KI-Suche.
Das ist eine überlegtere Haltung als „ChatGPT sperren“. Wer GPTBot sperrt und OAI-SearchBot erlaubt, kann trotzdem als Quelle in den Suchantworten von ChatGPT auftauchen. Perplexity bekommt weniger Entgegenkommen: PerplexityBot wird etwa doppelt so oft gesperrt wie die Such-Bots von OpenAI und Anthropic.
Sperren gegen nutzerausgelöste Bots bringen meist nichts
15 Seiten sperren ChatGPT-User in der robots.txt. Laut OpenAIs Dokumentation gelten solche Regeln womöglich nicht („may not apply“), weil ein Nutzer den Abruf ausgelöst hat. Perplexity sagt dasselbe über Perplexity-User, und laut Google ignorieren seine nutzerausgelösten Fetcher, Google-Agent eingeschlossen, robots.txt in der Regel. Nur Anthropic dokumentiert, dass Claude-User sich daran hält.
Für drei dieser fünf Bots sind die Zeilen in der robots.txt also eher eine Absichtserklärung als eine Sperre. Wer sie wirklich aussperren will, braucht serverseitige Regeln, und die können auch Leser treffen, die einen Artikel über einen KI-Assistenten öffnen.
Wer am meisten sperrt und wer gar nichts
Gezählt über die 17 KI-Bots oben, sperren diese Seiten am meisten:
- heise.de: 16 von 17
- faz.net: 15
- falter.at: 15
- nzz.ch: 14
- spiegel.de und manager-magazin.de: je 13
- nachrichten.at: 12
Am anderen Ende sperren 13 Seiten keinen der 17 Bots: Beobachter, Blick, Heute, Kleine Zeitung, Krone, Kurier, News, oe24, Profil, ServusTV, Trend, Watson und ZDF. Zwölf davon kommen aus Österreich oder der Schweiz.
Manche Seiten sperren nur Artikel, nicht die Startseite. Golem erlaubt KI-Trainings-Bots die Startseite und einige Rubriken, sperrt aber alles andere, und 20 Minuten sperrt jede URL mit „story“ im Pfad, also seine Artikel. Wer nur den Wurzelpfad prüft, würde beide als offen zählen.
Öffentlich-rechtliche Sender
Die ARD-Anstalten in der Stichprobe kommen alle auf dieselbe Zahl: Tagesschau, NDR, WDR und BR sperren je 7 der 17 KI-Bots. Der ORF sperrt 8, SRF 7. Das ZDF sperrt keinen.
Gleiches Finanzierungsmodell, gegensätzliche Entscheidungen. Warum, steht nicht in den robots.txt-Dateien, deshalb rate ich nicht. Sie zeigen aber, dass es keine gemeinsame Linie der Öffentlich-Rechtlichen zu KI-Crawlern gibt, nicht einmal innerhalb Deutschlands.
Deutschland, Österreich, Schweiz
Durchschnittlich gesperrte KI-Bots pro Seite (von 17):
- Deutschland: 8,0 (25 Seiten), GPTBot gesperrt bei 22
- Schweiz: 6,1 (7 Seiten), GPTBot gesperrt bei 4
- Österreich: 4,4 (17 Seiten), GPTBot gesperrt bei 8
Durchschnittlich gesperrte KI-Bots pro Land
Deutsche Seiten sperren am meisten. Die Schweizer Stichprobe ist klein, und Österreich ist gespalten: Falter, OÖN, Der Standard und Die Presse sperren viel, die meisten Boulevardblätter und Magazine dagegen nichts.
Nach Art des Mediums
Durchschnittlich gesperrte KI-Bots (von 17) nach Kategorie. Mehrere Gruppen umfassen nur zwei bis sechs Seiten, das ist also eine Tendenz, keine Rangliste:
- Wochenzeitungen (Die Zeit, Falter): 12,5
- Tech (Heise, t3n, Golem): 10,3
- Wirtschaft (5 Seiten): 8,0
- Tageszeitungen (14 Seiten): 7,8
- Regionalzeitungen (4 Seiten): 6,3
- Öffentlich-rechtlich (7 Seiten): 6,1
- Magazine (6 Seiten): 3,8
- Boulevard (6 Seiten): 3,0
- TV (n-tv, ServusTV): 1,5
Boulevard und Magazine sind am offensten. 20 Minuten ist die Ausnahme beim Boulevard und sperrt 11 Bots für seine Artikel.
Ein Opt-out als Kommentar
Die Krone sperrt in den Regeln ihrer robots.txt keinen KI-Bot. Stattdessen beginnt die Datei mit Kommentarzeilen, die Text- und Data-Mining sowie die Entwicklung von KI und LLMs untersagen und dazu die EU-Urheberrechtsrichtlinie und das österreichische Urheberrechtsgesetz nennen. Crawler überspringen Kommentarzeilen, technisch ist also nichts gesperrt.
Ob ein solcher schriftlicher Vorbehalt nach EU-Urheberrecht als maschinenlesbarer Nutzungsvorbehalt gilt, ist rechtlich ungeklärt. Das zeigt: „0 Bots gesperrt“ heißt in dieser Studie nicht immer, dass ein Medium mit KI-Nutzung einverstanden ist.
Was das für GEO bedeutet
Für Medien zeigen die Daten einen praktikablen Mittelweg, den die meisten großen Häuser schon gehen: Trainings-Bots sperren, Such-Bots erlauben. So bleibt eine Seite als zitierte Quelle in der KI-Suche möglich, ohne Inhalte fürs Modelltraining herzugeben.
Für alle anderen, die in KI-Antworten zitiert werden wollen, ist die Lehre einfacher: Prüf, dass OAI-SearchBot, Claude-SearchBot und PerplexityBot nicht von einer alten Pauschalregel gesperrt werden, denn diese Bots entscheiden, ob deine Seiten als Quelle erscheinen können. Der Crawler Access Checker zeigt das für jede URL.
Methodik
- Stichprobe: 50 reichweitenstarke DACH-Medien (25 DE, 18 AT, 7 CH), dieselbe Liste wie in der April-Studie.
- Datum: robots.txt am 17. September 2026 geladen. puls24.com hat nicht geantwortet, die Ergebnisse umfassen also 49 Seiten.
- Auswertung: nach RFC 9309. Die eigene User-Agent-Gruppe eines Bots hat Vorrang, die
*-Gruppe gilt nur als Rückfall, die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow. - Gesperrt heißt: Die robots.txt verbietet dem Bot den Wurzelpfad oder eine Artikel-URL. Die Artikel-URL stammt von der jeweiligen Startseite, für 10 Seiten ohne brauchbaren Link wurde ein typischer Artikelpfad verwendet.
- Nicht gemessen: wie sich Crawler tatsächlich verhalten, Server- oder Firewall-Regeln und Lizenzverträge zwischen Medien und KI-Firmen. Die robots.txt zeigt die erklärte Haltung einer Seite, nicht mehr.
- Bots: 9 Trainings-Bots, 3 Bots für Suchindizes, 5 nutzerausgelöste Bots sowie Googlebot und Bingbot. Tokens ohne öffentliche Dokumentation ihres Betreibers, etwa xAI-Web-Crawler und DeepSeekBot, sind nicht mitgezählt.
FAQ
Prüf den KI-Crawler-Zugang deiner Website
Der kostenlose Crawler Access Checker wertet deine robots.txt für 37 Bots aus, darunter alle Bots dieser Studie, und zeigt die Antwort deines Servers.
Crawler Access Checker starten →