KI-Crawler 2026: Was sie tun und wie du sie steuerst

Ein KI-Crawler ist ein Bot, der Webseiten abruft, damit ein Large Language Model etwas damit anfangen kann. 2026 ist dieses „Etwas" eine von drei Aufgaben: das nächste Modell trainieren, einen Suchindex aufbauen, oder eine konkrete Nutzerfrage live beantworten. Jede Aufgabe hat ihren eigenen Bot. Den Bereich zwischen „alles erlauben" und „alles blockieren" lassen die meisten robots.txt-Guides aus, und genau dort liegen die interessanten Entscheidungen.

Hier steht, welche Crawler es gibt, wie viel Traffic sie erzeugen und was 10 Top-Seiten sperren, nach einem Audit vom 17. September 2026. Luminas Crawler-Access-Checker macht dieselbe Analyse für jede URL.

Was ist ein KI-Crawler?

Von außen sieht ein KI-Crawler aus wie ein klassischer Web-Crawler: gleiche HTTP-Requests, gleiche User-Agent-Header, und (meistens) hält er sich genauso an robots.txt. Anders ist, was nach dem Abruf mit dem Inhalt passiert.

Klassische Crawler wie Googlebot gibt es, damit Seiten gegeneinander gerankt und als Links in den Suchergebnissen ausgespielt werden. Nutzer klicken sich durch. Bei KI-Crawlern fällt der Klick weg. ChatGPT liest deine Seite, denkt über den Inhalt nach und schreibt eine Antwort, die dich zitiert oder eben nicht. Dein Content ist dann kein Ziel mehr, sondern eine Quelle.

„KI-Crawler" beschreibt eine Aufgabe, keine feste Kategorie, deshalb wächst die Liste schnell. 2026 zählen vor allem die Bots von OpenAI, Anthropic, Google, Perplexity, Apple, Meta und Common Crawl.

Die wichtigsten KI-Crawler 2026

Diese Bots siehst du in deinen Server-Logs:

Googlebot selbst steht nicht in dieser Liste. Er ruft deine Seiten weiter für die Suche ab, und Google-Extended regelt nur, was Google danach damit machen darf: Gemini-Modelle trainieren und Antworten in Gemini-Apps und Vertex AI mit deinen Inhalten untermauern (Grounding). Laut Google hat Google-Extended keinen Einfluss darauf, ob und wie du in der Google-Suche erscheinst.

Training vs. Suche: Der Split, der alles ändert

Die größte Veränderung von 2024 auf 2026: OpenAI, Anthropic und Perplexity haben ihren einen Bot in mehrere Bots mit klar getrennten Aufgaben aufgeteilt.

OpenAI hat 2023 mit GPTBot und ChatGPT-User angefangen und 2024 OAI-SearchBot ergänzt. Anthropic betreibt neben ClaudeBot auch Claude-SearchBot und Claude-User. Perplexity nutzt PerplexityBot zum Indexieren und Perplexity-User für Abrufe in Echtzeit. Das Muster ist überall gleich: ein Bot fürs Training, einer fürs Indexieren, einer für Abrufe, die ein Nutzer auslöst.

Im April 2026 kam bei OpenAI mit OAI-AdsBot ein vierter Bot dazu, der ChatGPT-Ads validiert. Er besucht nur Seiten, die Werbetreibende als Ad-Landingpages einreichen, prüft sie gegen die Ad-Policies und entscheidet, wann die Ad ausgeliefert wird. Wenn du keine ChatGPT-Ads schaltest, besucht er dich nie. Schaltest du welche und blockierst ihn, werden deine Ads nicht validiert und nicht ausgeliefert.

Blockierst du nur GPTBot, trainiert OpenAI nicht mehr auf deinem Content, aber ChatGPT kann dich weiter zitieren, wenn ein User fragt, weil ChatGPT-User ein anderer Bot ist. Die meisten Publisher wollen genau diese Mitte: kein Training, ja Zitation.

Der Haken: Bots, die eine Seite abrufen, weil ein Nutzer danach gefragt hat, halten sich meist nicht an robots.txt. OpenAI hat die Dokumentation zu ChatGPT-User im Dezember 2025 geändert: robots.txt-Regeln gelten womöglich nicht („may not apply“). Perplexity schreibt, dass Perplexity-User robots.txt in der Regel ignoriert, und Google sagt dasselbe über Google-Agent. Die Ausnahme ist Anthropic: Laut Hilfe-Center beachten alle drei Bots robots.txt, auch Claude-User. Für Training und Indexierung funktioniert die Trennung also. Bei Abrufen im Auftrag eines Nutzers ist eine Sperre in robots.txt eher ein Wunsch.

Ein konkretes Beispiel: The Guardian lässt GPTBot, OAI-SearchBot und ChatGPT-User über die *-Gruppe durch und sperrt ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot und CCBot namentlich. Die NYT macht das Gegenteil: Seit ihrer Klage gegen OpenAI von 2023 sperrt sie jeden KI-Bot aus dem Audit weiter unten. Wikipedia erlaubt alles, was zur CC-BY-SA-Lizenz passt, die eine Weiterverwendung ohnehin zulässt.

Wie viel Traffic KI-Crawler wirklich erzeugen

Cloudflare hat im März 2025 mehr als 50 Milliarden KI-Crawler-Anfragen pro Tag im eigenen Netz gezählt, knapp 1 % aller Anfragen dort. Das meiste davon ist Training, keine Antwort auf Nutzerfragen. In Cloudflares Auswertung für Juli 2025 lag der Trainingsanteil bei fast 80 % des KI-Bot-Traffics, und Anfang August kamen GPTBot und ClaudeBot zusammen auf etwa die Hälfte des beobachteten KI-Crawlings.

Die klassische Suche ist noch immer viel größer. Vercels Edge-Logs für Ende 2024 zeigen Googlebot bei 4,5 Milliarden Requests pro Monat, GPTBot bei 569 Millionen, Claude bei 370 Millionen, AppleBot bei 314 Millionen und PerplexityBot bei 24 Millionen. Das ist rund 8× Abstand zu GPTBot und fast 200× zu PerplexityBot. KI-Crawler wachsen schnell, aber sie haben die klassische Suche im reinen Volumen noch nicht eingeholt, und werden das wohl noch Jahre nicht.

Und nicht jeder Crawler hält sich an die Regeln. Laut Vercels eigenen Daten respektieren die großen deklarierten Bots (GPTBot, Claude, AppleBot) robots.txt. Das Problem sind die undeklarierten. Eine Wired-Untersuchung vom Juni 2024 hat Perplexity dabei erwischt, robots.txt über einen unbenannten AWS-gehosteten Crawler zu umgehen; Cloudflare hat das gleiche Muster im August 2025 öffentlich angeprangert. Wenn ein Crawler entschieden hat, dich zu scrapen, hält robots.txt ihn nicht auf.

Live-Audit: Was 10 Top-Seiten wirklich blockieren

Am 17. September 2026 habe ich die robots.txt von 10 reichweitenstarken Seiten geladen und für 12 KI-Bots so ausgewertet, wie es RFC 9309 vorsieht: Die eigene User-Agent-Gruppe eines Bots hat Vorrang, die *-Gruppe gilt als Rückfall, und ein Bot zählt als gesperrt, wenn der Wurzelpfad / verboten ist. Trainings-Bots werden deutlich öfter gesperrt als Retrieval-Bots. Überraschender ist, wie stark es davon abhängt, welches Unternehmen hinter dem Bot steht.

Am aufschlussreichsten sind die Dateien, die nach Unternehmen unterscheiden. Die robots.txt des WSJ sperrt über * alle Bots und öffnet dann eine eigene Gruppe für ChatGPT-User, GPTBot und OAI-SearchBot. Der Eigentümer News Corp hat 2024 einen Inhaltsvertrag mit OpenAI geschlossen. Auch Reuters sperrt standardmäßig und erlaubt ChatGPT-User und OAI-SearchBot namentlich. Der Guardian lässt alle drei OpenAI-Bots durch und sperrt alle drei von Anthropic. In der Datei des Spiegel steht sogar ein Kommentar, dass die Such-Crawler von OpenAI testweise für ausgewählte Ressorts freigeschaltet sind.

„Training sperren, Retrieval erlauben“ beschreibt große Publisher also nicht mehr vollständig. Treffender ist „standardmäßig sperren und dann die Anbieter freischalten, mit denen es einen Grund dafür gibt“. Die erste Fassung dieses Audits vom 20. April kam auf deutlich niedrigere Sperrquoten. Wie viel davon auf strengere Dateien zurückgeht und wie viel auf die Auswertung im April, kann ich nicht trennen. Diese Zahlen ersetzen die alten deshalb, statt mit ihnen verglichen zu werden.

Solltest du KI-Crawler blockieren?

Darauf gibt es kein Ja oder Nein. Es hängt an drei Dingen: wie du Geld verdienst, ob dein Content ersetzbar ist, und ob KI-Zitation heute tatsächlich Traffic zu dir bringt.

Für News-Publisher hinter Paywall greift die Logik, die die NYT-Klage ausgelöst hat. Trainings-Bots lernen deine Inhalte, und ein paar Monate später paraphrasiert das Modell deine Berichte, ohne dir einen Leser zu schicken. Training blocken ist defensiv. Retrieval erlauben ist die offene Frage: Du wirst als zitierte Quelle in ChatGPT- und Perplexity-Antworten angezeigt, aber der Referral-Traffic bleibt ein winziger Bruchteil dessen, was Google organisch schickt. Anthropics eigenes Crawl-to-Refer-Verhältnis (laut Cloudflare August 2025) lag auf News-Seiten bei rund 2.500:1: Sie crawlen viel und schicken wenig zurück.

Betreibst du eine Marketing- oder Lead-Gen-Seite, gilt die Gegenrechnung. Du willst in ChatGPT-Antworten zu deiner Kategorie genannt werden, und wer KI-Bots blockt, fällt aus diesem Kanal raus. Also alles erlauben, auch Training: Der Nachteil ist gering, wenn dein Content sowieso Werbung für dich ist, und der Nutzen der Zitation ist real. Lumina macht es genau so.

Bei Affiliate-Seiten, Dokumentationen und Vergleichsportalen zählt vor allem Retrieval. Nutzer fragen ChatGPT „was ist das beste X", und die Antwort zitiert 3 bis 5 Quellen. Wer nicht dabei ist, kommt nicht vor. Erlaube OAI-SearchBot, Claude-SearchBot, ChatGPT-User, Claude-User, Perplexity-User und PerplexityBot. GPTBot und ClaudeBot kannst du sperren, wenn du dich gegen Training wehren willst, aber für dich arbeiten die Retrieval-Bots.

Wenn du unsicher bist: Sperr GPTBot, ClaudeBot, CCBot und Google-Extended und erlaube alles andere. Die meisten großen Publisher im Audit oben gehen weiter und sperren auch Retrieval-Bots.

Die robots.txt-Referenz für KI-Crawler

Drei fertige Konfigurationen zum Kopieren, von am meisten erlaubend bis am meisten restriktiv. Die Datei liegt auf /robots.txt im Domain-Root. User-Agent-Matching ist case-insensitive. Regeln gelten für Pfade, die case-sensitive sind. Wie RFC 9309 Gruppen bildet und Regeln abgleicht, steht im robots.txt-Leitfaden.

1. Alles erlauben (Wikipedia-Stil)

User-agent: *
Disallow:

Nutze das, wenn dein Content offen lizenziert ist oder du aktiv Zitation willst und Training nicht stört. Die meisten B2B-SaaS- und Marketing-Seiten gehören hier hin.

2. Training blocken, Retrieval erlauben (die Mittellinie)

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: AppleBot-Extended
Disallow: /

User-agent: *
Disallow:

Das blockiert alle dokumentierten Trainings-Bots und lässt Retrieval-Bots über den *-Fallback durch. OAI-SearchBot, Claude-SearchBot, ChatGPT-User, Claude-User, PerplexityBot und Perplexity-User haben weiter Zugriff.

3. Alles KI blockieren (der NYT-Ansatz)

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Perplexity-User
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: AppleBot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: *
Allow: /

Das explizite Googlebot: Allow ist hier wichtig. Ohne es liest sich die Liste schnell als feindlich gegen alle Bots. Die klassische Google-Suche soll weiter crawlen, gesperrt wird nur KI. Beachte aber, dass sich ChatGPT-User, Perplexity-User und Google-Agent in der Regel nicht an diese Zeilen halten. Diese Konfiguration verringert den KI-Zugriff also, beendet ihn aber nicht.

Häufige Fehler

• GPTBot blocken, CCBot offen lassen. Common Crawl speist Llama, Falcon, ältere GPTs und dutzende akademische Modelle. Wenn das Ziel „kein Training auf meinem Content" heißt, musst du beide blocken.
• Erwarten, dass robots.txt nutzerausgelöste Bots aufhält. ChatGPT-User, Perplexity-User und Google-Agent halten sich in der Regel nicht daran, weil eine Person die Seite angefordert hat. Wenn du sie aussperren willst, brauchst du serverseitige Regeln.
• Wildcard-Blocks, die legitime Bots mitnehmen. Eine Zeile wie User-agent: *bot Disallow: / ist keine gültige robots.txt-Syntax und wird ignoriert. Schlimmer noch: Disallow: /*bot* kann beliebige URLs blocken. Nimm explizite User-Agent-Namen.
• Vergessen zu deployen. robots.txt liegt im Domain-Root. Subfolder-CMS generieren manchmal eine robots.txt, die nie ausgespielt wird. Prüf mit curl https://deinedomain.de/robots.txt. Kommt dort ein 404 oder die falsche Datei zurück, ist alles, was du geschrieben hast, wirkungslos.
• robots.txt aktualisieren, ohne die Antwort zu prüfen. Manche CDNs cachen robots.txt 24 Stunden. Wenn du um 10 Uhr updatest und der Cache bis Mitternacht hält, hast du 14 Stunden lang nichts ausgeliefert.

FAQ

Wo du anfängst

Fünf Schritte, in dieser Reihenfolge: