Kostenloses SEO & GEO Tool

Crawler Checker

Prüfe welche Crawler durch robots.txt erlaubt oder blockiert werden, und verifiziere mit Live-Serverprüfungen unter dem echten User-Agent jedes Bots.

Zuletzt aktualisiert: März 2026

So funktioniert dieser robots.txt Checker

Die meisten kostenlosen Crawler Checker testen nur Googlebot. Aber 2026 sind GPTBot, ClaudeBot, PerplexityBot und Google-Extended genauso wichtig für die Sichtbarkeit in KI-Suchen. Dieser KI-Crawler-Checker testet 37 Bots — inklusive OpenAIs neuem OAI-AdsBot (ChatGPT-Ads-Validator) — gegen deine robots.txt-Regeln und schickt dann einen Live-Request mit dem tatsächlichen User-Agent-String jedes Bots.

Dieser zweite Check ist der, den die meisten übersehen. Ein Bot kann in der robots.txt "erlaubt" sein, aber trotzdem einen 403 von einer Cloudflare-Regel oder einem CDN-Bot-Schutz bekommen. Dieses Tool zeigt dir beide Ebenen: was deine robots.txt sagt, und was tatsächlich durchkommt. Wenn GPTBot auf Server-Ebene blockiert wird, bringt dir die beste Content-Optimierung nichts für KI-Antworten.

Häufige robots.txt-Fehler, die dieser Checker findet

Die meisten Fehler sind trivial, nicht subtil. Ein fehlender Zeilenumbruch zwischen User-agent und Disallow. Eine Disallow-Regel, die durch einen Trailing-Slash-Typo (/folder/ vs /folder) unabsichtlich jede URL blockiert. Case-Sensitivity-Bugs (User-Agent vs user-agent), die technisch funktionieren, aber manche Parser verwirren. Eine robots.txt-Datei, die gar nicht existiert, was bedeutet, dass jede URL standardmäßig crawlbar ist. Und der Klassiker: ein Disallow: / aus einer Staging-Umgebung, das beim Go-Live niemand entfernt hat.

Blockiert meine robots.txt Suchmaschinen?

Lass diesen Checker gegen deine Live-URL laufen. Wenn Googlebot blockiert ist, siehst du es sofort in der ersten Ergebniszeile. Die meisten unabsichtlichen Blockaden kommen von einem Wildcard-Pattern (Disallow: /*.php), das eigentlich für einen einzigen Pfad gedacht war, aber in Wahrheit Tausende matcht. Pattern korrigieren und 24-48 Stunden warten, bis Google neu crawlt.

robots.txt Tester vs. robots.txt Checker

Google hat den robots.txt Tester in der Search Console Ende 2023 abgeschaltet. Der Ersatz ist ein kurzer Report unter Einstellungen → robots.txt, der nur die aktuell abgerufene Datei zeigt. Custom User-Agents oder Vorschau auf Regeländerungen sind damit nicht möglich. Ein eigenständiger Checker wie dieser schließt die Lücke: du kannst jeden User-Agent oder URL-Pfad testen und Änderungen an deiner robots.txt live prüfen, bevor du sie deployst.

Weitere Tools entdecken

Meta Tag Analyzer

Vollständiger Meta-Tag-Audit für jede URL.

llms.txt Generator

KI-Crawler-Guides für deine Seite erstellen.

Heading Checker

H1-H6-Hierarchie analysieren.

Security Headers

HTTP-Sicherheitsheader prüfen.

JS vs No-JS

Inhalte ohne JavaScript vergleichen.

FAQ

Was ist eine robots.txt-Datei?+

Eine Textdatei im Root-Verzeichnis deiner Website (beispiel.de/robots.txt), die Crawlern mitteilt, welche Seiten sie aufrufen dürfen. Sie verwendet User-Agent-, Allow- und Disallow-Direktiven zur Steuerung pro Bot.

Was bedeutet „Regeln" vs. „BLOCKIERT"?+

„Regeln" bedeutet, der Bot darf deine Seite crawlen, aber bestimmte Pfade sind eingeschränkt (z.B. /admin/, /api/). Das ist normal. „BLOCKIERT" bedeutet Disallow: /. Der Bot kann keine einzige Seite aufrufen.

Warum zeigt der Server-Check 403 bei manchen Bots?+

Ein 403 bedeutet, dass der Server diesen Bot aktiv ablehnt, unabhängig von den robots.txt-Regeln. Dies geschieht typischerweise über Firewall-Regeln, CDN-Einstellungen oder serverseitige Bot-Erkennung.

Was passiert ohne eine robots.txt?+

Alle Crawler gehen davon aus, dass sie auf jede Seite zugreifen dürfen. Dieses Tool zeigt dann alle 37 Bots als „erlaubt" an. Der Zugriff kann trotzdem serverseitig eingeschränkt sein (was der Live-Check aufdeckt).

Was ist Crawl-Delay?+

Eine robots.txt-Direktive, die Bots vorschreibt, eine bestimmte Anzahl Sekunden zwischen Requests zu warten. Sie begrenzt die Crawling-Geschwindigkeit. Google ignoriert Crawl-Delay. Nutze stattdessen die Crawling-Rate in der Search Console.

AI-Crawler-Check auf jeder Seite

Lumina shows robots.txt rules, X-Robots-Tag, and AI traffic sources — automatically, for free.

Lumina zu Chrome hinzufügen — Kostenlos