Kostenloses SEO & GEO Tool
Crawler Access Checker
Prüfe welche Crawler durch robots.txt erlaubt oder blockiert werden, und verifiziere mit Live-Serverprüfungen unter dem echten User-Agent jedes Bots.
So funktioniert dieses Tool
Dieses Tool ruft die robots.txt deiner Website ab und prüft 36 Crawler aus den Bereichen Suchmaschinen, AI-Bots und weitere Dienste. Es analysiert User-Agent-Regeln und Disallow-Pfade und verifiziert jeden Bot mit einem echten Server-Request unter dem jeweiligen User-Agent-String.
Weitere Tools entdecken
Meta Tag Analyzer
Full meta tag audit for any URL.
llms.txt Generator
Create AI crawler guides.
Heading Checker
Analyze H1-H6 hierarchy.
FAQ
Was ist eine robots.txt-Datei?+
Eine Textdatei im Root-Verzeichnis deiner Website (beispiel.de/robots.txt), die Crawlern mitteilt, welche Seiten sie aufrufen dürfen. Sie verwendet User-Agent-, Allow- und Disallow-Direktiven zur Steuerung pro Bot.
Was bedeutet „Regeln" vs. „BLOCKIERT"?+
„Regeln" bedeutet, der Bot darf deine Seite crawlen, aber bestimmte Pfade sind eingeschränkt (z.B. /admin/, /api/). Das ist normal. „BLOCKIERT" bedeutet Disallow: / — der Bot kann keine einzige Seite aufrufen.
Warum zeigt der Server-Check 403 bei manchen Bots?+
Ein 403 bedeutet, dass der Server diesen Bot aktiv ablehnt — unabhängig von den robots.txt-Regeln. Dies geschieht typischerweise über Firewall-Regeln, CDN-Einstellungen oder serverseitige Bot-Erkennung.
Was passiert ohne eine robots.txt?+
Alle Crawler gehen davon aus, dass sie auf jede Seite zugreifen dürfen. Dieses Tool zeigt dann alle 36 Bots als „erlaubt" an. Der Zugriff kann trotzdem serverseitig eingeschränkt sein (was der Live-Check aufdeckt).
Was ist Crawl-Delay?+
Eine robots.txt-Direktive, die Bots vorschreibt, eine bestimmte Anzahl Sekunden zwischen Requests zu warten. Sie begrenzt die Crawling-Geschwindigkeit. Google ignoriert Crawl-Delay — nutze stattdessen die Crawling-Rate in der Search Console.
AI-Crawler-Check auf jeder Seite
Lumina shows robots.txt rules, X-Robots-Tag, and AI traffic sources — automatically, for free.
Lumina zu Chrome hinzufügen — Kostenlos