Warum robots.txt für KI wichtig ist
Mit dem Aufstieg der KI-Suche (ChatGPT, Perplexity, Claude) blockieren viele Seiten KI-Crawler über robots.txt. Dieses Tool zeigt genau welche Bots erlaubt oder blockiert sind und ob KI-Systeme deine Inhalte indexieren können.
Die Lumina Extension prüft robots.txt, X-Robots-Tag-Header und Meta-Robots auf jeder Seite — plus llms.txt-Erkennung und KI-Traffic in deinem Google Analytics Dashboard.
Weitere Tools
Meta Tag Analyzer
Vollständige Meta-Tag-Prüfung für jede URL.
llms.txt Generator
KI-Crawler-Anleitungen erstellen.
Heading Checker
H1-H6-Hierarchie analysieren.
Häufige Fragen
Welche KI-Crawler sollte ich prüfen?+
GPTBot (OpenAI), ClaudeBot/anthropic-ai (Anthropic), PerplexityBot, Google-Extended (Gemini), Bytespider (TikTok), CCBot (Common Crawl) und cohere-ai. Dieses Tool prüft alle.
Entfernt das Blockieren eines Crawlers bestehende Trainingsdaten?+
Nein. robots.txt verhindert nur zukünftiges Crawling. Bereits für Training verwendete Daten können nicht entfernt werden. Dafür muss man den KI-Anbieter direkt kontaktieren.
KI-Crawler-Check auf jeder Seite
Lumina zeigt robots.txt-Regeln, X-Robots-Tag und KI-Traffic-Quellen — automatisch und kostenlos.
Lumina zu Chrome hinzufügen — Kostenlos