Project Mariner ist eingestellt. Was Google-Agent für deine Website bedeutet

Project Mariner, Googles Prototyp für einen Browser-Agenten, wurde am 4. Mai 2026 eingestellt. Google-Agent, der User Agent, den Google im März in seine Crawler-Dokumentation aufgenommen hat, gibt es weiterhin. Die beiden werden oft in einen Topf geworfen, und in vielen frühen Berichten stand ein Detail falsch: Google-Agent ignoriert robots.txt in der Regel.

Was aus Project Mariner geworden ist

Google DeepMind hat Project Mariner im Dezember 2024 als Forschungsprototyp vorgestellt: ein Agent, der eine Aufgabe in normaler Sprache entgegennimmt und sich durch Websites arbeitet, bis sie erledigt ist. Ab Mai 2025 konnten Abonnenten von Google AI Ultra in den USA ihn nutzen. Am 4. Mai 2026 hat Google ihn eingestellt, laut dem Hinweis auf Google Labs, den Wikipedia als Quelle angibt.

Die Idee lebt weiter. Auto Browse in Chrome ist im Januar 2026 in den USA für Abonnenten von Google AI Pro und Ultra gestartet und lässt Gemini direkt im Browser durch Websites klicken. Die Gemini-App hat einen eigenen Agentenmodus.

Was Google-Agent ist

Google führt Google-Agent unter seinen nutzerausgelösten Fetchern. In diese Kategorie fallen Abrufe, die eine Person angestoßen hat, nicht ein Crawl-Zeitplan. Laut Google nutzen ihn Agenten, die auf Googles eigener Infrastruktur laufen („agents hosted on Google infrastructure“) und im Auftrag eines Nutzers im Web navigieren und Aktionen ausführen. Aufgenommen wurde er am 20. März 2026.

Wichtig ist, was in dieser Beschreibung fehlt. Sie nennt kein Produkt und beschränkt sich auf Agenten, die auf Googles Servern laufen. Ein Agent im eigenen Chrome eines Nutzers ist ein anderer Aufbau, und welcher User Agent bei solchen Besuchen ankommt, hat Google nicht dokumentiert. Geh also nicht davon aus, dass jeder Besuch mit Gemini-Unterstützung als Google-Agent in deinen Logs auftaucht.

Der User-Agent-String sieht aus wie ein normaler Chrome-Browser mit dem Zusatz compatible; Google-Agent, jeweils in einer Mobil- und einer Desktop-Variante. Für Log-Filter heißt das: Such nach dem Token, nicht nach dem kompletten String.

Hält sich Google-Agent an robots.txt?

In der Regel nicht. Google schreibt das ausdrücklich für die ganze Kategorie: Weil ein Nutzer den Abruf angefordert hat, ignorieren diese Fetcher robots.txt-Regeln in der Regel („generally ignore robots.txt rules“). Ein Disallow für Google-Agent ist eine Bitte, für die er nicht gebaut ist.

Das ändert die praktische Empfehlung. Wenn ein Bereich deiner Website für Agenten nicht erreichbar sein soll, ist robots.txt das falsche Werkzeug, denn der Agent handelt für eine Person, die die Seite ohnehin öffnen könnte. Schütz den Bereich so, wie du ihn vor einer Person schützen würdest: mit Anmeldung, serverseitigen Prüfungen und Rate Limits. Für Googlebot und den Trainings-Opt-out bleibt robots.txt wichtig, nur eben nicht hier.

Google-Agent, Googlebot und Google-Extended im Vergleich

Die drei werden gern zusammengeworfen, dabei ist nur einer davon ein Crawler im klassischen Sinn, und Google betreibt weit mehr als drei. Allein unter den allgemeinen Crawlern stehen Googlebot, seine Varianten für Bilder, Videos und News, GoogleOther und weitere.

Google-Extended wird am häufigsten falsch eingeschätzt. Es hat keinen eigenen User Agent, weil Google mit seinen bestehenden User Agents crawlt. Das Token legt nur fest, was Google danach mit den Inhalten machen darf.

Wie OpenAI, Anthropic und Perplexity das handhaben

Jeder große KI-Anbieter betreibt inzwischen so einen Bot. Bei robots.txt sind sie sich nicht einig.

• OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln womöglich nicht gelten („may not apply“). Diese Änderung kam im Dezember 2025 in die Bot-Dokumentation.
• Laut Perplexity ignoriert Perplexity-User robots.txt in der Regel.
• Anthropic sagt im Hilfe-Center, dass alle drei eigenen Bots robots.txt beachten, auch Claude-User.

Anthropic ist also die Ausnahme. Drei der vier großen Anbieter behandeln nutzerausgelöste Abrufe wie einen Browserbesuch. Für eine einzelne Seite, nach der jemand gefragt hat, halte ich das für vertretbar. Bei einem Agenten, der sich durch zwanzig Seiten klickt und ein Formular abschickt, schon weniger. So oder so ist es das dokumentierte Verhalten, und dein Setup sollte davon ausgehen.

Google-Agent erkennen und verifizieren

Den User-Agent-String kann jeder fälschen. Eine Logzeile mit Google-Agent beweist also für sich allein nichts. Google nennt drei Wege, das zu prüfen:

1. Gleich die IP-Adresse mit Googles veröffentlichter Liste user-triggered-agents.json ab.
2. Mach einen Reverse-DNS-Lookup. Echte Anfragen lösen zu einem Hostnamen google-proxy-…google.com auf, der wiederum auf dieselbe IP zeigen sollte.
3. Achte auf eine Signatur. Google testet für Google-Agent das Protokoll Web Bot Auth mit der Identität https://agent.bot.goog, damit sich Anfragen kryptografisch statt über die IP verifizieren lassen.

Viele WAFs und CDNs mit einer Liste verifizierter Bots erledigen die ersten beiden Schritte selbst. Prüf, ob deiner Google-Agent schon kennt, bevor du eigene Regeln schreibst.

Was du auf deiner Website tun solltest

Nichts Dramatisches. In Cloudflares Auswertung vom Juli 2025 machten nutzerausgelöste und nicht deklarierte KI-Abrufe zusammen weniger als 5 % des KI-Bot-Traffics aus. Die meisten Websites brauchen also keine eigene Regelung. Vier Dinge lohnen sich trotzdem:

1. Prüf, ob dein Bot-Schutz verifizierte Google-Agent-Anfragen versehentlich blockiert, falls Agenten Aufgaben wie eine Buchung oder eine Angebotsanfrage abschließen können sollen. Eine strenge Regel nach dem Muster „alles außer Googlebot sperren“ erwischt ihn.
2. Verlass dich bei sensiblen Bereichen nicht auf robots.txt. Admin-Bereiche, interne Suche und APIs brauchen Anmeldung oder serverseitige Limits, egal ob ein Agent kommt oder nicht.
3. Bau Formulare so, dass niemand raten muss. Klare Labels, Standard-Eingabetypen und sichtbare Fehlermeldungen helfen Screenreadern, und Agenten helfen sie genauso.
4. Fang an, das Token zu loggen. Filter nach Google-Agent, prüf eine Stichprobe gegen die IP-Liste, dann hast du eine Vergleichsbasis, wenn der Agenten-Traffic wächst.

Der Crawler Access Checker zeigt, wie deine robots.txt Google-Agent behandelt und was dein Server auf seinen User Agent antwortet. Hier zählt vor allem der zweite Teil: Ein 403 deiner Firewall hält den Agenten auf, eine robots.txt-Regel nicht. Alle anderen KI-Bots findest du im KI-Crawler-Guide.

FAQ