Google-Extended (Crawler)

Google-Extended ist Googles dedizierter KI-Crawler, lanciert im September 2023 als Reaktion auf Anbieter-Forderungen nach differenzierter Crawler-Kontrolle. Anders als der klassische Googlebot — der seit 25 Jahren die Web-Inhalte für die Google-Suche sammelt — speist Google-Extended ausschliesslich Googles KI-Produkte: Google AI Mode, AI Overviews, und Gemini-Trainings-Korpus-Updates. Diese Differenzierung erlaubt Site-Betreibern strategische Steuerung: klassische Google-Suche erhalten, KI-Indexierung blockieren, oder beides erlauben.

Strukturell ist Google-Extended ein 'Pseudo-Crawler' — er crawlt nicht selbst, sondern nutzt die Inhalte, die Googlebot bereits gecrawlt hat. Die Kontrolle erfolgt durch robots.txt-Direktiven: ein User-agent: Google-Extended mit Disallow: / schliesst die Site aus KI-Indexierung aus, ohne den klassischen Googlebot zu beeinflussen. Die klassische Google-Suche bleibt unberührt; nur Sichtbarkeit in Google AI Mode, AI Overviews und Gemini-Modell-Updates verschwindet.

Für GEO ist Google-Extended 2026 ein strategisch kritischer Crawler. Mit Googles 92% Such-Marktanteilsposition im DACH-Raum bedeutet Google-Extended-Block oft den grössten Single-Verlust an KI-Sichtbarkeit. Sites mit explizitem Google-Extended-Allow oder Default-Allow (kein expliziter Disallow) erscheinen in AI Overviews und Google AI Mode-Citations — das volumen-stärkste KI-Sichtbarkeits-Segment im DACH-Raum 2026. Schätzungsweise 10-15% der DACH-KMU-Sites blockieren Google-Extended unbeabsichtigt — durch Wildcard-Disallow oder durch bewusste Entscheidung gegen KI-Trainingsdaten-Beitrag.

Strategisch lohnt sich die Allow-Entscheidung in fast allen Fällen. Vorteile: AI-Overview-Inclusion, Google-AI-Mode-Sichtbarkeit, langfristige Trainings-Repräsentation in zukünftigen Gemini-Modellen. Nachteile: Inhalte werden in KI-Trainings verwendet (Trainings-Daten-Beitrag ohne explizite Vergütung). Für Marken-Sichtbarkeit überwiegen die Vorteile fast immer. Für sensible oder paywall-geschützte Inhalte kann Block sinnvoll sein. Die meisten DACH-KMU-Klienten sollten Google-Extended explizit erlauben.

Wichtig zur Abgrenzung: Google-Extended ist nicht Googlebot. Googlebot ist der klassische Web-Crawler für Google-Suche-Index seit 1998. Google-Extended ist seit September 2023 spezifisch für KI-Produkte. Beide Crawler können separat in robots.txt erlaubt oder blockiert werden. Standard-Setup 2026: beide explizit erlauben für maximale Sichtbarkeits-Coverage über klassische Suche und KI-Antwortmaschinen.

robots.txt-Konfiguration für Google-Extended:

# Google-Extended explizit erlauben (empfohlen)
User-agent: Google-Extended
Allow: /

# Falls explizit blockieren (selten gerechtfertigt):
User-agent: Google-Extended
Disallow: /

# Klassische Google-Suche separat steuern:
User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /

# Gegenbeispiel: nur klassische Google-Suche, keine KI:
User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow: /

# Multi-Bot-Allow im DACH-Best-Practice-Setup 2026:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /

# Verifikation:
Google-Extended hat keinen separaten Server-Log-Eintrag — er
ist eine Crawler-Direktive, kein eigener Bot. Wirkung in
Google Search Console ueberpruefbar (AI-Overview-Tab).

Diese Konfiguration sichert Google-AI-Sichtbarkeit ohne Auswirkung auf klassisches Google-Ranking. Im DACH-Raum 2026 die wichtigste Crawler-Single-Massnahme nach GPTBot-Erlaubnis.