Crawling

Crawling ist der fundamentale Prozess, mit dem Suchmaschinen, KI-Plattformen und andere Web-Aggregatoren Inhalte aus dem offenen Web sammeln. Ein Crawler — auch Bot, Spider oder Web-Robot genannt — navigiert systematisch durch Hyperlinks, lädt HTML-Inhalte herunter, parst Strukturdaten und gibt die Daten an nachgelagerte Indexierungs-Pipelines weiter. Der erste Web-Crawler war 'World Wide Web Wanderer' von Matthew Gray (1993); Googlebot entstand 1998 mit der Google-Gründung und ist seither der dominante Web-Crawler weltweit.

Im KI-Zeitalter 2026 hat sich die Crawler-Landschaft fundamental erweitert. Neben dem klassischen Googlebot operieren mehrere spezialisierte KI-Crawler: GPTBot (OpenAI seit 2023), ClaudeBot (Anthropic seit 2023), PerplexityBot (Perplexity seit 2023), Google-Extended (Googles KI-spezifischer Crawler seit September 2023), Applebot-Extended (Apple seit 2024), und CCBot (Common Crawl, generische Trainings-Quelle seit 2008). Jeder dieser Crawler hat spezifische Funktionen, User-Agents und Compliance-Verhalten.

Für GEO ist Crawling-Verständnis fundamental. Sites müssen zwei Dinge sicherstellen: Erstens Crawler-Erlaubnis — die wichtigsten Bots in robots.txt explizit erlauben (oder zumindest nicht durch Wildcard-Disallow blockieren). Zweitens Crawl-Effizienz — Site-Architektur so gestalten, dass Crawler Inhalte effizient finden und parsen. Dazu gehören saubere Sitemap.xml-Pflege, internes Linking, schnelle Server-Antwortzeiten, und Server-Side-Rendering für JavaScript-lastige Seiten.

Drei Crawl-Strategien dominieren 2026. Erstens Polite Crawling: Crawler respektieren robots.txt-Direktiven, halten Crawl-Delay-Limits ein und identifizieren sich klar im User-Agent. Standard für seriöse Anbieter wie Google, OpenAI, Anthropic, Perplexity. Zweitens Aggressive Crawling: Bots ohne robots.txt-Compliance und mit hohem Request-Volumen pro Minute — typisch bei Spam-Crawlern, Daten-Scrapern und einigen Marketing-Tools. Drittens AI-spezifisches Crawling: speziell auf Strukturdaten und Capsule-Inhalte optimiert — die neueste Generation seit 2023. KI-Crawler bevorzugen JSON-LD-Strukturdaten, llms.txt-Self-Statements und semantisch klar markierte Inhalte.

Wichtig zur Abgrenzung: Crawling ist nicht Indexierung, ist nicht Rendering. Crawling bezeichnet das Abrufen der Inhalte. Indexierung ist der nachgelagerte Prozess der Speicherung in einer Such-Datenbank. Rendering ist die Browser-ähnliche Verarbeitung von HTML/CSS/JavaScript zur Berechnung des finalen Inhalts. Alle drei Prozesse zusammen bilden die Crawler-Pipeline; ein Site-Betreiber muss alle drei verstehen, um effektive GEO-Optimierung zu betreiben.

Crawler-Lifecycle für eine typische DACH-KMU-Site 2026:

# 1. Site-Discovery
Crawler findet die Site über externen Link, Sitemap-Submit
oder Domain-Registry-Daten.

# 2. robots.txt-Check
Crawler prüft https://example.ch/robots.txt:
  User-agent: GPTBot
  Allow: /
Falls erlaubt -> weitermachen. Falls Disallow -> abbrechen.

# 3. Sitemap.xml-Lesung
Crawler liest https://example.ch/sitemap.xml und
extrahiert URL-Liste mit lastmod-Timestamps.

# 4. Inhalt-Crawling
Crawler ruft jede URL ab, lädt HTML, parst:
  - Title, Meta-Description
  - JSON-LD-Strukturdaten
  - Inhalts-Hierarchie (h1, h2, h3)
  - Interne und externe Links
  - Bilder mit alt-Texten

# 5. Rate-Limiting
Crawler hält Crawl-Delay ein (typisch 1-5 Sekunden
zwischen Requests) um Server nicht zu ueberlasten.

# 6. Daten-Uebergabe an Index/Training
Crawler sendet gesammelte Daten an:
  - Such-Index (Googlebot -> Google-Suche)
  - LLM-Trainings-Pipeline (CCBot, GPTBot)
  - KI-Antwort-Index (PerplexityBot)

# 7. Re-Crawl-Frequenz
Wichtige Sites: taeglich oder mehrfach pro Woche
Standard-KMU-Sites: wöchentlich oder alle 2 Wochen
Statische Sites: monatlich oder seltener

Diese Lifecycle-Pflege ist die Foundation jeder GEO-Strategie. Ohne saubere Crawl-Erlaubnis und -Effizienz wirken keine anderen Optimierungs-Hebel.