Trainingsdaten

Trainingsdaten sind das Fundament jedes Large Language Models. Während des Pre-Training-Schritts liest ein Modell wie GPT-4, Claude Sonnet oder Gemini durch hunderte Milliarden von Tokens — Web-Texte, Bücher, wissenschaftliche Publikationen, Code-Repos, Foren-Diskussionen — und lernt dabei statistische Muster zwischen Wörtern, Sätzen und Bedeutungen. Was im Trainingskorpus dicht repräsentiert ist, kann das Modell danach zuverlässig wiedergeben; was selten oder gar nicht enthalten war, bleibt eine Wissens-Lücke und wird bei Anfragen entweder eingestanden oder halluziniert.

Die Zusammensetzung der Trainingsdaten ist Branche-geheimnis, aber öffentliche Schätzungen geben Anhaltspunkte. Common Crawl (offene Web-Crawl-Sammlung) macht typisch 60 bis 80 Prozent der Pre-Training-Corpora aus — das heisst, jede Site, die Common Crawl indexiert, ist potentiell Teil des Trainings künftiger Modelle. Wikipedia ist mit hohem Gewicht vertreten (typisch 5 bis 15 Prozent, deutlich überrepräsentiert relativ zu ihrem Web-Anteil), weil sie als hochqualitative Quelle gilt. Reddit ist seit dem OpenAI-Lizenzdeal 2024 ebenfalls überrepräsentiert in ChatGPT-Trainingsdaten. Wissenschaftliche Open-Access-Publikationen (arXiv, PMC) bilden den Rest.

Für GEO sind Trainingsdaten der unsichtbare Brand-Awareness-Speicher. Eine Marke, die in Common-Crawl-Quellen tausendfach erwähnt wird, hat im Modell nach dem Training eine stabile Identitäts-Repräsentation — Anfragen über die Marke produzieren konsistente, korrekte Antworten ohne Live-Retrieval. Eine Marke, die nur in der eigenen Site auftaucht, fehlt im Training und wird nur über Live-RAG-Pipelines erkennbar (Perplexity, ChatGPT-Web). Das macht Brand Mentions auf Drittseiten zu einem strategisch wichtigen GEO-Hebel — sie sichern die langfristige Trainings-Repräsentation.

Knowledge-Cutoff ist ein eng verwandtes Konzept. Jedes Modell hat einen Stichtag, bis zu dem die Trainingsdaten reichen — GPT-4o etwa Juni 2024, Claude Sonnet 4.6 etwa April 2024, Gemini 2.5 etwa März 2025. Inhalte nach diesem Datum sind nur über Live-Retrieval-Mechanismen abrufbar. Für GEO bedeutet das: brandneue Sites haben keine Chance, in klassischen Trainings-Antworten zu erscheinen, müssen also auf RAG-fähige Plattformen (Perplexity, AI Overviews) setzen und dort ihre Sichtbarkeit aufbauen, bis das nächste Modell-Training startet.

Wichtig zur Abgrenzung: Trainingsdaten sind nicht statisch. Modelle werden alle 6 bis 12 Monate neu trainiert oder fein-abgestimmt; jeder neue Trainingszyklus integriert frische Web-Inhalte. Eine Site, die heute eine starke GEO-Präsenz aufbaut, wird in 12 bis 18 Monaten in den nächsten Modell-Versionen stabiler erscheinen — selbst ohne Live-RAG. Das ist der langfristige strategische Hebel von GEO, der über die kurzfristige Citation-Optimierung hinausgeht.

Schätzung der typischen Trainings-Korpus-Zusammensetzung moderner LLMs:

Lehre für GEO: Brand Mentions in Wikipedia, Reddit oder wissenschaftlichen Open-Access-Publikationen sind 2-5x mehr wert als generische Web-Mentions, weil sie überrepräsentiert in den Trainings-Korpora sind. Eine einzige Wikipedia-Mention ist statistisch wertvoller als 50 Verzeichnis-Links.