Tokenizer

Ein Tokenizer ist die unsichtbare Vorstufe jeder LLM-Verarbeitung. Bevor ein Modell wie GPT-4 oder Claude Sonnet einen Prompt verarbeiten kann, muss der Eingabe-Text in Tokens zerlegt werden — meist Subword-Fragmente, die mit einem Verfahren namens Byte-Pair-Encoding (BPE) oder einer Variante davon gebaut wurden. Das Token-Vokabular hat typisch 30 000 bis 200 000 Einträge; jeder Eintrag ist eine Buchstaben-Sequenz, die in den Trainings-Korpora häufig genug vorkam, um eine eigene ID zu rechtfertigen.

Die Token-Granularität ist sprach-abhängig. Englische Texte werden typisch in 1.0 bis 1.3 Tokens pro Wort zerlegt, deutsche in 1.5 bis 2.0 Tokens pro Wort, weil zusammengesetzte Substantive wie 'Quellensteuer-Beratung' nicht im Vokabular stehen und in mehrere Subword-Fragmente zerlegt werden (Quellen + steuer + -Beratung). Das hat zwei praktische Konsequenzen: erstens kosten deutsche Anfragen typisch 30 bis 50 Prozent mehr API-Tokens als vergleichbare englische, zweitens fragmentiert der Tokenizer Eigennamen oft unglücklich, was die semantische Verarbeitung erschwert.

Für GEO ist der Tokenizer indirekt relevant. Bei der RAG-Pipeline werden Site-Chunks in Tokens gezaehlt, nicht in Wörtern. Eine 60-Wort-Capsule entspricht typisch 80 bis 110 Tokens (deutsch) oder 60 bis 80 Tokens (englisch). Wer Capsule-Grössen plant, sollte die deutsche Token-Inflation kennen — eine 'kurze' Capsule auf Deutsch ist auf Englisch schon mittellang. Auch die Embedding-Berechnung arbeitet auf Tokens: ein Tokenizer-Fehler beim Eigennamen ('Mueller-Treuhand' wird zu zwei Tokens) verschiebt das Embedding leicht und kann die thematische Zuordnung verschlechtern.

Praktisch sichtbar wird der Tokenizer in API-Kosten und Context-Window-Limits. OpenAI berechnet Tokens, nicht Wörter; Anthropic ebenfalls. Ein Pro-User auf geoquality.ai, der eine 10-seitige Site analysieren lässt, nutzt typisch 80 000 bis 150 000 Tokens für Crawl + LLM-Bewertung — das übersteigt die alten 8k-Context-Modelle deutlich, passt aber problemlos in moderne 128k- bis 200k-Modelle. Ohne genug Context-Window muesste der Crawl in mehreren Pipelines aufgeteilt werden, was die Konsistenz der Bewertung reduziert.

Wichtig zur Abgrenzung: Tokenizer sind kein universeller Standard. OpenAI nutzt cl100k_base für GPT-4 und o200k_base für GPT-4o. Anthropic hat einen eigenen Tokenizer für Claude. Google Gemini wieder einen anderen. Die Token-Counts sind daher nicht direkt vergleichbar zwischen Plattformen — eine Anfrage mit 500 OpenAI-Tokens kann auf Claude 480 oder 530 Tokens kosten, je nach Vokabular-Ueberlappung.

Token-Counts mit OpenAIs tiktoken-Library:

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

samples = [
    "Hello world",
    "Hallo Welt",
    "Quellensteuer-Beratung für Grenzgänger",
    "Tax consulting for cross-border workers",
]

for text in samples:
    tokens = enc.encode(text)
    print(f"{len(tokens)} tokens: {text}")

# Erwartetes Ergebnis:
# 2 tokens: Hello world
# 3 tokens: Hallo Welt
# 9 tokens: Quellensteuer-Beratung für Grenzgänger
# 6 tokens: Tax consulting for cross-border workers

Die deutsche Phrase mit zusammengesetzten Substantiven kostet 50 Prozent mehr Tokens als die englische Uebersetzung — ein typisches Muster, das beim GEO-Setup im DACH-Raum wichtig wird. Ein langer Glossar-Eintrag mit 800 deutschen Wörtern entspricht etwa 1200 bis 1600 Tokens und passt damit problemlos in jede gaengige Antwort-Pipeline.