Embedding (Vektorrepräsentation)

Ein Embedding ist die mathematische Brücke zwischen menschlicher Sprache und maschineller Verarbeitung. Klassische Computer arbeiten auf Zahlen, nicht auf Bedeutung — Embeddings ueberbruecken die Lücke, indem sie jedes Wort, jeden Satz und jeden Absatz in einen hochdimensionalen Vektor uebersetzen, dessen geometrische Position im Raum die Bedeutung codiert. Zwei semantisch ähnliche Texte landen nahe beieinander, zwei thematisch fremde Texte landen weit entfernt. Genau diese Geometrie ermöglicht Retrieval: der Retriever sucht im Index nach Vektoren, die nahe am Frage-Vektor liegen.

Technisch werden Embeddings von eigenen LLM-Varianten produziert — sogenannten Embedding-Modellen. OpenAIs text-embedding-3-large erzeugt 3072-dimensionale Vektoren, text-embedding-3-small 1536-dimensionale, Cohere und Anthropic haben eigene Modelle mit ähnlichen Dimensionen. Die Trainings-Aufgabe ist immer dieselbe: semantisch verwandte Texte sollen nahe beieinander liegen, semantisch verschiedene weit entfernt. Das wird mit Millionen von Beispielen gelernt — und das Resultat ist ein robuster geometrischer Bedeutungsraum.

Für GEO sind Embeddings der unsichtbare Mechanismus hinter Citation-Entscheidungen. Wenn ChatGPT-Web-Browsing oder Perplexity einen User-Prompt empfangen, wird die Frage in einen Vektor uebersetzt, der dann gegen alle indexierten Site-Chunks verglichen wird. Die top-N Chunks (typisch top 3 bis 10) werden in den Antwort-Generator eingespeist. Die Aufnahme in dieses top-N-Set ist faktisch identisch mit Citation-Inclusion. Eine Site, die in der Embedding-Geometrie zu einem Themenfeld einen klar erkennbaren Cluster bildet, hat strukturell höhere Citation-Wahrscheinlichkeit als eine Site, deren Inhalte geometrisch verstreut liegen.

Daraus folgt eine konkrete Content-Strategie: thematische Konzentration. Eine Treuhand-Site mit 80 Artikeln zu Steuern, Buchhaltung und Lohn hat in der Embedding-Geometrie drei dichte Cluster — das ist Topical Authority. Eine Treuhand-Site mit 80 Artikeln, die sich auf 30 verschiedene Themen verteilen, hat keine erkennbaren Cluster — und kein einzelner Chunk landet beim thematisch passenden Top-N-Retrieval. Das ist der mathematische Hintergrund, warum Topical Authority so stark mit Citation Rate korreliert.

Wichtig zur Abgrenzung: Embeddings sind keine Hashes oder Datenbank-Indizes. Sie sind kontinuierliche Vektoren in einem hochdimensionalen Raum. Zwei Embeddings können einander ähnlich sein, ohne identisch zu sein — und genau diese graduelle Ähnlichkeit ist der Kern der semantischen Retrieval. Klassische Keyword-Such-Algorithmen wie BM25 arbeiten über Wort-Frequenzen und sind binaer (Wort vorhanden oder nicht); Embeddings sind graduell (semantische Nähe als Skalar zwischen 0 und 1). Genau deshalb verstehen RAG-Systeme Synonyme, Paraphrasen und thematische Verwandtschaft — was ein Keyword-Index nicht kann.

Embeddings live betrachten — ein Beispiel mit OpenAIs API:

import openai

texts = [
    "Quellensteuer für Grenzgänger aus Deutschland",
    "Lohnsteuer für Schweizer Pendler in Deutschland",  # nahe verwandt
    "Mehrwertsteuer-Anmeldung für Schweizer KMU",       # gleicher Bereich, anderes Thema
    "Barockmusik des 17. Jahrhunderts",                  # völlig fremd
]

vectors = [
    openai.embeddings.create(
        model="text-embedding-3-small",
        input=t
    ).data[0].embedding
    for t in texts
]

# Cosine-Similarity zwischen Vektor 0 und allen anderen
from numpy import dot
from numpy.linalg import norm

for i in range(1, 4):
    sim = dot(vectors[0], vectors[i]) / (norm(vectors[0]) * norm(vectors[i]))
    print(f"{texts[i]}: similarity = {sim:.3f}")

# Erwartetes Ergebnis:
# Lohnsteuer für Schweizer Pendler:    similarity = 0.78
# Mehrwertsteuer-Anmeldung für KMU:    similarity = 0.42
# Barockmusik des 17. Jahrhunderts:     similarity = 0.08

Die Cosine-Similarity quantifiziert semantische Nähe — und genau diesen Wert nutzt der RAG-Retriever, um zu entscheiden, welcher Chunk in den Antwort-Prompt geschoben wird.