Fine-Tuning

Fine-Tuning beschreibt die zweite Trainings-Phase eines LLM, in der das pre-trained Modell auf einem spezialisierten Datensatz weitergeschult wird. Während Pre-Training auf Hunderten Milliarden Tokens generischer Web-Inhalte läuft (Common Crawl, Wikipedia, etc.), arbeitet Fine-Tuning auf wenigen Tausend bis Millionen domain-spezifischen Beispielen — etwa medizinische Literatur, juristische Schriftsätze, oder Kundenservice-Dialoge. Resultat ist ein Modell, das Fach-Sprache, Format-Disziplin oder spezielle Reasoning-Muster beherrscht, die ein generisches Modell nicht zuverlässig liefert.

Drei Fine-Tuning-Methoden dominieren 2026. Full Fine-Tuning: alle Modell-Gewichte werden angepasst — teuer (typisch 10'000 bis 100'000 USD pro Tuning-Zyklus für ein 70B-Modell), aber maximal flexibel. LoRA (Low-Rank Adaptation): nur kleine Adapter-Matrizen werden trainiert, das Basis-Modell bleibt unverändert — billiger (100 bis 1'000 USD pro Tuning), schneller, fast genauso wirksam für viele Use-Cases. Instruction Fine-Tuning: Spezialfall, in dem das Modell mit Frage-Antwort-Paaren trainiert wird, um spezifische Antwort-Stile zu lernen — Standard für Production-Chatbots.

Für GEO ist Fine-Tuning meistens NICHT der richtige Hebel. Die beiden sinnvollen Anwendungsfälle: erstens spezialisierte Branchen-LLMs für interne Anwendungen (Anwaltskanzlei mit eigenem juristischem Modell), zweitens Brand-Voice-Konsistenz für Customer-Service-Chatbots. Für die generelle KI-Sichtbarkeit auf öffentlichen Antwortmaschinen wie ChatGPT, Perplexity und AI Overviews ist Fine-Tuning irrelevant — diese Plattformen nutzen ihre eigenen Modelle, fertig fine-tuned, und der Marken-Auftritt erfolgt über Schema, RAG-Fähigkeit und Authority-Signale, nicht über eigenes Modell-Training.

Die häufigste Verwechslung in der GEO-Praxis: Klienten fragen 'können wir ChatGPT auf unsere Marke fine-tunen?' — die Antwort ist nein. ChatGPT ist eine geschlossene Plattform; man kann sie nicht von aussen modifizieren. Was möglich ist: ein Custom-GPT erstellen (im ChatGPT-Plus-Abo), der eigene Daten via System-Prompt nutzt — das ist Prompt-Engineering, kein Fine-Tuning. Echtes Fine-Tuning ist nur bei Modellen verfügbar, die der Anbieter dafür freigegeben hat: OpenAI bietet Fine-Tuning für GPT-3.5 und GPT-4o-mini, Anthropic für Claude-Haiku-Modelle in Enterprise-Verträgen.

Wichtig zur Abgrenzung: Fine-Tuning ist nicht RAG. RAG fügt externe Quellen zur Inferenzzeit hinzu, ohne das Modell zu verändern — schnell, billig, dynamisch. Fine-Tuning verändert die Modell-Gewichte selbst — teuer, langsam, statisch (jeder Update braucht einen neuen Tuning-Zyklus). Für 95 Prozent der Anwendungsfälle ist RAG die richtige Wahl; Fine-Tuning lohnt sich nur bei spezifischer Domain-Sprache oder Format-Disziplin, die Prompt-Engineering nicht erreicht.

Vergleich der drei Anpassungs-Methoden:

Code-Beispiel OpenAI Fine-Tuning für Customer-Service-Brand-Voice (LoRA-style):

# 1. Trainingsdaten als JSONL formatieren
{"messages": [
  {"role": "system", "content": "Du bist Mueller-Treuhand-Assistent."},
  {"role": "user", "content": "Wie melde ich mich für MWST an?"},
  {"role": "assistant", "content": "Bei der ESTV..."}
]}

# 2. Upload + Fine-Tune Job starten
openai.files.create(file=open("training.jsonl"), purpose="fine-tune")
openai.fine_tuning.jobs.create(
    training_file="file-abc123",
    model="gpt-4o-mini-2024-07-18"
)

# 3. Nach 1-3 Stunden: fine-tuned Modell verfügbar
# Aufruf: model="ft:gpt-4o-mini-2024-07-18:org::abc123"