Erst der Prompt
Nutzen Sie Prompting oder Few-Shot-Beispiele, wenn sich das Verhalten klar ausdrücken lässt und der zusätzliche Kontext noch in Latenz- und Kostenvorgaben passt.
Fine-Tuning-Leitfaden
Fine-Tuning-Spickzettel
Eine frameworkneutrale Checkliste für kontrollierte Experimente. Hyperparameter und Speicherbedarf hängen vom genauen Modell, den Daten, dem Ziel und der Hardware ab; übernehmen Sie Werte nur aus einem gepflegten Rezept für genau diese Kombination und prüfen Sie sie in einem Piloten.
Retrieval oder Tool-Aufruf
Nutzen Sie Retrieval für wechselndes, privates oder belegbares Wissen und Tools für Berechnungen, Aktionen und den maßgeblichen Systemzustand.
Bewusst fine-tunen
Trainieren Sie ein wiederkehrendes Verhalten nur, wenn Sie repräsentative Beispiele, ein versiegeltes Testset und eine gemessene Baseline zum Übertreffen haben.
Datenvertrag
Vor dem Training
- • Erlaubte Quellen, Lizenzen, Einwilligung, Aufbewahrung und Löschung festlegen
- • Reale Eingabeverteilung, Sprache, Format und Randfälle abbilden
- • Secrets, unnötige personenbezogene Daten, Duplikate und defekte Beispiele entfernen
- • Labelrichtlinie und Unstimmigkeiten prüfen, statt sie zu verbergen
- • Über Trainings-, Validierungs- und Testset hinweg deduplizieren
Halten Sie das Testset versiegelt
- • Erfolgs-, Fehler-, Grenz-, Sicherheits- und Out-of-Distribution-Fälle
- • Segmentlabels für wichtige Nutzergruppen, Sprachen und Inhaltstypen
- • Ein schriftliches Bewertungsraster und ein Schlichtungsverfahren
- • Keine Beispiele, die aus Testausgaben erzeugt oder daran angepasst wurden
- • Versionierte Stände, damit Vergleiche aussagekräftig bleiben
Was Sie einstellen und beobachten
| Stellgröße | Warum sie zählt | Zu prüfendes Signal |
|---|---|---|
| Lernrate | Bestimmt die Größe der Updates | Instabilität, langsames Lernen, Validierungsqualität |
| Trainingsdauer | Steuert die Exposition gegenüber Beispielen | Plateau auf dem Holdout und wachsende Regressionen |
| Effektiver Batch | Verändert Gradientenrauschen und Durchsatz | Schritte pro Sekunde, Speicher, Konvergenz |
| Sequenzlänge | Wirkt stark auf Speicher und Trainingsverteilung | Abschneiden, Padding-Verlust, Qualität bei langen Eingaben |
| LoRA-Rang und Zielmodule | Bestimmen Kapazität und Platzierung der Adapter | Trainierbare Parameter, Aufgabenqualität, Overfitting |
| Präzision / Quantisierung | Wägt Speicher, Kompatibilität und numerisches Verhalten ab | NaNs, Geschwindigkeit, Speicher, Qualität des exportierten Modells |
Experimentprotokoll
- Basis-Checkpoint
- Repository, exakte Revision, Tokenizer, Chat-Template und Lizenzprüfung
- Daten
- Unveränderliches Manifest, Herkunft, Filterung, Deduplizierung, Splits und Rechte
- Ziel
- SFT, Präferenzoptimierung oder Reinforcement-Ziel sowie Loss-Masking
- Update-Methode
- Vollständiges Tuning, LoRA oder QLoRA mit Zielmodulen und Adaptereinstellungen
- Optimierung
- Lernrate, Zeitplan, effektiver Batch, Schritte, Präzision und Seed
- Umgebung
- Code-Revision, Paket-Lock, Container, Treiber, Beschleuniger und Topologie
- Evaluierung
- Holdout-Revision, Bewertungsraster, Segmentmetriken, Sicherheitssuite und Basis-Regressionssuite
- Artefakte
- Checkpoint-Hashes, Adapter- oder Merge-Methode, Serving-Template und Rollback-Ziel
Freigabe-Gate
- Der getunte Kandidat schlägt jede geforderte Baseline auf dem versiegelten Holdout.
- Ergebnisse je Segment erreichen die schriftlichen Schwellen und nennen Fallzahlen.
- Tests zu Basisfähigkeiten, Sicherheit, Datenschutz und Missbrauch bleiben im Regressionsbudget.
- Das Serving nutzt denselben Tokenizer und dasselbe Template wie der Offline-Test.
- Latenz, Durchsatz, Speicher und Gesamtkosten werden auf produktionsnaher Infrastruktur gemessen.
- Canary, verantwortliche Person für das Monitoring, Alarmschwelle und Rollback-Artefakt stehen bereit.
Brechen Sie den Lauf ab, wenn
Der Loss nicht endlich ist oder Gradienten instabil bleiben.
Die Validierungsqualität sinkt, während der Trainings-Loss besser wird.
Die Daten- oder Lizenzprüfung einen ungelösten Punkt aufdeckt.
Ein Checkpoint sich nicht reproduzierbar laden, evaluieren oder fortsetzen lässt.
Sicherheits- oder Datenschutzprüfungen die vereinbarte Schwelle überschreiten.
Der Pilot das Kosten- oder Latenzziel im Betrieb erkennbar nicht erreichen kann.