Loading...

👨‍🏫

Überwachtes Lernen für Agenten(SLA)

Anpassung einer Agentenkomponente anhand gelabelter Eingabe-Ausgabe-Beispiele mit expliziter Validierung und Fallback-Verhalten

Komplexität: mediumLernen und Anpassung

In 30 seconds

What: Trainiert eine Agentenkomponente auf gelabelten Beispielen mit Schutzmaßnahmen gegen Datenlecks und leitet unsichere Fälle anschließend zur menschlichen Prüfung weiter.
When to use: Sie verfügen über genügend saubere gelabelte Daten und brauchen eine verlässliche Klassifikation mit menschlicher Aufsicht für Grenzfälle.
Watch out: Datenlecks zwischen Trainings- und Testmenge durch ähnliche Beispiele verderben die Leistungsschätzungen; teilen Sie nach Kunde oder Zeit auf, nicht zufällig.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

👨‍🏫

Überwachtes Lernen für Agenten(SLA)

Anpassung einer Agentenkomponente anhand gelabelter Eingabe-Ausgabe-Beispiele mit expliziter Validierung und Fallback-Verhalten

Komplexität: mediumLernen und Anpassung

In 30 seconds

What: Trainiert eine Agentenkomponente auf gelabelten Beispielen mit Schutzmaßnahmen gegen Datenlecks und leitet unsichere Fälle anschließend zur menschlichen Prüfung weiter.
When to use: Sie verfügen über genügend saubere gelabelte Daten und brauchen eine verlässliche Klassifikation mit menschlicher Aufsicht für Grenzfälle.
Watch out: Datenlecks zwischen Trainings- und Testmenge durch ähnliche Beispiele verderben die Leistungsschätzungen; teilen Sie nach Kunde oder Zeit auf, nicht zufällig.

30-Sekunden-Überblick

Muster: Vortrainierte Modelle durch überwachtes Training auf gelabelten Daten der Zieldomäne an bestimmte Aufgaben anpassen

Warum: Nutzt vorhandenes Modellwissen und spezialisiert es zugleich auf Zielaufgaben, mit hoher Leistung bei vertretbaren Trainingskosten

Kernerkenntnis: Transfer Learning aus vortrainierten Modellen in Verbindung mit aufgabenspezifischer Supervision bietet die optimale Balance aus Generalisierung und Spezialisierung

Schnelle Umsetzung

1Sammeln:Aufgabenspezifische gelabelte Trainingsbeispiele zusammentragen

2Vorverarbeiten:Daten für Zieldomäne und Aufgabenanforderungen formatieren

3Feintunen:Vortrainiertes Modell mit überwachten Zielfunktionen anpassen

4Validieren:Leistung auf einem zurückgehaltenen Validierungsdatensatz prüfen

5Bereitstellen:Angepasstes Modell in der Zielaufgaben-Umgebung einsetzen

Example: pretrained_model + labeled_data → supervised_fine_tuning → task_adapted_model

Do’s und Don’ts

✅Hochwertige, repräsentative gelabelte Datensätze für die Zieldomäne verwenden

✅Saubere Train-/Validierungs-/Test-Splits einsetzen, um Overfitting zu vermeiden

✅Passende Regularisierungstechniken anwenden (Dropout, Weight Decay)

✅Verteilungsverschiebung zwischen Training und Betrieb überwachen

✅Transfer Learning von passenden vortrainierten Modellen nutzen

✅Early Stopping anhand der Validierungsleistung einsetzen

❌Auf unzureichenden oder verzerrten gelabelten Daten trainieren

❌Datenqualitätsprobleme und Label-Rauschen ignorieren

❌Ohne saubere Validierung auf die Trainingsdaten überanpassen

❌Anwenden, ohne Rechenbeschränkungen zu berücksichtigen

❌Hyperparameter-Tuning und Modellauswahl vernachlässigen

Wann einsetzen

Einsetzen, wenn

• Hochwertige gelabelte Daten für die Zielaufgabe sind verfügbar
• Die Aufgabe hat klare Eingabe-Ausgabe-Beziehungen
• Die Leistungsanforderungen rechtfertigen die Kosten überwachten Trainings
• Domänenspezifische Anpassung ausgehend von generischen Modellen ist nötig
• Bewertungsmetriken lassen sich klar definieren

Vermeiden, wenn

• Gelabelte Daten sind knapp, teuer oder minderwertig
• Die Aufgabe erfordert Echtzeitlernen aus minimalen Beispielen
• Unüberwachte oder selbstüberwachte Ansätze reichen aus
• Datenschutzauflagen verhindern die Datenerhebung
• Die Einsatzumgebung ändert sich häufig

Kennzahlen

Aufgabengenauigkeit

Leistung bei der Zielaufgabe vs. Baseline-Modelle

Trainingseffizienz

Konvergenzgeschwindigkeit und Rechenkosten

Generalisierung

Leistung auf ungesehenen Testdaten

Transferqualität

Erhalt des Wissens aus dem Vortraining

Dateneffizienz

Leistung pro gelabeltem Trainingsbeispiel

Robustheit

Leistung bei Verteilungsverschiebung

Wichtigste Anwendungsfälle

Domänenspezifische Klassifikation: allgemeine Klassifikatoren an Spezialdomänen anpassen (Medizin, Recht, Wissenschaft)

Individuelle Entitätserkennung: NER-Modelle für domänenspezifische Entitäten und Beziehungen trainieren

Aufgabenspezifische Generierung: Sprachmodelle für bestimmte Schreibstile oder Formate feintunen

Anpassung der Sentiment-Analyse: Sentiment-Modelle für bestimmte Branchen oder Kontexte zuschneiden

Spezialisierung der Codegenerierung: Codemodelle an bestimmte Programmiersprachen oder Frameworks anpassen

Frage-Antwort-Systeme: QA-Modelle auf domänenspezifischen Wissensbasen trainieren

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlagenpapiere

Fine-Tuning Pre-trained Language Models: Weight Initializations, Data Orders, and Early Stopping (Dodge et al., 2020)

How to Fine-Tune BERT for Text Classification? (Sun et al., 2019)

Universal Language Model Fine-tuning for Text Classification (Howard & Ruder, 2018)

Attention Is All You Need (Vaswani et al., 2017)

Transfer Learning und Vortraining

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2018)

Language Models are Few-Shot Learners (Brown et al., 2020)

T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al., 2019)

RoBERTa: A Robustly Optimized BERT Pretraining Approach (Liu et al., 2019)

Feintuning-Methoden

LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)

Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)

The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al., 2021)

AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning (Zhang et al., 2023)

Techniken zur Domänenanpassung

Domain-Adversarial Training of Neural Networks (Ganin et al., 2016)

Deep Domain Confusion: Maximizing for Domain Invariance (Tzeng et al., 2014)

Unsupervised Domain Adaptation by Backpropagation (Ganin & Lempitsky, 2015)

AdaBound: Adaptive Gradient Methods with Bound for Domain Adaptation (Luo et al., 2019)

Aktuelle Fortschritte (2023-2024)

QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023)

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention (Zhang et al., 2023)

Instruction Tuning for Large Language Models: A Survey (Zhang et al., 2023)

DoRA: Weight-Decomposed Low-Rank Adaptation (Liu et al., 2024)

Dateneffizienz und Few-Shot-Lernen

Few-Shot Learning with Language Models (Brown et al., 2020)

Making Pre-trained Language Models Better Few-shot Learners (Gao et al., 2021)

What Makes Good In-Context Examples for GPT-3? (Liu et al., 2021)

SetFit: Efficient Few-Shot Learning Without Prompts (Tunstall et al., 2022)

Evaluation und Benchmarking

GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding (Wang et al., 2018)

SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems (Wang et al., 2019)

Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models (Srivastava et al., 2022)

HELM: Holistic Evaluation of Language Models (Liang et al., 2022)

Implementierungsressourcen

Hugging Face Transformers - Feintuning-Tutorial

PEFT: Bibliothek für parametereffizientes Feintuning

LoRA-Implementierung und Best Practices

Adapter Hub: Repository vortrainierter Adapter

Trainings-Frameworks und Werkzeuge

PyTorch Lightning: vereinfachtes Trainings-Framework

Accelerate: Bibliothek für verteiltes Training

DeepSpeed: Optimierungsbibliothek für große Modelle

FairScale: PyTorch-Erweiterungen für die Forschung

Domänenspezifische Anwendungen

BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining (Lee et al., 2020)

FinBERT: Financial Sentiment Analysis (Araci, 2019)

LEGAL-BERT: The Muppets Straight out of Law School (Chalkidis et al., 2020)

CodeBERT: A Pre-Trained Model for Programming Languages (Feng et al., 2020)

Produktivbereitstellung

Modelloptimierung für die Produktion: ONNX und TensorRT

TorchServe: Framework zum Ausliefern von PyTorch-Modellen

MLflow: Verwaltung des Machine-Learning-Lebenszyklus

Weights & Biases: Experiment-Tracking und Modellverwaltung

Best Practices und Leitlinien

Best Practices für Feintuning (Google AI)

Effizientes Training großer Sprachmodelle (OpenAI)

Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models (Ding et al., 2022)

Loading technique guide…