Loading...

🔍

Unüberwachtes Lernen für Agenten(ULA)

Erlernen von Repräsentationen, Clustern oder Anomalie-Scores aus Daten ohne Aufgaben-Labels, gefolgt von einer Validierung im Fachbereich

Komplexität: highLernen und Anpassung

In 30 seconds

What: Lernt Muster aus unbeschrifteten Daten über Embeddings, Clustering oder Anomalieerkennung und lässt die Ergebnisse anschließend von Fachexperten validieren.
When to use: Sie haben Rohdaten ohne Labels und müssen Struktur entdecken, Nutzer segmentieren oder auffällige Fälle markieren, bevor Sie überwachte Verfahren einsetzen.
Watch out: Cluster und Anomaliewerte sind instabile Artefakte; bei der Validierung zeigt sich oft, dass sie weder den tatsächlichen Geschäftskategorien noch den realen Entscheidungsgrenzen entsprechen.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

🔍

Unüberwachtes Lernen für Agenten(ULA)

Erlernen von Repräsentationen, Clustern oder Anomalie-Scores aus Daten ohne Aufgaben-Labels, gefolgt von einer Validierung im Fachbereich

Komplexität: highLernen und Anpassung

In 30 seconds

What: Lernt Muster aus unbeschrifteten Daten über Embeddings, Clustering oder Anomalieerkennung und lässt die Ergebnisse anschließend von Fachexperten validieren.
When to use: Sie haben Rohdaten ohne Labels und müssen Struktur entdecken, Nutzer segmentieren oder auffällige Fälle markieren, bevor Sie überwachte Verfahren einsetzen.
Watch out: Cluster und Anomaliewerte sind instabile Artefakte; bei der Validierung zeigt sich oft, dass sie weder den tatsächlichen Geschäftskategorien noch den realen Entscheidungsgrenzen entsprechen.

30-Sekunden-Überblick

Muster: Modelle mithilfe selbstüberwachter Lernziele anhand ungelabelter Daten an neue Domänen anpassen

Warum: Nutzt reichlich vorhandene ungelabelte Daten, um domänenspezifische Muster ohne teure Annotation zu lernen

Kernerkenntnis: Selbstüberwachte Pretext-Aufgaben erzeugen Überwachungssignale aus der Datenstruktur und ermöglichen so wirksame Domänenanpassung

Schnelle Umsetzung

1Sammeln:Ungelabelte Daten der Zieldomäne zusammentragen

2Vorverarbeiten:Daten ohne Labels bereinigen und strukturieren

3Selbstüberwachen:Selbstüberwachte Lernziele anwenden

4Anpassen:Auf domänenspezifische Muster feintunen

5Bewerten:Anpassung über Proxy-Aufgaben oder Downstream-Leistung beurteilen

Example: pretrained_model + unlabeled_domain_data → self_supervised_objectives → adapted_model

Do’s und Don’ts

✅Vielfältige selbstüberwachte Ziele einsetzen (Masking, kontrastiv, generativ)

✅Domänenspezifische Strategien zur Datenaugmentierung einsetzen

✅Repräsentationsqualität über Probing-Aufgaben überwachen

✅Schrittweises Entfrieren und schichtweise Anpassung anwenden

✅Kontrastives Lernen für robuste Merkmalsextraktion nutzen

✅Auf Downstream-Aufgaben validieren, um den Anpassungserfolg zu messen

❌Datenqualität und Verteilungseigenschaften ignorieren

❌Für die Domäne ungeeignete selbstüberwachte Ziele verwenden

❌Ohne angemessene Regularisierung übertrainieren

❌Die Bewertung der gelernten Repräsentationen auslassen

❌Anwenden, ohne die domänenspezifischen Muster zu verstehen

Wann einsetzen

Einsetzen, wenn

• Große Mengen ungelabelter Domänendaten sind verfügbar
• Gelabelte Daten sind teuer oder gar nicht zu beschaffen
• Anpassung an neue Domänen mit anderen Verteilungen ist nötig
• Aus der Datenstruktur lassen sich selbstüberwachte Signale gewinnen
• Die Domäne weist reichhaltige inhärente Muster und Regelmäßigkeiten auf

Vermeiden, wenn

• Hochwertige gelabelte Daten stehen problemlos zur Verfügung
• Der Domäne fehlen klare selbstüberwachte Signale
• Die Rechenressourcen sind stark begrenzt
• Sofortiger Einsatz ohne Zeit für Anpassung
• Einfaches Transfer Learning reicht aus

Kennzahlen

Repräsentationsqualität

Leistung bei Probing-Aufgaben und linearer Evaluation

Score der Domänenanpassung

Verbesserung gegenüber der vortrainierten Baseline in der Zieldomäne

Selbstüberwachter Verlust

Konvergenz und Stabilität der unüberwachten Ziele

Downstream-Leistung

Aufgabenleistung nach der Anpassung

Transfereffizienz

Lerngeschwindigkeit bei Aufgaben der Zieldomäne

Robustheit

Leistung bei Domänenverschiebung und Rauschen

Wichtigste Anwendungsfälle

Domänenanpassung: Modelle ohne Labels an neue Branchen, Sprachen oder Spezialdomänen anpassen

Modalitätsübergreifendes Lernen: gemeinsame Repräsentationen für Text, Bilder und weitere Modalitäten lernen

Zeitliche Anpassung: Modelle an sich über die Zeit verändernde Datenverteilungen anpassen

Ressourcenarme Sprachen: Sprachmodelle an Sprachen mit wenigen gelabelten Daten anpassen

Analyse wissenschaftlicher Daten: Muster in spezialisierten wissenschaftlichen Datensätzen ohne Annotationen lernen

Datenschutzfreundliche Anpassung: Modelle anpassen, ohne auf sensible gelabelte Informationen zuzugreifen

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlagen des selbstüberwachten Lernens

Self-Supervised Learning: Generative or Contrastive (Liu et al., 2021)

A Simple Framework for Contrastive Learning of Visual Representations (Chen et al., 2020)

Momentum Contrast for Unsupervised Visual Representation Learning (He et al., 2020)

Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning (Grill et al., 2020)

Selbstüberwachung von Sprachmodellen

BERT: Pre-training of Deep Bidirectional Transformers (Devlin et al., 2018)

RoBERTa: A Robustly Optimized BERT Pretraining Approach (Liu et al., 2019)

DeBERTa: Decoding-enhanced BERT with Disentangled Attention (He et al., 2020)

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators (Clark et al., 2020)

Techniken zur Domänenanpassung

Domain-Adversarial Training of Neural Networks (Ganin et al., 2016)

Unsupervised Domain Adaptation by Backpropagation (Ganin & Lempitsky, 2015)

Deep CORAL: Correlation Alignment for Deep Domain Adaptation (Sun & Saenko, 2016)

Adversarial Discriminative Domain Adaptation (Tzeng et al., 2017)

Methoden des kontrastiven Lernens

SimCLR: A Simple Framework for Contrastive Learning (Chen et al., 2020)

SwAV: Unsupervised Learning of Visual Features by Contrasting Cluster Assignments (Caron et al., 2020)

SimCSE: Simple Contrastive Learning of Sentence Embeddings (Gao et al., 2021)

SupCon: Supervised Contrastive Learning (Khosla et al., 2020)

Masked Language Modeling

BERT: Pre-training of Deep Bidirectional Transformers (Devlin et al., 2018)

SpanBERT: Improving Pre-training by Representing and Predicting Spans (Joshi et al., 2020)

ERNIE: Enhanced Language Representation with Informative Entities (Zhang et al., 2019)

ALBERT: A Lite BERT for Self-supervised Learning (Lan et al., 2019)

Aktuelle Fortschritte (2023-2024)

MAE: Masked Autoencoders Are Scalable Vision Learners (He et al., 2022)

SimMIM: A Simple Framework for Masked Image Modeling (Xie et al., 2022)

BEiT: BERT Pre-Training of Image Transformers (Bao et al., 2021)

Data2vec: A General Framework for Self-supervised Learning (Baevski et al., 2022)

Multimodale Selbstüberwachung

CLIP: Learning Transferable Visual Representations from Natural Language Supervision (Radford et al., 2021)

ALIGN: Scaling Up Visual and Vision-Language Representation Learning (Jia et al., 2021)

Florence: A New Foundation Model for Computer Vision (Yuan et al., 2021)

DALLE-2: Hierarchical Text-Conditional Image Generation (Ramesh et al., 2022)

Domänenübergreifende Anpassung

Wasserstein Distance Guided Representation Learning for Domain Adaptation (Hoffman et al., 2018)

Deep Transfer Learning: A New Deep Learning Research Direction (Tan et al., 2018)

Implementierungs-Frameworks

PyTorch Self-Supervised Learning Library (PyTorch-SSL)

SimCLR-Implementierung in TensorFlow

Hugging Face Transformers - selbstüberwachte Modelle

Evaluation und Benchmarks

VISSL-Dokumentation zur Evaluation

SentEval: Evaluations-Toolkit für Satz-Embeddings

GLUE: General Language Understanding Evaluation

Benchmarks zur Domänenanpassung (Office-31, VisDA)

Werkzeuge und Bibliotheken

VISSL: selbstüberwachtes Lernen für Computer Vision

Lightly: Framework für selbstüberwachtes Lernen

Solo-learn: Bibliothek für selbstüberwachtes Lernen

TorchSSL: SSL-Implementierung für PyTorch

Produktivanwendungen

Google Research: SimCLR und darüber hinaus

OpenAI CLIP: multimodale Modelle im Produktiveinsatz

Loading technique guide…