Loading...

🎯

In-Context-Lernen(ICL)

Konditionierung eines Modells anhand von Anweisungen und Demonstrationen im aktuellen Kontext, ohne die Modellparameter zu aktualisieren

Komplexität: mediumLernen und Anpassung

In 30 seconds

What: Konditioniert ein Modell über Aufgabenanweisungen und Beispiele im Prompt, ohne die Modellgewichte zu ändern, um sein Verhalten bei neuen Eingaben zu steuern.
When to use: Aufgaben mit klaren, festen Kategorien oder Mustern, bei denen wenige beschriftete Beispiele dem Modell zuverlässig zeigen, was zu tun ist.
Watch out: Die Leistung bricht deutlich ein, wenn die Beispiele nicht zur Verteilung echter Eingaben passen oder das Modell falsch deutet, welche Merkmale zählen.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

🎯

In-Context-Lernen(ICL)

Konditionierung eines Modells anhand von Anweisungen und Demonstrationen im aktuellen Kontext, ohne die Modellparameter zu aktualisieren

Komplexität: mediumLernen und Anpassung

In 30 seconds

What: Konditioniert ein Modell über Aufgabenanweisungen und Beispiele im Prompt, ohne die Modellgewichte zu ändern, um sein Verhalten bei neuen Eingaben zu steuern.
When to use: Aufgaben mit klaren, festen Kategorien oder Mustern, bei denen wenige beschriftete Beispiele dem Modell zuverlässig zeigen, was zu tun ist.
Watch out: Die Leistung bricht deutlich ein, wenn die Beispiele nicht zur Verteilung echter Eingaben passen oder das Modell falsch deutet, welche Merkmale zählen.

30-Sekunden-Überblick

Muster: Aufgabenbeispiele im Prompt bereitstellen, damit das Modell ohne Parameteraktualisierung lernt

Warum: Ermöglicht schnelle Aufgabenanpassung, erfordert kein Training und nutzt die Mustererkennung des Modells für sofortige Leistung

Kernerkenntnis: Modelle können aus Demonstrationen im Kontext lernen und führen dabei während der Inferenz einen impliziten Gradientenabstieg durch

Schnelle Umsetzung

1Auswählen:Relevante Beispiele für den Aufgabenkontext wählen

2Formatieren:Beispiele als Input-Output-Paare strukturieren

3Prompt:Beispiele mit der Zielanfrage kombinieren

4Inferieren:Das Modell lernt das Muster aus den Beispielen

5Generieren:Gelerntes Muster auf neue Eingabe anwenden

Example: examples + query → model_inference → output

Do’s und Don’ts

✅Vielfältige, hochwertige und aufgabenrepräsentative Beispiele verwenden

✅Einheitliche Formatierung über alle Beispiele hinweg beibehalten

✅Beispiele nach Möglichkeit von einfach nach komplex ordnen

✅Randfälle und Grenzbedingungen einbeziehen

✅Mit unterschiedlichen Beispielanzahlen testen (1-shot bis few-shot)

✅Klare Trennzeichen zwischen den Beispielen verwenden

❌Widersprüchliche oder inkonsistente Beispiele verwenden

❌Den Kontext mit zu vielen Beispielen überladen

❌Verzerrte oder nicht repräsentative Beispiele verwenden

❌Verschiedene Aufgabentypen im selben Prompt mischen

❌Effekte von Beispielauswahl und -reihenfolge ignorieren

Wann einsetzen

Einsetzen, wenn

• Schnelle Anpassung an neue Aufgaben erforderlich
• Wenig oder keine Trainingsdaten verfügbar
• Die Aufgabe verlangt Demonstration statt Beschreibung
• Schnelles Prototyping und Experimentieren
• Das Modell muss komplexe Muster verstehen

Vermeiden, wenn

• Große Mengen an Trainingsdaten verfügbar
• Die Aufgabe erfordert umfangreiches Domänenwissen
• Die Kontextfenster-Beschränkungen sind gravierend
• Die Präzisionsanforderungen übersteigen die ICL-Fähigkeiten
• Gleichbleibende Leistung über Varianten hinweg erforderlich

Kennzahlen

Few-Shot-Genauigkeit

Leistung mit K Beispielen

Beispieleffizienz

Leistungsgewinn pro Beispiel

Kontextnutzung

Tokenverbrauch vs. Leistung

Aufgabentransfer

Generalisierung auf ungesehene Eingaben

Beispielsensitivität

Leistungsvarianz über verschiedene Beispielsets

Robustheit gegenüber der Reihenfolge

Stabilität über verschiedene Beispielreihenfolgen

Wichtigste Anwendungsfälle

Textklassifikation: Sentiment-Analyse, Themenkategorisierung mit gelabelten Beispielen

Datenextraktion: Named Entity Recognition, Informationsextraktion aus Dokumenten

Formatübersetzung: JSON zu XML, Transformation strukturierter Daten

Question Answering: domänenspezifisches QA mit Beispiel-Frage-Antwort-Paaren

Codegenerierung: Programmieraufgaben mit Input-Output-Codebeispielen

Kreatives Schreiben: Stiltransfer, Inhaltserzeugung anhand stilistischer Beispiele

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlagenarbeiten

Language Models are Few-Shot Learners (Brown et al., 2020)

Learning to Retrieve Prompts for In-Context Learning (Rubin et al., 2021)

What Makes Good In-Context Examples for GPT-3? (Liu et al., 2021)

Calibrate Before Use: Improving Few-Shot Performance (Zhao et al., 2021)

Theoretisches Verständnis (2022-2024)

Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent (Dai et al., 2022)

Transformers Learn In-Context by Gradient Descent (von Oswald et al., 2022)

In-context Learning and Induction Heads (Olsson et al., 2022)

What learning algorithm is in-context learning? Investigations with linear models (Akyürek et al., 2022)

Beispielauswahl und -optimierung

Learning To Retrieve Prompts for In-Context Learning (Rubin et al., 2021)

In-Context Example Selection with Influences (Nguyen & Wong, 2023)

Active Example Selection for In-Context Learning (Zhang et al., 2022)

Compositional Exemplars for In-context Learning (Ye et al., 2023)

Chain-of-Thought und Reasoning

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al., 2022)

Least-to-Most Prompting Enables Complex Reasoning in Large Language Models (Zhou et al., 2022)

Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)

Large Language Models are Zero-Shot Reasoners (Kojima et al., 2022)

Aktuelle Fortschritte (2023-2024)

In-Context Learning Creates Task Vectors (Hendel et al., 2023)

Many-Shot In-Context Learning (Agarwal et al., 2024)

In-Context Learning with Long Context (Bertsch et al., 2024)

Understanding In-Context Learning via Supportive Pretraining Data (Shin et al., 2024)

Multimodales In-Context-Learning

Flamingo: a Visual Language Model for Few-Shot Learning (Alayrac et al., 2022)

Multimodal Few-Shot Learning with Frozen Language Models (Tsimpoukelli et al., 2021)

GPT-4V(ision) System Card (OpenAI, 2023)

Visual In-Context Learning for Large Vision-Language Models (Yang et al., 2023)

Implementierungsressourcen

LangChain Few-Shot-Prompt-Templates

OpenAI Best Practices für Prompt Engineering

Anthropic Leitfaden zum Prompt Engineering

In-Context-Learning mit HuggingFace Transformers

Datensätze und Benchmarks

LAMA: LAnguage Model Analysis (Petroni et al., 2019)

BIG-bench: Beyond the Imitation Game Benchmark

HELM: Holistic Evaluation of Language Models

SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding

Tools und Bibliotheken

Guidance: eine Steuerungssprache für große Sprachmodelle

DSPy: Foundation-Modelle programmieren statt prompten

PromptSource: eine integrierte Entwicklungsumgebung für natürlichsprachliche Prompts

OpenPrompt: ein Open-Source-Framework für Prompt-Learning

Analyse und Evaluierung

Measuring and Narrowing the Compositionality Gap in Language Models (Press et al., 2022)

Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? (Min et al., 2022)

Ground-Truth Labels Matter: A Deeper Look into Input-Label Demonstrations (Yoo et al., 2022)

Fantastically Ordered Prompts and Where to Find Them (Lu et al., 2021)

Community und Diskussion

r/MachineLearning - Diskussionen zum In-Context-Learning

AI Alignment Forum - In-Context-Learning

EleutherAI Discord - Prompt-Engineering-Kanal

Prompt Engineering Discord Community

Loading technique guide…