Loading...

🎯

Bestärkendes Lernen aus menschlichem Feedback(RLHF)

Feintuning einer Policy mittels bestärkendem Lernen gegen ein Belohnungsmodell, das aus menschlichen Präferenzurteilen gelernt wurde

Komplexität: highLernen und Anpassung

In 30 seconds

What: Trainiert ein Reward-Modell aus menschlichen Präferenzvergleichen und optimiert dann das Agentenverhalten gegen dieses Modell, wobei die Abweichung von der Ausgangsbasis begrenzt wird.
When to use: Wenn Agentenausgaben auf feinsinnige menschliche Werte ausgerichtet werden sollen, einfache Metriken versagen und Sie sich umfangreiche menschliche Annotation und Rechenleistung leisten können.
Watch out: Das Reward-Modell übernimmt die Verzerrungen der Prüfer und deckt Randfälle schlecht ab; der Agent nutzt die Lücken des Modells aus, statt sich wirklich zu verbessern, was teure Überwachung erfordert.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

🎯

Bestärkendes Lernen aus menschlichem Feedback(RLHF)

Feintuning einer Policy mittels bestärkendem Lernen gegen ein Belohnungsmodell, das aus menschlichen Präferenzurteilen gelernt wurde

Komplexität: highLernen und Anpassung

In 30 seconds

What: Trainiert ein Reward-Modell aus menschlichen Präferenzvergleichen und optimiert dann das Agentenverhalten gegen dieses Modell, wobei die Abweichung von der Ausgangsbasis begrenzt wird.
When to use: Wenn Agentenausgaben auf feinsinnige menschliche Werte ausgerichtet werden sollen, einfache Metriken versagen und Sie sich umfangreiche menschliche Annotation und Rechenleistung leisten können.
Watch out: Das Reward-Modell übernimmt die Verzerrungen der Prüfer und deckt Randfälle schlecht ab; der Agent nutzt die Lücken des Modells aus, statt sich wirklich zu verbessern, was teure Überwachung erfordert.

30-Sekunden-Überblick

Muster: Dreiphasiges Training: SFT → Reward-Modell → PPO-Optimierung mit Ausrichtung an menschlichen Präferenzen

Warum: Richtet KI-Verhalten an menschlichen Werten aus, verbessert Sicherheit und Nützlichkeit und reduziert schädliche Ausgaben

Kernerkenntnis: Menschliche Präferenzen > Reward-Modell > Policy-Optimierung ergibt einen skalierbaren Alignment-Mechanismus

Schnelle Umsetzung

1SFT:Überwachtes Fine-Tuning auf Demonstrationen

2Sammeln:Vergleiche menschlicher Präferenzen

3RM trainieren:Reward-Modell auf Präferenzen

4PPO:Policy-Optimierung mit RM-Belohnungen

5Evaluieren:Gewinnraten bei menschlichen Präferenzen

Example: base_model → sft_model → preference_data → reward_model → aligned_model

Do’s und Don’ts

✅Vielfältige, hochwertige menschliche Präferenzdaten verwenden

✅KL-Regularisierung anwenden, um Policy-Drift zu verhindern

✅Reward Hacking und Effekte des Goodhart'schen Gesetzes überwachen

✅Mehrere Bewertungsmetriken über Reward-Scores hinaus nutzen

✅Hyperparameter für PPO sorgfältig abstimmen

✅Korrelation des Reward-Modells mit menschlichen Urteilen validieren

❌Validierung des Reward-Modells auf Holdout-Daten überspringen

❌Verzerrte oder minderwertige Präferenzannotationen verwenden

❌Verteilungsverschiebung im Betrieb ignorieren

❌Ausschließlich auf Reward-Modell-Scores optimieren

❌Instabiles RL-Training ohne Sicherheitsmaßnahmen fahren

Wann einsetzen

Einsetzen, wenn

• Ausrichtung an menschlichen Präferenzen ist entscheidend
• Anforderungen an Sicherheit und Hilfsbereitschaft
• Komplexe subjektive Qualitätsurteile
• Großflächiger Einsatz mit Nutzerinteraktion
• Bedarf an steuerbarem KI-Verhalten

Vermeiden, wenn

• Einfache objektive Aufgaben mit klaren Metriken
• Begrenztes Budget für menschliche Annotation
• Anforderungen an Echtzeit-Inferenz
• Aufgaben mit klar definierter Ground Truth
• Kleine oder rein forschungsbezogene Anwendungen

Kennzahlen

Gewinnrate nach menschlicher Präferenz

% Präferenz gegenüber der Baseline

Genauigkeit des Reward-Modells

Übereinstimmung mit menschlichen Labels

KL-Divergenz

Policy-Drift gegenüber dem Referenzmodell

Hilfsbereitschafts-Score

Qualität der Aufgabenerledigung

Unschädlichkeitsrate

% sicherer Antworten

Stabilität des PPO-Trainings

Konvergenz der Reward-Kurve

Wichtigste Anwendungsfälle

Konversations-KI: Chatbots auf hilfreiche, harmlose und ehrliche Antworten ausrichten

Content-Erstellung: kreatives Schreiben an menschlichen Präferenzen ausrichten

Code-Assistenten: Codequalität und Sicherheitsempfehlungen verbessern

Zusammenfassung: Zusammenfassungen erzeugen, die menschlichen Qualitätsurteilen entsprechen

Question Answering: präzise, gut formatierte Antworten liefern

Kreativwerkzeuge: KI-Kunst- und Musikgenerierung an ästhetischen Präferenzen ausrichten

Reinforcement Learning from Human Feedback

Interactive RLHF training pipeline with human preferences

RLHF Pipeline

Generation

Feedback

Training

Evaluation

Model Version: v1 • Training Steps: 0

Current Example

Waiting for generation...

Policy Metrics

Average Reward0.250

KL Divergence0.0150

Human Alignment45.0%

Response Quality52.0%

Reward Signals

ppo

-0.200

reward_model

+0.700

human

+0.300

Human Reward Model PPO

Training History

No training examples yet

RLHF Algorithm Overview

Core Process: Generate multiple responses → Collect human preferences → Train reward model → Optimize policy with PPO while maintaining KL constraint.

Key Components: Supervised fine-tuning (SFT), reward modeling from preferences, proximal policy optimization (PPO) with KL penalty.

Human Feedback: Pairwise comparisons, rankings, or direct ratings that teach the model human values and preferences.

Benefits: Aligns model behavior with human values, improves helpfulness and safety, reduces harmful outputs.

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlegende Arbeiten

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Learning to summarize from human feedback (Stiennon et al., 2020)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Proximal Policy Optimization Algorithms (Schulman et al., 2017)

Aktuelle Fortschritte (2023-2024)

RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (Bai et al., 2023)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)

Statistical Rejection Sampling Improves Preference Optimization (Liu et al., 2024)

Secrets of RLHF in Large Language Models (Zheng et al., 2024)

Implementierungsressourcen

Hugging Face TRL Library - RLHF-Implementierung

OpenAI-Leitfaden für RLHF-Training

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

DeepSpeed Chat - Framework für RLHF-Training

Anwendungen in der Industrie

ChatGPT Technical Report (OpenAI, 2023)

LLaMA 2: Open Foundation and Fine-Tuned Chat Models (Touvron et al., 2023)

Ankündigung von Claude 2 (Anthropic, 2023)

Improving alignment of dialogue agents via targeted human judgements (DeepMind, 2022)

Evaluierung und Sicherheit

Red Teaming Language Models to Reduce Harms (Ganguli et al., 2022)

Measuring Progress on Scalable Oversight for Large Language Models (Bowman et al., 2022)

AI Alignment Forum - Diskussion zu RLHF

Datensätze und Benchmarks

Anthropic HH-RLHF-Datensatz

OpenAI-Datensatz menschlicher Präferenzen

Stanford Human Preferences Dataset (SHP)

UltraFeedback: großskaliger Präferenzdatensatz

Tools und Frameworks

Transformers Reinforcement Learning (TRL)

OpenRL: Framework für verteiltes Reinforcement Learning

RLHF-Implementierung in JAX

RLHF-Training mit DeepSpeed

Community und Diskussion

Discord der RLHF-Community

Alignment Research Center

ML Safety Newsletter - RLHF-Updates

Loading technique guide…