Loading...

⚡

Skalierung zur Testzeit(TTS)

Zuweisung zusätzlicher Rechenleistung zur Inferenzzeit für Kandidatengenerierung, Suche, Verifikation oder Verfeinerung

Komplexität: highLernen und Anpassung

In 30 seconds

What: Erzeugt zur Inferenzzeit mehrere Lösungskandidaten und ordnet oder filtert sie mit Prüfern, bevor das beste Ergebnis zurückgegeben wird.
When to use: Bei folgenreichen Ausgaben, bei denen Qualität wichtiger ist als Latenz und Sie sich mehrere Durchläufe leisten können, um bessere Antworten zu finden.
Watch out: Die Rechenkosten vervielfachen sich mit der Zahl der Kandidaten; der Prüfaufwand kann die Erzeugungskosten übersteigen, wenn Prüfer teuer oder schlecht zugeschnitten sind.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

⚡

Skalierung zur Testzeit(TTS)

Zuweisung zusätzlicher Rechenleistung zur Inferenzzeit für Kandidatengenerierung, Suche, Verifikation oder Verfeinerung

Komplexität: highLernen und Anpassung

In 30 seconds

What: Erzeugt zur Inferenzzeit mehrere Lösungskandidaten und ordnet oder filtert sie mit Prüfern, bevor das beste Ergebnis zurückgegeben wird.
When to use: Bei folgenreichen Ausgaben, bei denen Qualität wichtiger ist als Latenz und Sie sich mehrere Durchläufe leisten können, um bessere Antworten zu finden.
Watch out: Die Rechenkosten vervielfachen sich mit der Zahl der Kandidaten; der Prüfaufwand kann die Erzeugungskosten übersteigen, wenn Prüfer teuer oder schlecht zugeschnitten sind.

30-Sekunden-Überblick

Muster: Zur Inferenzzeit zusätzliche Rechenleistung einsetzen, um über mehrere Versuche und Verifikation bessere Ergebnisse zu erzielen

Warum: Ermöglicht höhere Genauigkeit bei komplexen Aufgaben, flexible Rechenzuteilung und Leistungssteigerung ohne erneutes Training

Kernerkenntnis: Bei Denkaufgaben kann mehr Rechenleistung zur Inferenzzeit größere Modelle oder mehr Trainingsdaten ersetzen

Schnelle Umsetzung

1Generieren:Mehrere Denkpfade oder Lösungen erzeugen

2Verifizieren:Verifikationsmodell oder Selbstkonsistenzprüfungen nutzen

3Ranken:Lösungen nach Qualität/Konfidenz bewerten und ordnen

4Auswählen:Beste Lösung wählen oder Top-Kandidaten aggregieren

5Skalieren:Rechenbudget für bessere Leistung erhöhen

Example: query → multiple_attempts → verification/ranking → best_solution + increased_compute

Do’s und Don’ts

✅Prozessbasierte Verifikation der reinen Ergebnisbewertung vorziehen

✅Mehrheitsentscheid und Selbstkonsistenzprüfungen einbauen

✅Rechenzuteilung an der Problemschwierigkeit ausrichten

✅Suchalgorithmen und baumbasiertes Reasoning einsetzen

✅Zielkonflikt zwischen Latenz und Genauigkeit genau beobachten

✅Early Stopping bei zuversichtlichen Lösungen umsetzen

❌Allen Problemen unabhängig von der Schwierigkeit gleich viel Rechenleistung geben

❌Verifikationsqualität ignorieren und einfach mehr Samples erzeugen

❌Test-Time-Scaling ohne geeignete Evaluationsrahmen einsetzen

❌Rechenleistung erhöhen, ohne Inferenzkostenbudgets zu beachten

❌Nur auf Quantität setzen, ohne die Argumentationsqualität zu verbessern

Wann einsetzen

Einsetzen, wenn

• Komplexe Denkaufgaben, die mehrere Lösungswege erfordern
• Entscheidungen mit hohem Einsatz, bei denen Genauigkeit vor Geschwindigkeit geht
• Probleme, bei denen Verifizieren leichter ist als Generieren
• Aufgaben mit klaren objektiven Bewertungskriterien
• Anwendungen mit flexiblem Inferenzzeitbudget

Vermeiden, wenn

• Einfache Aufgaben mit unkomplizierten Lösungen
• Echtzeitanwendungen mit strengen Latenzanforderungen
• Probleme ohne verlässliche Verifikationsmethoden
• Kostensensible Anwendungen mit knappem Budget
• Aufgaben, bei denen der erste Versuch meist genügt

Kennzahlen

Accuracy@K

Beste Leistung unter K Versuchen

Recheneffizienz

Leistungsgewinn pro Recheneinheit

Verifikationsgenauigkeit

Qualität der Lösungsrangfolge/-auswahl

Latenzskalierung

Inferenzzeit im Verhältnis zur Rechenzuteilung

Pass@K-Rate

Erfolgsquote innerhalb von K Versuchen

Kosten-Leistungs-Verhältnis

Genauigkeitsgewinn pro ausgegebenem Dollar

Wichtigste Anwendungsfälle

Mathematisches Schließen: mehrere Lösungswege für komplexe Beweise und Aufgaben

Codegenerierung: mehrere Implementierungen erzeugen und prüfen, um optimale Lösungen zu finden

Wissenschaftliche Entdeckung: mehrere Hypothesen und Versuchsdesigns erkunden

Strategische Planung: mehrere Szenarien und Entscheidungspfade bewerten

Kreative Problemlösung: vielfältige Lösungen erzeugen und die vielversprechendsten Ansätze wählen

Wettbewerbsprogrammierung: systematische Lösungssuche mit Verifikation

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlegende Arbeiten

Training Verifiers to Solve Math Word Problems (Cobbe et al., 2021)

Let's Verify Step by Step (Lightman et al., 2023)

Scaling Laws for Reward Model Overoptimization (Gao et al., 2022)

Self-Consistency Improves Chain of Thought Reasoning (Wang et al., 2022)

Methoden des Test-Time-Scaling

Scaling Laws for Neural Language Models (Kaplan et al., 2020)

Training Compute-Optimal Large Language Models (Hoffmann et al., 2022)

Large Language Models Can Self-Improve (Huang et al., 2022)

STaR: Bootstrapping Reasoning With Reasoning (Zelikman et al., 2022)

Verifikation und Prozessüberwachung

Process Supervision for Reliable Reasoning (OpenAI, 2023)

Let's Verify Step by Step - Process vs Outcome Supervision (OpenAI, 2023)

Training Verifiers to Solve Math Word Problems (Cobbe et al., 2021)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Suche und baumbasiertes Reasoning

Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023)

Graph of Thoughts: Solving Elaborate Problems with Large Language Models (Besta et al., 2023)

AlphaCode: Competition-Level Code Generation with Search (Li et al., 2022)

Selbstkonsistenz und Mehrheitsentscheid

Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)

Complexity-Based Prompting for Multi-Step Reasoning (Zhou et al., 2022)

Least-to-Most Prompting Enables Complex Reasoning (Zhou et al., 2022)

Universal Self-Consistency for Large Language Model Generation (Chen et al., 2023)

Aktuelle Fortschritte (2023-2024)

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking (Zelikman et al., 2024)

Mathematisches und wissenschaftliches Schließen

Solving Quantitative Reasoning Problems with Language Models (Lewkowycz et al., 2022)

MATH: Measuring Mathematical Problem Solving (Hendrycks et al., 2021)

FunSearch: Making New Discoveries in Mathematical Sciences (Romera-Paredes et al., 2023)

Codegenerierung und Programmierung

CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models (Wang et al., 2021)

Competition-Level Code Generation with AlphaCode (Li et al., 2022)

Code as Policies: Language Model Programs for Embodied Control (Liang et al., 2022)

Self-Debugging: Teaching Language Models to Debug Programs (Chen et al., 2023)

Implementierungs-Frameworks

OpenAI-Implementierung der Prozessüberwachung

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Hugging Face Transformers - Generierungsstrategien

Implementierung von Tree of Thoughts

Evaluierung und Benchmarks

GSM8K: Datensatz mit Mathe-Textaufgaben der Grundschule

MATH-Datensatz: Mathematikaufgaben aus Wettbewerben

HumanEval: handgeschriebene Evaluation für Codegenerierung

MMLU: Measuring Massive Multitask Language Understanding

Werkzeuge und Bibliotheken

LangChain: Generierungsstrategien zur Testzeit

Guidance: Framework für steuerbare Generierung

vLLM: Inferenz mit hohem Durchsatz und geringem Speicherbedarf

DeepSpeed: verteiltes Training und Inferenz

Forschungsgemeinschaften

OpenAI Research - Reasoning und Verifikation

Anthropic Research - Constitutional AI und Sicherheit

DeepMind - Forschung zum mathematischen Schließen

AI2 Allen Institute - Reasoning-Benchmarks

Loading technique guide…