Loading...

⚡

Mise à l'échelle au moment du test(TTS)

Attribution de ressources de calcul supplémentaires au moment de l'inférence pour la génération de candidats, la recherche, la vérification ou l'affinement

Complexité: highApprentissage et adaptation

In 30 seconds

What: Génère plusieurs solutions candidates au moment de l'inférence, puis les classe ou les filtre à l'aide de vérificateurs avant de renvoyer le meilleur résultat.
When to use: Pour des sorties à fort enjeu où la qualité prime sur la latence et où vous pouvez vous permettre plusieurs passes d'inférence pour trouver de meilleures réponses.
Watch out: Le coût de calcul est multiplié par le nombre de candidats, et la vérification peut coûter plus cher que la génération si les vérificateurs sont lourds ou mal ciblés.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

⚡

Mise à l'échelle au moment du test(TTS)

Attribution de ressources de calcul supplémentaires au moment de l'inférence pour la génération de candidats, la recherche, la vérification ou l'affinement

Complexité: highApprentissage et adaptation

In 30 seconds

What: Génère plusieurs solutions candidates au moment de l'inférence, puis les classe ou les filtre à l'aide de vérificateurs avant de renvoyer le meilleur résultat.
When to use: Pour des sorties à fort enjeu où la qualité prime sur la latence et où vous pouvez vous permettre plusieurs passes d'inférence pour trouver de meilleures réponses.
Watch out: Le coût de calcul est multiplié par le nombre de candidats, et la vérification peut coûter plus cher que la génération si les vérificateurs sont lourds ou mal ciblés.

Aperçu en 30 secondes

Modèle : Allouer davantage de calcul au moment de l'inférence pour améliorer les performances via plusieurs tentatives et une vérification

Pourquoi : Améliore la précision sur les tâches complexes, permet une allocation de calcul flexible et fait progresser les performances sans réentraînement

Idée clé : Sur les tâches de raisonnement, davantage de calcul à l'inférence peut remplacer des modèles plus grands ou plus de données d'entraînement

Mise en œuvre rapide

1Générer:Créer plusieurs chemins de raisonnement ou solutions

2Vérifier:Utiliser un modèle de vérification ou des contrôles d'auto-cohérence

3Classer:Noter et classer les solutions selon la qualité/confiance

4Sélectionner:Choisir la meilleure solution ou agréger les meilleurs candidats

5Mettre à l'échelle:Augmenter le budget de calcul pour de meilleures performances

Example: query → multiple_attempts → verification/ranking → best_solution + increased_compute

À faire et à éviter

✅Privilégier la vérification du processus à l'évaluation du seul résultat

✅Mettre en place un vote majoritaire et des contrôles d'auto-cohérence

✅Adapter l'allocation de calcul à la difficulté du problème

✅Utiliser des algorithmes de recherche et un raisonnement arborescent

✅Surveiller de près le compromis entre latence et précision

✅Mettre en place un arrêt anticipé pour les solutions à forte confiance

❌Appliquer le même budget de calcul à tous les problèmes quelle que soit leur difficulté

❌Négliger la qualité de la vérification et se contenter de générer plus d'échantillons

❌Utiliser la mise à l'échelle au moment du test sans cadre d'évaluation adéquat

❌Augmenter le calcul sans tenir compte des budgets de coût d'inférence

❌Miser uniquement sur la quantité sans améliorer la qualité du raisonnement

Quand l’utiliser

À utiliser quand

• Tâches de raisonnement complexes nécessitant plusieurs chemins de solution
• Décisions à fort enjeu où la précision prime sur la rapidité
• Problèmes où vérifier est plus facile que générer
• Tâches avec des critères d'évaluation objectifs et clairs
• Applications disposant de budgets de temps d'inférence flexibles

À éviter quand

• Tâches simples aux solutions évidentes
• Applications temps réel aux exigences de latence strictes
• Problèmes sans méthode de vérification fiable
• Applications sensibles aux coûts avec des budgets serrés
• Tâches où la première tentative suffit généralement

Indicateurs clés

Accuracy@K

Meilleure performance parmi K tentatives

Efficacité de calcul

Gain de performance par unité de calcul

Précision de la vérification

Qualité du classement/de la sélection des solutions

Évolution de la latence

Temps d'inférence par rapport au calcul alloué

Taux Pass@K

Taux de réussite en K tentatives

Rapport coût/performance

Gain de précision par dollar dépensé

Principaux cas d’usage

Raisonnement mathématique : plusieurs voies de résolution pour les démonstrations et problèmes complexes

Génération de code : produire et vérifier plusieurs implémentations pour trouver la solution optimale

Découverte scientifique : explorer plusieurs hypothèses et plans d'expérience

Planification stratégique : évaluer plusieurs scénarios et chemins de décision

Résolution créative de problèmes : générer des solutions variées et retenir les approches les plus prometteuses

Programmation compétitive : exploration systématique des solutions avec vérification

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs

Training Verifiers to Solve Math Word Problems (Cobbe et al., 2021)

Let's Verify Step by Step (Lightman et al., 2023)

Scaling Laws for Reward Model Overoptimization (Gao et al., 2022)

Self-Consistency Improves Chain of Thought Reasoning (Wang et al., 2022)

Méthodes de mise à l'échelle au moment du test

Scaling Laws for Neural Language Models (Kaplan et al., 2020)

Training Compute-Optimal Large Language Models (Hoffmann et al., 2022)

Large Language Models Can Self-Improve (Huang et al., 2022)

STaR: Bootstrapping Reasoning With Reasoning (Zelikman et al., 2022)

Vérification et supervision du processus

Process Supervision for Reliable Reasoning (OpenAI, 2023)

Let's Verify Step by Step - Process vs Outcome Supervision (OpenAI, 2023)

Training Verifiers to Solve Math Word Problems (Cobbe et al., 2021)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Recherche et raisonnement arborescent

Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023)

Graph of Thoughts: Solving Elaborate Problems with Large Language Models (Besta et al., 2023)

AlphaCode: Competition-Level Code Generation with Search (Li et al., 2022)

Auto-cohérence et vote majoritaire

Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)

Complexity-Based Prompting for Multi-Step Reasoning (Zhou et al., 2022)

Least-to-Most Prompting Enables Complex Reasoning (Zhou et al., 2022)

Universal Self-Consistency for Large Language Model Generation (Chen et al., 2023)

Avancées récentes (2023-2024)

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking (Zelikman et al., 2024)

Raisonnement mathématique et scientifique

Solving Quantitative Reasoning Problems with Language Models (Lewkowycz et al., 2022)

MATH: Measuring Mathematical Problem Solving (Hendrycks et al., 2021)

FunSearch: Making New Discoveries in Mathematical Sciences (Romera-Paredes et al., 2023)

Génération de code et programmation

CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models (Wang et al., 2021)

Competition-Level Code Generation with AlphaCode (Li et al., 2022)

Code as Policies: Language Model Programs for Embodied Control (Liang et al., 2022)

Self-Debugging: Teaching Language Models to Debug Programs (Chen et al., 2023)

Frameworks de mise en œuvre

Implémentation de la supervision de processus par OpenAI

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Hugging Face Transformers - stratégies de génération

Implémentation de Tree of Thoughts

Évaluation et benchmarks

GSM8K : jeu de données de problèmes de maths de niveau primaire

Jeu de données MATH : problèmes de mathématiques de concours

HumanEval : évaluation écrite à la main pour la génération de code

MMLU: Measuring Massive Multitask Language Understanding

Outils et bibliothèques

LangChain : stratégies de génération au moment du test

Guidance : framework de génération contrôlable

vLLM : inférence à haut débit et économe en mémoire

DeepSpeed : entraînement et inférence distribués

Communautés de recherche

OpenAI Research - raisonnement et vérification

Anthropic Research - Constitutional AI et sûreté

DeepMind - recherche sur le raisonnement mathématique

AI2 Allen Institute - benchmarks de raisonnement

Loading technique guide…