Loading...

⚡

Масштабирование во время вывода(TTS)

Выделение дополнительных вычислительных ресурсов на этапе вывода для генерации кандидатов, поиска, проверки или доработки

Сложность: highОбучение и адаптация

In 30 seconds

What: Порождает несколько вариантов решения на этапе вывода, затем ранжирует или отсеивает их с помощью верификаторов и возвращает лучший результат.
When to use: Для ответственных результатов, где качество важнее задержки и вы можете позволить себе несколько проходов ради лучшего ответа.
Watch out: Вычислительные затраты умножаются на число кандидатов, а расходы на проверку могут превысить стоимость генерации, если верификаторы дороги или плохо подобраны.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

⚡

Масштабирование во время вывода(TTS)

Сложность: highОбучение и адаптация

In 30 seconds

What: Порождает несколько вариантов решения на этапе вывода, затем ранжирует или отсеивает их с помощью верификаторов и возвращает лучший результат.
When to use: Для ответственных результатов, где качество важнее задержки и вы можете позволить себе несколько проходов ради лучшего ответа.
Watch out: Вычислительные затраты умножаются на число кандидатов, а расходы на проверку могут превысить стоимость генерации, если верификаторы дороги или плохо подобраны.

Обзор за 30 секунд

Паттерн: Выделять дополнительные вычисления на этапе вывода, повышая качество за счёт нескольких попыток и проверки

Почему: Повышает точность на сложных задачах, даёт гибкое распределение вычислений и рост качества без переобучения

Ключевая идея: В задачах рассуждения дополнительные вычисления во время вывода могут заменить более крупные модели или больше обучающих данных

Быстрая реализация

1Генерация:Создать несколько путей рассуждения или решений

2Проверка:Использовать модель проверки или проверки самосогласованности

3Ранжирование:Оценить и ранжировать решения по качеству/уверенности

4Выбор:Выбрать лучшее решение или объединить лучших кандидатов

5Масштабирование:Увеличить вычислительный бюджет ради лучших результатов

Example: query → multiple_attempts → verification/ranking → best_solution + increased_compute

Что делать и чего избегать

✅Используйте проверку процесса, а не только оценку результата

✅Реализуйте мажоритарное голосование и проверки самосогласованности

✅Распределяйте вычисления по сложности задачи

✅Применяйте алгоритмы поиска и древовидные рассуждения

✅Внимательно отслеживайте баланс задержки и точности

✅Реализуйте раннюю остановку для уверенных решений

❌Выделять одинаковые вычисления всем задачам независимо от сложности

❌Игнорировать качество проверки и просто генерировать больше выборок

❌Применять масштабирование во время вывода без нормальной системы оценки

❌Наращивать вычисления без учёта бюджета на инференс

❌Полагаться только на количество, не улучшая качество рассуждений

Когда использовать

Используйте, когда

• Сложные задачи рассуждения, требующие нескольких путей решения
• Решения с высокими ставками, где точность важнее скорости
• Задачи, где проверить проще, чем сгенерировать
• Задачи с чёткими объективными критериями оценки
• Приложения с гибким бюджетом времени вывода

Избегайте, когда

• Простые задачи с очевидными решениями
• Приложения реального времени со строгими требованиями к задержке
• Задачи без надёжных способов проверки
• Чувствительные к затратам приложения с ограниченным бюджетом
• Задачи, где обычно достаточно первой попытки

Ключевые метрики

Accuracy@K

Лучший результат среди K попыток

Вычислительная эффективность

Прирост качества на единицу вычислений

Точность проверки

Качество ранжирования/выбора решений

Масштабирование задержки

Время вывода в сравнении с выделенными вычислениями

Показатель Pass@K

Доля успеха в пределах K попыток

Соотношение цены и качества

Прирост точности на потраченный доллар

Основные сценарии использования

Математические рассуждения: несколько путей решения для сложных доказательств и задач

Генерация кода: создание и проверка нескольких реализаций для поиска оптимального решения

Научные открытия: изучение нескольких гипотез и планов экспериментов

Стратегическое планирование: оценка нескольких сценариев и путей решений

Творческое решение задач: генерация разнообразных решений и выбор самых перспективных

Спортивное программирование: систематический поиск решений с проверкой

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основополагающие статьи

Training Verifiers to Solve Math Word Problems (Cobbe et al., 2021)

Let's Verify Step by Step (Lightman et al., 2023)

Scaling Laws for Reward Model Overoptimization (Gao et al., 2022)

Self-Consistency Improves Chain of Thought Reasoning (Wang et al., 2022)

Методы масштабирования во время вывода

Scaling Laws for Neural Language Models (Kaplan et al., 2020)

Training Compute-Optimal Large Language Models (Hoffmann et al., 2022)

Large Language Models Can Self-Improve (Huang et al., 2022)

STaR: Bootstrapping Reasoning With Reasoning (Zelikman et al., 2022)

Проверка и надзор за процессом

Process Supervision for Reliable Reasoning (OpenAI, 2023)

Let's Verify Step by Step - Process vs Outcome Supervision (OpenAI, 2023)

Training Verifiers to Solve Math Word Problems (Cobbe et al., 2021)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Поиск и древовидные рассуждения

Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., 2023)

Graph of Thoughts: Solving Elaborate Problems with Large Language Models (Besta et al., 2023)

AlphaCode: Competition-Level Code Generation with Search (Li et al., 2022)

Самосогласованность и мажоритарное голосование

Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)

Complexity-Based Prompting for Multi-Step Reasoning (Zhou et al., 2022)

Least-to-Most Prompting Enables Complex Reasoning (Zhou et al., 2022)

Universal Self-Consistency for Large Language Model Generation (Chen et al., 2023)

Последние достижения (2023-2024)

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking (Zelikman et al., 2024)

Математические и научные рассуждения

Solving Quantitative Reasoning Problems with Language Models (Lewkowycz et al., 2022)

MATH: Measuring Mathematical Problem Solving (Hendrycks et al., 2021)

FunSearch: Making New Discoveries in Mathematical Sciences (Romera-Paredes et al., 2023)

Генерация кода и программирование

CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models (Wang et al., 2021)

Competition-Level Code Generation with AlphaCode (Li et al., 2022)

Code as Policies: Language Model Programs for Embodied Control (Liang et al., 2022)

Self-Debugging: Teaching Language Models to Debug Programs (Chen et al., 2023)

Фреймворки реализации

Реализация надзора за процессом от OpenAI

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Hugging Face Transformers - стратегии генерации

Реализация Tree of Thoughts

Оценка и бенчмарки

GSM8K: набор школьных текстовых задач по математике

Набор данных MATH: задачи математических олимпиад

HumanEval: написанный вручную набор для оценки генерации кода

MMLU: Measuring Massive Multitask Language Understanding

Инструменты и библиотеки

LangChain: стратегии генерации во время вывода

Guidance: фреймворк управляемой генерации

vLLM: высокопроизводительный и экономный по памяти инференс

DeepSpeed: распределённое обучение и инференс

Исследовательские сообщества

OpenAI Research - рассуждения и проверка

Anthropic Research - Constitutional AI и безопасность

DeepMind - исследования математических рассуждений