候補生成、探索、検証、または改良のために、推論時の計算リソースを追加で割り当てる手法
Loading technique guide…
パターン: 推論時に追加の計算を割り当て、複数回の試行と検証によって性能を高める
理由: 複雑なタスクでの精度向上、柔軟な計算配分、再学習なしでの性能スケーリングを可能にする
重要なポイント: 推論タスクでは、推論時の計算量を増やすことで、より大きなモデルや追加の学習データの代わりになりうる
厳選された資料で理解を深めましょう
Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)
Complexity-Based Prompting for Multi-Step Reasoning (Zhou et al., 2022)
Least-to-Most Prompting Enables Complex Reasoning (Zhou et al., 2022)
Universal Self-Consistency for Large Language Model Generation (Chen et al., 2023)
CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models (Wang et al., 2021)
Competition-Level Code Generation with AlphaCode (Li et al., 2022)
Code as Policies: Language Model Programs for Embodied Control (Liang et al., 2022)
Self-Debugging: Teaching Language Models to Debug Programs (Chen et al., 2023)