プロセス報酬モデルと検証器ガイド探索(PRM)

最終的な答えのみ（結果に基づく監督）ではなく、推論の各中間ステップを評価する報酬モデル（プロセスに基づく監督）を用いる。ステップごとのスコアは、best-of-N サンプリングや木探索の際に候補解をランク付けして枝刈りし、推論時の計算を最も有望な分岐やより難しい問題に集中させる。