世界モデルシミュレーションによるプランニング(WMSP)

世界モデルシミュレーションによるプランニング: 概要

エージェントは、各候補アクションの次の状態と結果を予測する世界モデルを保持する（あるいは LLM 自体を世界モデルとして用いる）とともに、実環境で何かを実行する前に先読みのロールアウト（「行動する前に想像する」）を走らせてアクションを評価・選択します。これはモデルベース強化学習を言語エージェントへ拡張したものであり、アクションが不可逆で、稼働中のウェブサイトや GUI 上で後戻りが不可能な場面で最も重要になります。複数の戦略的な未来を、行動と結果のシミュレーターなしで推論する scenario-planning とは異なり、また、シミュレートされた環境状態ではなく推論トレースを探索する reflective-mcts とも異なります。

• •LLM or learned model simulates the outcome of each candidate action
• •Look-ahead rollouts score actions before any real execution
• •Avoids irreversible mistakes on live web and GUI environments
• •Value function or scorer ranks the simulated end states
• •More efficient than tree search that cannot backtrack a live action
• •Self-evolving variants update the world model from prediction errors