Планирование через симуляцию модели мира(WMSP)

Планирование через симуляцию модели мира: Обзор

Агент поддерживает модель мира (или использует в этом качестве сам LLM), которая предсказывает следующее состояние и последствие каждого возможного действия, а затем прогоняет упреждающие развёртывания («представить, прежде чем действовать»), чтобы оценить и выбрать действие до того, как что-либо будет выполнено в реальной среде. Это распространяет обучение с подкреплением на основе модели на языковых агентов и особенно важно там, где действия необратимы, а откат на работающем сайте или в GUI невозможен. В отличие от scenario-planning, который рассуждает о нескольких стратегических вариантах будущего без симулятора «действие-последствие», и от reflective-mcts, который ведёт поиск по трассам рассуждений, а не по симулированным состояниям среды.

• •LLM or learned model simulates the outcome of each candidate action
• •Look-ahead rollouts score actions before any real execution
• •Avoids irreversible mistakes on live web and GUI environments
• •Value function or scorer ranks the simulated end states
• •More efficient than tree search that cannot backtrack a live action
• •Self-evolving variants update the world model from prediction errors