Loading...
Спекулятивное и параллельное выполнение инструментов(STE)
Предсказывает наиболее вероятный следующий вызов инструмента по повторяющимся траекториям агента и выполняет его спекулятивно, пока LLM ещё генерирует ответ, изолируя спекулятивный результат до тех пор, пока модель не подтвердит вызов, и отбрасывая его при ошибочном предсказании. Сюда же входит запуск извлечения данных в середине потокового пользовательского хода и возврат частичных или потоковых результатов работы инструментов. В отличие от async-await, fork-join, scatter-gather и map-reduce, которые распределяют уже принятые и заведомо независимые вызовы, новизна здесь в том, чтобы действовать по неподтверждённому предсказанному вызову, благодаря чему задержка инструмента перекрывается с генерацией, а не следует за ней.
In 30 seconds
- What
- Предсказывает следующий вызов инструмента по прошлым паттернам агента и выполняет его спекулятивно, пока LLM ещё генерирует ответ, удерживая результат в изоляции до подтверждения вызова моделью.
- When to use
- Чувствительные к задержке сценарии, где одна и та же последовательность инструментов предсказуемо повторяется, а время их выполнения определяет основную часть задержки ответа.
- Watch out
- Ошибочные предсказания тратят вычисления и могут вызвать неочевидные несогласованности состояния, если спекулятивные побочные эффекты просачиваются в подтверждённый путь выполнения.
Loading technique guide…