Loading...
🌙
Вычисления в простое(STC)
Использование простоя между взаимодействиями с пользователем для фоновых рассуждений вместо ожидания следующего запроса. Агент реорганизует и сжимает память, заранее вычисляет вероятно необходимые выводы и заготавливает ответы на ожидаемые вопросы, перенося работу с критического по задержке пути. К моменту инференса ответ в основном готов, что снижает вычисления и задержку на этапе выполнения.
Сложность: mediumОптимизация с учётом ресурсов
In 30 seconds
- What
- Выполняет рассуждение и вывод в периоды простоя между обращениями пользователя, заранее вычисляя ответы и переупорядочивая память, чтобы снизить задержку при поступлении запроса.
- When to use
- Редкие обращения пользователя при большом и стабильном контексте, когда есть фоновые вычислительные мощности, а характер запросов отчасти предсказуем.
- Watch out
- Заранее вычисленные ответы устаревают или оказываются неверными, если контекст меняется между простоем и запросом, и это тратит и вычисления, и доверие пользователей.
Loading technique guide…