Loading...
🌙
空闲时计算(STC)
利用用户交互之间的空闲时间进行后台推理,而不是等待下一次查询。智能体重新组织并压缩记忆、预先计算可能需要的推理结果,并对预期的问题提前作答,从而将工作从对延迟敏感的关键路径上移走。到推理时答案已基本就绪,从而降低测试时计算量和延迟。
复杂度: medium资源感知优化
In 30 seconds
- What
- 在用户交互之间的空闲时段执行推理,预先计算答案并重组记忆,从而在查询到来时降低延迟。
- When to use
- 上下文庞大且稳定、用户交互零散,同时存在可用的后台算力,且查询模式在一定程度上可预测。
- Watch out
- 如果在空闲计算与实际查询之间上下文发生变化,预先算好的答案会过时或出错,既浪费算力也损耗用户信任。
Loading technique guide…