正在加载模式…
🌙
空闲时计算(STC)
利用用户交互之间的空闲时间进行后台推理，而不是等待下一次查询。智能体重新组织并压缩记忆、预先计算可能需要的推理结果，并对预期的问题提前作答，从而将工作从对延迟敏感的关键路径上移走。到推理时答案已基本就绪，从而降低测试时计算量和延迟。
复杂度: medium资源感知优化
30秒速览
- 是什么
- 在用户交互之间的空闲时段执行推理，预先计算答案并重组记忆，从而在查询到来时降低延迟。
- 何时使用
- 上下文庞大且稳定、用户交互零散，同时存在可用的后台算力，且查询模式在一定程度上可预测。
- 注意
- 如果在空闲计算与实际查询之间上下文发生变化，预先算好的答案会过时或出错，既浪费算力也损耗用户信任。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
空闲时计算: 概览
利用用户交互之间的空闲时间进行后台推理，而不是等待下一次查询。智能体重新组织并压缩记忆、预先计算可能需要的推理结果，并对预期的问题提前作答，从而将工作从对延迟敏感的关键路径上移走。到推理时答案已基本就绪，从而降低测试时计算量和延迟。
- Background reasoning during idle windows
- Memory reorganization and compression
- Precomputed inferences over stored context
- Anticipated-query pre-answering
- Cost amortized across future queries
- Latency shifted off the critical path
The Agent Architect
每周一个模式、一个权衡、一个生产事故案例。为构建智能体系统的人准备的每周简报。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
由本目录背后的工程师执行
为你的智能体架构做一次评审
本页讲的是一个模式。真实系统会同时跑几十个，而多数故障恰恰出在它们的衔接处。我们按本目录的 288 个模式评审你的整体设计：架构、可靠性、评测与成本，每一条结论都对应到能修复它的模式。
€750（原价 €1,500），一周交付，书面报告加讲解通话，9月30日前