资源感知优化

根据工作负载需求和性能要求，动态调整计算资源。

针对具体任务，基于成本与性能之间的权衡，智能地选择 AI 模型。

在保持性能的同时，优化 AI 推理以实现最小的能耗。

通过缓存、压缩和垃圾回收等策略，高效地管理内存使用。

通过预测性加载、缓存和请求优化，最大限度地缩短响应时间。

利用用户交互之间的空闲时间进行后台推理，而不是等待下一次查询。智能体重新组织并压缩记忆、预先计算可能需要的推理结果，并对预期的问题提前作答，从而将工作从对延迟敏感的关键路径上移走。到推理时答案已基本就绪，从而降低测试时计算量和延迟。

以嵌入相似度而非精确字符串匹配作为键来缓存 LLM 或智能体的响应，使语义等价的查询能够复用已存储的答案。相似度阈值决定是否命中，新鲜度 TTL 限制过期程度，失效策略在源数据变化时清除条目。这可在高流量场景下降低成本和延迟，并且区别于提示前缀缓存或 KV 缓存。

对令牌、金额、实际耗时和工具调用次数设定强制执行的按任务、按会话硬性预算，在每次调用之前进行检查，暂停或终止执行，而非事后的成本告警。相关机制包括：在下一次调用抵达服务提供方之前触发超预算停止的预检式预算检查、在失控循环时跳闸的令牌速率熔断器、终止无进展循环的循环检测器，以及委派式预算上限，即父智能体为子智能体授予其无法超出的支出上限。区别于 `cost-aware-model-selection`，后者通过路由到更便宜的模型来降低单位成本，但并不强制上限或终止支出。