语义缓存(SCA)

以嵌入相似度而非精确字符串匹配作为键来缓存 LLM 或智能体的响应，使语义等价的查询能够复用已存储的答案。相似度阈值决定是否命中，新鲜度 TTL 限制过期程度，失效策略在源数据变化时清除条目。这可在高流量场景下降低成本和延迟，并且区别于提示前缀缓存或 KV 缓存。