Loading...

🧠

潜在循环思考(LRT)

在连续潜在空间内进行迭代推理,无需显式生成 token

复杂度: high推理技术

In 30 seconds

What: 通过展开共享的循环模块，在连续的潜在空间中迭代推理，直到最终解码前都不生成中间 token。
When to use: 需要深入探索解空间的复杂问题，且中间推理步骤无需人工检视或外部反馈。
Watch out: 潜在推理是不透明的：一旦最终答案出错，你无法查看、调试或引导中间步骤。

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic Design面向生产环境 AI 智能体的模式与工具

专家支持价格

设计模式与技术

Loading...

🧠

潜在循环思考(LRT)

在连续潜在空间内进行迭代推理,无需显式生成 token

复杂度: high推理技术

In 30 seconds

What: 通过展开共享的循环模块，在连续的潜在空间中迭代推理，直到最终解码前都不生成中间 token。
When to use: 需要深入探索解空间的复杂问题，且中间推理步骤无需人工检视或外部反馈。
Watch out: 潜在推理是不透明的：一旦最终答案出错，你无法查看、调试或引导中间步骤。

核心机制

利用深度递归计算块，在模型的连续潜空间中进行迭代推理。推理时，模型可以将这种潜在递归展开可变的轮数，在解码最终答案前不断精炼隐藏状态。这样无需输出中间 token 即可扩展测试时算力，在保持外部 token 消耗较低的同时提升推理任务的效率。

工作流 / 步骤

将输入编码为高维潜在表示。
将潜在递归迭代 K 次 (推理时自适应) 以精炼隐藏状态。
评估停止条件 (置信度/评分/算力预算) 以终止潜在迭代。
将精炼后的潜在状态解码为最终输出。
可选地记录随 K 变化的指标，用于校准后续的深度调度。

最佳实践

采用自适应深度: 随不确定性/难度增大 K，并以延迟和成本 SLO 设定上限。

定义稳健的停止条件: 置信度阈值、验证器分数或平台期检测。

稳定性调优: 对递归块使用归一化、谨慎的学习率和梯度裁剪。

用曲线校准: 测量精度和延迟随 K 的变化，找到各任务/领域的最佳点。

在最终输出阶段搭配轻量验证或自洽性检查。

监控漂移: 随着数据和任务变化，定期重新评估深度调度。

不适用的情况

任何额外递归都会突破延迟预算的严格实时链路。
为可审计性而需要透明分步中间输出的任务。
直接解码或简短 CoT 已能达成质量与成本目标的简单查询。

常见陷阱

过度思考: K 过大导致收益递减，且缺乏合适的停止准则。
递归块调参不当导致的不稳定 (梯度消失/爆炸)。
忽视可解释性: 没有工具可检查或验证潜在轨迹。
一刀切的深度调度会在简单任务上浪费算力。

核心特性

在潜空间中进行无 token 的中间推理

通过深度递归实现可扩展的测试时算力 (K 可调)

将成本从 token 转移到 FLOPs，提高设备利用率

可与验证和路由策略组合使用

无需专门的 CoT 训练数据即可工作

KPI / 成功指标

推理基准上作为 K 函数的准确率与 Pass@k。
在目标质量下每个已解决实例的延迟与成本。
跨深度的稳定性指标 (无发散/振荡)。
潜在精炼后置信度与正确率的校准。

Token / 资源占用

中间 token 用量低，主要成本转移到潜在计算的 FLOPs。
在大规模场景下提高设备利用率并降低互连压力。
成本随所选深度 K 增长，应按用例和 SLO 进行调优。

最佳应用场景

数学与逻辑推理、程序分析，以及定理证明类任务。
迭代精炼能提升解质量的规划/优化问题。
token 带宽昂贵而算力充裕的大规模服务场景。

参考资料与延伸阅读

学术论文

Geiping et al. (2025): Scaling up Test-Time Compute with Latent Reasoning (Recurrent Depth)

实现指南

Lilian Weng (2025): Thinking at Inference Time

工具与库

社区与讨论

Loading technique guide…

Patterns

设计模式与技术

Loading...

核心机制

工作流 / 步骤

将输入编码为高维潜在表示。
将潜在递归迭代 K 次 (推理时自适应) 以精炼隐藏状态。
评估停止条件 (置信度/评分/算力预算) 以终止潜在迭代。
将精炼后的潜在状态解码为最终输出。
可选地记录随 K 变化的指标，用于校准后续的深度调度。

最佳实践

采用自适应深度: 随不确定性/难度增大 K，并以延迟和成本 SLO 设定上限。

定义稳健的停止条件: 置信度阈值、验证器分数或平台期检测。

稳定性调优: 对递归块使用归一化、谨慎的学习率和梯度裁剪。

用曲线校准: 测量精度和延迟随 K 的变化，找到各任务/领域的最佳点。

在最终输出阶段搭配轻量验证或自洽性检查。

监控漂移: 随着数据和任务变化，定期重新评估深度调度。

不适用的情况

任何额外递归都会突破延迟预算的严格实时链路。
为可审计性而需要透明分步中间输出的任务。
直接解码或简短 CoT 已能达成质量与成本目标的简单查询。

常见陷阱

过度思考: K 过大导致收益递减，且缺乏合适的停止准则。
递归块调参不当导致的不稳定 (梯度消失/爆炸)。
忽视可解释性: 没有工具可检查或验证潜在轨迹。
一刀切的深度调度会在简单任务上浪费算力。

核心特性

在潜空间中进行无 token 的中间推理

通过深度递归实现可扩展的测试时算力 (K 可调)

将成本从 token 转移到 FLOPs，提高设备利用率

可与验证和路由策略组合使用

无需专门的 CoT 训练数据即可工作

KPI / 成功指标

推理基准上作为 K 函数的准确率与 Pass@k。
在目标质量下每个已解决实例的延迟与成本。
跨深度的稳定性指标 (无发散/振荡)。
潜在精炼后置信度与正确率的校准。

Token / 资源占用

中间 token 用量低，主要成本转移到潜在计算的 FLOPs。
在大规模场景下提高设备利用率并降低互连压力。
成本随所选深度 K 增长，应按用例和 SLO 进行调优。

最佳应用场景

数学与逻辑推理、程序分析，以及定理证明类任务。
迭代精炼能提升解质量的规划/优化问题。
token 带宽昂贵而算力充裕的大规模服务场景。

参考资料与延伸阅读

学术论文

Geiping et al. (2025): Scaling up Test-Time Compute with Latent Reasoning (Recurrent Depth)