Loading...

🔋

高能效推理(EEI)

在保持性能的同时，优化 AI 推理以实现最小的能耗。

复杂度: high资源感知优化

In 30 seconds

What: 通过降低精度、调节硬件频率、压缩模型以及合并批处理请求，减少推理过程中的能耗。
When to use: 电池有限、存在散热约束或推理量很大的移动与边缘设备，功耗直接影响成本或续航时间。
Watch out: 激进的优化会以难以预料的方式损害精度或延迟；请在你真实的硬件与负载上，对优化前后都进行测量。

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic Design面向生产环境 AI 智能体的模式与工具

专家支持价格

设计模式与技术

Loading...

🔋

高能效推理(EEI)

在保持性能的同时，优化 AI 推理以实现最小的能耗。

复杂度: high资源感知优化

In 30 seconds

What: 通过降低精度、调节硬件频率、压缩模型以及合并批处理请求，减少推理过程中的能耗。
When to use: 电池有限、存在散热约束或推理量很大的移动与边缘设备，功耗直接影响成本或续航时间。
Watch out: 激进的优化会以难以预料的方式损害精度或延迟；请在你真实的硬件与负载上，对优化前后都进行测量。

核心机制

能效推理通过结合模型压缩（量化、剪枝、蒸馏）、自适应计算（早退、动态深度、token 与注意力稀疏化）、优化算子（例如 FlashAttention）以及硬件感知的服务（连续/动态批处理、KV 缓存策略、功耗与温度上限），在保持精度与延迟的同时最小化每个输出的焦耳数。目标是在目标设备或集群上，用最少的每请求或每 token 能耗交付所需质量。

工作流 / 步骤

基线与目标：测量延迟、吞吐、精度与能耗（J/请求或 J/token）。
压缩模型：应用 PTQ/QAT（INT8/INT4，激活感知）、结构化剪枝与蒸馏。
启用自适应计算：早退或动态深度；对困难片段做选择性计算；投机解码。
优化算子与内存：使用高效注意力、KV 缓存分页/量化与算子融合。
服务与批处理：在 SLO 内使用连续/动态批处理；合理设定并发度与放置。
硬件调优：优先使用低精度 tensor core/NPU；按 SLO 限制频率与加速；管理热降频。
监控与迭代：跟踪能耗、tokens/s 与精度漂移；若节能损害 SLO 或质量则回滚。

最佳实践

先对权重与激活做 PTQ（INT8/INT4）；使用激活感知或平滑量化以保持精度。

将结构化剪枝与蒸馏结合；在下游任务上验证，而不仅看预训练指标。

采用高效注意力算子（例如 FlashAttention）与分页/量化的 KV 缓存，减少内存访问量。

使用早退/动态深度与 token/注意力稀疏化，降低简单输入的计算量。

延迟预算允许时积极批处理；否则使用微批与流式输出。

将模型绑定到支持低精度加速的硬件；避免在热点路径上做精度上下转换。

持续对功耗（NVML/DCGM、RAPL）与 p95 延迟、精度一起做剖析，避免出现回退。

何时不宜使用

要求严格数值保真或确定性、与低精度不兼容的应用。
批处理或验证（例如投机解码）会违反 SLO 的硬实时截止场景。
合规要求高的领域，模型改动（量化/剪枝）需要漫长的重新验证。

常见陷阱

过度量化或激活未校准，导致下游任务精度大幅下降。
非结构化剪枝产生目标硬件算子不支持的稀疏张量。
忽视内存带宽与 KV 缓存压力；仅减少 FLOP 未必能省电。
只测瓦数，而不测每个有效输出的能耗（J/请求、J/token）与用户感知延迟。

核心特性

带激活感知校准的低精度执行（INT8/INT4）

结构化剪枝与向更小学生模型的知识蒸馏

高效注意力算子与 KV 缓存优化

自适应计算：早退、动态深度、token/注意力稀疏化

为提升利用率的连续/动态批处理与流式输出

感知功耗与温度的调度与放置

KPI / 成功指标

能耗：每请求与每输出 token 的焦耳数；负载下的平均与 p95 瓦数。
延迟/TTFT/TPOT：p50/p95 延迟、首 token 时间与每输出 token 时间。
吞吐/利用率：每秒 token 数；GPU SM 与显存利用率；批处理效率。
质量：相对基线的任务精度与人工评分；压缩后的漂移。
稳定性：OOM/重试率、热降频发生率、自动扩缩收敛时间。

Token / 资源用量

量化权重/激活，必要时也量化 KV 缓存；跟踪每条并发流的内存占用。
采用高效注意力与缓存分页，减少 DRAM 访问（通常是能耗的主要来源）。
限制上下文长度并使用压缩/摘要；优先流式输出以避免长时间等待。
调整批大小与并发度，在 SLO 与热/功耗包络内最大化 tokens/s。

最佳应用场景

受电量与温度限制、连接时断时续的边缘/移动端推理。
以每 token 能耗与成本为主导的大规模服务（呼叫中心、摘要）。
功率上限固定的本地/托管部署；以可持续性为导向的 SLA。

参考资料与延伸阅读

Loading technique guide…

Patterns

设计模式与技术

Loading...

核心机制

工作流 / 步骤

基线与目标：测量延迟、吞吐、精度与能耗（J/请求或 J/token）。
压缩模型：应用 PTQ/QAT（INT8/INT4，激活感知）、结构化剪枝与蒸馏。
启用自适应计算：早退或动态深度；对困难片段做选择性计算；投机解码。
优化算子与内存：使用高效注意力、KV 缓存分页/量化与算子融合。
服务与批处理：在 SLO 内使用连续/动态批处理；合理设定并发度与放置。
硬件调优：优先使用低精度 tensor core/NPU；按 SLO 限制频率与加速；管理热降频。
监控与迭代：跟踪能耗、tokens/s 与精度漂移；若节能损害 SLO 或质量则回滚。

最佳实践

先对权重与激活做 PTQ（INT8/INT4）；使用激活感知或平滑量化以保持精度。

将结构化剪枝与蒸馏结合；在下游任务上验证，而不仅看预训练指标。

采用高效注意力算子（例如 FlashAttention）与分页/量化的 KV 缓存，减少内存访问量。

使用早退/动态深度与 token/注意力稀疏化，降低简单输入的计算量。

延迟预算允许时积极批处理；否则使用微批与流式输出。

将模型绑定到支持低精度加速的硬件；避免在热点路径上做精度上下转换。

持续对功耗（NVML/DCGM、RAPL）与 p95 延迟、精度一起做剖析，避免出现回退。

何时不宜使用

要求严格数值保真或确定性、与低精度不兼容的应用。
批处理或验证（例如投机解码）会违反 SLO 的硬实时截止场景。
合规要求高的领域，模型改动（量化/剪枝）需要漫长的重新验证。

常见陷阱

过度量化或激活未校准，导致下游任务精度大幅下降。
非结构化剪枝产生目标硬件算子不支持的稀疏张量。
忽视内存带宽与 KV 缓存压力；仅减少 FLOP 未必能省电。
只测瓦数，而不测每个有效输出的能耗（J/请求、J/token）与用户感知延迟。

核心特性

带激活感知校准的低精度执行（INT8/INT4）

结构化剪枝与向更小学生模型的知识蒸馏

高效注意力算子与 KV 缓存优化

自适应计算：早退、动态深度、token/注意力稀疏化

为提升利用率的连续/动态批处理与流式输出

感知功耗与温度的调度与放置

KPI / 成功指标

能耗：每请求与每输出 token 的焦耳数；负载下的平均与 p95 瓦数。
延迟/TTFT/TPOT：p50/p95 延迟、首 token 时间与每输出 token 时间。
吞吐/利用率：每秒 token 数；GPU SM 与显存利用率；批处理效率。
质量：相对基线的任务精度与人工评分；压缩后的漂移。
稳定性：OOM/重试率、热降频发生率、自动扩缩收敛时间。

Token / 资源用量

量化权重/激活，必要时也量化 KV 缓存；跟踪每条并发流的内存占用。
采用高效注意力与缓存分页，减少 DRAM 访问（通常是能耗的主要来源）。
限制上下文长度并使用压缩/摘要；优先流式输出以避免长时间等待。
调整批大小与并发度，在 SLO 与热/功耗包络内最大化 tokens/s。

最佳应用场景

受电量与温度限制、连接时断时续的边缘/移动端推理。
以每 token 能耗与成本为主导的大规模服务（呼叫中心、摘要）。
功率上限固定的本地/托管部署；以可持续性为导向的 SLA。

参考资料与延伸阅读

高能效推理 (EEI) - Agentic Design

Loading...

高能效推理(EEI)

In 30 seconds

Patterns

Loading...

设计模式与技术

Loading...

高能效推理(EEI)

In 30 seconds

核心机制

工作流 / 步骤

最佳实践

何时不宜使用

常见陷阱

核心特性

KPI / 成功指标

Token / 资源用量

最佳应用场景

参考资料与延伸阅读

学术论文

实施指南

工具与库

社区与讨论

Patterns

设计模式与技术

Loading...

设计模式与技术

核心机制

工作流 / 步骤

最佳实践

何时不宜使用

常见陷阱

核心特性

KPI / 成功指标

Token / 资源用量

最佳应用场景

参考资料与延伸阅读

学术论文

实施指南

工具与库

社区与讨论

设计模式与技术