Loading...
🧠
内存优化(MO)
通过缓存、压缩和垃圾回收等策略，高效地管理内存使用。
复杂度: high资源感知优化
In 30 seconds
- What
- 通过缓存高频数据、压缩存储值以及在运行时释放未使用的分配，来降低内存占用。
- When to use
- 处理大规模数据集或模型的系统，其可用内存远小于工作集的大小。
- Watch out
- 过于激进的压缩或淘汰，会在负载升高、缓存未命中率激增时导致延迟出现难以预测的恶化。
Loading technique guide…
通过缓存、压缩和垃圾回收等策略，高效地管理内存使用。
Loading technique guide…
LLM 内存优化通过组合量化(权重/KV 缓存)、高效注意力(分页 KV 缓存)、激活/梯度检查点、分片/卸载和上下文压缩,降低峰值与稳态内存占用。目标是在有限硬件上运行更大的模型和更长的序列,同时保持吞吐、延迟和准确率目标。