Loading...
🧠
LLM 检查点恢复（Mnemosyne）(LCR)
一种用于 LLM 故障恢复的轻量级设备代理架构，具备即时检查点和部分拓扑重建能力
复杂度: high容错基础设施
In 30 seconds
- What
- 维护轻量级设备代理，按需捕获梯度和优化器状态，故障后重建训练拓扑并从最近的检查点恢复。
- When to use
- 大规模分布式 LLM 训练中故障频发，需要在一分钟以内恢复，且不能依赖完整重训或弹性扩缩容。
- Watch out
- 即时检查点会在正常训练期间增加延迟；触发条件配置不当，在高故障率下可能引发连锁失败或内存耗尽。
Loading technique guide…