正在加载模式…
🧠
LLM 检查点恢复（Mnemosyne）(LCR)
一种用于 LLM 故障恢复的轻量级设备代理架构，具备即时检查点和部分拓扑重建能力
复杂度: high容错基础设施
30秒速览
- 是什么
- 维护轻量级设备代理，按需捕获梯度和优化器状态，故障后重建训练拓扑并从最近的检查点恢复。
- 何时使用
- 大规模分布式 LLM 训练中故障频发，需要在一分钟以内恢复，且不能依赖完整重训或弹性扩缩容。
- 注意
- 即时检查点会在正常训练期间增加延迟；触发条件配置不当，在高故障率下可能引发连锁失败或内存耗尽。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
LLM 检查点恢复（Mnemosyne）: 概览
一种用于 LLM 故障恢复的轻量级设备代理架构，具备即时检查点和部分拓扑重建能力
- Device proxy architecture
- Just-in-time checkpointing
- Flexible collective communication library
- Runtime link adjustment
- Partial topology reconstruction
- Memory state preservation
The Agent Architect
每周一个模式、一个权衡、一个生产事故案例。为构建智能体系统的人准备的每周简报。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
- Mnemosyne: Lightweight and Fast Error Recovery for LLM Training (Asia-Pacific Workshop on Networking 2024)
- Efficient Training of Large Language Models on Distributed Infrastructures: A Survey (July 2024)
- Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing (August 2024)
- MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training (2024)
- Gemini: Fast Failure Recovery in Distributed Training (SOSP 2023)
由本目录背后的工程师执行
为你的智能体架构做一次评审
本页讲的是一个模式。真实系统会同时跑几十个，而多数故障恰恰出在它们的衔接处。我们按本目录的 288 个模式评审你的整体设计：架构、可靠性、评测与成本，每一条结论都对应到能修复它的模式。
€750（原价 €1,500），一周交付，书面报告加讲解通话，9月30日前