Загружаем паттерны…
Восстановление LLM из контрольных точек (Mnemosyne)(LCR)
Легковесная архитектура прокси-устройств для восстановления LLM после сбоев с созданием контрольных точек по требованию и частичной реконструкцией топологии
За 30 секунд
- Что это
- Поддерживает лёгкие прокси-агенты на устройствах, которые по требованию сохраняют состояние градиентов и оптимизатора, а после сбоя восстанавливают топологию обучения и продолжают с последней контрольной точки.
- Когда применять
- Крупномасштабное распределённое обучение LLM с частыми сбоями, где нужно восстановление менее чем за минуту без полного переобучения и эластичного масштабирования.
- Осторожно
- Своевременное создание контрольных точек добавляет задержку при обычном обучении; неверно настроенные триггеры могут вызвать каскадные сбои или исчерпание памяти при высокой частоте отказов.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Восстановление LLM из контрольных точек (Mnemosyne): Обзор
Легковесная архитектура прокси-устройств для восстановления LLM после сбоев с созданием контрольных точек по требованию и частичной реконструкцией топологии
- Device proxy architecture
- Just-in-time checkpointing
- Flexible collective communication library
- Runtime link adjustment
- Partial topology reconstruction
- Memory state preservation
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
- Mnemosyne: Lightweight and Fast Error Recovery for LLM Training (Asia-Pacific Workshop on Networking 2024)
- Efficient Training of Large Language Models on Distributed Infrastructures: A Survey (July 2024)
- Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing (August 2024)
- MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training (2024)
- Gemini: Fast Failure Recovery in Distributed Training (SOSP 2023)
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября