Loading...

🧠

LLM-Checkpoint-Wiederherstellung (Mnemosyne)(LCR)

Leichtgewichtige Device-Proxy-Architektur für die Fehlerbehebung von LLMs mit Just-in-time-Checkpointing und partieller Topologie-Rekonstruktion

Komplexität: highInfrastruktur für Fehlertoleranz

In 30 seconds

What: Betreibt leichtgewichtige Geräte-Proxys, die Gradienten- und Optimiererzustand bei Bedarf erfassen, danach die Trainingstopologie rekonstruieren und nach Ausfällen am letzten Checkpoint fortsetzen.
When to use: Groß angelegtes verteiltes LLM-Training mit häufigen Ausfällen, bei dem eine Wiederherstellung in unter einer Minute nötig ist, ohne komplettes Neutraining oder elastische Skalierung.
Watch out: Just-in-time-Checkpointing erhöht die Latenz im normalen Training; falsch konfigurierte Auslöser können bei hohen Fehlerraten Kaskadenausfälle oder Speichererschöpfung verursachen.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

🧠

LLM-Checkpoint-Wiederherstellung (Mnemosyne)(LCR)

Leichtgewichtige Device-Proxy-Architektur für die Fehlerbehebung von LLMs mit Just-in-time-Checkpointing und partieller Topologie-Rekonstruktion

Komplexität: highInfrastruktur für Fehlertoleranz

In 30 seconds

What: Betreibt leichtgewichtige Geräte-Proxys, die Gradienten- und Optimiererzustand bei Bedarf erfassen, danach die Trainingstopologie rekonstruieren und nach Ausfällen am letzten Checkpoint fortsetzen.
When to use: Groß angelegtes verteiltes LLM-Training mit häufigen Ausfällen, bei dem eine Wiederherstellung in unter einer Minute nötig ist, ohne komplettes Neutraining oder elastische Skalierung.
Watch out: Just-in-time-Checkpointing erhöht die Latenz im normalen Training; falsch konfigurierte Auslöser können bei hohen Fehlerraten Kaskadenausfälle oder Speichererschöpfung verursachen.

30-Sekunden-Überblick

Muster: Device-Proxy-Architektur mit Just-in-Time-Checkpointing für die Fehlerbehebung im LLM-Training

Warum: Senkt den Wiederherstellungs-Overhead um 58,8 % gegenüber klassischen Ansätzen und ermöglicht teilweise Topologierekonstruktion

Kernerkenntnis: Leichtgewichtige Device-Proxys + flexible CCL + inkrementelle Kommunikations-Neuinitialisierung = 3,6 % täglicher Overhead

Schnelle Umsetzung

1Proxy einrichten:Device-Proxy-Schicht zur Fehlerabfangung bereitstellen

2CCL konfigurieren:Flexible Collective Communication Library initialisieren

3JIT aktivieren:Just-in-Time-Checkpointing-Auslöser aktivieren

4Teilweise Wiederherstellung:Inkrementelle Topologierekonstruktion implementieren

5Überwachen:Fehlermuster und Wiederherstellungszeiten verfolgen

Example: device_proxy → failure_detection → checkpoint_trigger → partial_reconstruction → resume_training

Do’s und Don’ts

✅Leichtgewichtige Device-Proxys nutzen, die auf Fehlertoleranz optimiert sind

✅Topologie rund um ausgefallene Knoten teilweise rekonstruieren

✅Gradientenzustände und Optimizer-Checkpoints getrennt zwischenspeichern

✅Kommunikation inkrementell neu initialisieren (kein Komplettneustart)

✅Speichernutzungsmuster überwachen, um Ausfälle vorherzusagen

❌Sich für Fehlertoleranz allein auf elastisches Training verlassen

❌Bei Einzelausfällen die gesamte Kommunikation neu initialisieren

❌Riesige Checkpoints während des Trainings auf langsamen Speicher schreiben

❌Die zeitliche Dominanz des Kommunikationsoverheads ignorieren

❌Generisches Checkpointing für Modelle mit 70B+ Parametern verwenden

Wann einsetzen

Einsetzen, wenn

• Verteiltes LLM-Training (7B+ Parameter)
• Trainingszyklen über mehrere Wochen
• Umgebungen mit hoher Ausfallrate
• Begrenzte Speicherbandbreite für Checkpoints

Vermeiden, wenn

• Training kleiner Modelle (<1B Parameter)
• Einzelknoten-Deployments
• Stabile Hardware-Umgebungen
• Kurze Trainingszyklen (<24 h)

Kennzahlen

Wiederherstellungszeit

Sekunden bis zur Fortsetzung des Trainings

Overhead

% der täglichen Trainingszeit verloren

Checkpoint-Größe

GB pro Modell-Snapshot

Fehlererkennung

Zeit bis zur Erkennung eines Knotenausfalls

Speichernutzung

% des Spitzenspeichers erhalten

Kommunikationskosten

Bandbreite für die Rekonstruktion

Wichtigste Anwendungsfälle

LLM-Pre-Training: Modelle mit 70B+ Parametern und wochenlangen Trainingszyklen

Verteiltes Fine-Tuning: Multi-Node-Anpassung mit häufigen Hardwareausfällen

MoE-Training: Sparse Mixture-of-Experts mit riesigen Checkpoints

Hybride Parallelität: Kombinationen aus Daten-, Tensor- und Pipeline-Parallelismus mit komplexen Fehlerbildern

Cloud-Training: Spot-Instanzen mit vorhersehbaren Unterbrechungen

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Zentrale akademische Forschung (2024)

Mnemosyne: Lightweight and Fast Error Recovery for LLM Training (Asia-Pacific Workshop on Networking 2024)

Efficient Training of Large Language Models on Distributed Infrastructures: A Survey (July 2024)

Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing (August 2024)

MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training (2024)

Technische Grundlagen

Gemini: Fast Failure Recovery in Distributed Training (SOSP 2023)

REFT: Reliable and Efficient Fault Tolerance for Hybrid Parallel Training

Amazon Science: More-efficient recovery from failures during large-ML-model training

VAST Data: A Checkpoint on Checkpoints in Large Language Models

Implementierungs-Frameworks

DeepSpeed-Checkpointing und ZeRO-Optimizer-Zustände

PyTorch FSDP: Fully Sharded Data Parallel mit Checkpointing

Megatron-LM: Checkpointing für große Transformer-Modelle

FairScale: Skalierungsbibliothek von Facebook AI Research

Industrie und Community

Gradient AI: Verteiltes LLM-Training, Orchestrierung und Fehlertoleranz

MLOps für große Modelle: Kurs zu Checkpointing und Fehlertoleranz

ML Systems Papers: Kuratierte Sammlung zur Fehlertoleranz

Verteiltes Checkpointing entmystifiziert (Technik-Blog)

Loading technique guide…