Loading...
🧠
Récupération par points de contrôle pour LLM (Mnemosyne)(LCR)
Architecture de proxy de périphériques légère pour la reprise après incident des LLM, avec checkpointing à la volée et reconstruction partielle de la topologie
Complexité: highInfrastructure de tolérance aux pannes
In 30 seconds
- What
- Maintient des proxys d'appareils légers qui capturent à la demande l'état des gradients et de l'optimiseur, puis reconstruisent la topologie d'entraînement et reprennent au dernier point de sauvegarde après une panne.
- When to use
- Entraînement distribué de LLM à grande échelle, où les pannes sont fréquentes et où il faut récupérer en moins d'une minute sans réentraînement complet ni mise à l'échelle élastique.
- Watch out
- Le point de sauvegarde à la volée ajoute de la latence pendant l'entraînement normal ; des déclencheurs mal configurés peuvent provoquer des pannes en cascade ou un épuisement mémoire sous fort taux de défaillance.
Loading technique guide…