Dans l'actualité
Why your fine-tuning job takes longer than the FLOPs say
Hugging Face · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- CatBoost prédit la durée des jobs de fine-tuning avec 1,71 heure d'erreur moyenne, surpassant largement les estimations basées sur les FLOPs qui affichent 12,41 heures d'erreur.
- Pourquoi ça compte
- Les ordonnanceurs de clusters GPU ont besoin de prévisions précises avant dispatch pour optimiser l'allocation de ressources et réduire les temps d'inactivité entre workloads.
- Vigilance
- Modèle entraîné uniquement sur GPUs H200 pour supervised fine-tuning; précision dégradée au-delà de 60 heures; ne couvre pas RLHF, DPO ou autres objectifs d'entraînement.
- fine-tun
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.