Dans l'actualité
Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training
arXiv cs.AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Chaque domaine atteint ses meilleures performances avec 10-40% des données en mid-training, et l'alignment ne peut pas corriger une composition de domaines suboptimale.
- Pourquoi ça compte
- Les ingénieurs concevant des pipelines multi-domaines doivent savoir que les décisions de composition en mid-training sont largement irréversibles par l'alignment ultérieur.
- Vigilance
- L'étude utilise des tâches de raisonnement logique sur une seule taille de modèle; les résultats peuvent ne pas généraliser à d'autres domaines, échelles ou scénarios réels.
- reasoning
- rag
- qwen
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.