Ce qui s'est passé: How to Loop MoE: Flatten the Experts, Untie the Attention

Foil flattens mixture-of-experts layers in looped transformers, doubling experts per layer while giving each pass independent attention parameters for better efficiency.

Pourquoi ça compte: How to Loop MoE: Flatten the Experts, Untie the Attention

Relevant for engineers optimizing sparse transformer architectures seeking better expert utilization and parameter efficiency in large language models.

Vigilance: How to Loop MoE: Flatten the Experts, Untie the Attention

Results shown at 20B and 100B tokens; unclear how findings scale to production training or whether gains persist across diverse downstream tasks.

Dans l'actualité

How to Loop MoE: Flatten the Experts, Untie the Attention

arXiv cs.AI · Publié le 28 septembre 2026 · 1 min de lecture

En 30 secondes

Ce qui s'est passé: Foil flattens mixture-of-experts layers in looped transformers, doubling experts per layer while giving each pass independent attention parameters for better efficiency.
Pourquoi ça compte: Relevant for engineers optimizing sparse transformer architectures seeking better expert utilization and parameter efficiency in large language models.
Vigilance: Results shown at 20B and 100B tokens; unclear how findings scale to production training or whether gains persist across diverse downstream tasks.

Lire l'article complet

attention
token
mixture-of-experts
phi

Les patterns derrière cette actualité

Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.

The Agent Architect

Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.

Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.