Что произошло: How to Loop MoE: Flatten the Experts, Untie the Attention

Researchers propose Foil, a method for looping mixture-of-experts models by flattening expert layers and giving each pass independent attention parameters.

Почему это важно: How to Loop MoE: Flatten the Experts, Untie the Attention

Relevant for engineers optimizing sparse transformer architectures who want better expert utilization and parameter efficiency in large language models.

На что обратить внимание: How to Loop MoE: Flatten the Experts, Untie the Attention

Results shown at 20B and 100B tokens; unclear how findings scale to production-size training runs or whether gains persist across diverse downstream tasks.

Новости

How to Loop MoE: Flatten the Experts, Untie the Attention

arXiv cs.AI · Опубликовано 28 сентября 2026 г. · 1 мин чтения

За 30 секунд

Что произошло: Researchers propose Foil, a method for looping mixture-of-experts models by flattening expert layers and giving each pass independent attention parameters.
Почему это важно: Relevant for engineers optimizing sparse transformer architectures who want better expert utilization and parameter efficiency in large language models.
На что обратить внимание: Results shown at 20B and 100B tokens; unclear how findings scale to production-size training runs or whether gains persist across diverse downstream tasks.

Читать статью целиком

attention
token
mixture-of-experts
phi

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.