Новости
Multi-View MoE: Letting Every Router Shape Expert Computation
arXiv cs.AI · Опубликовано · 3 мин чтения
За 30 секунд
- Что произошло
- Multi-View MoE improves sparse mixture-of-experts models by using multiple routers to select experts and modulate their computation, gaining 1.18 percentage points on downstream tasks.
- Почему это важно
- Relevant for engineers optimizing large language models with mixture-of-experts architectures who need better expert selection under fixed computational budgets.
- На что обратить внимание
- Results shown on a single 10B-parameter model trained on 708B tokens; generalization to other scales and training regimes remains unclear.
- token
- mixture-of-experts
- eval
Паттерны, стоящие за этой новостью
- Secure Multi-Party Computation
- Agentic Context Engineering (Evolving Playbook)
- Budget-Guarded Autonomy
Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.