Новости
Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving
LMSYS · Опубликовано · 3 мин чтения
За 30 секунд
- Что произошло
- Humming 0.1.18 adds flexible low-bit quantized kernels for MoE inference in SGLang, supporting MXFP4 weights and FP8 activations on Hopper and Blackwell GPUs.
- Почему это важно
- Engineers deploying large mixture-of-experts models need efficient serving with reduced memory and compute requirements while maintaining model quality.
- На что обратить внимание
- Scale-range adjustment affected 11.27% of draft groups due to padding issues; a fix exists upstream but requires a follow-up Humming dependency upgrade.
- kernel
- serving
Паттерны, стоящие за этой новостью
Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.