ニュース
Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving
LMSYS · 公開日 · 読了3分
30秒で要点
- 何が起きたか
- Humming 0.1.18 adds flexible low-bit quantized kernels for MoE inference in SGLang, supporting MXFP4 weights and FP8 activations on Hopper and Blackwell GPUs.
- なぜ重要か
- Engineers deploying large mixture-of-experts models need efficient serving with reduced memory and compute requirements while maintaining model quality.
- 注意点
- Scale-range adjustment affected 11.27% of draft groups due to padding issues; a fix exists upstream but requires a follow-up Humming dependency upgrade.
- kernel
- serving
この話題の背景にあるパターン
各ページで、技術の仕組み、コストに見合う場面、そして破綻する条件を解説しています。
The Agent Architect
1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。