Dans l'actualité
Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving
LMSYS · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Humming 0.1.18 ajoute des kernels quantifiés bas-bit flexibles pour l'inférence MoE dans SGLang, supportant les poids MXFP4 et activations FP8 sur GPUs Hopper et Blackwell.
- Pourquoi ça compte
- Les ingénieurs déployant de grands modèles mixture-of-experts ont besoin d'un serving efficace avec mémoire et calcul réduits tout en préservant la qualité.
- Vigilance
- L'ajustement de plage d'échelle a affecté 11,27% des groupes de draft à cause de problèmes de padding; un correctif existe en amont mais nécessite une mise à jour de dépendance Humming.
- kernel
- serving
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.