Новости

Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM

arXiv cs.AI · Опубликовано 3 сентября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: Researchers quantized all 496 linear layers of a 27B hybrid LLM to 4-bit using NVFP4, including recurrent GDN layers, matching full-precision performance.
Почему это важно: Matters for engineers deploying large language models who need smaller memory footprint and faster inference without accuracy loss.
На что обратить внимание: Results specific to hybrid attention-recurrent architecture; generalization to pure transformer models or other quantization schemes unclear.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

arXiv cs.AI · Опубликовано 3 сентября 2026 г. · 3 мин чтения

Что произошло: Researchers quantized all 496 linear layers of a 27B hybrid LLM to 4-bit using NVFP4, including recurrent GDN layers, matching full-precision performance.
Почему это важно: Matters for engineers deploying large language models who need smaller memory footprint and faster inference without accuracy loss.
На что обратить внимание: Results specific to hybrid attention-recurrent architecture; generalization to pure transformer models or other quantization schemes unclear.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.