Новости

SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models

LMSYS · Опубликовано 4 августа 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: SpecForge v0.3.0 separates target-model inference from draft-model training, supports six speculative decoding methods, and releases new open draft models.
Почему это важно: Engineers optimizing language model inference throughput through speculative decoding should evaluate whether disaggregated training improves their capture-to-training resource ratios.
На что обратить внимание: The 10% throughput gain on an 8xH20 testbed may not generalize to different hardware, model sizes, or sequence lengths; P-EAGLE supports only online training currently.

Послушать это резюме

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

LMSYS · Опубликовано 4 августа 2026 г. · 3 мин чтения

Что произошло: SpecForge v0.3.0 separates target-model inference from draft-model training, supports six speculative decoding methods, and releases new open draft models.
Почему это важно: Engineers optimizing language model inference throughput through speculative decoding should evaluate whether disaggregated training improves their capture-to-training resource ratios.
На что обратить внимание: The 10% throughput gain on an 8xH20 testbed may not generalize to different hardware, model sizes, or sequence lengths; P-EAGLE supports only online training currently.

Послушать это резюме

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.