Новости

When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM

NVIDIA Developer · Опубликовано 13 ноября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: NVIDIA demonstrated serving GLM-5.3, a 753-billion-parameter model, across two DGX Stations using vLLM with tensor parallelism and RDMA connectivity.
Почему это важно: Engineers deploying frontier-scale language models that exceed single-GPU memory must distribute weights across multiple machines while maintaining unified inference endpoints.
На что обратить внимание: Throughput degrades significantly under high concurrency: 607.8 tokens per second at 16 concurrent requests drops to 385.0 at 32 requests with 453-second latency.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

NVIDIA Developer · Опубликовано 13 ноября 2026 г. · 3 мин чтения

Что произошло: NVIDIA demonstrated serving GLM-5.3, a 753-billion-parameter model, across two DGX Stations using vLLM with tensor parallelism and RDMA connectivity.
Почему это важно: Engineers deploying frontier-scale language models that exceed single-GPU memory must distribute weights across multiple machines while maintaining unified inference endpoints.
На что обратить внимание: Throughput degrades significantly under high concurrency: 607.8 tokens per second at 16 concurrent requests drops to 385.0 at 32 requests with 453-second latency.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.