Новости

TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor

NVIDIA Developer · Опубликовано 16 сентября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: TensorRT Edge-LLM completed MLPerf Edge Agentic benchmark 6.4x faster than reference, running Qwen3.6-27B on Jetson AGX Thor at 52.33 tokens per second.
Почему это важно: Matters for engineers deploying multi-turn AI agents on edge devices like robots and vehicles where long-context inference and tool calling efficiency are critical.
На что обратить внимание: Result uses specialized techniques including NVFP4 quantization, tree-based multi-token prediction, and KV cache reuse that require specific hardware and careful configuration to replicate.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

NVIDIA Developer · Опубликовано 16 сентября 2026 г. · 3 мин чтения

Что произошло: TensorRT Edge-LLM completed MLPerf Edge Agentic benchmark 6.4x faster than reference, running Qwen3.6-27B on Jetson AGX Thor at 52.33 tokens per second.
Почему это важно: Matters for engineers deploying multi-turn AI agents on edge devices like robots and vehicles where long-context inference and tool calling efficiency are critical.
На что обратить внимание: Result uses specialized techniques including NVFP4 quantization, tree-based multi-token prediction, and KV cache reuse that require specific hardware and careful configuration to replicate.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.