Dans l'actualité
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
NVIDIA Developer · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- TensorRT Edge-LLM complète le benchmark MLPerf Edge Agentic 6,4x plus vite que la référence, exécutant Qwen3.6-27B sur Jetson AGX Thor à 52,33 tokens par seconde.
- Pourquoi ça compte
- Pertinent pour les ingénieurs déployant des agents multi-tour sur appareils edge comme les robots et véhicules où l'inférence long-contexte et l'efficacité du tool calling sont critiques.
- Vigilance
- Le résultat utilise des techniques spécialisées incluant la quantification NVFP4, la prédiction multi-token basée sur arbre et la réutilisation de KV cache nécessitant du matériel spécifique.
- agent
- agentic
- llm
- reasoning
- prompt
Les patterns derrière cette actualité
- Energy-Efficient Inference
- Context Editing & Tool-Result Clearing
- Agentic Context Engineering (Evolving Playbook)
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.