Новости
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness
Baseten · Опубликовано · 3 мин чтения
За 30 секунд
- Что произошло
- Baseten added deferred tool loading to open models, reducing agent costs by 62.5% and improving speed by 26% without changing the model or application code.
- Почему это важно
- Engineers building coding agents or agentic systems with multiple tools or plugins should consider this when optimizing for cost and latency.
- На что обратить внимание
- Deferred tool loading works best with many registered tools; tasks requiring very frequent tool calls (68+) may see minimal or no benefit.
- agent
Паттерны, стоящие за этой новостью
Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.