Руководство по инференсу
Паттерны инференса агентного ИИ
Сложность агентного инференса
Агентные ИИ-системы демонстрируют принципиально иные паттерны инференса по сравнению с традиционными ИИ-приложениями. Им нужны многоэтапные рассуждения, оркестрация инструментов и динамическое распределение ресурсов, которые способны многократно увеличить стоимость относительно простой схемы «запрос и ответ».
Уникальные паттерны инференса
Многоэтапные циклы рассуждения
Циклы Планирование → Рефлексия → Действие, которые требуют нескольких вызовов инференса
Каскады вызовов инструментов
Результат инструмента часто ведёт к ещё одному шагу инференса для интерпретации или планирования
Накопление контекста
Растущие требования к памяти по мере удлинения цепочек взаимодействия
Обход дерева решений
Часть решений оценивает несколько путей-кандидатов последовательно или параллельно
Измеряйте стоимость успешно выполненной задачи
Универсальной цены в долларах для «чат-бота» или «агента» не существует. Берите актуальные цены на конкретную модель и инструменты, а в знаменатель включайте неудачные попытки и инфраструктуру.
Фиксируйте потребление
- • Входные, выходные, закешированные токены и токены рассуждений
- • Вызовы поиска, инструментов, эмбеддингов, хранилища и исходящий трафик
- • Повторы, таймауты и брошенные задачи
- • Сквозную задержку и успешность задач
Применяйте актуальные удельные цены
- • Фиксируйте версии моделей и инструментов и даты действия цен
- • Добавляйте амортизированную стоимость сервинга, наблюдаемости и поддержки
- • Делите общие расходы на независимо подтверждённые успехи
- • Сравнивайте с более простым базовым вариантом в один вызов
Стратегии оптимизации
Динамическое распределение ресурсов
Простые задачи отправляйте на периферию, сложные рассуждения в облако
Сжатие контекста
Разумное управление памятью, чтобы сократить накладные расходы на токены
Спекулятивное выполнение
Заранее считайте вероятные следующие шаги, пока выполняются текущие
Рассуждение с учётом бюджета
Динамические компромиссы между качеством и стоимостью на основе бюджетов инференса