Сэмплирование
temperature, top_p, top_k и при необходимости seed. Низкая температура подходит для извлечения данных, классификации и кода; более высокие значения подходят для генерации идей и творческого текста.
Руководство по инференсу
Взаимодействие с моделью и API
Договор между приложением и моделью: как формируются запросы, как выходы приводятся к машинно-пригодному виду, как модели вызывают инструменты и какие интерфейсы API сохраняют переносимость всей конструкции.
Устройство запроса
- Сообщения и роли: системное сообщение задаёт постоянные инструкции, пользовательские сообщения несут ввод, сообщения ассистента несут предыдущие ходы модели. Модель видит весь переданный список, а не только последний вопрос.
- Шаблоны и предзаполнение: приложения собирают промпты из шаблонов с динамическими слотами; предзаполнение начала хода ассистента направляет формат и тон.
- Управление контекстом: окно конечно, поэтому длинные диалоги обрезаются или сжимаются в резюме. То, что вы выбрасываете, меняет ответ; сделайте эту политику осознанной.
- Влияние на обслуживание: структура промпта это решение о производительности. Именно размещение стабильного содержимого (системный промпт, примеры) в начале, а изменчивого в конце делает prefix caching эффективным; см. оптимизация обслуживания.
Сама техника промптинга (zero-shot, few-shot-примеры, chain-of-thought, назначение роли) разобрана как каталог паттернов в разделе паттерны.
Параметры инференса
Каждый запрос несёт настройки, которые меняют распределение выходов и договор о формате ответа:
Длина и остановка
max_tokens ограничивает генерацию и расходы; стоп-последовательности завершают её раньше. И то и другое меняет не только стоимость, но и сам результат.
Формирование и интроспекция
Штрафы за повторы, присутствие и частоту; logit_bias, чтобы поощрять или запрещать токены; logprobs для сигналов уверенности; n или best_of для нескольких кандидатов.
Поддержка параметров и их точная семантика различаются у разных провайдеров и рантаймов. Как эти настройки связаны с воспроизводимостью, подробно разобрано в разделе недетерминированность.
Структурированные ответы
Конвейерам нужен JSON, а не проза. Привести к нему помогают два семейства техник:
Проверить и повторить
Разобрать ответ по схеме и переспросить при неудаче (паттерн Instructor). Работает с любым API, в том числе размещённым, но каждая неудачная попытка стоит задержки и токенов.
Ограниченное декодирование
Маскировать недопустимые токены на каждом шаге, чтобы получался только вывод, соответствующий схеме (Outlines, XGrammar, Guidance; встроено в vLLM и SGLang и доступно у размещённых провайдеров как режим JSON-схемы). Форма гарантируется, хотя синтаксически корректный ответ всё ещё может быть неверным по смыслу.
Голый «режим JSON» без схемы обещает лишь разбираемый JSON, а не именно ваш JSON; лучше сочетать принудительную схему с проверкой значений на стороне приложения.
Function calling и MCP
Function calling
Вы описываете доступные инструменты (имя, назначение, схему параметров); модель выдаёт структурированный вызов вместо прозы; ваш код исполняет его и возвращает результат новым сообщением; модель продолжает работу с настоящими данными. Это всё то же предсказание следующего токена, только в ограниченном формате, поэтому надёжность определяется качеством схемы и описаний инструментов. Обёрнутый в цикл «спланировать, выполнить, оценить», этот механизм и лежит в основе агентов; см. агентные паттерны. У открытых моделей поддержка и качество различаются, поэтому проверьте их на своём рантайме.
Model Context Protocol
MCP стандартизирует то, как ассистенты обращаются к внешним системам: хост-приложение запускает MCP-клиенты, которые подключаются к MCP-серверам, а каждый сервер по общему протоколу предоставляет инструменты, источники данных и промпты, локально или удалённо. Вместо отдельной интеграции под каждое приложение и каждый сервис любая сторона протокола пишется один раз. К одному хосту можно одновременно подключить несколько серверов.
Совместимые интерфейсы API
Самостоятельно размещённые движки и шлюзы повторяют HTTP-API крупных провайдеров, поэтому готовые SDK начинают работать после смены одного лишь базового URL. Именно это сохраняет переносимость приложений между размещёнными и собственными бэкендами.
Совместимость с OpenAI
- Эндпойнты chat completions и списка моделей; стриминг включается флагом stream
- Фактический стандарт: его отдают vLLM, SGLang и большинство шлюзов
- Направьте официальный SDK на свой эндпойнт, переопределив базовый URL; на собственных серверах ключ API часто представляет собой заглушку
Совместимость с Anthropic
- Эндпойнт в стиле Messages; аутентификация через x-api-key и заголовок anthropic-version
- Системный промпт задаётся полем верхнего уровня, а вызовы инструментов приходят типизированными блоками содержимого
- Продвинутые возможности (prompt caching, extended thinking, ввод изображений и документов) открытые бэкенды воспроизводят лишь частично
Совместимость это шкала, а не гарантия: охват параметров и поддержка возможностей различаются от бэкенда к бэкенду, поэтому проверьте нужные вам функции до того, как менять эндпойнт.