Loading...
🧱
Структурированный вывод(SO)
Гарантирует соответствие вывода модели схеме за счёт ограничения декодирования. JSON Schema, регулярное выражение или грамматика компилируются в конечный автомат, и на каждом шаге декодирования токены, которые нарушили бы схему, маскируются, так что можно сэмплировать только допустимые продолжения. В строгом режиме это делает невозможными некорректный JSON и недопустимые аргументы инструментов. Функция доступна нативно в OpenAI, Google и Anthropic, а также в открытых библиотеках, таких как Outlines и vLLM.
Сложность: mediumИспользование инструментов
In 30 seconds
- What
- Компилирует схему в конечный автомат и маскирует недопустимые токены на каждом шаге декодирования, гарантируя соответствие вывода схеме.
- When to use
- Извлечение структурированных данных, вызов инструментов или генерация JSON, когда ошибки разбора или недопустимые значения сломают последующий код.
- Watch out
- Ограничения схемы могут заставить модель выдать формально корректные, но бессмысленные по сути значения, если верный ответ не входит в число допустимых вариантов.
Loading technique guide…