正在加载模式…
结构化输出(SO)
通过约束解码来保证模型输出符合某个 schema。JSON Schema、正则表达式或语法会被编译成一个有限状态机,在每个解码步骤中,会屏蔽掉那些会违反 schema 的 token,从而只能采样出有效的续写。在严格模式下,这使得格式错误的 JSON 和无效的工具参数成为不可能。该功能在 OpenAI、Google 和 Anthropic 上原生可用,也可用于 Outlines 和 vLLM 等开源库。
30秒速览
- 是什么
- 把 schema 编译成有限状态机,并在每个解码步骤屏蔽无效 token,从而保证输出符合 schema。
- 何时使用
- 提取结构化数据、调用工具或生成 JSON 时,解析错误或非法值会破坏下游代码的场景。
- 注意
- 当真实答案不在允许的选项之内时,schema 约束可能迫使模型输出技术上合法但语义上毫无意义的值。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
结构化输出: 概览
通过约束解码来保证模型输出符合某个 schema。JSON Schema、正则表达式或语法会被编译成一个有限状态机,在每个解码步骤中,会屏蔽掉那些会违反 schema 的 token,从而只能采样出有效的续写。在严格模式下,这使得格式错误的 JSON 和无效的工具参数成为不可能。该功能在 OpenAI、Google 和 Anthropic 上原生可用,也可用于 Outlines 和 vLLM 等开源库。
- Constrained decoding driven by JSON Schema, regex, or grammar
- Schema compiled to a finite-state machine and per-step token mask
- Invalid tokens masked at every decode step in strict mode
- Schema-conforming output guaranteed, not merely requested
- Eliminates JSON parse errors and invalid tool-call arguments
- Native provider support plus Outlines and vLLM
The Agent Architect
每周一个模式、一个权衡、一个生产事故案例。为构建智能体系统的人准备的每周简报。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
由本目录背后的工程师执行
为你的智能体架构做一次评审
本页讲的是一个模式。真实系统会同时跑几十个,而多数故障恰恰出在它们的衔接处。我们按本目录的 288 个模式评审你的整体设计:架构、可靠性、评测与成本,每一条结论都对应到能修复它的模式。
€750(原价 €1,500),一周交付,书面报告加讲解通话,9月30日前