Loading...
🧱
Sorties structurées(SO)
Garantit que la sortie du modèle est conforme à un schéma en contraignant le décodage. Un JSON Schema, une expression régulière ou une grammaire est compilé en un automate à états finis, et à chaque étape de décodage, les tokens qui violeraient le schéma sont masqués afin que seules des continuations valides puissent être échantillonnées. En mode strict, cela rend impossibles les JSON mal formés et les arguments d'outil invalides. Cette fonctionnalité est disponible nativement chez OpenAI, Google et Anthropic, ainsi que dans des bibliothèques ouvertes telles qu'Outlines et vLLM.
Complexité: mediumUtilisation d'outils
In 30 seconds
- What
- Compile un schéma en automate à états finis et masque les tokens invalides à chaque étape de décodage, garantissant que la sortie respecte le schéma.
- When to use
- Extraction de données structurées, appels d'outils ou génération de JSON, lorsqu'une erreur d'analyse ou une valeur invalide casserait le code en aval.
- Watch out
- Les contraintes de schéma peuvent forcer le modèle à produire des valeurs techniquement valides mais dénuées de sens lorsque la vraie réponse ne figure pas parmi les options autorisées.
Loading technique guide…