Loading...
🧱
Strukturierte Ausgaben(SO)
Garantiert durch eingeschränktes Decoding, dass die Modellausgabe einem Schema entspricht. Ein JSON Schema, ein regulärer Ausdruck oder eine Grammatik wird zu einem endlichen Automaten kompiliert, und bei jedem Decoding-Schritt werden die Tokens, die das Schema verletzen würden, ausmaskiert, sodass nur gültige Fortsetzungen gesampelt werden können. Im strikten Modus macht dies fehlerhaftes JSON und ungültige Tool-Argumente unmöglich. Die Funktion ist nativ bei OpenAI, Google und Anthropic sowie in offenen Bibliotheken wie Outlines und vLLM verfügbar.
Komplexität: mediumWerkzeugnutzung
In 30 seconds
- What
- Kompiliert ein Schema in einen endlichen Automaten und maskiert bei jedem Dekodierschritt ungültige Tokens, sodass die Ausgabe garantiert dem Schema entspricht.
- When to use
- Extrahieren strukturierter Daten, Aufrufen von Tools oder Erzeugen von JSON, wenn Parse-Fehler oder ungültige Werte nachgelagerten Code brechen würden.
- Watch out
- Schema-Beschränkungen können das Modell zwingen, technisch gültige, aber semantisch unsinnige Werte auszugeben, wenn die richtige Antwort außerhalb der erlaubten Optionen liegt.
Loading technique guide…