Loading...
Progressives Rollout und Schattenmodus(PRS)
Die Deployment-Seite des sicheren Ausrollens einer Agenten- oder Prompt-Version. Der Kandidat läuft zunächst im Schattenmodus: Er wird auf echtem Produktionsverkehr ausgeführt, während seine Ausgabe den Nutzern vorenthalten und offline mit der ausgelieferten Version verglichen wird, geht dann als Canary auf 1 bis 5 Prozent des Live-Verkehrs, bewertet durch Online-Evals gegen eine Kontrollgruppe, und anschließend in eine schrittweise Hochskalierung, mit automatischem Rollback in dem Moment, in dem eine überwachte Kennzahl sich verschlechtert. Die Kombination von Online-Evals (die Live-Verkehr im laufenden Betrieb bewerten) mit Offline-Evals erfasst die Long-Tail-Fehler, die ein statisches Golden-Set nicht vorhersagen kann. Zu unterscheiden von eval-driven-agent-development, das Änderungen offline vor dem Merge kontrolliert, während dieses Muster die Online-Hochskalierung nach dem Merge steuert.
In 30 seconds
- What
- Lässt den Kandidaten-Agenten auf Produktionsverkehr laufen, ohne dessen Ausgabe auszuliefern, und gibt ihn dann schrittweise für Nutzer frei, mit automatischem Rollback bei Metrikverschlechterung.
- When to use
- Wenn Sie Agenten- oder Prompt-Änderungen ausliefern, bei denen Long-Tail-Fehler auf echtem Verkehr mehr zählen als statische Testsätze, und Sie vor dem vollständigen Rollout Sicherheit brauchen.
- Watch out
- Latenz und Kosten der Online-Auswertung skalieren mit dem Verkehrsaufkommen; ein langsamer oder teurer Scorer kann zum Engpass werden, bevor Sie echte Probleme entdecken.
Loading technique guide…