Loading...
Déploiement progressif et mode fantôme(PRS)
Le versant déploiement de la mise en production sécurisée d'une version d'agent ou de prompt. Le candidat s'exécute d'abord en mode fantôme : il tourne sur le trafic de production réel, mais sa sortie est masquée aux utilisateurs et comparée hors ligne à la version en service, puis il passe à une phase canary sur 1 à 5 pour cent du trafic réel, noté par des évals en ligne face à un groupe témoin, puis à une montée en charge progressive, avec rollback automatique dès qu'une métrique surveillée se dégrade. Coupler les évals en ligne (qui notent le trafic réel à la volée) aux évals hors ligne permet de détecter les défaillances de longue traîne qu'un jeu de référence statique ne peut pas prévoir. À distinguer de eval-driven-agent-development, qui contrôle les changements hors ligne avant la fusion, tandis que ce modèle gouverne la montée en charge en ligne après la fusion.
In 30 seconds
- What
- Exécute l'agent candidat sur le trafic de production sans en servir la sortie, puis l'expose progressivement aux utilisateurs avec retour arrière automatique en cas de régression des métriques.
- When to use
- Livrer des changements d'agent ou de prompt lorsque les défaillances de longue traîne sur le trafic réel comptent plus que des jeux de tests statiques, et que vous avez besoin de confiance avant un déploiement complet.
- Watch out
- La latence et le coût de l'évaluation en ligne croissent avec le volume de trafic ; un évaluateur lent ou coûteux peut devenir le goulot d'étranglement avant même que vous ne détectiez de vrais problèmes.
Loading technique guide…