Loading...
🌙
Calcul en temps mort(STC)
Exploiter les temps morts entre les interactions utilisateur pour effectuer un raisonnement en arrière-plan au lieu d'attendre la requête suivante. L'agent réorganise et compresse sa mémoire, précalcule les inférences probablement nécessaires et prépare des réponses aux questions anticipées, déplaçant ainsi le travail hors du chemin critique de latence. Au moment de l'inférence, la réponse est en grande partie prête, ce qui réduit le calcul et la latence à l'exécution.
Complexité: mediumOptimisation sensible aux ressources
In 30 seconds
- What
- Effectue raisonnement et inférence pendant les périodes d'inactivité entre les interactions utilisateur, en précalculant des réponses et en réorganisant la mémoire pour réduire la latence à l'arrivée des requêtes.
- When to use
- Interactions utilisateur sporadiques sur un contexte vaste et stable, avec de la capacité de calcul disponible en arrière-plan et des schémas de requêtes assez prévisibles.
- Watch out
- Les réponses précalculées deviennent obsolètes ou fausses si le contexte change entre la période d'inactivité et la requête, gaspillant à la fois du calcul et la confiance des utilisateurs.
Loading technique guide…