Loading...
🌙
Rechnen in der Leerlaufzeit(STC)
Nutzen Sie die Leerlaufzeit zwischen Benutzerinteraktionen für Hintergrundschlussfolgerungen, anstatt auf die nächste Anfrage zu warten. Der Agent reorganisiert und komprimiert den Speicher, berechnet wahrscheinlich benötigte Inferenzen vorab und beantwortet erwartete Fragen im Voraus, sodass die Arbeit vom latenzkritischen Pfad verlagert wird. Zur Inferenzzeit ist die Antwort weitgehend fertig, was Rechenaufwand und Latenz zur Testzeit reduziert.
Komplexität: mediumRessourcenbewusste Optimierung
In 30 seconds
- What
- Führt Schlussfolgern und Inferenz in Leerlaufphasen zwischen Nutzerinteraktionen aus, berechnet Antworten vorab und ordnet den Speicher neu, um die Latenz beim Eintreffen von Anfragen zu senken.
- When to use
- Sporadische Nutzerinteraktionen bei großem, stabilem Kontext, wenn Rechenkapazität im Hintergrund vorhanden und die Anfragemuster einigermaßen vorhersehbar sind.
- Watch out
- Vorberechnete Antworten veralten oder werden falsch, wenn sich der Kontext zwischen Leerlauf und Anfrage ändert; das kostet Rechenzeit und Nutzervertrauen.
Loading technique guide…