Loading...
🌙
アイドル時間コンピュート(STC)
次のクエリを待つ代わりに、ユーザー操作の合間のアイドル時間を使ってバックグラウンドで推論を行う。エージェントはメモリを再編成・圧縮し、必要になりそうな推論を事前に計算し、想定される質問に先回りして答えることで、作業をレイテンシに影響するクリティカルパスから外す。推論時には答えがほぼ用意されており、テスト時計算とレイテンシを削減できる。
複雑さ: mediumリソースを考慮した最適化
In 30 seconds
- What
- ユーザーとのやり取りの合間のアイドル時間に推論を行い、回答を事前計算しメモリを再編成することで、問い合わせが来たときの遅延を減らす。
- When to use
- 大きく安定したコンテキストに対してユーザーの利用が散発的で、バックグラウンドの計算資源があり、問い合わせのパターンがある程度予測できる場合。
- Watch out
- アイドル時から問い合わせまでの間にコンテキストが変わると、事前計算した回答は古くなったり誤ったものになったりし、計算資源とユーザーの信頼の両方を無駄にする。
Loading technique guide…