Loading...
⚡
テスト時計算スケーリング(TTC)
問題の複雑さに応じて計算リソースを動的に割り当てる
複雑さ: high推論技法
In 30 seconds
- What
- 難しい問題にはより多くの推論ステップや計算リソースを、簡単な問題にはより少なく割り当て、検出した難易度に応じてリアルタイムで調整します。
- When to use
- 問題の複雑さの幅が大きく、レイテンシのばらつきを許容できる場合や、深い推論が要る問い合わせと素早い回答で足りる問い合わせが混在する場合に。
- Watch out
- 問題の複雑さを事前に見積もるのは当てになりません。ずれに気づく前に、簡単な問題に使いすぎたり、難しい問題に足りなかったりします。
Loading technique guide…