Loading...
🗂️
セマンティックキャッシュ(SCA)
完全一致の文字列照合ではなく埋め込みの類似度をキーとしてLLMやエージェントの応答をキャッシュし、意味的に等価なクエリが保存済みの回答を再利用できるようにする。類似度のしきい値でヒットを判定し、鮮度のTTLで陳腐化を抑え、無効化ポリシーでソースデータの変更時にエントリを破棄する。これにより大量トラフィックでのコストとレイテンシを削減でき、プロンプト接頭辞キャッシュやKVキャッシュとは区別される。
複雑さ: mediumリソースを考慮した最適化
In 30 seconds
- What
- 完全一致のテキスト照合ではなく埋め込みの類似度で LLM の応答をキャッシュし、新しいクエリが類似度のしきい値を超えたら既存の回答を再利用します。
- When to use
- 意味的に同等な質問が何度も繰り返される大量アクセスの環境で、鮮度よりもコストやレイテンシの削減を優先したい場合。
- Watch out
- 類似度のしきい値の調整は繊細です。低すぎると話題がずれた問いに古い回答を返し、高すぎると本来有効なキャッシュヒットを取り逃がします。
Loading technique guide…