Loading...
🗂️
Mise en cache sémantique(SCA)
Mettre en cache les réponses du LLM ou de l'agent en les indexant sur la similarité des embeddings plutôt que sur une correspondance exacte de chaîne, afin que des requêtes sémantiquement équivalentes réutilisent une réponse stockée. Un seuil de similarité détermine un succès, une TTL de fraîcheur limite l'obsolescence et une politique d'invalidation évince les entrées lorsque les données sources changent. Cela réduit le coût et la latence sur les trafics à fort volume et se distingue de la mise en cache du préfixe de prompt ou du cache KV.
Complexité: mediumOptimisation sensible aux ressources
In 30 seconds
- What
- Met en cache les réponses du LLM par similarité d'embeddings plutôt que par correspondance textuelle exacte, en réutilisant une réponse dès qu'une nouvelle requête dépasse un seuil de similarité.
- When to use
- Charges de requêtes à fort volume où de nombreuses questions sémantiquement équivalentes reviennent, et où la réduction du coût ou de la latence prime sur la fraîcheur.
- Watch out
- Le réglage du seuil de similarité est fragile : trop bas, il renvoie des réponses obsolètes sur des sujets qui ont dérivé ; trop haut, il rate des correspondances valides.
Loading technique guide…