Semantisches Caching(SCA)

Antworten des LLM oder Agenten zwischenspeichern, indexiert nach Embedding-Ähnlichkeit statt exakter Zeichenkettenübereinstimmung, sodass semantisch äquivalente Anfragen eine gespeicherte Antwort wiederverwenden. Ein Ähnlichkeitsschwellenwert entscheidet über einen Treffer, eine Aktualitäts-TTL begrenzt die Veralterung, und eine Invalidierungsrichtlinie entfernt Einträge, wenn sich die Quelldaten ändern. Das senkt Kosten und Latenz bei hohem Trafficaufkommen und unterscheidet sich vom Prompt-Präfix- oder KV-Caching.