Загружаем паттерны…
Семантическое кэширование(SCA)
Кэширование ответов LLM или агента по ключу на основе сходства эмбеддингов, а не точного совпадения строк, чтобы семантически эквивалентные запросы повторно использовали сохранённый ответ. Порог сходства определяет попадание, TTL свежести ограничивает устаревание, а политика инвалидации удаляет записи при изменении исходных данных. Это снижает стоимость и задержку при высоконагруженном трафике и отличается от кэширования префикса промпта или KV-кэширования.
За 30 секунд
- Что это
- Кеширует ответы LLM по сходству эмбеддингов, а не по точному совпадению текста, и переиспользует ответ, когда новый запрос превышает порог сходства.
- Когда применять
- Высоконагруженные потоки запросов, где часто повторяются семантически эквивалентные вопросы, а снижение стоимости или задержки важнее свежести данных.
- Осторожно
- Настройка порога сходства хрупка: слишком низкий порог выдаёт устаревшие ответы по сместившимся темам, слишком высокий упускает корректные попадания в кеш.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Семантическое кэширование: Обзор
Кэширование ответов LLM или агента по ключу на основе сходства эмбеддингов, а не точного совпадения строк, чтобы семантически эквивалентные запросы повторно использовали сохранённый ответ. Порог сходства определяет попадание, TTL свежести ограничивает устаревание, а политика инвалидации удаляет записи при изменении исходных данных. Это снижает стоимость и задержку при высоконагруженном трафике и отличается от кэширования префикса промпта или KV-кэширования.
- Embedding-similarity cache keys
- Tunable similarity threshold for hits
- Freshness TTL to bound staleness
- Invalidation on source-data change
- Vector store backed lookup
- Cost and latency reduction at high volume
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября