Loading...
Оркестрация контекста
Паттерны для выбора, маршрутизации, определения объёма и комбинирования контекста
In 30 seconds
- What
- Определяет, какая информация доходит до каждой модели или агента, в каком виде и когда, отбирая и маршрутизируя её между памятью, поиском, инструментами и специализированными агентами.
- When to use
- Несколько источников контекста борются за ограниченное окно модели, разным агентам нужны разные свидетельства либо качество и свежесть контекста различаются от источника к источнику.
- Watch out
- Склейка всех доступных источников без расстановки приоритетов впустую тратит токены, вносит шум и может спровоцировать противоречивые рассуждения или утечки персональных данных.
Обзор
Паттерны оркестрации контекста определяют, какая информация должна поступать к каждой модели или агенту, в какой форме и в какой момент. Они охватывают слияние источников, маршрутизацию с учётом задачи и адаптивное определение объёма контекста в системах, сочетающих память, поиск, инструменты и несколько специалистов.
Практические применения и сценарии
Ассистенты с множеством источников
объединение найденных документов, памяти сессии и результатов работы инструментов в реальном времени с чётким происхождением.
Специализированные агенты
маршрутизация к каждому агенту только нужного ему контекста при сохранении непрерывности передачи.
Приложения, чувствительные к стоимости
адаптация глубины контекста к сложности задачи вместо заполнения окна по умолчанию.
Почему это важно
Больше контекста не всегда лучше. Продуманная оркестрация снижает отвлечение, утечки, стоимость и противоречивость свидетельств, сохраняя при этом информацию, необходимую для задачи.
Руководство по внедрению
Когда использовать
Несколько источников контекста конкурируют за ограниченное окно модели
Разным агентам или задачам нужны разные свидетельства
Качество, конфиденциальность или актуальность контекста различаются по источникам
Лучшие практики
Ранжировать контекст по релевантности задаче, авторитетности, актуальности и чувствительности
Сохранять происхождение и политику доступа на протяжении всех преобразований
Оценивать качество поиска и качество ответа вместе
Распространённые ошибки
Склеивать все доступные источники без расстановки приоритетов
Терять происхождение при суммаризации или передаче
Передавать чувствительный контекст агентам, которым он не нужен