Системы, дополненные поиском и гибридные системы

Как проходит обучение

Компоненты могут быть обучены отдельно или совместно: двойные энкодеры обучают поиску, переранжировщики обучают парной релевантности, а генераторы — выработке обоснованных ответов. Многие практические системы RAG используют предварительно обученные компоненты без сквозного обучения.

Как выполняется инференс

Запрос может быть переписан или направлен; несколько извлекателей создают кандидатов; фильтры и переранжировщик выбирают доказательства; модель отвечает, исходя из ограниченного контекста. Проверка корректности ссылок требует проверки фактической поддержки заявлений.

Сильные стороны

• •Свежие, частные или атрибутируемые знания без обновлений весов
• •Доказательства могут быть проверены и доступны с контролем доступа
• •Индексы и генераторы могут развиваться независимо

Компромиссы

• •Плохое разбиение или извлечение создает уверенные ответы на основе отсутствующих доказательств
• •Свежесть импорта, разрешения и удаление становятся производственными системами
• •Извлеченный контент может содержать внедрение подсказок или отравленные данные

Использовать, когда

• Ответы зависят от меняющихся или проприетарных источников
• Пользователям нужны отслеживаемые доказательства
• Можно оценивать отдельные призыв, ранжирование, обоснованность и качество ответов

Избегать или пересмотреть, когда

• Корпус достаточно мал для детерминированного поиска
• Не существует надежного источника
• Добавление векторной базы данных рассматривается как полный дизайн RAG