Извлечение знаний (RAG)

Базовый фреймворк «Retrieve-Read», следующий традиционному процессу индексации, извлечения и генерации

Усовершенствованный RAG с оптимизациями до и после извлечения, включая расширение запросов, повторное ранжирование и курирование контекста

Гибкая архитектура RAG со взаимозаменяемыми модулями, поддерживающая итеративные, адаптивные и непоследовательные схемы извлечения

Саморефлексивный RAG, который адаптивно определяет необходимость извлечения и оценивает его качество с помощью токенов рефлексии

Система RAG, которая автоматически обнаруживает и исправляет некачественные результаты извлечения посредством оценки качества и повторного извлечения

RAG, усиленный графом знаний, который использует связи между сущностями и обнаружение сообществ для запросов на глобальное осмысление

Генерация с дополненным извлечением, которая обрабатывает и объединяет источники текста, изображений, аудио, видео и структурированных данных

Автономные системы генерации с дополненным извлечением, обладающие способностями к самостоятельному планированию, извлечению и рассуждению

Извлечение информации на основе абстрактных паттернов рассуждения, а не явных запросов, в многоагентных агентных ИИ-системах.

Переписать или расширить запрос пользователя перед извлечением, чтобы эмбеддинги оказывались рядом с релевантными документами. HyDE генерирует гипотетический документ-ответ и вычисляет его эмбеддинг, чтобы найти реальных соседей; расширение с несколькими запросами (multi-query) формирует несколько переформулировок и объединяет результаты; а step-back-промптинг абстрагирует вопрос, чтобы сначала извлечь лежащие в основе принципы. Эти преобразования дают значительный прирост качества извлечения в режиме zero-shot без обучения ретривера.

Строить индекс извлечения в виде многоуровневого дерева, а не плоского списка фрагментов (chunks). RAPTOR рекурсивно вычисляет эмбеддинги фрагментов, кластеризует и суммирует их, так что запрос может извлекать данные с любого уровня абстракции, возвращая по мере необходимости обобщённый синтез или детали листового узла. Contextual retrieval от Anthropic перед вычислением эмбеддинга добавляет к каждому фрагменту краткое контекстное описание, написанное LLM, чтобы изолированные фрагменты оставались привязанными ко всему документу.

Составная исследовательская архитектура с длинным горизонтом, которая уточняет намерение пользователя, составляет явный план исследования, а затем прогоняет итеративный цикл «поиск, чтение и оценка пробелов» по множеству источников (часто с помощью параллельных субагентов), прежде чем синтезировать единый развёрнутый отчёт со встроенными ссылками на источники. Это собранный воедино архетип, стоящий за OpenAI Deep Research, Gemini Deep Research и Anthropic Research, у которого есть собственная обзорная литература. Отличается от `agentic-rag-systems`, который принимает решения об извлечении внутри единого конвейера, а не выполняет многораундовый, управляемый планом синтез отчёта. Отличается от `supervisor-worker-pattern`, представляющего собой универсальную оркестрацию без специфичных для исследования плана, проверки пробелов и этапа простановки ссылок.

Извлечение, специализированное под код, которое использует структуру программы вместо эмбеддингов (или вместе с ними). Репозиторий разбирается с помощью tree-sitter в AST, а также в граф символов и зависимостей; файлы и символы ранжируются по центральности в графе (взвешенная по PageRank карта тегов в Aider), инструменты обхода графа проходят по рёбрам вызовов, определений и импортов (AutoCodeRover и агенты на графах кода), а спектральная локализация ошибок может сузить поиск, отталкиваясь от падающих тестов. Это позволяет кодовому агенту собрать минимальный релевантный контекст из репозитория, намного превышающего его контекстное окно. Отличается от `graph-rag`, чей граф строится из сущностей документов, а не из семантики кода.