Loading...
🎭
Мультимодальный RAG(MMRAG)
Генерация с дополненным извлечением, которая обрабатывает и объединяет источники текста, изображений, аудио, видео и структурированных данных
Сложность: highИзвлечение знаний (RAG)
In 30 seconds
- What
- Извлекает и объединяет текст, изображения, аудио, видео и структурированные данные с помощью согласованных эмбеддингов, опирая генерацию на мультимодальные свидетельства.
- When to use
- Задачи, где ответы должны опираться на разные типы медиа, например медицинская диагностика по снимкам и тексту или ревью дизайна по документам и скриншотам.
- Watch out
- Согласование эмбеддингов между модальностями хрупко: при рассогласованных пространствах поиск начинает отдавать предпочтение одной модальности, и ответы, требующие настоящего слияния, ухудшаются.
Loading technique guide…