テキスト、画像、音声、動画、構造化データのソースを扱い、統合する検索拡張生成
Loading technique guide…
パターン: 専用エンコーダを用いて、テキスト、画像、音声、動画にまたがる証拠を検索し融合するマルチモーダル RAG システム
理由: テキストのみのシステムが見落とす複数モダリティの情報を組み合わせ、包括的な理解を実現する
重要なポイント: モダリティごとのエンコーダ(CLIP、Whisper、BLIP-2)と学習済み融合重みにより、クロスモーダルな証拠を統合する
厳選された資料で理解を深めましょう
Whisper: Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., 2022)
Speech-T5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing (Ao et al., 2022)
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing (Chen et al., 2022)
ImageBind: One Embedding Space To Bind Them All (Girdhar et al., 2023)
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations (Lu et al., 2019)
LXMERT: Learning Cross-Modality Encoder Representations from Transformers (Tan & Bansal, 2019)
Flamingo: a Visual Language Model for Few-Shot Learning (Alayrac et al., 2022)
ALIGN: Scaling Up Visual and Vision-Language Representation Learning (Jia et al., 2021)