Loading...
🐫
デュアルLLMとケイパビリティセキュリティ(CaMeL)(CaMeL)
エージェントを、信頼できるユーザー指示のみを参照して制御フローとデータフローを計画する特権LLMと、信頼できないコンテンツを処理するが制御フローには一切影響を与えられない隔離LLMに分割する。ケイパビリティを追跡するインタープリターが明示的なデータフローポリシーを強制するため、ツール出力に注入された指示が不正な操作を引き起こすことは決してない。これは確率的なフィルタリングではなく、設計による防御である。
複雑さ: highセキュリティとプライバシーのパターン
In 30 seconds
- What
- 制御フローを計画する信頼されたLLMと、データ抽出だけを行う信頼されないLLMを分離し、どのデータがどの操作を起動できるかをケイパビリティタグで強制する。
- When to use
- エージェントが信頼できないユーザー入力やツール出力を処理する場面で、プロンプトインジェクションによって実行経路が変えられたり、制限されたリソースにアクセスされたりするのを防ぐ必要があるとき。
- Watch out
- 実装の複雑さと実行時オーバーヘッドが大きい。ケイパビリティ追跡はレイテンシを増やし、正当なワークフローを壊さないよう慎重なポリシー設計を求める。
Loading technique guide…