Loading...
🐫
Sécurité par double LLM et capacités (CaMeL)
Divise l'agent en un LLM privilégié qui ne voit que les instructions utilisateur de confiance et planifie les flux de contrôle et de données, et un LLM mis en quarantaine qui traite le contenu non fiable sans jamais pouvoir influencer le flux de contrôle. Un interpréteur de suivi des capacités applique des politiques explicites de flux de données : ainsi, les instructions injectées dans les sorties d'outils ne peuvent jamais déclencher d'actions non autorisées. Il s'agit d'une défense par conception plutôt que d'un filtrage probabiliste.
Complexité: highModèles de sécurité et de confidentialité
In 30 seconds
- What
- Sépare un LLM de confiance qui planifie le flux de contrôle d'un LLM non fiable qui se contente d'extraire des données, avec des étiquettes de capacité qui déterminent quelles données peuvent déclencher quelles actions.
- When to use
- Des agents traitent des entrées utilisateur ou des sorties d'outils non fiables et doivent empêcher qu'une injection de prompt ne modifie les chemins d'exécution ou n'accède à des ressources restreintes.
- Watch out
- Complexité de mise en œuvre et surcoût d'exécution élevés ; le suivi des capacités ajoute de la latence et exige des politiques finement définies pour ne pas casser des flux légitimes.
Loading technique guide…