Loading...
🐫
Безопасность на основе двух LLM и capability (CaMeL)
Разделяет агента на привилегированную LLM, которая видит только доверенные инструкции пользователя и планирует поток управления и данных, и изолированную LLM, которая обрабатывает недоверенный контент, но никогда не может повлиять на поток управления. Интерпретатор с отслеживанием capability применяет явные политики потоков данных, так что инструкции, внедрённые в выходные данные инструментов, никогда не смогут запустить несанкционированные действия. Это защита по замыслу, а не вероятностная фильтрация.
Сложность: highПаттерны безопасности и конфиденциальности
In 30 seconds
- What
- Разделяет доверенную LLM, планирующую поток управления, и недоверенную LLM, которая только извлекает данные, а теги возможностей задают, какие данные могут запускать какие действия.
- When to use
- Агенты обрабатывают недоверенный пользовательский ввод или выводы инструментов и должны не допустить, чтобы инъекция промпта изменила путь выполнения или открыла доступ к закрытым ресурсам.
- Watch out
- Высокая сложность реализации и накладные расходы во время выполнения; отслеживание возможностей добавляет задержку и требует аккуратно заданных политик, чтобы не сломать легитимные сценарии.
Loading technique guide…