Loading...
🐫
双LLM与能力安全(CaMeL)(CaMeL)
将智能体拆分为两部分:一个特权LLM,只看到可信的用户指令并规划控制流与数据流;一个隔离LLM,处理不可信内容但永远无法影响控制流。能力追踪解释器强制执行显式的数据流策略,因此注入到工具输出中的指令永远无法触发未授权操作。这是通过设计实现的防御,而非概率性过滤。
复杂度: high安全与隐私模式
In 30 seconds
- What
- 把负责规划控制流的可信 LLM 与只做数据抽取的不可信 LLM 分开,并用能力标签强制约束哪些数据可以触发哪些操作。
- When to use
- 智能体要处理不可信的用户输入或工具输出,必须阻止提示注入改变执行路径或访问受限资源。
- Watch out
- 实现复杂度和运行时开销都很高;能力追踪会增加延迟,并且需要精心定义策略,才不会破坏正常的工作流。
Loading technique guide…