正在加载模式…
🐫
双LLM与能力安全（CaMeL）
将智能体拆分为两部分：一个特权LLM，只看到可信的用户指令并规划控制流与数据流；一个隔离LLM，处理不可信内容但永远无法影响控制流。能力追踪解释器强制执行显式的数据流策略，因此注入到工具输出中的指令永远无法触发未授权操作。这是通过设计实现的防御，而非概率性过滤。
复杂度: high安全与隐私模式
30秒速览
- 是什么
- 把负责规划控制流的可信 LLM 与只做数据抽取的不可信 LLM 分开，并用能力标签强制约束哪些数据可以触发哪些操作。
- 何时使用
- 智能体要处理不可信的用户输入或工具输出，必须阻止提示注入改变执行路径或访问受限资源。
- 注意
- 实现复杂度和运行时开销都很高；能力追踪会增加延迟，并且需要精心定义策略，才不会破坏正常的工作流。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
双LLM与能力安全（CaMeL）: 概览
将智能体拆分为两部分：一个特权LLM，只看到可信的用户指令并规划控制流与数据流；一个隔离LLM，处理不可信内容但永远无法影响控制流。能力追踪解释器强制执行显式的数据流策略，因此注入到工具输出中的指令永远无法触发未授权操作。这是通过设计实现的防御，而非概率性过滤。
- Privileged LLM plans control flow from trusted input only
- Quarantined LLM extracts data from untrusted content, never issues commands
- Capability tags track data provenance through every value
- Interpreter enforces data-flow policies before each tool call
- Injected instructions in tool outputs cannot reach the control path
- Formal security guarantees instead of best-effort prompt filtering
The Agent Architect
每周一个模式、一个权衡、一个生产事故案例。为构建智能体系统的人准备的每周简报。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
由本目录背后的工程师执行
对你的智能体系统做红队测试
这里写的防护，只有真的有人去攻破才算数。我们用真实攻击者的方式测试你的系统：提示注入、越狱、工具滥用与数据外泄，每一条结论都附上修复方案。
€750（原价 €1,500），一周交付，书面报告加讲解通话，9月30日前