正在加载模式…
🔦
Spotlighting 与数据标记(SDM)
一组低成本的变换手法,使不可信的外部文本能够可靠地与可信指令区分开来。定界(delimiting)用唯一的边界包裹外部内容,数据标记(datamarking)在不可信文本段的每一处空白中穿插一个特殊标记,而 base64 等编码则进一步将其与指令通道分离。它是抵御间接提示注入的一道廉价的初级防线,但在自适应攻击下会失效,因此应与分层防御结合使用。
复杂度: low安全与隐私模式
30秒速览
- 是什么
- 用唯一的分隔符包裹不可信的外部文本,在空白处穿插特殊标记,或将其编码为 base64,使其在视觉上与可信指令区分开来。
- 何时使用
- 处理可能藏有针对模型的注入企图的外部内容(网页、用户上传文件、API 响应)。
- 注意
- 自适应攻击者可以摸清你的标记并绕过它们;应把它当作第一道防线,而非完整的防御。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
Spotlighting 与数据标记: 概览
一组低成本的变换手法,使不可信的外部文本能够可靠地与可信指令区分开来。定界(delimiting)用唯一的边界包裹外部内容,数据标记(datamarking)在不可信文本段的每一处空白中穿插一个特殊标记,而 base64 等编码则进一步将其与指令通道分离。它是抵御间接提示注入的一道廉价的初级防线,但在自适应攻击下会失效,因此应与分层防御结合使用。
- Delimiting marks the start and end of untrusted spans
- Datamarking interleaves a special token across untrusted text
- Encoding (base64/rot13) moves data off the instruction channel
- Model learns to treat marked spans as data, not commands
- Very low latency and token overhead
- Reduces indirect injection but not adaptive-attack proof
The Agent Architect
每周一个模式、一个权衡、一个生产事故案例。为构建智能体系统的人准备的每周简报。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
由本目录背后的工程师执行
对你的智能体系统做红队测试
这里写的防护,只有真的有人去攻破才算数。我们用真实攻击者的方式测试你的系统:提示注入、越狱、工具滥用与数据外泄,每一条结论都附上修复方案。
€750(原价 €1,500),一周交付,书面报告加讲解通话,9月30日前