Загружаем паттерны…
Spotlighting и маркировка данных(SDM)
Семейство недорогих преобразований, которые делают недоверенный внешний текст надёжно отличимым от доверенных инструкций. Разграничение (delimiting) заключает внешний контент в уникальные границы, маркировка данных (datamarking) вставляет специальный токен в каждый пробел недоверенного фрагмента, а кодирование, например base64, дополнительно отделяет его от канала инструкций. Это дешёвая первая линия обороны против косвенной инъекции промптов, но она ослабевает под адаптивными атаками, поэтому её следует сочетать с эшелонированной защитой.
За 30 секунд
- Что это
- Оборачивает недоверенный внешний текст в уникальные разделители, вставляет специальные токены вместо пробелов или кодирует его в base64, чтобы он визуально отличался от доверенных инструкций.
- Когда применять
- Обработка внешнего содержимого (веб-страницы, загрузки пользователей, ответы API), в котором могут скрываться попытки инъекции, нацеленные на модель.
- Осторожно
- Адаптивные атакующие могут выучить ваши маркеры и обойти их: считайте это лишь первым рубежом, а не полноценной защитой.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Spotlighting и маркировка данных: Обзор
Семейство недорогих преобразований, которые делают недоверенный внешний текст надёжно отличимым от доверенных инструкций. Разграничение (delimiting) заключает внешний контент в уникальные границы, маркировка данных (datamarking) вставляет специальный токен в каждый пробел недоверенного фрагмента, а кодирование, например base64, дополнительно отделяет его от канала инструкций. Это дешёвая первая линия обороны против косвенной инъекции промптов, но она ослабевает под адаптивными атаками, поэтому её следует сочетать с эшелонированной защитой.
- Delimiting marks the start and end of untrusted spans
- Datamarking interleaves a special token across untrusted text
- Encoding (base64/rot13) moves data off the instruction channel
- Model learns to treat marked spans as data, not commands
- Very low latency and token overhead
- Reduces indirect injection but not adaptive-attack proof
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите red teaming вашей агентной системы
Описанные здесь меры защиты чего-то стоят, только если кто-то попробует их сломать. Мы протестируем вашу систему так, как это сделал бы настоящий атакующий: инъекции промптов, джейлбрейки, злоупотребление инструментами и эксфильтрация данных, каждая находка с готовым исправлением.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября