Паттерны безопасности и конфиденциальности

Многоуровневая архитектура безопасности, реализующая модель швейцарского сыра для безопасности ИИ

Динамическое применение правил на основе контекста, требований к потокам данных и условных шаблонов

Выделенный агент-ограничитель, который отслеживает и защищает целевые агенты с помощью динамических проверок безопасности

Внутренние точки наблюдения, недоступные для манипуляций со стороны агента, что предотвращает скрытые махинации

Защищает системы памяти агентов от злонамеренных манипуляций и постепенного повреждения

Не позволяет злоумышленникам склонить агентов к выполнению вредоносных действий через инструменты

Предотвращает повышение привилегий и несанкционированные операции за счёт строгого контроля доступа

Непрерывно адаптирующаяся система безопасности, которая динамически генерирует и совершенствует проверки безопасности

Комплексное моделирование угроз для мультиагентных сред с оркестрацией безопасности

Защищает системные промпты от попыток извлечения и манипуляции

Обработка данных с сохранением приватности и математическими гарантиями конфиденциальности

Подход «никогда не доверяй, всегда проверяй» для безопасности агентов

Совместная работа нескольких агентов с сохранением приватности без раскрытия конфиденциальных данных

Автоматизированное обеспечение соответствия GDPR, HIPAA, SOX и нормативным требованиям

Мониторинг безопасности в реальном времени и автоматическое реагирование на угрозы

Безопасная аутентификация, авторизация и проверка идентичности агентов

Комплексные методы анонимизации данных, включая K-anonymity, L-diversity, T-closeness и генерацию синтетических данных для агентных систем

Аппаратные доверенные среды исполнения (TEE), защищающие ИИ-агентов и обработку данных в недоверенных средах

Многоуровневая архитектура защищённого хранения, сочетающая локальные хранилища на устройстве, удалённые серверные хранилища и шифрованное кэширование для агентных ИИ-систем

Распределённая агентная архитектура, сочетающая локальные обрабатывающие агенты с удалёнными агрегирующими агентами и использующая передовые методы анонимизации для ИИ с защитой конфиденциальности

Разделяет агента на привилегированную LLM, которая видит только доверенные инструкции пользователя и планирует поток управления и данных, и изолированную LLM, которая обрабатывает недоверенный контент, но никогда не может повлиять на поток управления. Интерпретатор с отслеживанием capability применяет явные политики потоков данных, так что инструкции, внедрённые в выходные данные инструментов, никогда не смогут запустить несанкционированные действия. Это защита по замыслу, а не вероятностная фильтрация.

Семейство недорогих преобразований, которые делают недоверенный внешний текст надёжно отличимым от доверенных инструкций. Разграничение (delimiting) заключает внешний контент в уникальные границы, маркировка данных (datamarking) вставляет специальный токен в каждый пробел недоверенного фрагмента, а кодирование, например base64, дополнительно отделяет его от канала инструкций. Это дешёвая первая линия обороны против косвенной инъекции промптов, но она ослабевает под адаптивными атаками, поэтому её следует сочетать с эшелонированной защитой.

Запускает сгенерированный агентом код, команды оболочки и обработку недоверенного контента внутри изолированных сред с ограниченной файловой системой и списком разрешённого исходящего сетевого трафика, проходящего через прокси. Даже агент, подвергшийся инъекции промпта, не может прочитать секреты хоста, обратиться к файлам за пределами своей области или выгрузить данные на неодобренный домен. Изоляция строится на примитивах операционной системы, таких как Seatbelt и bubblewrap, на микро-ВМ или контейнерах, либо на специализированной инфраструктуре песочниц, например E2B, Modal и Docker.

Легковесные классификаторы входа и выхода, обученные на синтетических данных, сгенерированных из конституции на естественном языке, которая определяет разрешённый и блокируемый контент. Они выстроены каскадом, так что дешёвая проверка охватывает весь трафик, а подозрительные случаи эскалируются; выходной классификатор может остановить потоковую генерацию в тот момент, когда появляется нарушающий токен. Это отличается от Constitutional AI: Constitutional AI выравнивает модель во время обучения, тогда как конституционные классификаторы представляют собой работающие во время выполнения ограждения, обученные на основе конституции.

Наделяет агентов проверяемой идентичностью, а также ограниченными по области и поддающимися аудиту полномочиями действовать от имени пользователя. Короткоживущие токены OAuth и OIDC сопоставляются с явными возможностями, токены делегирования, привязанные к намерению, кодируют то, что агенту разрешено делать, а проверяемые учётные данные позволяют агентам устанавливать доверие через переходы MCP и A2A. Каждое действие несёт проверяемое утверждение, поэтому полномочия можно ограничить заранее и проверить впоследствии, а запросы вне области отклоняются на сервере ресурсов.

Ограничивает наихудшее возможное воздействие сбойного агента до того, как он начнёт действовать, а не только выявляет злоупотребления постфактум. Инструменты классифицируются по обратимости и воздействию (чтение свободно, запись валидируется, деструктивные операции ставятся на паузу); полномочия ограничиваются по принципу наименьших привилегий для каждой задачи; автономия предоставляется поэтапно (от помощи к предложению-и-одобрению, затем к действию-и-аудиту и к наблюдению) и заслуживается по мере подтверждения надёжности; необратимые шаги вызывают пробный прогон или предпросмотр плана, чтобы человек проверял план, а не его последствия; а аварийный выключатель с захватом состояния и помещением в карантин может остановить агента посреди выполнения. Отличается от человека в контуре: это позиция надзора, тогда как здесь возможности ограничиваются по обратимости. Отличается от песочницы для агентов: она изолирует среду выполнения, тогда как здесь ранжируется обратимость по каждому инструменту и поэтапно расширяется автономия. Отличается от предотвращения злоупотребления инструментами: оно защищает от злоупотреблений, вызванных инъекцией, а не от классификации радиуса поражения.