Загружаем паттерны…
Конституционные классификаторы(CC)
Легковесные классификаторы входа и выхода, обученные на синтетических данных, сгенерированных из конституции на естественном языке, которая определяет разрешённый и блокируемый контент. Они выстроены каскадом, так что дешёвая проверка охватывает весь трафик, а подозрительные случаи эскалируются; выходной классификатор может остановить потоковую генерацию в тот момент, когда появляется нарушающий токен. Это отличается от Constitutional AI: Constitutional AI выравнивает модель во время обучения, тогда как конституционные классификаторы представляют собой работающие во время выполнения ограждения, обученные на основе конституции.
За 30 секунд
- Что это
- Обучает лёгкие классификаторы на синтетических данных, порождённых конституцией на естественном языке, чтобы фильтровать входы до инференса и обрывать вывод на первом нарушающем токене.
- Когда применять
- Для высоконагруженных систем, которым нужна фильтрация контента во время выполнения, когда правила конституции ясны, а шаблоны атак можно синтезировать для обучения.
- Осторожно
- Классификаторы, обученные на синтетических данных, могут пропустить новые способы обфускации или состязательные формулировки, которых не было в примерах, порождённых конституцией.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Конституционные классификаторы: Обзор
Легковесные классификаторы входа и выхода, обученные на синтетических данных, сгенерированных из конституции на естественном языке, которая определяет разрешённый и блокируемый контент. Они выстроены каскадом, так что дешёвая проверка охватывает весь трафик, а подозрительные случаи эскалируются; выходной классификатор может остановить потоковую генерацию в тот момент, когда появляется нарушающий токен. Это отличается от Constitutional AI: Constitutional AI выравнивает модель во время обучения, тогда как конституционные классификаторы представляют собой работающие во время выполнения ограждения, обученные на основе конституции.
- Constitution in natural language defines allowed vs blocked content
- Synthetic training data generated from the constitution
- Input classifier screens prompts before the model runs
- Streaming output classifier halts generation at first violating token
- Cascaded cheap-to-expensive screening controls cost
- Constitution can be updated as new attack classes emerge
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите red teaming вашей агентной системы
Описанные здесь меры защиты чего-то стоят, только если кто-то попробует их сломать. Мы протестируем вашу систему так, как это сделал бы настоящий атакующий: инъекции промптов, джейлбрейки, злоупотребление инструментами и эксфильтрация данных, каждая находка с готовым исправлением.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября