Loading...
📜
Конституционные классификаторы(CC)
Легковесные классификаторы входа и выхода, обученные на синтетических данных, сгенерированных из конституции на естественном языке, которая определяет разрешённый и блокируемый контент. Они выстроены каскадом, так что дешёвая проверка охватывает весь трафик, а подозрительные случаи эскалируются; выходной классификатор может остановить потоковую генерацию в тот момент, когда появляется нарушающий токен. Это отличается от Constitutional AI: Constitutional AI выравнивает модель во время обучения, тогда как конституционные классификаторы представляют собой работающие во время выполнения ограждения, обученные на основе конституции.
Сложность: mediumПаттерны безопасности и конфиденциальности
In 30 seconds
- What
- Обучает лёгкие классификаторы на синтетических данных, порождённых конституцией на естественном языке, чтобы фильтровать входы до инференса и обрывать вывод на первом нарушающем токене.
- When to use
- Для высоконагруженных систем, которым нужна фильтрация контента во время выполнения, когда правила конституции ясны, а шаблоны атак можно синтезировать для обучения.
- Watch out
- Классификаторы, обученные на синтетических данных, могут пропустить новые способы обфускации или состязательные формулировки, которых не было в примерах, порождённых конституцией.
Loading technique guide…