Loading...

⚖️

Constitutional AI(CAI)

Использование явного набора принципов для управления самокритикой, доработкой и генерируемой ИИ обратной связью о предпочтениях в процессе обучения

Сложность: highОбучение и адаптация

In 30 seconds

What: Модель учится критиковать и перерабатывать собственные ответы в соответствии с явными принципами, а затем ранжирует ответы с помощью согласованной с принципами обратной связи, без разметки человеком.
When to use: При обучении систем, когда есть чёткие принципы поведения, но ограниченные возможности для обратной связи от людей, и нужна интерпретируемая согласованность прямо в процессе обучения.
Watch out: Противоречивые или расплывчатые принципы дают несогласованные обучающие сигналы; модель может научиться обходить проверку принципов вместо того, чтобы усвоить сами ценности.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

⚖️

Constitutional AI(CAI)

Сложность: highОбучение и адаптация

In 30 seconds

What: Модель учится критиковать и перерабатывать собственные ответы в соответствии с явными принципами, а затем ранжирует ответы с помощью согласованной с принципами обратной связи, без разметки человеком.
When to use: При обучении систем, когда есть чёткие принципы поведения, но ограниченные возможности для обратной связи от людей, и нужна интерпретируемая согласованность прямо в процессе обучения.
Watch out: Противоречивые или расплывчатые принципы дают несогласованные обучающие сигналы; модель может научиться обходить проверку принципов вместо того, чтобы усвоить сами ценности.

Обзор за 30 секунд

Паттерн: Обучение систем ИИ на явно заданных принципах и сгенерированной ИИ обратной связи ради безвредного и полезного поведения

Почему: Масштабирует надзор за пределы человеческих возможностей, снижает вредные ответы и создаёт прозрачные системы ИИ, согласованные с ценностями

Ключевая идея: Конституционные принципы направляют генерацию обратной связи ИИ, создавая самоконтролируемые системы, согласованные с явными ценностями

Быстрая реализация

1Конституция:Определить принципы и поведенческие ограничения

2SFT:Обучение с учителем на полезных примерах поведения

3Обратная связь от ИИ:Генерировать критику на основе конституции

4RL-обучение:Обучить модель предпочтений на обратной связи ИИ

5Проверка:Проверить соблюдение конституции и безопасность

Example: constitution + sft_model → ai_feedback → preference_model → constitutional_model

Что делать и чего избегать

✅Формулируйте ясные, конкретные и применимые конституционные принципы

✅Используйте разнообразные принципы, охватывающие разные ценности

✅Внедрите итеративные процессы уточнения конституции

✅Отслеживайте конфликты и компромиссы между принципами

✅Сверяйте качество обратной связи ИИ с человеческими оценками

✅Тщательно тестируйте краевые случаи и состязательные сценарии

❌Использовать расплывчатые или противоречивые принципы

❌Пропускать человеческую проверку сгенерированной ИИ обратной связи

❌Применять единый конституционный каркас ко всем доменам

❌Игнорировать культурные и контекстные различия ценностей

❌Развёртывать без обширного red-team тестирования

Когда использовать

Используйте, когда

• Создание систем, требующих строгого этического согласования
• Снижение затрат на человеческую разметку для обучения безопасности
• Масштабирование надзора на сложное поведение ИИ
• Внедрение прозрачных ценностно-ориентированных систем ИИ
• Создание саморегулирующегося ИИ с явными принципами

Избегайте, когда

• Простые задачи с чёткими объективными метриками
• Области со строгими требованиями регуляторов
• Системы, требующие человеческого надзора в реальном времени
• Приложения с нулевой терпимостью к ошибкам
• Контексты с сильно спорными моральными принципами

Ключевые метрики

Соблюдение конституции

% ответов, следующих заданным принципам

Доля безвредности

% ответов без вредного содержимого

Оценка полезности

Качество оказанной помощи

Согласованность с ценностями

Соответствие заданной этической рамке

Качество обратной связи ИИ

Корреляция с человеческой обратной связью

Оценка устойчивости

Производительность при состязательном тестировании

Основные сценарии использования

Разговорный ИИ: согласование чат-ботов с этическими принципами и снижение вредных ответов

Модерация контента: автоматическое соблюдение правил сообщества и ценностей платформы

Юридические ИИ-ассистенты: соблюдение профессиональной этики и правовых норм

Образовательный ИИ: взаимодействие, соответствующее возрасту и педагогически обоснованное

ИИ в здравоохранении: защита конфиденциальности пациентов и медицинской этики при помощи ИИ

Финансовый ИИ: справедливое кредитование и соблюдение регуляторных требований в решениях ИИ

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основополагающие статьи

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022)

AI Alignment via Debate (Irving et al., 2018)

Scalable agent alignment via reward modeling (Leike et al., 2018)

Методология Constitutional AI

Конституция Claude - документация Anthropic

Measuring Progress on Scalable Oversight for Large Language Models (Bowman et al., 2022)

Безопасность и согласование ИИ

Concrete Problems in AI Safety (Amodei et al., 2016)

AI Alignment: A Comprehensive Survey (Ji et al., 2023)

Red Teaming Language Models to Reduce Harms (Ganguli et al., 2022)

The Alignment Problem: Machine Learning and Human Values (Russell, 2019)

Конституционные рамки и принципы

Всеобщая декларация прав человека - основа Constitutional AI

Asilomar AI Principles (Future of Life Institute, 2017)

IEEE Standards for Ethical Design of Autonomous Systems

Реализация и масштабирование

Scaling Laws for Reward Model Overoptimization (Gao et al., 2022)

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Teaching language models to support answers with verified quotes (Menick et al., 2022)

Оценка и измерение

RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models

TruthfulQA: Measuring How Models Mimic Human Falsehoods (Lin et al., 2021)

A General Language Assistant as a Laboratory for Alignment

RLHF и обучение на предпочтениях

Learning to summarize from human feedback (Stiennon et al., 2020)

Deep reinforcement learning from human preferences (Christiano et al., 2017)

Scalable agent alignment via reward modeling (Leike et al., 2018)

Исследования морали и этики ИИ

Moral Machine Experiment: Global Preferences in AI Ethics (Awad et al., 2018)

The Moral Status of AI (Floridi et al., 2018)

Artificial Moral Agents: An Introduction (Wallach & Allen, 2008)

Machine Ethics: The Robot's Dilemma (Lin et al., 2011)

Отраслевые применения

Claude 2 Constitutional AI Implementation (Anthropic, 2023)

OpenAI GPT-4 System Card - вопросы безопасности

Практики ответственного ИИ в Google Bard

Фреймворк ответственного ИИ Microsoft

Инструменты и реализация

OpenAI Moderation API для политики контента

Реализация RLHF в Hugging Face Transformers

Скрипты обучения Constitutional AI (сообщество)

Исследовательские сообщества

Исследовательская команда Anthropic

AI Alignment Forum

Center for AI Safety (CAIS)

Future of Humanity Institute (FHI)

Политика и управление

The Malicious Use of Artificial Intelligence (Brundage et al., 2018)

National AI Initiative (правительство США)

EU AI Act: последствия для Constitutional AI

Loading technique guide…