Loading...

⚖️

Constitutional AI(CAI)

明示的な原則の集合を用いて、学習中の自己批判、修正、AIが生成する選好フィードバックを導く手法

複雑さ: high学習と適応

In 30 seconds

What: モデルは明示された原則に照らして自らの出力を批評し修正することを学び、人手によるラベル付けなしに原則に沿ったフィードバックで応答を順位付けします。
When to use: 明確な行動原則はあるものの人間のフィードバック能力が限られており、学習中に解釈可能なアラインメントが必要なシステムを訓練するとき。
Watch out: 原則が互いに矛盾していたり曖昧だったりすると訓練信号が一貫せず、モデルは価値観を内面化する代わりに原則チェックを出し抜くことを学びかねません。

Loading technique guide…

Patterns

Loading...

設計パターンと手法

Loading...

⚖️

Constitutional AI(CAI)

明示的な原則の集合を用いて、学習中の自己批判、修正、AIが生成する選好フィードバックを導く手法

複雑さ: high学習と適応

In 30 seconds

What: モデルは明示された原則に照らして自らの出力を批評し修正することを学び、人手によるラベル付けなしに原則に沿ったフィードバックで応答を順位付けします。
When to use: 明確な行動原則はあるものの人間のフィードバック能力が限られており、学習中に解釈可能なアラインメントが必要なシステムを訓練するとき。
Watch out: 原則が互いに矛盾していたり曖昧だったりすると訓練信号が一貫せず、モデルは価値観を内面化する代わりに原則チェックを出し抜くことを学びかねません。

30秒でわかる概要

パターン: 明示的に定義された原則とAI生成のフィードバックでAIシステムを学習させ、無害で有用な振る舞いを実現する

理由: 人間の能力を超えて監督をスケールさせ、有害な出力を減らし、価値に整合した透明なAIシステムを生む

重要なポイント: 憲法原則がAIフィードバックの生成を導き、明示的な価値に沿った自己監督型システムを作る

クイック実装

1憲法:原則と行動上の制約を定義する

2SFT:有用な振る舞いに対する教師ありファインチューニング

3AIフィードバック:憲法に基づいて批評を生成する

4RL学習:AIフィードバックで選好モデルを学習する

5検証:憲法遵守と安全性を検証する

Example: constitution + sft_model → ai_feedback → preference_model → constitutional_model

推奨事項と禁止事項

✅明確で具体的かつ実行可能な憲法原則を作る

✅複数の価値を網羅する多様な憲法原則を用いる

✅憲法を反復的に洗練するプロセスを整える

✅憲法原則同士の衝突とトレードオフを監視する

✅AIフィードバックの品質を人間の判断と照合して検証する

✅エッジケースと敵対的シナリオを徹底的に検証する

❌曖昧または矛盾した憲法原則を使う

❌AIが生成したフィードバックの人手検証を省く

❌すべての領域に単一の憲法枠組みを適用する

❌価値観の文化的・文脈的な違いを無視する

❌十分なレッドチーム検証なしにデプロイする

使用する場面

使用する場合

• 強い倫理的アラインメントを要するシステムの構築
• 安全性学習における人手アノテーションのコスト削減
• 複雑なAIの振る舞いへ監督をスケールさせる
• 価値に基づく透明なAIシステムの実装
• 明示的な原則を持つ自己規制型AIの構築

避けるべき場合

• 明確な客観指標がある単純なタスク
• 厳格な規制順守が求められる領域
• リアルタイムの人的監督が必要なシステム
• 誤りを一切許容できない用途
• 道徳的原則が大きく対立する文脈

主要指標

憲法遵守度

定義された原則に従う応答の割合（%）

無害性率

有害コンテンツを回避した出力の割合（%）

有用性スコア

提供された支援の品質

価値観のアラインメント

意図した倫理枠組みとの一致度

AIフィードバックの品質

人間のフィードバックとの相関

頑健性スコア

敵対的テスト下での性能

主なユースケース

会話AI：チャットボットを倫理原則に沿わせ、有害な出力を減らす

コンテンツモデレーション：コミュニティガイドラインとプラットフォームの価値を自動的に適用

法務AIアシスタント：職業倫理と法的基準の順守を確保

教育AI：年齢に適し教育的に妥当な対話を実現

医療AI：AI支援ケアにおいて患者のプライバシーと医療倫理を維持

金融AI：AIの判断において公正な融資慣行と規制順守を確保

参考文献と関連資料

厳選された資料で理解を深めましょう

基礎的な論文

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022)

AI Alignment via Debate (Irving et al., 2018)

Scalable agent alignment via reward modeling (Leike et al., 2018)

Constitutional AIの方法論

Claudeの憲法 - Anthropicドキュメント

Measuring Progress on Scalable Oversight for Large Language Models (Bowman et al., 2022)

AIの安全性とアラインメント

Concrete Problems in AI Safety (Amodei et al., 2016)

AI Alignment: A Comprehensive Survey (Ji et al., 2023)

Red Teaming Language Models to Reduce Harms (Ganguli et al., 2022)

The Alignment Problem: Machine Learning and Human Values (Russell, 2019)

憲法的な枠組みと原則

世界人権宣言 - Constitutional AIの基礎

Asilomar AI Principles (Future of Life Institute, 2017)

IEEE Standards for Ethical Design of Autonomous Systems

実装とスケーリング

Scaling Laws for Reward Model Overoptimization (Gao et al., 2022)

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Teaching language models to support answers with verified quotes (Menick et al., 2022)

評価と測定

RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models

TruthfulQA: Measuring How Models Mimic Human Falsehoods (Lin et al., 2021)

A General Language Assistant as a Laboratory for Alignment

RLHFと選好学習

Learning to summarize from human feedback (Stiennon et al., 2020)

Deep reinforcement learning from human preferences (Christiano et al., 2017)

Scalable agent alignment via reward modeling (Leike et al., 2018)

AIの道徳・倫理研究

Moral Machine Experiment: Global Preferences in AI Ethics (Awad et al., 2018)

The Moral Status of AI (Floridi et al., 2018)

Artificial Moral Agents: An Introduction (Wallach & Allen, 2008)

Machine Ethics: The Robot's Dilemma (Lin et al., 2011)

産業での応用

Claude 2 Constitutional AI Implementation (Anthropic, 2023)

OpenAI GPT-4 System Card - 安全性に関する考慮事項

Google Bardの責任あるAI実践

Microsoftの責任あるAIフレームワーク

ツールと実装

コンテンツポリシー向けOpenAI Moderation API

Hugging Face TransformersによるRLHF実装

Constitutional AIの学習スクリプト（コミュニティ）

研究コミュニティ

Anthropicリサーチチーム

AI Alignment Forum

Center for AI Safety (CAIS)

Future of Humanity Institute (FHI)

政策とガバナンス

The Malicious Use of Artificial Intelligence (Brundage et al., 2018)

National AI Initiative（米国政府）

EU AI Act：Constitutional AIへの影響

Loading technique guide…