Loading...

⚖️

Constitutional AI(CAI)

Utilisation d'un ensemble explicite de principes pour guider l'autocritique, la révision et les retours de préférence générés par l'IA pendant l'entraînement

Complexité: highApprentissage et adaptation

In 30 seconds

What: Le modèle apprend à critiquer et à réviser ses propres sorties au regard de principes explicites, puis classe les réponses grâce à un retour aligné sur ces principes, sans annotation humaine.
When to use: Pour entraîner des systèmes lorsque vous disposez de principes de comportement clairs mais d'une capacité limitée de retour humain, et qu'il vous faut un alignement interprétable pendant l'apprentissage.
Watch out: Des principes contradictoires ou flous produisent des signaux d'entraînement incohérents ; le modèle peut apprendre à contourner la vérification des principes au lieu d'en intérioriser les valeurs.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

⚖️

Constitutional AI(CAI)

Utilisation d'un ensemble explicite de principes pour guider l'autocritique, la révision et les retours de préférence générés par l'IA pendant l'entraînement

Complexité: highApprentissage et adaptation

In 30 seconds

What: Le modèle apprend à critiquer et à réviser ses propres sorties au regard de principes explicites, puis classe les réponses grâce à un retour aligné sur ces principes, sans annotation humaine.
When to use: Pour entraîner des systèmes lorsque vous disposez de principes de comportement clairs mais d'une capacité limitée de retour humain, et qu'il vous faut un alignement interprétable pendant l'apprentissage.
Watch out: Des principes contradictoires ou flous produisent des signaux d'entraînement incohérents ; le modèle peut apprendre à contourner la vérification des principes au lieu d'en intérioriser les valeurs.

Aperçu en 30 secondes

Modèle : Entraîner des systèmes d'IA avec des principes explicites et un retour généré par l'IA pour obtenir un comportement utile et inoffensif

Pourquoi : Étend la supervision au-delà des capacités humaines, réduit les sorties nuisibles et crée des systèmes d'IA transparents alignés sur des valeurs

Idée clé : Les principes constitutionnels guident la génération du retour de l'IA et créent des systèmes autosupervisés alignés sur des valeurs explicites

Mise en œuvre rapide

1Constitution:Définir les principes et les contraintes comportementales

2SFT:Réglage fin supervisé sur des comportements utiles

3Retour de l'IA:Générer des critiques à partir de la constitution

4Entraînement RL:Entraîner un modèle de préférence sur le retour de l'IA

5Valider:Tester le respect de la constitution et la sûreté

Example: constitution + sft_model → ai_feedback → preference_model → constitutional_model

À faire et à éviter

✅Rédiger des principes constitutionnels clairs, précis et applicables

✅Utiliser des principes constitutionnels variés couvrant plusieurs valeurs

✅Mettre en place des processus itératifs d'affinage de la constitution

✅Surveiller les conflits et compromis entre principes constitutionnels

✅Valider la qualité du retour de l'IA par rapport au jugement humain

✅Tester en profondeur les cas limites et les scénarios adverses

❌Utiliser des principes constitutionnels vagues ou contradictoires

❌Sauter la validation humaine du retour généré par l'IA

❌Appliquer un cadre constitutionnel unique à tous les domaines

❌Ignorer les variations culturelles et contextuelles des valeurs

❌Déployer sans tests approfondis en équipe rouge

Quand l’utiliser

À utiliser quand

• Construire des systèmes exigeant un fort alignement éthique
• Réduire les coûts d'annotation humaine pour l'entraînement à la sûreté
• Étendre la supervision à des comportements d'IA complexes
• Mettre en place des systèmes d'IA transparents fondés sur des valeurs
• Créer une IA autorégulée dotée de principes explicites

À éviter quand

• Tâches simples avec des métriques objectives claires
• Domaines exigeant une conformité réglementaire stricte
• Systèmes nécessitant une supervision humaine en temps réel
• Applications à tolérance zéro pour les erreurs
• Contextes où les principes moraux sont très contestés

Indicateurs clés

Respect de la constitution

% de réponses conformes aux principes définis

Taux d'innocuité

% de sorties exemptes de contenu nuisible

Score d'utilité

Qualité de l'aide fournie

Alignement sur les valeurs

Concordance avec le cadre éthique visé

Qualité du retour de l'IA

Corrélation avec le retour humain

Score de robustesse

Performance lors de tests adverses

Principaux cas d’usage

IA conversationnelle : aligner les chatbots sur des principes éthiques et réduire les sorties nuisibles

Modération de contenu : appliquer automatiquement les règles de la communauté et les valeurs de la plateforme

Assistants juridiques IA : garantir le respect de la déontologie et des normes juridiques

IA éducative : proposer des interactions adaptées à l'âge et pédagogiquement solides

IA de santé : préserver la confidentialité des patients et l'éthique médicale dans les soins assistés par IA

IA financière : garantir des pratiques de prêt équitables et la conformité réglementaire des décisions

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022)

AI Alignment via Debate (Irving et al., 2018)

Scalable agent alignment via reward modeling (Leike et al., 2018)

Méthodologie de la Constitutional AI

Constitution de Claude - documentation Anthropic

Measuring Progress on Scalable Oversight for Large Language Models (Bowman et al., 2022)

Sûreté et alignement de l'IA

Concrete Problems in AI Safety (Amodei et al., 2016)

AI Alignment: A Comprehensive Survey (Ji et al., 2023)

Red Teaming Language Models to Reduce Harms (Ganguli et al., 2022)

The Alignment Problem: Machine Learning and Human Values (Russell, 2019)

Cadres et principes constitutionnels

Déclaration universelle des droits de l'homme - base de la Constitutional AI

Asilomar AI Principles (Future of Life Institute, 2017)

IEEE Standards for Ethical Design of Autonomous Systems

Mise en œuvre et passage à l'échelle

Scaling Laws for Reward Model Overoptimization (Gao et al., 2022)

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Teaching language models to support answers with verified quotes (Menick et al., 2022)

Évaluation et mesure

RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models

TruthfulQA: Measuring How Models Mimic Human Falsehoods (Lin et al., 2021)

A General Language Assistant as a Laboratory for Alignment

RLHF et apprentissage des préférences

Learning to summarize from human feedback (Stiennon et al., 2020)

Deep reinforcement learning from human preferences (Christiano et al., 2017)

Scalable agent alignment via reward modeling (Leike et al., 2018)

Recherche sur la morale et l'éthique de l'IA

Moral Machine Experiment: Global Preferences in AI Ethics (Awad et al., 2018)

The Moral Status of AI (Floridi et al., 2018)

Artificial Moral Agents: An Introduction (Wallach & Allen, 2008)

Machine Ethics: The Robot's Dilemma (Lin et al., 2011)

Applications industrielles

Claude 2 Constitutional AI Implementation (Anthropic, 2023)

OpenAI GPT-4 System Card - considérations de sûreté

Pratiques d'IA responsable de Google Bard

Cadre d'IA responsable de Microsoft

Outils et mise en œuvre

API de modération OpenAI pour la politique de contenu

Implémentation RLHF avec Hugging Face Transformers

Scripts d'entraînement Constitutional AI (communauté)

Communautés de recherche

Équipe de recherche d'Anthropic

AI Alignment Forum

Center for AI Safety (CAIS)

Future of Humanity Institute (FHI)

Politiques publiques et gouvernance

The Malicious Use of Artificial Intelligence (Brundage et al., 2018)

National AI Initiative (gouvernement américain)

EU AI Act : implications pour la Constitutional AI

Loading technique guide…