Chargement des modèles…
Classificateurs constitutionnels(CC)
Classificateurs légers d'entrée et de sortie, entraînés sur des données synthétiques générées à partir d'une constitution en langage naturel qui définit les contenus autorisés et bloqués. Ils sont mis en cascade : un filtrage économique couvre l'ensemble du trafic tandis que les cas suspects sont escaladés, et le classificateur de sortie peut interrompre une génération en flux dès qu'un token en infraction apparaît. Cela se distingue de Constitutional AI : Constitutional AI aligne le modèle pendant l'entraînement, tandis que les classificateurs constitutionnels sont des garde-fous à l'exécution entraînés à partir d'une constitution.
Aperçu en 30 secondes
- Quoi
- Entraîne des classifieurs légers sur des données synthétiques issues d'une constitution en langage naturel, pour filtrer les entrées avant l'inférence et couper la sortie dès le premier jeton en infraction.
- Quand l'utiliser
- Pour des systèmes à fort volume qui exigent un filtrage de contenu à l'exécution, quand les règles de la constitution sont claires et que les schémas d'attaque peuvent être synthétisés pour l'entraînement.
- Vigilance
- Des classifieurs entraînés sur des données synthétiques peuvent laisser passer des obfuscations inédites ou des formulations adverses absentes des exemples générés depuis la constitution.
Interrogez l'expert IA sur ce pattern
Ouvre l'assistant avec votre question préremplie. Vous la relisez avant l'envoi.
Classificateurs constitutionnels: Vue d’ensemble
Classificateurs légers d'entrée et de sortie, entraînés sur des données synthétiques générées à partir d'une constitution en langage naturel qui définit les contenus autorisés et bloqués. Ils sont mis en cascade : un filtrage économique couvre l'ensemble du trafic tandis que les cas suspects sont escaladés, et le classificateur de sortie peut interrompre une génération en flux dès qu'un token en infraction apparaît. Cela se distingue de Constitutional AI : Constitutional AI aligne le modèle pendant l'entraînement, tandis que les classificateurs constitutionnels sont des garde-fous à l'exécution entraînés à partir d'une constitution.
- Constitution in natural language defines allowed vs blocked content
- Synthetic training data generated from the constitution
- Input classifier screens prompts before the model runs
- Streaming output classifier halts generation at first violating token
- Cascaded cheap-to-expensive screening controls cost
- Constitution can be updated as new attack classes emerge
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.
Références
Les articles, spécifications et dépôts sur lesquels repose ce modèle.
Par l’ingénieur derrière ce catalogue
Faites red-teamer votre système d’agents
Les protections décrites ici ne tiennent que si quelqu’un tente de les casser. Faites tester le vôtre comme le ferait un vrai attaquant : injection de prompt, jailbreaks, détournement d’outils et exfiltration de données, chaque constat rédigé avec son correctif.
750 € au lieu de 1 500 €, une semaine, rapport écrit et appel de restitution, jusqu’au 30 septembre