Muster werden geladen…
Konstitutionelle Klassifikatoren(CC)
Leichtgewichtige Eingabe- und Ausgabe-Klassifikatoren, trainiert auf synthetischen Daten, die aus einer natürlichsprachlichen Verfassung erzeugt werden, welche erlaubte und blockierte Inhalte definiert. Sie sind kaskadiert, sodass eine günstige Vorprüfung den gesamten Verkehr abdeckt, während verdächtige Fälle eskaliert werden, und der Ausgabe-Klassifikator kann eine streamende Generierung in dem Moment stoppen, in dem ein verstoßendes Token erscheint. Dies unterscheidet sich von Constitutional AI: Constitutional AI richtet das Modell während des Trainings aus, während konstitutionelle Klassifikatoren zur Laufzeit wirkende Schutzmechanismen sind, die aus einer Verfassung trainiert werden.
In 30 Sekunden
- Was
- Trainiert schlanke Klassifikatoren auf synthetischen Daten aus einer Verfassung in natürlicher Sprache, prüft damit Eingaben vor der Inferenz und stoppt die Ausgabe beim ersten regelwidrigen Token.
- Wann einsetzen
- Für Systeme mit hohem Durchsatz, die Inhaltsfilterung zur Laufzeit brauchen, wenn die Verfassungsregeln klar sind und Angriffsmuster für das Training synthetisch erzeugt werden können.
- Achtung
- Auf synthetischen Daten trainierte Klassifikatoren übersehen möglicherweise neuartige Verschleierungen oder adversariale Formulierungen, die in den aus der Verfassung erzeugten Beispielen nicht vorkommen.
Fragen Sie den KI-Experten zu diesem Pattern
Öffnet den Assistenten mit vorbereiteter Frage. Sie prüfen sie vor dem Senden.
Konstitutionelle Klassifikatoren: Überblick
Leichtgewichtige Eingabe- und Ausgabe-Klassifikatoren, trainiert auf synthetischen Daten, die aus einer natürlichsprachlichen Verfassung erzeugt werden, welche erlaubte und blockierte Inhalte definiert. Sie sind kaskadiert, sodass eine günstige Vorprüfung den gesamten Verkehr abdeckt, während verdächtige Fälle eskaliert werden, und der Ausgabe-Klassifikator kann eine streamende Generierung in dem Moment stoppen, in dem ein verstoßendes Token erscheint. Dies unterscheidet sich von Constitutional AI: Constitutional AI richtet das Modell während des Trainings aus, während konstitutionelle Klassifikatoren zur Laufzeit wirkende Schutzmechanismen sind, die aus einer Verfassung trainiert werden.
- Constitution in natural language defines allowed vs blocked content
- Synthetic training data generated from the constitution
- Input classifier screens prompts before the model runs
- Streaming output classifier halts generation at first violating token
- Cascaded cheap-to-expensive screening controls cost
- Constitution can be updated as new attack classes emerge
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.
Quellen
Die Veröffentlichungen, Spezifikationen und Repositories, auf denen dieses Muster beruht.
Vom Ingenieur hinter diesem Katalog
Lassen Sie Ihr Agentensystem red-teamen
Die hier beschriebenen Schutzmaßnahmen halten nur, wenn jemand versucht, sie zu brechen. Lassen Sie Ihres so testen, wie es ein echter Angreifer täte: Prompt Injection, Jailbreaks, Tool-Missbrauch und Datenexfiltration, jeder Befund schriftlich samt Fix.
750 € statt 1.500 €, eine Woche, schriftlicher Bericht und Walkthrough-Call, bis 30. September