憲章分類器(CC)

憲章分類器: 概要

許可・ブロックするコンテンツを定義する自然言語の憲章から生成された合成データで訓練された、軽量な入力・出力分類器。カスケード構成になっており、安価なスクリーニングがすべてのトラフィックをカバーしつつ、疑わしいケースはエスカレーションされる。出力分類器は、違反トークンが現れた瞬間にストリーミング生成を停止できる。これはConstitutional AIとは異なる。Constitutional AIは訓練中にモデルを整合させるが、憲章分類器は憲章から訓練された実行時のガードである。

• •Constitution in natural language defines allowed vs blocked content
• •Synthetic training data generated from the constitution
• •Input classifier screens prompts before the model runs
• •Streaming output classifier halts generation at first violating token
• •Cascaded cheap-to-expensive screening controls cost
• •Constitution can be updated as new attack classes emerge