Loading...
内在的アライメントパターン(IAP)
エージェントが操作できない内部観測ポイントを設け、深層的な策略を防止する
In 30 seconds
- What
- エージェントの処理の内部に、改ざんできない観測点を埋め込み、外部監視では捉えられない目標のずれや欺瞞、目的の漂流を検知します。
- When to use
- エージェントが本当の推論や目標を隠すことで得をしかねない、リスクの高い運用で、出力の分析だけでは足りない検知が必要な場合。
- Watch out
- モデル内部への深いアクセスが必要であり、実運用中のシステムの多くは、これを確実に実装できるだけの透明性を備えていません。
Loading technique guide…