セキュリティとプライバシーのパターン

AI の安全性のためにスイスチーズモデルを実装した、多層的なセキュリティアーキテクチャ

コンテキスト、データフロー要件、条件付きパターンに基づいてルールを動的に適用する手法

動的な安全性チェックを通じて対象エージェントを監視・保護する専用のガードレールエージェント

エージェントが操作できない内部観測ポイントを設け、深層的な策略を防止する

エージェントのメモリシステムを悪意ある改ざんや段階的な汚染から保護する

エージェントが操作され、ツールを通じて悪意ある操作を実行させられるのを防ぐ

厳格なアクセス制御により、権限昇格や不正な操作を防止する

安全性チェックを動的に生成・改良し続ける、生涯にわたって適応する安全システム

セキュリティオーケストレーションを備えた、マルチエージェント環境向けの包括的な脅威モデリング

システムプロンプトを抽出や改ざんの試みから保護する

数学的なプライバシー保証を備えた、プライバシー保護型のデータ処理

エージェントのセキュリティに対する「決して信頼せず、常に検証する」というアプローチ

プライベートなデータを明かすことなく、複数のエージェント間でプライバシーを保護しながら協調する

GDPR、HIPAA、SOX、および規制コンプライアンスの自動的な適用

リアルタイムのセキュリティ監視と自動化された脅威対応

エージェントの安全な認証、認可、および本人確認

K-anonymity、L-diversity、T-closeness、および合成データ生成を含む、エージェントシステム向けの包括的なデータ匿名化手法

ハードウェアベースの信頼された実行環境（TEE）により、信頼できない環境でAIエージェントとデータ処理を保護する

ローカルデバイスの保管庫、リモートサーバーの保管庫、暗号化キャッシュを組み合わせた多層のセキュアストレージアーキテクチャで、エージェント型AIシステムに対応する

ローカルの処理エージェントとリモートの集約エージェントを組み合わせ、高度な匿名化技術を用いてプライバシーを保護する分散型エージェントアーキテクチャ

エージェントを、信頼できるユーザー指示のみを参照して制御フローとデータフローを計画する特権LLMと、信頼できないコンテンツを処理するが制御フローには一切影響を与えられない隔離LLMに分割する。ケイパビリティを追跡するインタープリターが明示的なデータフローポリシーを強制するため、ツール出力に注入された指示が不正な操作を引き起こすことは決してない。これは確率的なフィルタリングではなく、設計による防御である。

信頼できない外部テキストを、信頼できる指示から確実に区別できるようにする、低コストな変換の一群。デリミティングは外部コンテンツを一意の境界で囲み、データマーキングは信頼できない範囲のすべての空白に特別なトークンを挟み込み、base64などのエンコーディングはそれを指示チャネルからさらに分離する。間接的なプロンプトインジェクションに対する安価な第一の防御線だが、適応型攻撃には弱くなるため、多層防御と組み合わせるべきである。

エージェントが生成したコード、シェルコマンド、信頼できないコンテンツの処理を、スコープを限定したファイルシステムとプロキシを介したネットワーク送信の許可リストを備えた隔離環境内で実行する。プロンプトインジェクションを受けたエージェントであっても、ホストのシークレットを読み取ったり、スコープ外のファイルに触れたり、承認されていないドメインへデータを持ち出したりすることはできない。隔離は、SeatbeltやbubblewrapといったOSプリミティブ、マイクロVMやコンテナ、あるいはE2B、Modal、Dockerのような専用サンドボックス基盤によって構築される。

許可・ブロックするコンテンツを定義する自然言語の憲章から生成された合成データで訓練された、軽量な入力・出力分類器。カスケード構成になっており、安価なスクリーニングがすべてのトラフィックをカバーしつつ、疑わしいケースはエスカレーションされる。出力分類器は、違反トークンが現れた瞬間にストリーミング生成を停止できる。これはConstitutional AIとは異なる。Constitutional AIは訓練中にモデルを整合させるが、憲章分類器は憲章から訓練された実行時のガードである。

エージェントに、検証可能なIDと、ユーザーに代わって行動するためのスコープ限定かつ監査可能な権限を付与する。短命なOAuthおよびOIDCトークンは明示的なケイパビリティに対応し、意図に紐づいた委譲トークンはエージェントが許可されている操作を符号化し、検証可能なクレデンシャルによってエージェントはMCPやA2Aのホップをまたいで信頼を確立できる。すべての操作は検証可能なクレームを伴うため、権限は事前に制約し事後に監査でき、スコープ外のリクエストはリソースサーバーで拒否される。

誤作動するエージェントの最悪ケースの影響を、事後に不正利用を検知するだけでなく、行動する前に制限する。ツールは可逆性と影響度で分類される（読み取りは自由、書き込みは検証され、破壊的な操作は一時停止される）。権限はタスクごとに最小権限で範囲を限定される。自律性は段階的に付与され（支援から、提案と承認、実行と監査、観察へ）、信頼性が実証されるにつれて獲得される。不可逆的なステップではドライランや計画プレビューが提示され、人間が結果ではなく計画をレビューできる。状態のキャプチャと隔離を備えたキルスイッチにより、実行の途中でエージェントを停止できる。ヒューマン・イン・ザ・ループとは異なる。あちらは監督の姿勢であるのに対し、こちらは可逆性によって能力を制限する。エージェントのサンドボックス化とも異なる。あちらは実行環境を隔離するが、こちらはツールごとの可逆性を階層化し自律性を段階づける。ツール誤用の防止とも異なる。あちらはインジェクションによる誤用を防ぐものであり、ブラスト半径の分類ではない。