分散型エージェントシステムにおいて、AI エージェントとサービス間の疎結合な通信を可能にする非同期メッセージパッシングシステム
Loading technique guide…
メッセージキューイングは、永続的なキューを介してプロデューサーとコンシューマーの間で非同期かつ疎結合な通信を可能にします。ブローカーは配信保証 (at-least-once、at-most-once、場合により exactly-once)、順序制御 (パーティション/グループ単位)、確認応答、再試行、デッドレター処理を提供します。代表的な実装には Apache Kafka (ログ型パーティション、コンシューマーグループ)、RabbitMQ/AMQP (キュー、エクスチェンジ、バインディング)、AWS SQS や Google Pub/Sub などのクラウドキュー、NATS JetStream、Redis Streams があります。
超低レイテンシの同期リクエスト/レスポンス経路で、キューのオーバーヘッドが SLO を破る場合 → 直接 RPC (gRPC/REST) を優先する。
高スループットのストリームで厳密な全体順序が必要だが、ブローカーが大幅なスループット低下なしにそれを保証できない場合。
単純で密結合な連携で、キューが明確な利点なしに運用の複雑さだけを増やす場合。
パーティションやキューをまたぐ暗黙の順序に依存する。メッセージのキー付けが一貫していない。
再試行時の非冪等な副作用 → 重複とデータ破損。
バックプレッシャーやスケール不足により、キューが無制限に増大しコンシューマーラグが拡大する。
再試行の嵐と一斉殺到。サーキットブレーカーとジッター付きバックオフの欠如。
ブローカー内の大きなペイロード。スキーマ進化の戦略がなくコンシューマーが壊れる。
リソースの内訳: シリアライズ/圧縮とブローカー協調に CPU、バッファにメモリ、永続ログにディスク I/O、レプリケーションとクライアント通信にネットワーク。
バッチ処理と圧縮で最適化する。パーティション数とコンシューマー並列度を適正化し、メッセージサイズを制限する (例: SQS 256 KB、Pub/Sub 10 MB、Kafka は設定可能)。
大きなブロブを埋め込まない。外部に保存して参照を送り、テナント別のクォータとレート制限を適用する。
マイクロサービスの疎結合化、非同期ワークフロー、バックグラウンドジョブの処理。
イベント駆動アーキテクチャとファンアウト処理、監査/イベントログ。
負荷平準化とバースト吸収、下流でのバックプレッシャー制御。
リージョン間のバッファリングと断続的な接続に対する耐性。