パターンを読み込んでいます…
エージェントのオブザーバビリティとトレーシング(AOT)
本番環境でのステップ単位のトレーシング。すべてのモデル呼び出し、ツール呼び出し、ワークフローのステップ、サブエージェントを、単一の実行ツリー内のスパンとして記録し、トークン・レイテンシ・コストのメトリクスを付与します。OpenTelemetry GenAI のセマンティック規約（gen_ai.* 属性）で標準化され、LangSmith、Braintrust、Datadog といったプラットフォームで可視化されます。デプロイ前に挙動を採点するオフラインのベンチマークとは異なり、本番環境で非決定的な障害をデバッグするためのリアルタイムのシグナルです。
30秒でわかる概要
- 概要
- モデル呼び出し、ツール呼び出し、ワークフローの各ステップを、トークン数、レイテンシ、コストとともにタイムスタンプ付きのスパンとして記録し、本番デバッグ用に一つの実行ツリーへまとめます。
- 使いどころ
- 多段構成のエージェントの障害が非決定的で、オフラインでは再現しにくく、モデルとツールの境界をまたいだ根本原因の分析が必要になる本番システム。
- 注意点
- ログを詳細にするほどオーバーヘッドとストレージ費用が急速に膨らみます。プロンプトや応答に含まれる機微なデータ（個人情報や秘密情報）を不用意に記録すると、コンプライアンスとセキュリティのリスクになります。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
エージェントのオブザーバビリティとトレーシング: 概要
本番環境でのステップ単位のトレーシング。すべてのモデル呼び出し、ツール呼び出し、ワークフローのステップ、サブエージェントを、単一の実行ツリー内のスパンとして記録し、トークン・レイテンシ・コストのメトリクスを付与します。OpenTelemetry GenAI のセマンティック規約（gen_ai.* 属性）で標準化され、LangSmith、Braintrust、Datadog といったプラットフォームで可視化されます。デプロイ前に挙動を採点するオフラインのベンチマークとは異なり、本番環境で非決定的な障害をデバッグするためのリアルタイムのシグナルです。
- Hierarchical spans for model calls, tool calls, workflow steps, and sub-agents
- Per-span token counts, latency, and cost roll-ups across the run tree
- OpenTelemetry GenAI semantic conventions (gen_ai.* attributes) for vendor-neutral traces
- Full input/output and prompt/response capture for replay and root-cause analysis
- Root-cause debugging of non-deterministic multi-step failures in production
- Live dashboards, alerting, and drill-down surfaced by LangSmith, Braintrust, and Datadog
エージェント評価フィールドガイドを受け取る
25のエージェント評価手法を1冊に凝縮：どのベンチマークが何を測るか、公開スコアが誤解を招くのはどんなときか、自分の失敗から評価を組み立てる方法。確認メールと一緒にリンクが届き、週刊The Agent Architectも購読できます。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
- OpenTelemetry GenAI Semantic Conventions
- LangSmith Observability Documentation
- Braintrust: Tracing and Evaluation for AI Applications
- Datadog LLM Observability
このカタログを作ったエンジニアが担当
評価が見落としているものを可視化
エージェントの評価は実装よりも難しく、多くのテストは緑のまま本番だけがずれていきます。評価の仕組みを端から端まで点検します。いま測れているもの、まだ見えていないもの、そして現状のテストが素通りさせる劣化を洗い出します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで