パターンを読み込んでいます…
エージェント可読ウェブ（llms.txt / NLWeb）
レンダリング済みの HTML をスクレイピングさせる代わりに、サイトのコンテンツをエージェントへ直接公開する供給側の取り決め。llms.txt（Jeremy Howard、2024年）は /llms.txt に置かれるキュレーションされた Markdown 索引と、.md のシャドウページから成り、推論時に LLM へ高密度でナビゲーション不要のコンテンツを提供する。Microsoft NLWeb（2025年、Schema.org 共同開発者の R.V. Guha が主導）はさらに踏み込み、自然言語の /ask エンドポイントを備え、サイト自身の Schema.org データに基づいた構造化 JSON を返す。しかも NLWeb の各インスタンスは MCP サーバーも兼ねる。両者はあいまって、エージェント可読なサイト、すなわちエージェント型ウェブにおける robots.txt の読み取り経路版を定義する。
30秒でわかる概要
- 概要
- サイトが /llms.txt に厳選した Markdown と .md のシャドウページを公開し、任意で構造化 JSON を返す /ask エンドポイントも提供することで、エージェントは HTML をスクレイピングせずにコンテンツを取得できる。
- 使いどころ
- サービスやコンテンツサイトを運営していて、レンダリング済みページを解析させることなく、エージェントに確実かつ正確に、大規模にデータへアクセスさせたい場合。
- 注意点
- 二つのコンテンツ面を同期して維持する必要がある。/llms.txt が古かったり不完全だったりすると意味がなくなり、エージェントは結局スクレイピングに戻る。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
エージェント可読ウェブ（llms.txt / NLWeb）: 概要
レンダリング済みの HTML をスクレイピングさせる代わりに、サイトのコンテンツをエージェントへ直接公開する供給側の取り決め。llms.txt（Jeremy Howard、2024年）は /llms.txt に置かれるキュレーションされた Markdown 索引と、.md のシャドウページから成り、推論時に LLM へ高密度でナビゲーション不要のコンテンツを提供する。Microsoft NLWeb（2025年、Schema.org 共同開発者の R.V. Guha が主導）はさらに踏み込み、自然言語の /ask エンドポイントを備え、サイト自身の Schema.org データに基づいた構造化 JSON を返す。しかも NLWeb の各インスタンスは MCP サーバーも兼ねる。両者はあいまって、エージェント可読なサイト、すなわちエージェント型ウェブにおける robots.txt の読み取り経路版を定義する。
- Curated /llms.txt Markdown index of a site
- .md shadow pages for clean, high-density content
- NLWeb /ask natural-language query endpoint
- Structured JSON grounded in Schema.org data
- Every NLWeb instance also acts as an MCP server
- Retrieval without brittle HTML scraping
The Agent Architect
1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
このカタログを作ったエンジニアが担当
エージェント構成をレビューします
このページが扱うのは1つのパターンです。実際のシステムは数十を組み合わせて動き、障害の多くはその繋ぎ目で起きます。カタログの288パターンに照らして設計全体をレビューします。アーキテクチャ、信頼性、評価、コストまで、指摘ごとに対応するパターンを示します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで