エージェント可読ウェブ（llms.txt / NLWeb）

レンダリング済みの HTML をスクレイピングさせる代わりに、サイトのコンテンツをエージェントへ直接公開する供給側の取り決め。llms.txt（Jeremy Howard、2024年）は /llms.txt に置かれるキュレーションされた Markdown 索引と、.md のシャドウページから成り、推論時に LLM へ高密度でナビゲーション不要のコンテンツを提供する。Microsoft NLWeb（2025年、Schema.org 共同開発者の R.V. Guha が主導）はさらに踏み込み、自然言語の /ask エンドポイントを備え、サイト自身の Schema.org データに基づいた構造化 JSON を返す。しかも NLWeb の各インスタンスは MCP サーバーも兼ねる。両者はあいまって、エージェント可読なサイト、すなわちエージェント型ウェブにおける robots.txt の読み取り経路版を定義する。