Chargement des modèles…
Web lisible par les agents (llms.txt / NLWeb)
Des contrats côté offre qui exposent le contenu d'un site directement aux agents, au lieu de les contraindre à extraire le HTML rendu. llms.txt (Jeremy Howard, 2024) est un index Markdown curé, situé à /llms.txt, complété par des pages « fantômes » .md qui fournissent à un LLM un contenu à haute densité et sans navigation au moment de l'inférence. Microsoft NLWeb (2025, sous la direction de R.V. Guha, co-créateur de Schema.org) va plus loin avec un point de terminaison en langage naturel /ask qui renvoie du JSON structuré ancré dans les données Schema.org du site lui-même, chaque instance NLWeb faisant également office de serveur MCP. Ensemble, ils définissent le site lisible par les agents, le pendant côté lecture de robots.txt pour le web agentique.
Aperçu en 30 secondes
- Quoi
- Le site publie du Markdown curé sur /llms.txt et des pages miroir .md, avec un point de terminaison /ask optionnel renvoyant du JSON structuré, afin que les agents récupèrent le contenu sans scraper le HTML.
- Quand l'utiliser
- Vous exploitez un service ou un site de contenu et voulez que les agents accèdent à vos données de façon fiable, exacte et à grande échelle, sans analyser les pages rendues.
- Vigilance
- Impose de maintenir deux surfaces de contenu synchronisées ; un /llms.txt obsolète ou incomplet ruine tout l'intérêt du dispositif et les agents reviennent de toute façon au scraping.
Interrogez l'expert IA sur ce pattern
Ouvre l'assistant avec votre question préremplie. Vous la relisez avant l'envoi.
Web lisible par les agents (llms.txt / NLWeb): Vue d’ensemble
Des contrats côté offre qui exposent le contenu d'un site directement aux agents, au lieu de les contraindre à extraire le HTML rendu. llms.txt (Jeremy Howard, 2024) est un index Markdown curé, situé à /llms.txt, complété par des pages « fantômes » .md qui fournissent à un LLM un contenu à haute densité et sans navigation au moment de l'inférence. Microsoft NLWeb (2025, sous la direction de R.V. Guha, co-créateur de Schema.org) va plus loin avec un point de terminaison en langage naturel /ask qui renvoie du JSON structuré ancré dans les données Schema.org du site lui-même, chaque instance NLWeb faisant également office de serveur MCP. Ensemble, ils définissent le site lisible par les agents, le pendant côté lecture de robots.txt pour le web agentique.
- Curated /llms.txt Markdown index of a site
- .md shadow pages for clean, high-density content
- NLWeb /ask natural-language query endpoint
- Structured JSON grounded in Schema.org data
- Every NLWeb instance also acts as an MCP server
- Retrieval without brittle HTML scraping
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.
Références
Les articles, spécifications et dépôts sur lesquels repose ce modèle.
Par l’ingénieur derrière ce catalogue
Faites auditer l’architecture de vos agents
Cette page documente un pattern. Votre système en fait tourner des dizaines, et l’essentiel des pannes se loge dans la façon dont ils s’articulent. Faites relire toute la conception à l’aune des 288 patterns de ce catalogue : architecture, fiabilité, évaluation et coûts, chaque constat relié au pattern qui le corrige.
750 € au lieu de 1 500 €, une semaine, rapport écrit et appel de restitution, jusqu’au 30 septembre