Loading...
Веб, читаемый агентами (llms.txt / NLWeb)
Контракты со стороны предложения, которые открывают контент сайта агентам напрямую, вместо того чтобы вынуждать их парсить отрендеренный HTML. llms.txt (Jeremy Howard, 2024) представляет собой курируемый Markdown-индекс по адресу /llms.txt плюс теневые .md-страницы, которые во время инференса дают LLM насыщенный контент без необходимости навигации. Microsoft NLWeb (2025, под руководством сооснователя Schema.org R.V. Guha) идёт дальше, предлагая конечную точку /ask на естественном языке, которая возвращает структурированный JSON, опирающийся на собственные данные Schema.org сайта, причём каждый экземпляр NLWeb одновременно работает как сервер MCP. Вместе они определяют читаемый агентами сайт, аналог robots.txt со стороны чтения для агентного веба.
In 30 seconds
- What
- Сайт публикует отобранный Markdown по адресу /llms.txt и теневые .md-страницы, а также опциональный эндпоинт /ask, возвращающий структурированный JSON, чтобы агенты получали контент без скрапинга HTML.
- When to use
- Вы ведёте сервис или контентный сайт и хотите, чтобы агенты обращались к вашим данным надёжно, точно и в большом объёме без разбора отрендеренных страниц.
- Watch out
- Требует поддерживать две поверхности контента в синхронном состоянии; устаревший или неполный /llms.txt лишает подход смысла, и агенты всё равно возвращаются к скрапингу.
Loading technique guide…