Загружаем паттерны…
Веб, читаемый агентами (llms.txt / NLWeb)
Контракты со стороны предложения, которые открывают контент сайта агентам напрямую, вместо того чтобы вынуждать их парсить отрендеренный HTML. llms.txt (Jeremy Howard, 2024) представляет собой курируемый Markdown-индекс по адресу /llms.txt плюс теневые .md-страницы, которые во время инференса дают LLM насыщенный контент без необходимости навигации. Microsoft NLWeb (2025, под руководством сооснователя Schema.org R.V. Guha) идёт дальше, предлагая конечную точку /ask на естественном языке, которая возвращает структурированный JSON, опирающийся на собственные данные Schema.org сайта, причём каждый экземпляр NLWeb одновременно работает как сервер MCP. Вместе они определяют читаемый агентами сайт, аналог robots.txt со стороны чтения для агентного веба.
За 30 секунд
- Что это
- Сайт публикует отобранный Markdown по адресу /llms.txt и теневые .md-страницы, а также опциональный эндпоинт /ask, возвращающий структурированный JSON, чтобы агенты получали контент без скрапинга HTML.
- Когда применять
- Вы ведёте сервис или контентный сайт и хотите, чтобы агенты обращались к вашим данным надёжно, точно и в большом объёме без разбора отрендеренных страниц.
- Осторожно
- Требует поддерживать две поверхности контента в синхронном состоянии; устаревший или неполный /llms.txt лишает подход смысла, и агенты всё равно возвращаются к скрапингу.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Веб, читаемый агентами (llms.txt / NLWeb): Обзор
Контракты со стороны предложения, которые открывают контент сайта агентам напрямую, вместо того чтобы вынуждать их парсить отрендеренный HTML. llms.txt (Jeremy Howard, 2024) представляет собой курируемый Markdown-индекс по адресу /llms.txt плюс теневые .md-страницы, которые во время инференса дают LLM насыщенный контент без необходимости навигации. Microsoft NLWeb (2025, под руководством сооснователя Schema.org R.V. Guha) идёт дальше, предлагая конечную точку /ask на естественном языке, которая возвращает структурированный JSON, опирающийся на собственные данные Schema.org сайта, причём каждый экземпляр NLWeb одновременно работает как сервер MCP. Вместе они определяют читаемый агентами сайт, аналог robots.txt со стороны чтения для агентного веба.
- Curated /llms.txt Markdown index of a site
- .md shadow pages for clean, high-density content
- NLWeb /ask natural-language query endpoint
- Structured JSON grounded in Schema.org data
- Every NLWeb instance also acts as an MCP server
- Retrieval without brittle HTML scraping
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября