Оценка и мониторинг

Готовый к продакшену фреймворк оценки безопасности, измеряющий ответы систем ИИ по 12 категориям опасностей со стандартизированными протоколами тестирования для решений о развёртывании.

Оригинальное исследование AgentBench оценивало опубликованный набор моделей в 8 различных средах и в многошаговых сценариях с открытым завершением.

Оценивает LLM-агентов на значимых реальных задачах, которые обычно выполняются несколькими рабочими ролями в компании по разработке программного обеспечения.

Комплексный бенчмарк для оценки ИИ-агентов на открытых исследовательских задачах машинного обучения с ведущих конференций по ML.

Готовая к продакшену методология, адаптирующая принципы 12-факторных приложений для масштабируемых, поддерживаемых систем агентов с всесторонним мониторингом и оценкой.

Holistic Evaluation of Language Models от Stanford CRFM, расширенная для оценки возможностей агентов. Разобранный пример представляет собой устаревший снимок бенчмарка, а не рекомендацию актуальной модели.

Фреймворк для оценки и доработки агентов на основе LLM с участием человека в контуре, позволяющий инженерам направлять и оценивать работу агента на каждом этапе разработки.

Комплексный бенчмарк кибербезопасности от Meta для оценки рисков безопасности LLM-агентов в автономных и многоагентных условиях.

Бенчмарк для измерения производительности агентов на базе передовых моделей в задачах инженерии ML-исследований в сравнении со способностями экспертов-людей.

Набор бенчмарков для программной инженерии, включающий SWE-bench, SWE-bench Verified и SWE-bench Live. Указанные в примере для сравнения модели являются историческими ориентирами.

Executable desktop environments where an agent is scored on the state it leaves behind after doing real work across applications, files and the operating system.

Hard command-line tasks in isolated environments, each with a human-written solution and tests that decide whether the agent actually finished.

Software engineering tasks long enough to take a professional hours or days, drawn from repositories chosen so that memorising the answer is not an option.

Первоначальный бенчмарк GAIA проверял рассуждение, мультимодальность, работу с веб-браузером и использование инструментов. Названная в сравнении модель служит историческим ориентиром из статьи.

Комплексный бенчмарк, оценивающий агентов в пяти областях с помощью 20 задач и 3K+ промптов. Пример сохраняет состав моделей на момент публикации.

Комплексная оценка веб-агентов, включающая WebArena, VisualWebArena и WorkArena, для тестирования реалистичного взаимодействия с вебом в изолированных песочницах.

Нормативная база Европейского союза для оценки ИИ-агентов с классификацией по уровню риска, требованиями к моделям GPAI и обязательным соответствием для развёртывания в ЕС.

Комплексный фреймворк оценки от AI Safety Institute для передовых ИИ-систем, согласованный с работой NIST в области безопасности ИИ, для оценки безопасности по государственному стандарту.

Многоязычный бенчмарк для оценки производительности и безопасности агентов на 12 языках. Пример представляет собой устаревший снимок бенчмарка, а не актуальную рекомендацию модели.

Фреймворк Anthropic для оценки безопасности ИИ на основе конституционных принципов, включая тестирование устойчивости к джейлбрейкам и оценку безвредности.

Пошаговая трассировка в продакшене, которая записывает каждый вызов модели, вызов инструмента, шаг рабочего процесса и субагента как span в едином дереве запуска с аннотациями по метрикам токенов, задержки и стоимости. Стандартизированная через семантические соглашения OpenTelemetry GenAI (атрибуты gen_ai.*) и отображаемая на платформах вроде LangSmith, Braintrust и Datadog, она служит оперативным сигналом для отладки недетерминированных сбоев в продакшене, в отличие от офлайн-бенчмарков, которые оценивают поведение до развёртывания.

Бенчмарк, который помещает агента между симулированным пользователем-человеком и набором доменных API (розничная торговля, авиакомпания), при этом агент обязан следовать письменному документу с правилами. Вместо проверки одного ответа он сравнивает итоговое состояние базы данных с целевым состоянием после всего диалога. Его фирменной метрикой является pass^k, то есть вероятность успешно пройти все k независимых попыток одной и той же задачи, что выявляет сбои согласованности, скрытые усреднёнными оценками pass@1.

Дисциплина жизненного цикла разработки, при которой агенты и промпты строятся прежде всего под evals. Тщательно отобранные эталонные наборы данных (примерно от 50 до 500 случаев со смещением в сторону известных режимов отказа) версионируются вместе с промптами, запускаются как набор регрессионных тестов на каждом pull request, а слияние или продвижение ограничивается пороговыми значениями метрик. Конвейер фиксирует версии модели и судьи, поэтому тихое обновление модели на стороне провайдера обнаруживается как регрессия, а не поглощается незаметно, и выстраивает проверки по этапам: сначала lint, затем офлайн-eval, затем контроль стоимости, прежде чем изменение можно будет слить. В отличие от agent-observability-tracing, которая представляет собой телеметрию времени выполнения, а не контроль перед слиянием, и от фиксированных публичных бенчмарков, которые не являются собственными командными регрессионными наборами в CI.

Сторона развёртывания, отвечающая за безопасный выпуск новой версии агента или промпта. Кандидат сначала работает в теневом режиме: он выполняется на реальном продакшен-трафике, но его вывод скрыт от пользователей и офлайн сравнивается с обслуживающей версией; затем он переходит к canary на объёме от 1 до 5 процентов живого трафика, где оценивается с помощью онлайн-evals относительно контрольной группы, а далее к постепенному наращиванию, с автоматическим откатом в тот момент, когда отслеживаемая метрика ухудшается. Сочетание онлайн-evals (оценивающих живой трафик на лету) с офлайн-evals ловит длиннохвостые сбои, которые статичный эталонный набор предсказать не может. В отличие от eval-driven-agent-development, которая контролирует изменения офлайн до слияния, этот подход управляет онлайн-наращиванием после слияния.

Симулятор пользователя на основе LLM, параметризованный разнообразными персонами, такими как растерянные, враждебные, нетерпеливые или меняющие цель пользователи, используется как тестовая обвязка, которая автономно проводит диалогового агента через множество многоходовых диалогов. Запуск таких симулированных разговоров в больших масштабах выявляет потерю контекста, нарушения правил и галлюцинации до того, как с ними столкнутся реальные пользователи, исследуя ветви дерева диалога, недостижимые для статичных одноходовых эталонных случаев. Это требует намеренного разнообразия персон и согласования целей, чтобы избежать слепого пятна в виде единственного покладистого симулятора, который ведёт себя сговорчивее реальных пользователей. В отличие от tau-bench, фиксированного бенчмарка со встроенным одним симулятором пользователя, и от eval-driven-agent-development, чьи эталоны представляют собой статичные одноходовые случаи, этот подход генерирует динамический многоходовой трафик.