Новости

Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale

arXiv cs.AI · Опубликовано 14 сентября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: Researchers released VLoc Bench, a benchmark with 500 real vulnerabilities across 290 repositories, measuring how well AI agents locate vulnerable code files given only CWE descriptions.
Почему это важно: Security engineers and AI researchers evaluating agentic code analysis tools need this to understand current localization capabilities and limitations at repository scale.
На что обратить внимание: Best system achieved only 0.229 File F1 score; 38% of tasks received no correct localization from any model, indicating the task remains substantially unsolved.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

arXiv cs.AI · Опубликовано 14 сентября 2026 г. · 3 мин чтения

Что произошло: Researchers released VLoc Bench, a benchmark with 500 real vulnerabilities across 290 repositories, measuring how well AI agents locate vulnerable code files given only CWE descriptions.
Почему это важно: Security engineers and AI researchers evaluating agentic code analysis tools need this to understand current localization capabilities and limitations at repository scale.
На что обратить внимание: Best system achieved only 0.229 File F1 score; 38% of tasks received no correct localization from any model, indicating the task remains substantially unsolved.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.