Новости

KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards

arXiv cs.AI · Опубликовано 1 октября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: KaliBench is a benchmark dataset with 8,504 query-command pairs for evaluating how well LLMs translate natural language into executable Kali Linux cybersecurity tool commands.
Почему это важно: Security engineers and ML researchers building or evaluating AI systems that must generate precise command-line instructions for penetration testing and security analysis workflows.
На что обратить внимание: No open-weight model exceeded 42% exact-command accuracy without tool hints, suggesting current LLMs struggle with CLI syntax precision despite improvements from fine-tuning.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Новости

arXiv cs.AI · Опубликовано 1 октября 2026 г. · 3 мин чтения

Что произошло: KaliBench is a benchmark dataset with 8,504 query-command pairs for evaluating how well LLMs translate natural language into executable Kali Linux cybersecurity tool commands.
Почему это важно: Security engineers and ML researchers building or evaluating AI systems that must generate precise command-line instructions for penetration testing and security analysis workflows.
На что обратить внимание: No open-weight model exceeded 42% exact-command accuracy without tool hints, suggesting current LLMs struggle with CLI syntax precision despite improvements from fine-tuning.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.