ニュース

KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards

arXiv cs.AI · 公開日 2026年10月1日 · 読了3分

30秒で要点

何が起きたか: KaliBench is a benchmark dataset with 8,504 query-command pairs for evaluating how well LLMs translate natural language into executable Kali Linux cybersecurity tool commands.
なぜ重要か: Security engineers and ML researchers building or evaluating AI systems that must generate precise command-line instructions for penetration testing and security analysis workflows.
注意点: No open-weight model exceeded 42% exact-command accuracy without tool hints, suggesting current LLMs struggle with CLI syntax precision despite improvements from fine-tuning.

各ページで、技術の仕組み、コストに見合う場面、そして破綻する条件を解説しています。

1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。

週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。