In den Nachrichten
Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models
arXiv cs.AI · Veröffentlicht am · 3 Min. Lesezeit
In 30 Sekunden
- Was passiert ist
- Keyword-matching benchmarks falsely credit small language models for tool use they cannot actually perform, requiring stricter diagnostics.
- Warum es zählt
- Matters when evaluating tool-use capabilities of small models under 1.2 billion parameters before deployment in production systems.
- Achtung
- The proposed diagnostic ladder is cheap but requires careful implementation; seed sensitivity limits generalizability of some findings across different model architectures.
Den vollständigen Artikel lesen
- language model
- small model
- tool use
- tool-use
- tokenizer
Die Patterns dahinter
Jedes zeigt, wie die Technik arbeitet, wann sie ihren Aufwand wert ist und wo sie scheitert.
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.