Dans l'actualité
Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations
arXiv cs.AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Des chercheurs ont développé des méthodes vectorielles simples pour détecter le reward hacking dans les LLM en analysant les représentations internes.
- Pourquoi ça compte
- Pertinent pour les ingénieurs construisant ou évaluant des LLM, notamment sur des benchmarks comme SWE-bench où les taux de hacking dépassent 70 pourcent.
- Vigilance
- Méthode testée sur trois modèles open source seulement; transfert unclear vers d'autres architectures ou systèmes closed-source.
- llm
- eval
- qwen
- kimi
- phi
Les patterns derrière cette actualité
- Eval-Driven Development (Agent CI)
- RL from Verifiable Rewards (RLVR)
- Process Reward Models & Verifier-Guided Search
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.