Dans l'actualité
What Does a Bias Head Measure? Non-Identifiability in Head-Level Bias Attribution
arXiv cs.AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Bias detection methods targeting LLM attention heads correlate more with response length than actual bias, making their validity questionable.
- Pourquoi ça compte
- Critical for engineers developing bias mitigation pipelines that rely on head-level attribution to remove social bias from models.
- Vigilance
- Statistical measures identifying bias heads are non-identifiable; confounding factors like response length and prompt identity cannot be separated observationally.
- language model
- prompt
- attention
- llama
- qwen
Les patterns derrière cette actualité
- Deep Research Agent
- Agentic Context Engineering (Evolving Playbook)
- Privilege Compromise Mitigation Pattern
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.