Dans l'actualité
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
arXiv cs.AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Fine-tuning LLMs on translation data causes catastrophic forgetting; standard mitigation methods fail to preserve translation-specific instruction following like formality control.
- Pourquoi ça compte
- Engineers building multilingual systems or adapting LLMs for machine translation need to understand trade-offs between general capability retention and translation task performance.
- Vigilance
- Elastic Weight Consolidation preserves general benchmarks but not translation-specific controls; data mixing works only on seen prompts and does not generalize to unseen variants.
- llm
- language model
- fine-tun
- eval
- benchmark
Les patterns derrière cette actualité
- MAPS: Multilingual Agent Performance & Security
- Agent Context Preservation and Recovery
- GAIA: General AI Assistants Benchmark
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.