In den Nachrichten
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
arXiv cs.AI · Veröffentlicht am · 3 Min. Lesezeit
In 30 Sekunden
- Was passiert ist
- Fine-tuning LLMs on translation data causes catastrophic forgetting, and standard mitigation methods fail to preserve translation-specific instruction following like formality control.
- Warum es zählt
- Engineers building multilingual systems or adapting LLMs for machine translation need to understand trade-offs between general capability retention and translation task performance.
- Achtung
- Elastic Weight Consolidation preserves general benchmarks but not translation-specific controls; data mixing works only on seen prompts and does not generalize to unseen variants.
Den vollständigen Artikel lesen
- llm
- language model
- fine-tun
- eval
- benchmark
Die Patterns dahinter
- MAPS: Multilingual Agent Performance & Security
- Agent Context Preservation and Recovery
- GAIA: General AI Assistants Benchmark
Jedes zeigt, wie die Technik arbeitet, wann sie ihren Aufwand wert ist und wo sie scheitert.
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.