Dans l'actualité
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
Apple Machine Learning Research · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Des chercheurs Apple ont évalué les LLM pour annoter la qualité de la traduction automatique sur 70 paires de langues, découvrant que LLM et humains manquent de fiabilité.
- Pourquoi ça compte
- Les équipes de traduction automatique envisageant les LLM pour remplacer l'évaluation humaine doivent comprendre les limitations actuelles avant le déploiement en production.
- Vigilance
- Les LLM dépassent parfois l'accord humain mais restent peu fiables; ils échouent sur les erreurs mineures et les variantes linguistiques.
- llm
- language model
- eval
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.