Loading...
🌐
MAPS: Mehrsprachige Agentenleistung und Sicherheit(MAPS)
Mehrsprachiger Benchmark für Agentenleistung und -sicherheit in 12 Sprachen. Das Beispiel ist eine datierte Momentaufnahme des Benchmarks und keine aktuelle Modellempfehlung.
Komplexität: highEvaluierung und Monitoring
In 30 seconds
- What
- Misst Leistung und Sicherheit von Agenten in 12 Sprachen anhand von 805 einzigartigen Aufgaben und deckt sprachspezifische Fähigkeitslücken und Schwachstellen auf.
- When to use
- Bereitstellung von Agenten für mehrsprachige Nutzergruppen oder Prüfung vor dem Produktivbetrieb, ob die Leistung in nicht englischsprachigen Sprachen nachlässt.
- Watch out
- Die Ergebnisse spiegeln den Zeitpunkt des Benchmarks und die Modellversion wider; Ranglisten verschieben sich schnell und sagen nichts über mehrsprachige Sicherheit im realen Einsatz aus.
Loading technique guide…