Loading...
MAPS:多言語エージェントの性能とセキュリティ(MAPS)
12 の言語にわたってエージェントの性能とセキュリティを評価する多言語ベンチマーク。この例は現時点でのモデル推奨ではなく、当時のベンチマークのスナップショットです。
In 30 seconds
- What
- 805件のユニークなタスクを用いて12言語にわたるエージェントの性能とセキュリティを測定し、言語ごとの能力差と脆弱性を明らかにします。
- When to use
- 多言語ユーザー向けにエージェントを展開する場合や、本番投入前に英語以外の言語で性能が低下しないかを検証したい場合。
- Watch out
- 結果はベンチマーク実施時点とモデルのバージョンに依存します。順位は短期間で入れ替わり、実運用における多言語での安全性を保証するものではありません。
Loading technique guide…