حوّل التسجيلات إلى ترجمات مكتوبة.

200 جملة من FLEURS لكل لغة. يقيس الكلمات الخاطئة.

اختبرت Verli ‏15 أو 16 محركًا لكل لغة. وشغّلنا أداة الترجمة النصية من بيان على مجموعة الاختبار نفسها.

اختبرت Verli كل محرك كما كان في يوليو 2026 على عيّنتها الخاصة من FLEURS المكوّنة من 200 جملة. واستخدمنا مجموعة الاختبار نفسها وقاعدة التقييم نفسها على 200 جملة مختلفة. تقسّم قاعدة Verli الكلمات الهندية عند علامات الحركات، ما يخفض معدل الخطأ لدى الجميع إلى النصف تقريبًا، لذا ننشر نتيجة الهندية كترتيب فقط.

148 جملة إنجليزية لها أيضًا ترجمات بشرية احترافية. يقيس جودة الترجمة بالمُقيِّم الآلي MetricX-24 من Google.

أجرت بيان الاختبار. والترجمات البشرية مأخوذة من مجموعة FLoRes-200 العامة.

عملت بيان من الصوت المنطوق، وعمل المترجمون من النص. قارنّا الدرجات جملةً بجملة، ولم نحتسب النتيجة إلا حين لم يتجاوز نطاق الثقة 95% الصفر واتفقت جولتان. «مماثلة تقريبًا» تعني أن الاختبار لم يجد فرقًا واضحًا، ولا تثبت أن الترجمات متطابقة.

133 مقطعًا إنجليزيًا من YouTube، وهو اختبار الكلام في مؤتمر الترجمة الآلية لعام 2026.

قيّمت بيان مخرجات كل نظام منشور، ومخرجاتها هي، بالمُقيِّم الآلي MetricX-24 من Google.

تلقّت بيان النص المنسوخ آليًا نفسه الذي تلقّته الأنظمة الأخرى. ويرتّب المقيّمون البشريون في WMT الأنظمة بشكل مختلف، لذلك نصف هذه النتيجة دائمًا بأنها درجة آلية.