ریکارڈنگز سے ترجمہ شدہ سب ٹائٹلز بنائیں۔

ہر زبان کے 200 FLEURS جملے۔ غلط الفاظ کی شرح ناپتا ہے۔

Verli نے ہر زبان میں 15 یا 16 انجنز جانچے۔ ہم نے اسی ٹیسٹ سیٹ پر بیان کا کیپشن ٹول چلایا۔

Verli نے ہر انجن کو جولائی 2026 کی حالت میں اپنے 200 جملوں کے FLEURS نمونے پر جانچا۔ ہم نے وہی ٹیسٹ سیٹ اور اسکورنگ کا قاعدہ 200 مختلف جملوں پر استعمال کیا۔ Verli کا اسکورنگ قاعدہ ہندی الفاظ کو اعراب کی علامات پر تقسیم کرتا ہے، جس سے ہر ایک کی غلطی کی شرح تقریباً آدھی ہو جاتی ہے، اس لیے ہم ہندی کو صرف درجے کے طور پر شائع کرتے ہیں۔

انگریزی کے 148 جملے جن کے پیشہ ور انسانی ترجمے بھی موجود ہیں۔ یہ Google کے خودکار جج MetricX-24 سے ترجمے کا معیار ناپتا ہے۔

ٹیسٹ بیان نے چلایا۔ انسانی ترجمے عوامی FLoRes-200 سیٹ سے لیے گئے ہیں۔

بیان نے بولی گئی آڈیو سے کام کیا؛ مترجمین نے متن سے۔ ہم نے جملہ بہ جملہ اسکورز کا موازنہ کیا اور نتیجہ صرف تب شمار کیا جب 95% حد صفر کو پار نہ کرے اور دو رنز متفق ہوں۔ “تقریباً برابر” کا مطلب ہے کہ ٹیسٹ میں کوئی واضح فرق نہیں ملا؛ اس سے یہ ثابت نہیں ہوتا کہ ترجمے ایک جیسے تھے۔

انگریزی کے 133 YouTube کلپس، جو 2026 Conference on Machine Translation کا اسپیچ ٹیسٹ ہے۔

بیان نے ہر شائع شدہ سسٹم کے آؤٹ پٹ اور اپنے آؤٹ پٹ کو Google کے خودکار جج MetricX-24 سے اسکور کیا۔

بیان کو دوسرے سسٹمز والا ہی خودکار ٹرانسکرپٹ ملا۔ WMT کے اپنے انسانی جائزہ کار سسٹمز کی درجہ بندی مختلف کرتے ہیں، اس لیے ہم اسے ہمیشہ خودکار اسکور کہتے ہیں۔