الاتجاهات والرؤى مع المسارات الجديدة متعددة اللغات والطويلة

بينما يقوم الجميع (وجدتهم 👵) بإنتاج نماذج ASR جديدة، فإن اختيار النموذج المناسب لحالة الاستخدام الخاصة بك يمكن أن يكون أمرًا مرهقًا أكثر من اختيار عرض Netflix التالي. اعتبارًا من 21 نوفمبر 2025، هناك 150 تحويل الصوت من نص إلى نص و موديلات 27 ألف ASR على المحور 🤯

تركز معظم المعايير على النسخ الإنجليزي القصير (<30 ثانية)، وتجاهل المهام المهمة الأخرى، مثل (1) الأداء متعدد اللغات و(2) إنتاجية النموذج، والتي يمكن أن تكون عاملاً حاسماً للصوت الطويل مثل الاجتماعات والبودكاست.

على مدى العامين الماضيين، افتح لوحة المتصدرين ASR أصبح معيارًا لمقارنة النماذج مفتوحة المصدر ومغلقة المصدر في كليهما دقة و كفاءة. حديثاً، متعدد اللغات و النسخ الطويل تمت إضافة المسارات إلى لوحة المتصدرين 🎉

TL;DR – افتح لوحة صدارة ASR

• 📝 طبعة أولية جديدة حول اتجاهات ASR من لوحة المتصدرين: https://hf.co/papers/2510.06961
• 🧠 أفضل دقة: التشفير المطابق + أجهزة فك التشفير LLM (ftw مفتوحة المصدر 🥳)
• ⚡ الأسرع: أجهزة فك التشفير CTC / TDT
• 🌍 متعدد اللغات: يأتي على حساب الأداء في لغة واحدة
• ⌛ شكل طويل: الأنظمة مغلقة المصدر لا تزال تقود (في الوقت الحالي 😉)
• 🧑‍💻 أدلة الضبط الدقيق (الببغاء، فوكسترال، ويسبر): لمواصلة دفع الأداء

اعتبارًا من 21 نوفمبر 2025، افتح لوحة المتصدرين ASR يقارن أكثر من 60 نموذجًا مفتوحًا ومغلق المصدر من 18 منظمة، عير 11 مجموعة بيانات.

في نسخة أولية حديثة، نتعمق في الإعداد الفني ونسلط الضوء على بعض الاتجاهات الرئيسية في ASR الحديث. إليك الوجبات السريعة الكبيرة 👇

1. جهاز التشفير المطابق 🤝 وحدة فك ترميز LLM تتصدر المخططات 📈

نماذج الجمع التشفير المطابق مع وحدات فك ترميز نماذج اللغات الكبيرة (LLM). يؤدي حاليًا إلى دقة النسخ باللغة الإنجليزية. على سبيل المثال، NVIDIA Canary-Qwen-2.5B, IBM’s Granite-Speech-3.3-8B، و Microsoft Phi-4-Multimodal-Instruct تحقيق أدنى معدلات خطأ في الكلمات (WER)، مما يوضح أن دمج تفكير LLM يمكن أن يعزز دقة ASR بشكل كبير.

💡 نصيحة احترافية: قدمت NVIDIA Fast Conformer، وهو إصدار أسرع مرتين من Conformer، والذي يتم استخدامه في مجموعة طرازات Canary وParakeet.

2. مقايضات السرعة والدقة ⚖️

على الرغم من أنها دقيقة للغاية، إلا أن أجهزة فك التشفير LLM هذه تميل إلى أن تكون كذلك أبطأ من أساليب أبسط. على افتح لوحة المتصدرين ASR، يتم قياس الكفاءة باستخدام معكوس عامل الوقت الحقيقي (RTFx)، حيث الأعلى هو الأفضل.

وللاستدلال بشكل أسرع، لجنة مكافحة الإرهاب و تي دي تي تسليم أجهزة فك التشفير 10-100× إنتاجية أسرع، وإن كان مع معدلات خطأ أعلى قليلا. وهذا يجعلها مثالية ل في الوقت الحالى, غير متصل، أو النسخ الدفعي المهام (مثل الاجتماعات أو المحاضرات أو البث الصوتي).

3. متعدد اللغات 🌍

OpenAI الهمس الكبير v3 يبقى خط أساس قوي متعدد اللغات، داعمًا 99 لغة. لكن، المتغيرات المضبوطة أو المقطرة يحب تقطير الهمس و كريسبر ويسبر غالبًا ما يتفوق على الأصل الإنجليزية فقط المهام، موضحًا كيف يمكن للضبط الدقيق المستهدف تحسين التخصص (كيفية صقل؟ تحقق من أدلة Whisper وParakeet وVoxtral).

ومع ذلك، فإن التركيز على اللغة الإنجليزية يميل إلى ذلك تقليل التغطية متعددة اللغات 👉 حالة كلاسيكية للمفاضلة بين التخصص والتعميم. وبالمثل، في حين الإشراف الذاتي أنظمة مثل ميتا خطاب متعدد اللغات على نطاق واسع (MMS) و متعدد اللغات ASR يمكن أن تدعم أكثر من ألف لغة، فهي تتخلف عن برامج التشفير الخاصة باللغة من حيث الدقة.

⭐ على الرغم من أنه يتم حاليًا قياس خمس لغات فقط، إلا أننا نخطط للتوسع ليشمل المزيد من اللغات ونحن متحمسون لمجموعات البيانات الجديدة ونماذج المساهمات في ASR متعدد اللغات من خلال طلبات السحب من GitHub.

🎯 إلى جانب معايير متعددة اللغات، عدة المتصدرين يحركها المجتمع التركيز على اللغات الفردية. على سبيل المثال، افتح لوحة المتصدرين العربية العالمية ASR يقارن النماذج عبر اللغة العربية الفصحى الحديثة واللهجات الإقليمية، مع تسليط الضوء على كيفية تحدي تنوع الكلام وازدواجية اللسان للأنظمة الحالية. بصورة مماثلة. ال لوحة المتصدرين ASR الروسية يوفر مركزًا متناميًا لتقييم نماذج التشفير وفك التشفير وCTC علم الأصوات والمورفولوجيا الخاصة بالروسية. تعكس هذه الجهود المحلية مهمة التشجيع الأوسع نطاقًا للوحة المتصدرين متعددة اللغات مشاركة مجموعات البيانات، ونقاط التفتيش المضبوطة، ومقارنات النماذج الشفافة، خاصة في اللغات التي تحتوي على عدد أقل من موارد ASR.

4. النسخ الطويل هو لعبة مختلفة ⏳

ل الصوت الطويل (على سبيل المثال، البودكاست والمحاضرات والاجتماعات)، أنظمة مغلقة المصدر لا تزال تتفوق على تلك المفتوحة. قد يكون ذلك بسبب ضبط المجال، أو التقسيم المخصص، أو تحسين مستوى الإنتاج.

من بين النماذج المفتوحة OpenAI’s Whisper Large v3 يؤدي الأفضل. ولكن بالنسبة للإنتاجية، المطابقات القائمة على CTC تألق 👉 على سبيل المثال، NVIDIA’s Parakeet CTC 1.1B يحقق رتفكس من 2793.75، مقارنة ب 68.56 بالنسبة لـ Whisper Large v3، مع تدهور معتدل فقط في WER (6.68 و 6.43 على التوالى).

المقايضة؟ الببغاء هو الإنجليزية فقط، يذكرنا مرة أخرى بمفاضلة تعدد اللغات والتخصص 🫠.

⭐ في حين أن الأنظمة المغلقة لا تزال رائدة، إلا أن هناك إمكانات هائلة للابتكار مفتوح المصدر هنا. تظل ASR الطويلة الشكل واحدة من أكثر الحدود إثارة التي يتعين على المجتمع معالجتها بعد ذلك!

نظرًا لمدى سرعة تطور ASR، يسعدنا أن نرى ما هي البنى الجديدة التي تدفع الأداء والكفاءة، وكيف افتح لوحة المتصدرين ASR يستمر في العمل ك معيار شفاف يحركه المجتمع في هذا المجال، وكمرجع للوحات المتصدرين الأخرى (الكشف عن التزييف العميق باللغات الروسية والعربية والكلام).

سنواصل توسيع افتح لوحة المتصدرين ASR مع المزيد من النماذج، والمزيد من اللغات، والمزيد من مجموعات البيانات لذلك ترقبوا 👀

👉 هل تريد المساهمة؟ توجه إلى GitHub repo لفتح ملف طلب سحب 🚀