تعرف على أحدث أبحاث مايكروسوفت فى الذكاء الاصطناعى لتحويل النص إلى كلام
ولا يمكن للخطاب أن يطابق الجرس فحسب بل يتطابق أيضًا مع النغمة العاطفية للمتكلم، وحتى صوتيات الغرفة، ويمكن استخدامه يومًا ما لتطبيقات تحويل النص إلى كلام المخصصة أو المتطورة، على الرغم من أنه مثل التزييف العميق ، فإنه ينطوي على مخاطر إساءة الاستخدام.
وفي ورقة بحثية ، وصف الباحثون كيف قاموا بتدريب VALL-E على 60.000 ساعة من الكلام باللغة الإنجليزية من أكثر من 7000 متحدث في مكتبة Meta الصوتية LibriLight ، ويجب أن يكون الصوت الذي تحاول تقليده مطابقًا تمامًا للصوت الموجود في بيانات التدريب، وإذا كان الأمر كذلك فإنه يستخدم بيانات التدريب لاستنتاج ما سيبدو عليه المتحدث المستهدف إذا كان يتحدث بإدخال النص المطلوب.
ويوضح الفريق بالضبط كيف يعمل هذا بشكل جيد على صفحة VALL-E Github. لكل عبارة يريدون من الذكاء الاصطناعي “التحدث” ، لديهم مطالبة مدتها ثلاث ثوان من المتحدث لتقليد، “حقيقة أساسية” للمتحدث نفسه يقول عبارة أخرى للمقارنة ، “خط أساسي” لتحويل النص إلى كلام التقليدي التوليف وعينة VALL-E في النهاية.
والنتائج مختلطة، بعضها يشبه الآلة والبعض الآخر واقعي بشكل مدهش، حقيقة أنه يحتفظ بالنبرة العاطفية للعينات الأصلية، كما أنه يطابق البيئة الصوتية بأمانة، لذلك إذا قام المتحدث بتسجيل صوته في قاعة echo-y ، فإن إخراج VALL-E يبدو أيضًا وكأنه جاء من نفس المكان.
ولتحسين النموذج، تخطط Microsoft لتوسيع نطاق بيانات التدريب الخاصة بها “لتحسين أداء النموذج عبر وجهات نظر التشابه بين العروض الفنية وأسلوب التحدث والمتحدثين.” كما أنها تستكشف طرقًا لتقليل الكلمات غير الواضحة أو المفقودة.
واختارت Microsoft عدم جعل الكود مفتوح المصدر، ربما بسبب المخاطر الكامنة في الذكاء الاصطناعي التي يمكن أن تضع الكلمات في فم شخص ما.
وأضافت أنها ستتبع “مبادئ مايكروسوفت للذكاء الاصطناعي” في أي تطوير آخر، وكتبت الشركة في قسم “التأثيرات الأوسع” في استنتاجها: “نظرًا لأن VALL-E يمكنه تجميع الكلام الذي يحافظ على هوية المتحدث، فقد يحمل مخاطر محتملة في إساءة استخدام النموذج ، مثل انتحال التعرف على الصوت أو انتحال الشخصية”.
