مع صدور عائلة آية فيجن جديدنا 8 ب و 32 ب نماذج لغة الرؤية ذات المعلمات (VLMs)، فإننا نتعامل مع أحد أكبر التحديات في الذكاء الاصطناعي: جلب أداء متعدد اللغات إلى نماذج متعددة الوسائط.
Aya Vision هي Cohere For أحدث عائلة نماذج مفتوحة الوزن ومتعددة اللغات ومتعددة الوسائط للذكاء الاصطناعي، مصممة لتكون أساسًا قويًا لفهم اللغة والرؤية عبر 23 لغة. إنه يعتمد على نجاح Aya Expanse، نماذج اللغات متعددة اللغات الحديثة، ويوسعها باستخدام مجموعة من التقنيات المتقدمة. وتشمل هذه الشروح التركيبية، وتوسيع نطاق البيانات متعددة اللغات من خلال الترجمة وإعادة الصياغة، ودمج النماذج المتعددة الوسائط – وهي الأساليب الرئيسية التي تعمل على تحسين فهم اللغة والرؤية في بيئة متعددة اللغات.
ونتيجة لذلك، تقدم نماذجنا أداءً جيدًا في مجموعة متنوعة من المهام، بما في ذلك التعليق على الصور، والإجابة على الأسئلة المرئية، وإنشاء النص، وترجمة كل من النص والصور إلى نص واضح بلغة طبيعية. قمنا بتقييم نماذج Aya Vision على مجموعة من مجموعات البيانات، بما في ذلك معيارنا الجديد للغة الرؤية المفتوحة AyaVisionBench وإصدار متعدد اللغات من Wild Vision Bench (mWildVision) الذي تمت ترجمته إلى 23 لغة، ونصدرهما للبحث.
في المقارنة الثنائية، تتفوق Aya Vision 32B على النماذج بأكثر من ضعف حجمها، مثل Llama-3.2 90B Vision وMolmo 72B وQwen2.5-VL 72B بمعدلات فوز تتراوح من 50% إلى 64% على AyaVisionBench ومن 52% إلى 72% على متوسط mWildVision عبر 23 لغة.
يحقق نموذجنا المدمج والأكثر كفاءة Aya Vision 8B أفضل أداء في الوسائط المتعددة اللغات في فئة المعلمات الخاصة به، ويتفوق على النماذج الرائدة مثل Qwen2.5-VL 7B، وPixtral 12B، وGemini Flash 1.5 8B، وLlama-3.2 11B Vision، وMolmo-D 7B، وPangea 7B بمعدلات فوز تصل إلى 79% على AyaVisionBench و 81% على mWildBench.
لقد قمنا بإصدار كلا النموذجين 8B و32B كأوزان مفتوحة لمجتمع البحث لزيادة تسريع التقدم متعدد الوسائط متعدد اللغات. في منشور المدونة هذا، نشارك التفاصيل الفنية الرئيسية وراء نماذج Aya Vision
آية فيجن للهندسة المعمارية والتدريب
بالنسبة لنموذج لغة الرؤية عالي الأداء، من المهم معالجة الصور باستخدامقرارات تعسفيةوخاصة الصور عالية الدقة. لتمكين هذه الإمكانية في Aya Vision، نقوم بتغيير حجم أي صور ذات دقة أعلى وتقسيمها ديناميكيًا إلى مربعات متعددة لإنشاء ميزات صور غنية من برنامج تشفير الصور. في نماذج Aya Vision، نستخدم نموذج SigLIP2-patch14-384 الذي تم إصداره مؤخرًا كتهيئة لمشفر الرؤية.
في حين أن تغيير الحجم الديناميكي يتيح معالجة الصور عالية الدقة، فإنه يؤدي أيضًا إلى مرور عدد أكبر من الرموز المميزة للصور عبر موصل لغة الرؤية ووحدة فك ترميز LLM. لتحسين زمن الاستجابة والإنتاجية، نستخدم طريقة الاختزال تسمى Pixel Shuffle، لضغط عدد الرموز المميزة للصورة بمقدار 4x. بعد الاختزال، تتم محاذاة الرموز المميزة للصورة مع تضمينات إدخال نموذج اللغة من خلال موصل لغة الرؤية وتمريرها إلى وحدة فك ترميز LLM.
بالنسبة لوحدة فك ترميز النص، نستخدم نماذجنا اللغوية متعددة اللغات. بالنسبة لـ Aya Vision 8B، نستخدم LLM الذي تمت تهيئته من Cohere Command R7B لتحسين متابعة التعليمات والمعرفة العالمية ومزيد من التدريب اللاحق باستخدام وصفة Aya Expanse التي تتكون من بيانات متنوعة متعددة اللغات ودمج النماذج والتدريب على التفضيلات. بالنسبة لـ Aya Vision 32B، قمنا بتهيئة نموذج اللغة من Aya Expanse 32B بناءً على أدائها المتطور متعدد اللغات.
عملية التدريب
لقد قمنا بتدريب نماذج آية فيجن في 2 مراحل – محاذاة لغة الرؤية و الضبط الدقيق الخاضع للإشراف (SFT). في مرحلة محاذاة لغة الرؤية، يتم تدريب موصل لغة الرؤية فقط، بينما يتم تجميد أوزان مشفر الرؤية ونموذج اللغة. يتيح ذلك فهمًا أوليًا للغة الرؤية من خلال تعيين ميزات برنامج تشفير الصور لمساحة تضمين نموذج اللغة. في مرحلة SFT، نقوم بتدريب كل من الموصل ونموذج اللغة على مجموعة متنوعة من المهام متعددة الوسائط بـ 23 لغة.
تعزيز البيانات المتعددة الوسائط وتوسيع التغطية اللغوية
أحد أكبر التحديات في تطوير نموذج لغة رؤية متعدد اللغات هو ضمان الأداء القوي عبر اللغات الممثلة تمثيلاً ناقصًا. لمعالجة هذه المشكلة، نقوم أولاً بجمع التعليقات التوضيحية التركيبية باستخدام مجموعة متنوعة من مجموعات البيانات عالية الجودة باللغة الإنجليزية، والتي تضع الأساس لتعليقاتنا التوضيحية متعددة الوسائط متعددة اللغات. باتباع الشروح التركيبية لمجموعات البيانات الإنجليزية، قمنا بترجمة كمية كبيرة من البيانات إلى 23 لغة. لتجنب عيوب الترجمة والحفاظ على الخصائص النصية السلسة بدقة عالية في الإجابات، قمنا بعد ذلك بإعادة صياغة أزواج الموجه/الجيل المترجمة من خلال مطابقتها مع العينات الاصطناعية الأصلية عالية الجودة، وتوسيع التغطية اللغوية حيث تكون مجموعات البيانات في العالم الحقيقي نادرة. يؤدي ذلك إلى تحسين الطلاقة اللغوية والمواءمة بين الرؤية والنص، مما يسمح لـ Aya Vision بإظهار فهم فائق للصور بلغات متعددة.
يصل نموذج 8B الخاص بنا، عند الإشراف عليه فقط وضبطه باستخدام مجموعات البيانات الأكاديمية الأصلية، إلى معدل فوز بنسبة 40.9% عبر 23 لغة في AyaVisionBench مقابل Pangea 7B، وهو VLM متعدد اللغات، في حين تؤدي التعليقات التوضيحية الاصطناعية وتوسيع نطاق البيانات متعددة اللغات إلى معدل فوز بنسبة 58.1% مع ربح قدره 17.2%. يوضح هذا التحسن الكبير تأثير الاستثمار الكبير في تغطية البيانات متعددة اللغات.
دمج النماذج المتعددة الوسائط
يجب أن يتفوق نموذج لغة الرؤية المتطور ليس فقط في فهم الصور ولكن أيضًا في سياق المحادثة، حيث من المتوقع أن يولد النموذج استجابة عالية الجودة لكل من مدخلات الصور والنص. لمعالجة هذه المشكلة، مستوحاة من بحثنا السابق حول دمج النماذج، وهي تقنية تجمع بين نماذج متعددة مدربة، قمنا بدمج نموذج اللغة الأساسية مع نموذج لغة الرؤية المضبوط بدقة.
يعمل دمج النماذج على تعزيز القدرات التوليدية لنموذجنا النهائي الذي يؤدي إلى معدلات فوز بنسبة 70% عبر 23 لغة على AyaVisionBench مقابل Pangea 7B، مما يؤدي إلى تحسين معدل الفوز متعدد الوسائط بنسبة 11.9% مقارنة بالنموذج قبل الدمج.
كما يتيح دمج النماذج المتعددة الوسائط لنماذج Aya Vision الخاصة بنا التفوق في المهام النصية فقط كما تم قياسها في مجموعات بيانات mArenaHard مقارنة بنماذج لغة الرؤية الرائدة الأخرى.
 |
|---|
| نظرة عامة على مسار التدريب لـ Aya Vision |
التوسع إلى 32B
أخيرًا، قمنا بتوسيع وصفتنا من 8B إلى 32B، مما أدى إلى نموذج لغة الرؤية متعدد اللغات ذو الوزن المفتوح والمتطور – Aya Vision 32B الذي يُظهر تحسينات كبيرة في معدلات الفوز بسبب التهيئة الأقوى للعمود الفقري للنص، ويتفوق في الأداء على النماذج بأكثر من 2x من حجمها، مثل Llama-3.2 90B Vision وMolmo 72B وQwen2.5-VL 72B. من خلال معدلات فوز تتراوح بين 49% إلى 63% على AyaVisionBench ومن 52% إلى 72% على متوسط mWildVision عبر 23 لغة.
Aya Vision Benchmark – بيانات تقييم متعددة اللغات
جنبًا إلى جنب مع نماذج Aya Vision، قمنا أيضًا بإصدار معيار عالي الجودة متعدد اللغات للرؤية يسمى AyaVisionBench، تم إنشاؤه استنادًا إلى تطبيقات العالم الحقيقي، ويغطي 23 لغة و9 فئات مهام متميزة، مع 135 زوجًا من أسئلة الصور لكل لغة.
نحن نجعل مجموعة التقييم هذه متاحة لمجتمع البحث لدفع التقييمات متعددة اللغات والوسائط المتعددة إلى الأمام. تم تصميم مجموعة البيانات هذه لتقييم قدرة النموذج على أداء مجموعة متنوعة من مهام لغة الرؤية، بما في ذلك التسميات التوضيحية، وفهم المخططات والأشكال، وتحديد الاختلافات بين صورتين، والإجابة المرئية العامة على الأسئلة، والتعرف الضوئي على الحروف، وفهم المستندات، ونسخ النص، والاستدلال الذي يتضمن المنطق والرياضيات، وتحويل لقطات الشاشة إلى تعليمات برمجية. من خلال دمج لغات وأنواع مهام متعددة، توفر مجموعة البيانات إطارًا تقييميًا واسعًا وصعبًا لتقييم الفهم بين اللغات ومتعدد الوسائط.
لإنشاء مجموعة البيانات هذه، اخترنا أولاً صورًا من مجموعة اختبار Cauldron، وهي مجموعة كبيرة مستمدة من 50 مجموعة بيانات عالية الجودة، مما يضمن عدم رؤيتها أثناء التدريب. بالنسبة لكل صورة، قمنا بعد ذلك بإنشاء سؤال مناظر يتطلب بوضوح سياقًا مرئيًا للإجابة. تم إنشاء هذه الأسئلة بشكل صناعي وتم تنقيحها لاحقًا من خلال عملية التحقق المكونة من مرحلتين. أولاً، قام المفسرون البشريون بمراجعة كل سؤال والتحقق من صحته للتأكد من أنه واضح وذو صلة ويعتمد حقًا على الصورة. تضمن عملية الاختيار والتحقق الصارمة هذه أن تكون مجموعة البيانات بمثابة معيار قوي لتقييم نماذج لغة الرؤية في البيئات متعددة اللغات وفي العالم الحقيقي.
مصممة لتطبيقات العالم الحقيقي
يتم التواصل بأشكال عديدة وبعدة لغات. بفضل أبحاثنا وتطويرنا الرائدين، أصدرنا نموذجًا يسهل الاتصال، سواء كان نصيًا أو مرئيًا، بـ 23 لغة مختلفة اليوم.
تتمتع Aya Vision بمجموعة واسعة من التطبيقات العملية، ومن الأمثلة البارزة على ذلك توفرها على تطبيق WhatsApp، وهو أحد منصات الاتصالات الأكثر استخدامًا في العالم. يتيح ذلك لجمهور كبير من المواطنين العالميين الذين يتحدثون العديد من اللغات الاستفادة من إمكانات Aya Vision على منصة يستخدمونها للتواصل كل يوم.
البداية مع آية
للبدء:
قم بتنزيل الأوزان ومجموعات البيانات من مجموعة Aya Vision على Hugging Face.
جرب Aya Vision باستخدام مساحة Hugging Face Space الخاصة بنا أو أرسل رسالة نصية على Whatsapp
اعتمد على آية باستخدام مثال كولاب الخاص بنا.
تعرف على المزيد حول جهودنا المستمرة حول تعدد اللغات.
شكر وتقدير
لم يكن هذا العمل ممكنًا لولا فريق Aya Vision الفني الأساسي:
سوراب داش، أوليفر نان، جون دانغ، أراش أحمديان دهكردي، شيفاليكا سينغ، أليخاندرو سالامانكا، بهارات فينكيتش، فلاد شميلو، والتر بيلر موراليس، جيريمي بيكميز، جايسون أوزوزو، مادلين سميث، مرضية فدائي، مانوج جوفينداسامي، سوديب روي، ماتياس جالي، بيزا إرميس، أحمد. أوستون، سارة هوكر.
كما لم يكن ذلك ممكنًا لولا فريق Cohere For AI وCohere الأوسع الذي قدم الدعم بعدة طرق مختلفة. شكر خاص لسونغجين هونغ، مايكل كوزاكوف، بيير ريتشموند، بريتاونيا برنس، جيم باين، كايل لاستوفيكا، جيف كولين، جينا كوك، فيرات أريابومي، ترينت فاولر، لينوس تشوي، ميور عامر، لوكاس فايوكس، كايل لاستوفيكا، بيلي تريند، أسير لوكاتيلي، مورغان نورمان، فلوريان ستروب، جون أندير كامبوس، نيك فروست، فيل بلونسوم، إيدان جوميز، إيفان تشانغ.
شكر خاص لشركة Hugging Face للمساعدة في تحقيق هذا الهدف: يوني جوزلان، آرثر زوكر، بيدرو كوينكا، أريترا روي جوستيباتي، ميرفي نويان، فايبهاف سريفاستاف.
مراجع
[1] Aya Expanse: الجمع بين الإنجازات البحثية من أجل حدود جديدة متعددة اللغات
[2] Pangea: LLM متعدد اللغات مفتوح بالكامل لـ 39 لغة
[3] WildVision: تقييم نماذج لغة الرؤية في البرية مع التفضيلات البشرية
[4] SigLIP 2: برامج ترميز لغة الرؤية متعددة اللغات مع تحسين الفهم الدلالي والترجمة والميزات الكثيفة
[5] ما الذي يهم عند بناء نماذج لغة الرؤية؟
[6] Molmo وPixMo: الأوزان المفتوحة والبيانات المفتوحة لنماذج لغة الرؤية الحديثة
[7] إلى أي مدى وصلنا إلى GPT-4V؟ سد الفجوة أمام النماذج التجارية متعددة الوسائط بأجنحة مفتوحة المصدر
