يتخذ مختبر تقنيات اللغة خطوة كبيرة إلى الأمام في مجال الذكاء الاصطناعي متعدد الوسائط بإصداره السلامندرا البصرية، توسيع قدرات نموذج اللغة الكبير Salamandra (LLM) لكل من الصور والفيديو. يعتمد Visual Salamandra على 7 مليار معلمة يحافظ النموذج التأسيسي على تماسكه وكفاءته مع توسيع نطاقه ليشمل المهام متعددة الوسائط.
تم تصميم Visual Salamandra مع محاذاة لغة الرؤية في جوهره، وهو يعتمد على نموذج Salamandra Instructed 7B من خلال دمج برنامج التشفير SigLIP من Google (SigLIP-So400m)، وجهاز عرض MLP ثنائي الطبقة، وتقنيات الدمج المتأخر المتقدمة لسد الفجوة بين الطرائق المرئية والنصية.
تتيح البنية الناتجة لـ Visual Salamandra فهم وإنشاء استجابات دقيقة للسياق من مدخلات متنوعة، تتراوح من الصور ومقاطع الفيديو الفردية والمتعددة إلى التعليمات النصية البحتة. ويعكس هذا التطور التزامًا أوسع من جانب المختبر بدعم أنظمة الذكاء الاصطناعي القوية والمتعددة اللغات والوسائط، خاصة تلك التي تعطي الأولوية للتنوع اللغوي الأوروبي.
تدريب السمندرا البصرية: الغوص العميق في تجارب الرؤية
لتكييف السلمندرا مع المدخلات المرئية، نفذ المختبر عملية تدريب من أربع مراحل تتمحور حول هندسة الاندماج المتأخر. في هذا الإعداد، يقوم برنامج تشفير الصور المدرب مسبقًا (SigLIP، 14 تصحيحًا بدقة 384 × 384) بإنشاء تضمينات للصور، والتي تتم مواءمتها بعد ذلك مع LLM عبر جهاز عرض متعدد الطبقات (MLP) مدرب خصيصًا.
وتشمل مراحل التدريب الأربع ما يلي:
• المرحلة الأولى: التدريب المسبق على جهاز العرض – يتم تدريب جهاز العرض فقط على تعيين ميزات الصورة في المساحة الكامنة في LLM.
• المرحلة الثانية: التدريب المسبق على الرؤية عالية الجودة – باستخدام مجموعات البيانات المكررة (على سبيل المثال، التعرف الضوئي على الحروف والصور المعاد شرحها)، تخضع البنية بأكملها (جهاز التشفير، وجهاز العرض، وماجستير القانون) لتدريب مشترك.
• المرحلة 3: ضبط التعليمات – يتعلم النموذج اتباع تعليمات المستخدم من خلال الإجابة على الأسئلة المرئية (VQA)، والتعرف الضوئي على الحروف (OCR)، ومهام الرؤية الأساسية الأخرى.
• المرحلة 4: ضبط الوسائط المتعددة بالكامل – يتضمن بيانات صور وفيديو فردية/متعددة، إلى جانب أمثلة نصية فقط، لتحسين تعميم النموذج على سيناريوهات العالم الحقيقي ومتعددة المدخلات.
لعب تنوع البيانات دورًا حاسمًا طوال فترة التدريب. تم استخدام إجمالي 6.1 مليون مثيل لضبط التعليمات، بما في ذلك 842000 عينة نصية فقط. تضمنت مجموعة التدريب بيانات من مصادر مثل AI2D وCambrian وLLaVA Next، والتي تم اختيارها لتعزيز الأساس البصري وفهم المستندات والتفكير الرياضي والتعرف الضوئي على الحروف.
الشكل 1. توزيع البيانات أثناء عملية التدريب Visual Salamandra 7B
بيانات متعددة اللغات وتمثيل اللغة الأوروبية
كما هو الحال مع النماذج السابقة من Language Technologies Lab، تواصل Visual Salamandra الالتزام بـ شمولية متعددة اللغات، مع تركيز قوي على اللغات الأوروبية.
ويضمن هذا النهج استفادة اللغات الممثلة تمثيلا ناقصا من ضبط التعليمات ومواءمتها مع مهام الرؤية، مما يساعد على سد فجوة الموارد في أبحاث الذكاء الاصطناعي متعدد الوسائط. يعد Visual Salamandra واحدًا من النماذج الأولى من نوعها التي تدمج مثل هذا التعدد اللغوي في ملف إطار متعدد الوسائط لضبط التعليمات.
الشكل 2. أمثلة للجيل متعدد اللغات مع النموذج الذي تم تدريبه باستخدام تنظيم النص ودمجه مع العمود الفقري الأصلي لماجستير القانون.
التطبيقات والاتجاهات المستقبلية
يفتح Visual Salamandra مجموعة واسعة من التطبيقات عند تقاطع اللغة والرؤية، مثل:
• الإجابة المرئية على الأسئلة (VQA): اطرح أسئلة حول صورة أو مقطع فيديو واحصل على إجابات دقيقة واعية بالسياق.
• التعرف الضوئي على الحروف (OCR): قراءة النص ونسخه بدقة من المستندات والمشاهد والرسوم البيانية.
• فهم المستندات والمخططات: تحليل المستندات المرئية المعقدة أو المحتوى الرسومي باستخدام النص المضمن.
• الاستدلال الرياضي: حل المسائل الرياضية ذات الأساس البصري من خلال الاستدلال متعدد الوسائط.
• تفاعل الصور القائم على التعليمات: اتبع التعليمات التفصيلية في السياقات المرئية، بما في ذلك التعليقات التوضيحية للصور ومهام الترجمة.
كما أن إدراج إمكانيات الفيديو يفتح الباب أيضًا لمزيد من التطورات في تلخيص الفيديو واكتشاف الأحداث وسرد القصص متعدد الوسائط…
من خلال Visual Salamandra، يُظهر Language Technologies Lab قيادته المستمرة في إنشاء نماذج تأسيسية شاملة وعالية الأداء. من خلال مواءمة أحدث أجهزة تشفير الرؤية مع ماجستير إدارة الأعمال (LLM) القوي متعدد اللغات، يمهد الفريق الطريق لأنظمة الذكاء الاصطناعي من الجيل التالي التي ترى وتفهم وتتواصل عبر الأساليب واللغات.
المخاوف الأخلاقية والقيود
بينما يُظهر Visual Salamandra إمكانات قوية متعددة الوسائط، فمن المهم ملاحظة حدوده:
• قد يهذي بإجابات معقولة ولكنها غير صحيحة، خاصة عندما تكون المدخلات البصرية غامضة.
• لا يزال الأداء في عمليات التعرف الضوئي على الحروف (OCR) المعقدة وتخطيطات المستندات الكثيفة يشكل تحديًا.
• تم تدريب النموذج باستخدام مجموعات بيانات تمت تصفيتها وترخيصها، ولكن يجب على المستخدمين أن يظلوا يقظين بشأن التحيزات المحتملة أو عدم الدقة، خاصة عند نشرها في تطبيقات حساسة.
نوصي باستخدام Visual Salamandra في السياقات التي يكون فيها الإشراف البشري ممكنًا وتجنب التطبيقات عالية المخاطر دون تقييم مناسب.
تم إصدار Visual Salamandra تحت ترخيص أباتشي، الإصدار 2.0، مما يسمح بالبحث والاستخدام غير التجاري.
ترقبوا الإصدارات والأدوات المستقبلية المبنية على Visual Salamandra، واستكشف تفاصيل النموذج الكاملة في ورقتنا.
فريق مختبر تقنيات اللغة
شكر وتقدير
وقد تم دعم هذا العمل وتمويله من قبل وزارة التحول الرقمي والوظيفة العامة وخطة التعافي والتحول والمرونة – التي يمولها الاتحاد الأوروبي من خلال NextGenerationEU، في إطار مشروع Modelos del Linguaje.
