في منشور المدونة هذا، نشارك رحلة إطلاق CinePile 2.0، وهو إصدار محسّن بشكل كبير من مجموعة بيانات ضمان الجودة الخاصة بالفيديو الطويل. تعتمد التحسينات في مجموعة البيانات الجديدة على نهج جديد صاغناه لتحسين مجموعة البيانات العدائية.
نحن متحمسون لمشاركة كل من CinePile 2.0 وتنفيذ أسلوب التحسين التنافسي الخاص بنا، والذي نعتقد أنه يمكن أن يعزز العديد من مجموعات البيانات الحالية ويكون بشكل مباشر جزءًا من خطوط أنابيب إنشاء مجموعات البيانات المستقبلية.
إذا كنت مهتمًا بشكل أساسي بطريقة التحسين التنافسي، فيمكنك الانتقال مباشرة إلى قسم تحسين التنافس.
انتظر. ما هو سينيبيل؟
في مايو 2024، أطلقنا CinePile، وهي مجموعة بيانات طويلة لضمان جودة الفيديو تحتوي على حوالي 300000 عينة تدريب و5000 عينة اختبار.
وتميز الإصدار الأول عن مجموعات البيانات الأخرى في جانبين:
- تنوع الأسئلة: يغطي الفهم الزمني، وتحليل الحبكة، وديناميكيات الشخصية، والإعداد، والموضوعات.
- صعوبة السؤال: في معيارنا المعياري، تفوق البشر على أفضل نماذج الرؤية التجارية بنسبة 25% وعلى النماذج مفتوحة المصدر بنسبة 65%.
إلقاء نظرة على عينة البيانات
جزء من الخلطة السرية وراء ذلك هو أنه يعتمد على مقاطع أفلام من موقع يوتيوب وأسئلة وأجوبة مستخرجة من أوصاف صوتية دقيقة مصممة للجمهور ضعاف البصر. توفر هذه الأوصاف سياقًا غنيًا يتجاوز العناصر المرئية الأساسية (على سبيل المثال، “ما هو لون السيارة؟”)، مما يساعدنا على إنشاء أسئلة أكثر تعقيدًا.
أخبرني المزيد. كيف قمت بتجميع مجموعة البيانات الأصلية؟
لأتمتة إنشاء الأسئلة، قمنا أولاً ببناء قوالب الأسئلة من خلال فحص مجموعات البيانات الموجودة مثل MovieQA وTVQA. قمنا بتجميع الأسئلة في مجموعات البيانات هذه باستخدام نموذج التشابه النصي WhereIsAI/UAE-Large-V1 ثم طلبنا من GPT-4 مع 10 أمثلة عشوائية من كل مجموعة لإنشاء قالب سؤال وسؤال نموذجي لكل منها:
| فئة | قالب السؤال | سؤال نموذجي |
|---|---|---|
| ديناميكيات الشخصية والعلاقات (CRD) | ديناميات العلاقات الشخصية | ما هي التغييرات التي تحدث في العلاقة بين الشخص أ والشخص ب بعد تجربة أو إجراءات مشتركة؟ |
| ديناميكيات الشخصية والعلاقات (CRD) | مبرر القرار | ما هي الأسباب التي أعطتها الشخصية لاتخاذ قرارها؟ |
| تحليل السرد والحبكة (NPA) | حدث الأزمة | ما الحدث الرئيسي الذي يؤدي إلى الإجراء الجذري للشخصية؟ |
| تحليل السرد والحبكة (NPA) | كشفت أسرار | ما السر الذي تكشفه الشخصية “أ” عن الحدث “ب”؟ |
| الإعداد والتحليل الفني (STA) | الممتلكات المادية | ما هو [Character Name] عقد؟ |
| الإعداد والتحليل الفني (STA) | التفاصيل البيئية | ماذا يفعل [setting/location] تبدو وكأنها [during/at] [specific time/place/event]؟ |
| مؤقت (درجة الحرارة) | الإجراءات الحاسمة الحساسة للوقت | ما يجب [Character] تفعل بسرعة، وما هي العواقب خلاف ذلك؟ |
| مؤقت (درجة الحرارة) | تكرار | كم مرة تحاول الشخصية [action A]؟ |
| الاستكشاف المواضيعي (TH) | تتبع الرمزية والحافز | هل هناك أي رموز أو زخارف تم تقديمها في المشهد (أ) تظهر مرة أخرى أو تتطور في المشهد (ب)، وماذا تعني؟ |
| الاستكشاف المواضيعي (TH) | المتوازيات الموضوعية | ما الذي توازيه الفوضى في المشهد من حيث موضوعات الفيلم؟ |
نظرًا لأن القوالب ليست ذات صلة دائمًا بكل مقطع فيلم، فقد استخدمنا Gemini 1.0 Pro لتحديد القوالب الأكثر ملاءمة لكل مشهد. بعد ذلك، نقوم بتغذية نموذج اللغة بنص المشهد، وأسماء القوالب المحددة (على سبيل المثال، “الحيازة المادية”)، ونماذج الأسئلة، وموجه النظام لإنشاء أسئلة خاصة بالمشهد. تساعد المطالبة المصممة جيدًا النموذج على التركيز على المشهد بأكمله، مما يؤدي إلى توليد أسئلة أعمق مع تجنب الأسئلة السطحية. وجدنا أن:
- إن توفير الأمثلة النموذجية بما في ذلك الطوابع الزمنية للحوارات والأوصاف المرئية يمنع GPT-4 من الهلوسة
- يؤدي هذا النهج إلى تشتيت انتباه أسئلة الاختيار من متعدد (MCQ) الأكثر منطقية
- إن مطالبة النموذج بتقديم أساس منطقي لإجاباته يؤدي إلى تحسين جودة الأسئلة
باستخدام هذا الأسلوب، نقوم بإنشاء ما يقرب من 32 سؤالًا لكل مقطع فيديو. قبل إطلاق CinePile، قمنا بتنفيذ عدة آليات لضمان جودة مجموعة البيانات/المعيار الذي سنغطيه في القسم التالي.
فحص جودة النتائج الأولية
في حين أن عمليتنا تولد عادةً أسئلة جيدة الصياغة وقابلة للإجابة، فقد يتبين أن بعضها تافه أو يعتمد على مفاهيم أساسية لا تتطلب مشاهدة المقطع. ولمعالجة هذه المشكلة، استخدمنا العديد من نماذج اللغات الكبيرة (LLMs) لتحديد وتصفية ثلاثة أنواع من المشكلات:
-
قضايا الانحطاط
- يعتبر السؤال “منحطًا” إذا كانت إجابته واضحة من السؤال نفسه (على سبيل المثال، “ما هو لون المنزل الوردي؟”)
- هذه لا تشكل سوى جزء صغير من مجموعة البيانات لدينا
- نظرًا لأن المراجعة اليدوية لم تكن ممكنة على نطاقنا، فقد استخدمنا ثلاثة حاملي شهادات LLM — Gemini، وGPT-3.5، وPhi-1.5 — للكشف الآلي
- تم استبعاد الأسئلة من مجموعة التقييم إذا أجابت النماذج الثلاثة بشكل صحيح دون أي سياق
-
قضايا الاعتماد على الرؤية
- يمكن الإجابة على بعض أسئلة الاختيار من متعدد باستخدام الحوار وحده، دون الحاجة إلى معلومات مرئية
- استخدمنا نموذج جيميني لتحديد ما إذا كان من الممكن الإجابة على الأسئلة باستخدام الحوار فقط
- حصلت الأسئلة على درجة ثنائية: 0 إذا كانت الإجابة عليها بدون عناصر مرئية، و1 إذا كانت المعلومات المرئية مطلوبة
-
تقييم الصعوبة
- لتقييم صعوبة الأسئلة، قمنا باختبار ما إذا كانت النماذج يمكنها الإجابة بشكل صحيح حتى عند إعطائها السياق الكامل (كل من الأوصاف المرئية والعناوين الفرعية)
من خلال الاستخدام المستمر للمعيار من قبل فريقنا والمجتمع الأوسع، حددنا العديد من مجالات التحسين التي دفعتنا إلى النظر في CinePile 2.0.
سينيبيل 2.0
بالنسبة للإصدار الثاني لـ CinePile، عملنا مع Hugging Face (بعد تجربتهم الناجحة مع الضبط الدقيق لـ Video Lava 7B على CinePile) لتحديد العديد من مجالات التحسين وتحديد أولوياتها.
مشاكل في CinePile 1.0
على الرغم من أن تصفية الانحطاط كانت مفيدة في CinePile 1.0، إلا أنها كانت بها عدة قيود:
- يمكن الإجابة على بعض الأسئلة باستخدام أزواج الأسئلة والأجوبة فقط، دون الحاجة إلى نصوص أو محتوى مرئي
- تحتوي العديد من الأسئلة التي تم الإبلاغ عنها على إحصاءات قيمة من الفيديو. وبدلاً من التخلص منها، كان من الممكن إعادة صياغتها للحصول على قيمتها بشكل أفضل.
- اقتصرت اختبارات الانحلال على مجموعة الاختبار: كان تشغيل نماذج متعددة – خاصة تلك المملوكة – مكلفًا للغاية على نطاق واسع بالنسبة لمجموعة التدريب الخاصة بـ CinePile 1.0
ولمعالجة هذه المشكلات، قدمنا طريقة جديدة صقل الخصومة خط الأنابيب الذي يساعد على تحسين الأسئلة الضعيفة بدلاً من التخلص منها ببساطة. ويمكن تطبيق هذا النهج بسهولة أكبر على نطاق واسع. خلال هذا المنشور، سنشير إلى النموذج (النماذج) الذي يحدد الأسئلة المتدهورة (باستخدام خيارات الأسئلة والأجوبة فقط، دون معلومات مرئية أو حوارية) باسم “ماجستير الصم المكفوفين”.
صقل الخصومة
ال صقل الخصومة يهدف خط الأنابيب إلى تعديل الأسئلة أو الإجابات حتى لا يتمكن برنامج Deaf-Blind LLM من التنبؤ بسهولة بالإجابة الصحيحة. وإليك كيف يعمل:
- يوفر برنامج Deaf-Blind LLM إجابة وسببًا منطقيًا يشرح اختياره بناءً على السؤال فقط
- تساعد هذه المبررات في تحديد الإشارات أو التحيزات الضمنية المضمنة في السؤال
- يستخدم نموذج توليد الأسئلة لدينا هذا الأساس المنطقي لتعديل اختيارات السؤال و/أو الإجابة، وإزالة القرائن الضمنية
- تتكرر هذه العملية حتى خمس مرات لكل سؤال حتى ينخفض أداء برنامج Deaf-Blind LLM إلى فرصة عشوائية
نظرًا للمتطلبات الحسابية لهذه العملية التكرارية، كنا بحاجة إلى LLM قوي ويمكن الوصول إليه ويمكن تشغيله محليًا لتجنب حدود استخدام واجهة برمجة التطبيقات والتأخير وتكاليف الخدمة السحابية. اخترنا:
- LLaMA 3.1 70B (نموذج مفتوح المصدر) باعتباره LLM للصم المكفوفين
- GPT-4 لتوليد تعديل السؤال
لحساب الصدفة العشوائية نقوم بما يلي:
- تم اختبار جميع التباديل الخمسة لترتيب اختيار الإجابة
- تم وضع علامة على السؤال على أنه منحط إذا أجاب النموذج بشكل صحيح في ثلاث من أصل خمس محاولات
نتائج الصقل الخصومي
باختصار، كان هذا هو تأثير إجراء تحسينات عدائية في CinePile:
- تم بنجاح تعديل 90.24% من أزواج الأسئلة والأجوبة المتدهورة في مجموعة الاختبار
- تمت مراجعة أزواج الأسئلة والأجوبة غير القابلة للإصلاح يدويًا (~ 80 من 800)
- تم تعديلها عندما يكون ذلك ممكنا
- بخلاف ذلك يتم استبعادها من تقسيم التقييم
- تم تصحيح 90.94% من الأزواج الضعيفة في مجموعة التدريب
- تم الاحتفاظ بالعناصر غير القابلة للإصلاح لأنها لا تؤثر سلبًا على الأداء
تطبيق
في هذا الإصدار، ننشر كلاً من مسار تحسين الخصومة الخاص بنا والتعليمة البرمجية لتحديد الأسئلة الضعيفة. التنفيذ الكامل، بما في ذلك جميع المطالبات، متاح في مستودعنا العام.
التقييمات
بعد اختبار كل من النماذج التي تم تقييمها مسبقًا و16 برنامج فيديو-LLM جديد على مجموعة الاختبار المعدلة، قمنا بتسليط الضوء على أفضل أصحاب الأداء في الشكل أدناه. وإليكم ما تظهره النتائج:
-
الجوزاء 1.5 برو الرائدة بين نماذج لغة الرؤية التجارية (VLMs)
- تفوق بشكل خاص في “الإعداد والتحليل الفني”
- أفضل أداء في الأسئلة الموجهة بصريًا حول بيئات الأفلام وتفاعلات الشخصيات
-
النماذج المعتمدة على GPT أظهر الأداء التنافسي
- قوي في “تحليل السرد والحبكة”
- كان أداؤه جيدًا في الأسئلة المتعلقة بالقصص والتفاعلات بين الشخصيات
-
الجوزاء 1.5 فلاشنسخة أخف من Gemini 1.5 Pro
- حققت دقة إجمالية قدرها 58.75%
- كان أداؤه جيدًا بشكل خاص في “الإعداد والتحليل الفني”
نماذج مفتوحة المصدر
حقق مجتمع LLM للفيديو مفتوح المصدر تقدمًا كبيرًا من الإصدار الأول إلى الإصدار الحالي من CinePile. وهذا ما تعلمناه:
انقسام صعب
توضح النتائج الصعبة في CinePile بوضوح أن النماذج الحالية لا تزال متخلفة كثيرًا عن القدرة البشرية في فهم الروايات المرئية وعناصر القصة. تسلط هذه الفجوة الضوء على قيمة الإصدار الجديد لـ CinePile كمعيار لقياس التقدم نحو فهم بصري أكثر تطوراً.
المتصدرين
لقد أطلقنا لوحة المتصدرين CinePile الجديدة التي سيتم تحديثها باستمرار مع ظهور نماذج جديدة. قم بزيارة المساحة للتعرف على كيفية إرسال النماذج الخاصة بك للتقييم.
