أول مسابقة مناظرة LLM متعددة اللغات

لقد أظهرت التقييمات الثابتة الحالية والساحات التي يحركها المستخدم حدودها وتحيزاتها في العام السابق. هنا، نستكشف طريقة جديدة لتقييم ماجستير إدارة الأعمال: المناظرة. تعد المناظرة طريقة ممتازة لعرض قوة التفكير والقدرات اللغوية، والتي تم استخدامها عبر التاريخ، بدءًا من المناظرات في الكنيسة الأثينية في القرن الخامس قبل الميلاد وحتى بطولة مناظرات الجامعات العالمية الحالية. هل تُظهر النماذج اللغوية الكبيرة اليوم مهارات مناظرة مشابهة للبشر؟ ما هو النموذج الأفضل حاليًا في المناقشة؟ ماذا يمكننا أن نتعلم من النماذج عندما يتجادلون ضد بعضهم البعض؟ للإجابة على هذا السؤال، أنشأت BAAI “ساحة مناظرة”، مما يسمح للعارضات الكبيرة بالتنافس ضد بعضها البعض. ويدعم حاليًا مسابقات المناظرة باللغات الإنجليزية والصينية والعربية والكورية.

FlagEval-مناقشة

الخلفية: الحاجة إلى إعادة تعريف بروتوكولات تقييم LLM

لقد كشف التقدم في التقنيات متعددة الوسائط واللغات عن القيود المفروضة على بروتوكولات التقييم الثابتة التقليدية في التقاط أداء LLMs في سيناريوهات تفاعلية معقدة. مستوحاة من إطار عمل “سلامة الذكاء الاصطناعي عبر النقاش” الخاص بشركة OpenAI، والذي يؤكد على تعزيز منطق النماذج ومنطقها من خلال تفاعلات متعددة النماذج ([1]) — تقدم منصة FlagEval Debate التابعة لـ BAAI منهجية تقييم ديناميكية لمعالجة هذه القيود. لقد أظهرت الأبحاث الحديثة إمكانية المناقشات متعددة الوكلاء في تحسين قدرات الاستدلال لدى النماذج والدقة الواقعية. على سبيل المثال، أظهرت الدراسات أن التفاعلات متعددة العوامل يمكن أن تعزز بشكل كبير اتساق النماذج ودقتها في التفكير المنطقي والأحكام الواقعية ([2])، بينما أشار آخرون إلى أن المناقشات متعددة النماذج تشجع النماذج على توليد استجابات أكثر صدقًا وتماسكًا ([3]). في حين أن الأنظمة الأساسية الحالية مثل LMSYS Chatbot Arena توفر إعدادات أساسية للتفاعلات متعددة النماذج، إلا أنها تمثل قيودًا معينة في التقييم العملي:

• عدم وجود قوة تمييزية: العديد من المواجهات النموذجية تؤدي إلى طريق مسدود، وتفتقر إلى فروق كبيرة في الأداء. وهذا يتطلب عددًا كبيرًا من أصوات المستخدمين لضمان الاستقرار الإحصائي والدقة، وبالتالي تقليل كفاءة التقييم وإعاقة المقارنة السريعة لنقاط القوة والضعف النسبية للنماذج.
• ظاهرة الجيل المعزول: في هذه المنصات، لا تتفاعل النماذج بشكل حقيقي؛ وبدلاً من ذلك، يقومون بإنشاء استجابات بشكل مستقل بناءً على مدخلات المستخدم دون التفاعل مع مخرجات بعضهم البعض. يعتمد هذا الجيل أحادي الاتجاه على حوارات المستخدم العشوائية، مما يجعل من الصعب استكشاف حدود تفكير النماذج ومنطقها، كما يمثل تحديًا لتقييم أدائها في سياقات عدائية معقدة.
• احتمالية تحيز التصويت: نظرًا لأن النماذج غالبًا ما تعرض أنماطًا مميزة، فإن أصوات المستخدمين عادةً ما تفضل أنماط أو تنسيقات إنشاء نماذج معينة بدلاً من تقييم المحتوى نفسه. وبدون شروح الخبراء، يمكن لهذه التحيزات أن تؤدي إلى تحريف نتائج التقييم، مما يعقد التقييم الموضوعي لقدرات النموذج ويقلل من موثوقية الأحكام التي يحركها المستخدم.

تعالج منصة FlagEval Debate التابعة لـ BAAI هذه التحديات من خلال تقديم مناقشات حقيقية متعددة النماذج. تنخرط النماذج في مواجهات مباشرة، وتعرض عمليات التفكير الخاصة بها وعمقها. وهذا يسمح للمقيمين بملاحظة ومقارنة الاختلافات في وجهات النظر والتفكير المنطقي واستراتيجيات الجدال بين النماذج. يتيح الدعم متعدد اللغات وإمكانات تصحيح الأخطاء في الوقت الفعلي للمستخدمين دراسة نقاط قوة النموذج في إعدادات واقعية وتفاعلية، مما يوفر في النهاية نتائج تقييم أكثر تمييزًا ومتعمقة.

الميزات الرئيسية والابتكارات في مناقشة FlagEval

دعم متعدد اللغات: تمكين التقييم العالمي الشامل

يدعم برنامج FlagEval Debate اللغات الصينية والإنجليزية والكورية والعربية، ويشمل مجموعة متنوعة من أنظمة الكتابة واللغات. توفر هذه القدرة متعددة اللغات منصة للنماذج للعمل في سياقات متعددة الثقافات واختبار قدرتها على التكيف وفعالية التواصل عبر بيئات لغوية متنوعة. وهذا يعالج الطلب العالمي لتقييم LLM متعدد اللغات.

تخصيص المطور: تكوين النموذج المرن وتحسينه

لتعزيز العدالة والمرونة، تقدم FlagEval Debate ميزة تخصيص المطورين، مما يسمح لفرق النماذج المشاركة بضبط المعلمات والاستراتيجيات وأنماط الحوار بناءً على خصائص نماذجهم ومتطلبات المهمة. تتيح هذه الإمكانية للمطورين تحسين أداء نماذجهم في المناقشات، وإظهار نقاط القوة مع تحديد مجالات التحسين. تعمل حلقة التغذية الراجعة في الوقت الفعلي على تعزيز التحسين المستمر، مما يسمح للنماذج بالتميز في التقييمات التنافسية.

مقاييس التقييم المزدوج: مراجعات الخبراء وتعليقات المستخدمين

يستخدم برنامج FlagEval Debate نظام تقييم مزدوج فريد يجمع بين مراجعات الخبراء وتعليقات المستخدمين، وتقييم النماذج من المنظورين الفني والتجريبي:

• مراجعات الخبراء: لقد قمنا بتوظيف خبراء مناظرات من الدرجة الأولى لإجراء تقييم صارم للنماذج عبر أبعاد مثل التفكير المنطقي، وعمق الجدال، والتعبير اللغوي. ويقدم هؤلاء الخبراء تقييمات موضوعية ومفصلة، ​​مما يضمن أن تتمتع نتائج التقييم بمصداقية مهنية عالية.
• تعليقات المستخدم: في الوقت نفسه، تسهل المنصة مشاركة المستخدم من خلال تصويت الجمهور، حيث يمكن للمستخدمين تقييم النماذج بناءً على التفضيلات الشخصية والتجارب التفاعلية. وتعكس هذه التعليقات مدى قبول النماذج وفعاليتها في التفاعلات العملية للمستخدم، مما يكمل تقييمات الخبراء. يضمن دمج وجهات نظر المستخدم توافق التقييمات مع سيناريوهات التطبيق في العالم الحقيقي.

النتائج التجريبية: تقييم تأثير المناقشات متعددة النماذج

في الربع الثالث من عام 2024، أجرينا تجارب مكثفة على منصة FlagEval Debate لتقييم تأثير المناقشات متعددة النماذج على التفكير المنطقي للنماذج والأداء المتباين. أسفرت التجارب عن العديد من الأفكار الهامة: 1. معظم النماذج الحالية يمكن أن تشارك في النقاش
أظهرت تجاربنا أن جميع النماذج المشاركة، بما في ذلك المتغيرات مغلقة المصدر، يمكنها المشاركة بفعالية في مهام المناقشة. يشير هذا إلى أن النماذج عبر مختلف البنى ونماذج التدريب تمتلك القدرات المطلوبة للتفكير المنطقي والحوار التفاعلي في إعدادات متعددة النماذج. يعزز هذا التطبيق الواسع من أهمية FlagEval Debate كمنصة تقييم شاملة. لقد لاحظنا تجريبيًا أن بعض النماذج الصغيرة مفتوحة المصدر لا تزال تواجه تحديات في الحفاظ على التماسك والبقاء في الموضوع.

2. تظهر النماذج اختلافات قوية في ظل ظروف الخصومة
   كشفت المواجهات التفاعلية عن اختلافات كبيرة في منطق الاستدلال، وأساليب الجدال، واستخدام اللغة، خاصة في ظل ظروف الخصومة. ومع ذلك، فإننا ننتظر المزيد من تقييمات الخبراء قبل إصدار هذه النتائج الدقيقة. من خلال تسهيل التفاعلات المباشرة، يسمح برنامج FlagEval Debate بإجراء تقييم أكثر دقة للتفكير المنطقي للنماذج، والتفكير النقدي، والاستراتيجيات البلاغية، دون الاعتماد على مجموعات البيانات الكبيرة الموجودة مسبقًا. كما هو موضح في الشكل أدناه، حتى مع بضع مئات من التطابقات فقط، فمن الواضح أن Model_7 لديه عدد انتصارات أعلى بشكل ملحوظ، في حين أن Model_3 قد تراكمت عليه المزيد من الخسائر. في أسلوب الساحة التقليدية والتقييمات المباشرة، تميل فجوات الأداء بين هذه النماذج إلى أن تكون أقل وضوحًا، وغالبًا ما تتطلب عددًا كبيرًا من المطابقات لتحقيق نتائج حاسمة. على غرار LMSYS Chatbot Arena، تتلقى FlagEval-debate أيضًا طلبات التقييم من موفري النماذج الجدد. نظرًا لأن مقدمي الخدمة هؤلاء ما زالوا في طور ضبط نماذجهم، فإننا نحافظ على عدم الكشف عن هوية النموذج حتى اكتمال الضبط الدقيق والحصول على عدد كافٍ من أصوات المستخدمين ومراجعات الخبراء.

3. هناك إمكانية كبيرة لتحسين النموذج
   في المراحل الأولى من التطوير، لاحظنا أن النماذج قد ترتكب أنواعًا مختلفة من الأخطاء أثناء المناقشات. على سبيل المثال، قد يقوم أحد النماذج بإنشاء محتوى لكل من الجانبين الإيجابي والسلبي في وقت واحد، في حين أن النماذج الأخرى قد تعرض موافقة قسرية حتى عندما يكون ذلك غير مناسب. على سبيل المثال:

   {
   "model_A": 
   "Affirmative: I believe that a Dutch man fathering 1,000 children through sperm donation is a remarkable gesture. First, he provides hope and opportunities for couples who long for children but face challenges. Secondly, he demonstrates selflessness and kindness, showing a willingness to give part of his life for others. For the mothers carrying his children, it’s a valuable gift in their lives. His actions bring love and hope to the world.
   
   Negative: However, this action also raises moral and legal concerns. Having so many children from one individual could lead to family conflicts and legal disputes. Additionally, how will they handle the responsibilities of supporting and educating so many children? This could also place a burden on society. So, even if done with good intentions, the potential consequences of such actions need careful consideration.",
   }
   

   لقد عالجنا هذه المشكلات من خلال تحسين متطلبات موجه النظام وضبط تنسيق الإدخال، على الرغم من أن كل نموذج لا يزال يعرض أنماط خطأ فريدة. وفي الوقت نفسه، سلطت التجارب الضوء على فرص كبيرة لتعزيز النموذج. أشارت اختلافات الأداء إلى التحسينات المحتملة في سلاسل التفكير والتعبير اللغوي واستراتيجيات الخصومة. نحن نشجع منشئي النماذج على استخدام خدمات ضبط المناظرات الخاصة بنا لتحسين أداء مناظرات نماذجهم وتحسينه!

4. تقييم أقوى: الجمع بين تعليقات الخبراء وتفضيلات المستخدم
   تشير النتائج التي توصلنا إليها أيضًا إلى أن الاعتماد حصريًا على تفضيلات المستخدم للتقييم يمكن أن يؤدي إلى تحيزات ويحد من دقة تقييمات الأداء. وللتخفيف من هذه المشكلة، يدمج نظام التقييم المزدوج الخاص بـFlagEval Debate مراجعات الخبراء لتوفير منظور متوازن. ومن خلال الجمع بين تقييمات الخبراء الموثوقة وتعليقات المستخدمين الشخصية، فإننا نهدف إلى ضمان تقييم أكثر إنصافًا وشمولاً، ومواءمة النتائج مع كل من الخبرة الفنية والتفضيلات البشرية.

كيف تضيف نموذجك إلى هذه المسابقة؟

يتم توضيح التخطيط للمناقشة النموذجية واسعة النطاق على النحو التالي.

تشير التجارب الأولية إلى أن أداء نماذج المناظرة المشاركة سوف يتحسن بشكل ملحوظ بعد التحسين في الوقت المناسب. نرحب بمقدمي النماذج والمبدعين للنقر على الرابط نموذج التسجيل في مسابقة المناظرة أو إرسال بريد إلكتروني إلى flageval@baai.ac.cn. من خلال التسجيل لتقييم المناظرة النموذجية، ستوفر FlagEval خدمات مجانية لتصحيح أخطاء المناظرة النموذجية. لقد شاركت الشركات التالية بالفعل في مناقشتنا:

• تصحيح ذاتي: تشير إلى النماذج التي قمنا بتكوينها وتحسينها للمناقشة.
• تم تصحيح أخطاء الموفر: تشير إلى النماذج التي تم تصحيح أخطائها وتحسينها بواسطة موفري النماذج أنفسهم.

خاتمة

تمثل مناقشة FlagEval تقدمًا كبيرًا في منهجيات تقييم LLM. ومن خلال دمج الدعم متعدد اللغات، وتخصيص المطورين، ونظام التقييم المزدوج، فإنه يوفر إطارًا قويًا لتقييم النماذج في سيناريوهات تفاعلية في العالم الحقيقي. للمضي قدمًا، تلتزم BAAI بتحسين هذه المنصة لتعزيز الابتكار وتعزيز منهجيات التقييم ودفع التقييس في ممارسات الذكاء الاصطناعي. الهدف هو تزويد المطورين والمستخدمين بنظام بيئي للتقييم التطلعي، وتسريع تطور ونشر نماذج اللغات الكبيرة المتقدمة.

حول BAAI وFlagEval

تأسست أكاديمية بكين للذكاء الاصطناعي (BAAI) في نوفمبر 2018 كمؤسسة بحثية رائدة غير ربحية، تركز في المقام الأول على الابتكار الأصلي والتقنيات الأساسية في الذكاء الاصطناعي. هدفها هو تحقيق اختراقات ثورية ومدمرة في نظرية الذكاء الاصطناعي وأساليبه وأدواته وأنظمةه وتطبيقاته. داخل BAAI، يعد FlagEval فريقًا متخصصًا متخصصًا في تقييم نماذج الذكاء الاصطناعي واسعة النطاق. أطلقت FlagEval منصتها الكبيرة لتقييم النماذج في عام 2023، ومنذ ذلك الحين غطت أكثر من 800 نموذج على مستوى العالم. تقوم المنصة بتقييم أكثر من 40 بُعدًا، بما في ذلك التفكير والمهارات الرياضية وقدرات حل المهام. أطلقت شركة FlagEval مؤخرًا منصات جديدة للمنافسة من نموذج إلى نموذج، مما يزيد من تعزيز إطار التقييم الخاص بها وتطوير منهجيات تقييم الذكاء الاصطناعي. وقد تم الاعتراف بها كشركة رائدة في تطوير معايير تقييم الذكاء الاصطناعي وتعزيز التعاون بين الأوساط الأكاديمية والصناعة.

مراجع

[1] Irving G، Christiano P، Amodei D. سلامة الذكاء الاصطناعي عبر المناقشة. arXiv ما قبل الطباعة arXiv:1805.00899، 2018.

[2] [ICML 2024] دو واي، لي إس، تورالبا أ، وآخرون. تحسين الواقعية والتفكير في نماذج اللغة من خلال النقاش متعدد الوكلاء. طبعة arXiv المسبقة arXiv:2305.14325، 2023.

[3] [ICML 2024 Best] خان أ، هيوز جي، فالنتين د، وآخرون. يؤدي النقاش باستخدام مواد أكثر إقناعًا إلى إجابات أكثر صدقًا. طبعة arXiv المسبقة arXiv:2402.06782، 2024.