أصبح حاملو ماجستير اللغة الإنجليزية الآن قادرين بشكل متزايد على اللغة الإنجليزية، ولكن من الصعب جدًا معرفة مدى جودة أدائهم في اللغات الوطنية الأخرى، التي يتم التحدث بها على نطاق واسع ولكنها تمثل مجموعة خاصة بهم من التحديات اللغوية. واليوم، نحن متحمسون لسد هذه الفجوة بالنسبة لليابانيين!
نود أن نعلن عن افتح لوحة المتصدرين LLM اليابانية، تتألف من أكثر من 20 مجموعة بيانات من مهام البرمجة اللغوية العصبية الكلاسيكية إلى مهام البرمجة اللغوية العصبية الحديثة لفهم الآليات الأساسية لماجستير القانون الياباني. تم إنشاء لوحة المتصدرين اليابانية المفتوحة LLM بواسطة LLM-جي بي، وهو مشروع مشترك بين المنظمات للبحث والتطوير في نماذج اللغة اليابانية الكبيرة (LLMs) بالشراكة مع تعانق الوجه.
تقدم اللغة اليابانية تحدياتها الخاصة. غنية شكليا وفي تطور مستمر بسبب التفاعلات التاريخية والثقافية مع بقية العالم، ويعتمد نظام الكتابة الخاص بها على مزيج من ثلاث مجموعات منفصلة من الأحرف: الرموز الإيديوغرافية الصينية المبسطة كانجيس (漢字)، ونظام الحروف الصوتية، هيراغانا (平仮名 / ひらがな)، وكاتاكانا (片仮名 /)カタカナ) غالبًا ما تستخدم للكلمات الأجنبية. يمكن القول إن اللغة اليابانية الحديثة هي واحدة من أصعب اللغات في المعالجة، لأنها تمزج بين مزيج من اللغة الصينية اليابانية، واليابانية الأصلية، والنص اللاتيني (روماجي /ローマ字)، والكلمات المستعارة من الهولندية، والبرتغالية، والفرنسية، والإنجليزية، والألمانية، بالإضافة إلى الأرقام العربية والصينية التقليدية. بالإضافة إلى ذلك، جلب لنا العالم الرقمي الياباني تطورًا في الرموز التعبيرية المكتوبة بلغة Unicode: )، Kaomoji باستخدام الأبجدية السيريلية. (っ °Д °;)っ والأبجدية اليونانية ＿φ(°-°=). دون أن ننسى بالطبع الرموز التعبيرية الكلاسيكية التي نشأت في اليابان مع تزايد شعبية الهواتف المحمولة في التسعينيات.
يخفي نظام الكتابة المعقد باللغة اليابانية طبقة إضافية من التعقيد، وهي عدم وجود مسافة بين الكلمات. على غرار اللغتين الصينية أو التايلاندية، لا تحتوي اللغة اليابانية على مسافة بيضاء بين الوحدات اللغوية، مما يجعل اكتشاف حدود الكلمات أمرًا صعبًا للغاية أثناء عملية الترميز. على مر السنين، قام النظام البيئي الياباني النابض بالحياة (من مختبرات الجامعات المرموقة وشركات الذكاء الاصطناعي الناشئة إلى مراكز البحث والتطوير لعمالقة الصناعة) بدمج خصوصيات البرمجة اللغوية العصبية اليابانية لتطوير ماجستير إدارة الأعمال الياباني الحديث القوي، لكن المجال كان يفتقر إلى نظام مركزي ومفتوح لمقارنة هذه النماذج.
لذلك نقدم لوحة المتصدرين اليابانية المفتوحة LLM، وهي عبارة عن تعاون بين Hugging Face وLLM-jp، لتعزيز الشفافية في البحث، وتشجيع فلسفة تطوير النماذج مفتوحة المصدر. نحن نؤمن بشدة أن هذه المبادرة ستكون بمثابة منصة للباحثين اليابانيين والدوليين للتعاون وتقييم وتعزيز ماجستير القانون الياباني.
مقدمة إلى مهام المتصدرين
يقوم برنامج Open Japan LLM Leaderboard بتقييم LLMs اليابانية باستخدام مجموعة تقييم متخصصة، LLM-JP-Eval، ويغطي مجموعة من 16 مهمة من المهام الكلاسيكية (مثل استنتاج اللغة الطبيعية، الترجمة الآلية، التلخيص، الإجابة على الأسئلة) إلى إصدارات أكثر حداثة (مثل توليد الكود, المنطق الرياضي أو فحص الإنسان). يتم إطلاق المهام في 4 طلقات.
تم تجميع مجموعات البيانات من قبل فريق التقييم في LLM-jp، إما تم إنشاؤها من الصفر مع لغويين وخبراء ومفسرين بشريين، أو تمت ترجمتها تلقائيًا إلى اليابانية وتعديلها وفقًا للخصائص اليابانية، وبالنسبة لبعضها يتطلب تفكيرًا طويلًا في السياق. للحصول على فهم أفضل للوحة المتصدرين، سنقوم بتفصيل عينات من 8 مجموعات بيانات (باللغة اليابانية متبوعة بالترجمة الإنجليزية باللون الرمادي الفاتح). لمزيد من التفاصيل حول جميع المهام المتاحة، يرجى الاطلاع على علامة التبويب “حول” في لوحة المتصدرين، والروابط الرسمية في كل مجموعة بيانات.
جامب
جامب (مجموعة بيانات الاستدلال الزمني اليابانية الخاضعة للرقابة لتقييم قدرة التعميم لنماذج اللغة) هو معيار الاستدلال الزمني الياباني لـ NLI. تستكشف مجموعة البيانات أزواج الجمل الإنجليزية واليابانية لأنماط الاستدلال الزمني المختلفة الموضحة بالعلامات الذهبية مثل الاستلزام أو الحياد أو التناقض.
JEMHopQA
JEMHopQA (الإجابة على الأسئلة متعددة القفزات اليابانية القابلة للشرح) عبارة عن مجموعة بيانات ضمان جودة يابانية متعددة القفزات يمكنها تقييم التفكير الداخلي. إنها مهمة تأخذ السؤال كمدخل وتولد إجابة ومشتقات.
jcommonsenseqa
jcommonsenseqa هي نسخة يابانية من CommonsenseQA، وهي عبارة عن مجموعة بيانات للإجابة على أسئلة متعددة الخيارات. الغرض من مجموعة البيانات هذه هو تقييم القدرة على التفكير المنطقي.
شابسا
شابسا تم تطويره باعتباره تحليل المشاعر على أساس الجانب dataset. يعتمد ChABSA على التقارير المالية للشركات اليابانية المدرجة في السنة المالية 2016، مشروحة على زوج الكيان، والسمة، والميول. وبشكل أكثر تحديدًا، تم تصنيف 230 شركة من أصل 2260 شركة مدرجة في اليابان (حوالي 10% من إجمالي الشركات) وفقًا لتصنيف الهيئة التنظيمية المالية اليابانية، وكالة الخدمات المالية (FSA).
mbpp-ja
ال mbpp-ja مجموعة البيانات هي مجموعة بيانات برمجة: وهي نسخة يابانية من مجموعة بيانات مشاكل بايثون الأساسية في الغالب (MBPP) مترجم من الإنجليزية إلى اليابانية بواسطة LLM-جي بي من خلال الاستفادة من أداة الترجمة ديب إل.
mawps
بناءً على مجموعة البيانات MAWPS (مستودع مشاكل الكلمات الرياضية)اليابانية mawps مجموعة البيانات هي مجموعة بيانات التقييم الرياضي. يقوم هذا الإصدار بتقييم قدرات حل المهام الجديدة عن طريق التفكير خطوة بخطوة، وهو الإجراء المعروف أيضًا باسم تفكير سلسلة الفكر (CoT)، وتم تعديله لتحويل أسماء الأشخاص والوحدات والأماكن لتناسب السياق الياباني. مستوى التفكير الرياضي بسيط إلى حد ما: الجمع والطرح والحساب متعدد الخطوات والمعادلات المفردة أو المزدوجة.
جملو
جملو عبارة عن مجموعة بيانات معرفية تستخدم إجابات أسئلة من أربعة اختيارات. يتكون من أسئلة مترجمة باللغة اليابانية من جزء من مجموعة بيانات MMLU التي تقيم المعرفة في اختبارات مستوى المدرسة الثانوية. استنادًا إلى 57 موضوعًا مثل علم الفلك والكيمياء وعلم الاجتماع والقانون الدولي وما إلى ذلك، تمت ترجمة الأسئلة والأجوبة باللغة اليابانية، مع تعديلها وفقًا للسياق الثقافي الياباني الفريد مثل التربية المدنية اليابانية والجغرافيا اليابانية والتعابير اليابانية.
مجموع XL
مجموع XL عبارة عن مجموعة بيانات تلخيصية تعتمد على البحث الذي يحمل عنوان “مجموع XL: تلخيص تجريدي متعدد اللغات واسع النطاق لـ 44 لغة” الذي يستفيد من الترجمة اليابانية للمقالات من بي بي سي نيوز. يتم فصل مجموعة البيانات إلى ثلاثة أجزاء؛ العنوان والنص (المقالة الكاملة) والملخص. تشمل المواضيع القضايا العالمية والسياسة والتكنولوجيا والرياضة والثقافة.
الإعداد الفني
لوحة المتصدرين مستوحاة من افتح لوحة المتصدرين LLM. يتم نشر النماذج التي يتم إرسالها تلقائيًا باستخدام HuggingFace’s استنتاج نقاط النهاية، تم تقييمها من خلال LLM-JP-Eval مكتبة على الإصدار 1.14.1، مع الاستدلال الموفر للذاكرة ومحرك التقديم، vLLM على الإصدار v0.6.3، وتم حسابه في الواجهة الخلفية بواسطة منصة الكمبيوتر المتميزة للأبحاث في اليابان، MDX.
الملاحظات
وفقًا لدليل LLMs الياباني ماجستير في القانون الياباني رهيبة (متوفر باللغات اليابانية والإنجليزية والفرنسية)، Meta’s LLama يبدو أن الهندسة المعمارية مفتوحة المصدر هي المفضلة لدى العديد من مختبرات الذكاء الاصطناعي اليابانية. ومع ذلك، فقد تم أيضًا الاستفادة من بنيات أخرى بنجاح من قبل مجتمع المصادر المفتوحة الياباني، مثل Mistral من ميسترال الفرنسية، و Qwen من شركة علي بابا الصينية. هذه هي البنى التي أدت إلى الحصول على أفضل الدرجات في لوحة المتصدرين اليابانية LLM.
فيما يتعلق بمهام معالجة اللغة العامة، نلاحظ أن شهادات LLM اليابانية القائمة على بنيات مفتوحة المصدر تعمل على سد الفجوة مع شهادات LLM مغلقة المصدر، مثل LLM اليابانية llm-jp-3-13b-instruct، تم تطويره بواسطة LLM-jp وبتمويل من المنح الجامعية، حيث وصل إلى أداء مشابه للنماذج مغلقة المصدر. مجموعات البيانات الخاصة بالمجال، مثل chABSA (تمويل)، Wikipedia Annotated Corpus (الشروح اللغوية)، توليد التعليمات البرمجية (mbpp-ja) والتلخيص (XL-Sum) لا تزال تشكل تحديا لمعظم LLMs. ومن المثير للاهتمام أن النماذج التي نشأت من شركات أو مختبرات مقرها اليابان حصلت على درجات أفضل في هذا المجال JCommonsenseMorality dataset. فهو يقيم قدرة النموذج على اتخاذ الاختيارات وفقًا للقيم اليابانية في مواجهة المعضلات الأخلاقية
الاتجاهات المستقبلية
ستتبع لوحة المتصدرين اليابانية المفتوحة LLM تطوير أداة التقييم LLM-JP-Eval لتعكس التطور المستمر للماجستير في القانون الياباني. فيما يلي مجرد أمثلة للاتجاهات المستقبلية في llm-jp-eval التي نود دعمها، فلا تتردد في الاتصال بنا لتقديم المساعدة أو اقتراح الاتجاهات!
-
مجموعات بيانات جديدة: المزيد من التقييمات اليابانية
يعمل فريق التقييم في llm-jp-eval على هذا القسم، ويضاف في الوقت الحالي JHumanEval (النسخة اليابانية من HumanEval) و MMLU (قياس الفهم الهائل للغة متعددة المهام). -
نظام التقييم الجديد: تقييم تسلسل الأفكار
نود أن نقارن أداء LLMs بين استخدام سلسلة الأفكار والمطالبات الأساسية للحصول على فهم أفضل للسلوكيات النموذجية. -
دعم متري جديد: معدل خارج الاختيار
بالنسبة لبعض مهام التقييم التي تحتوي بالفعل على قائمة واضحة بالتسميات المستخدمة في مهمة محددة، مثل استدلال اللغة الطبيعية، نود إضافة مقياس تكميلي، لاختبار عدد المرات التي يتنبأ فيها النموذج بالرموز المميزة غير المختارة. نظرًا لأنه يتم توفير الاختيارات في الموجه، فإن هذا سيسمح لنا بتقييم مدى قدرة كل LLM على اتباع تعليمات محددة.
شكر وتقدير
تم بناؤه من قبل اتحاد البحوث LLM-جي بي، يتم رعاية لوحة المتصدرين اليابانية المفتوحة LLM بكل فخر من قبل المعهد الوطني للمعلوماتية في طوكيو، اليابان بالتعاون مع منصة الحوسبة عالية الأداء، MDX برنامج.
ونود أن نعرب عن امتناننا ل البروفيسور يوسوكي مياو و نامجي هان من جامعة طوكيو لاستشارتهم وتوجيههم العلمي، وكذلك كليمنتين فورييه و توشيهيرو هاياشي ل تعانق الوجه الذي ساعد في دمج وتخصيص إطار التقييم الجديد ونموذج لوحة المتصدرين.
