نقدم لكم لوحة المتصدرين المفتوحة لحاملي شهادة LLM العبرية!

يعالج هذا المشروع الحاجة الماسة للتقدم في البرمجة اللغوية العصبية العبرية. نظرًا لأن اللغة العبرية تعتبر لغة منخفضة الموارد، فإن لوحات المتصدرين الحالية في LLM غالبًا ما تفتقر إلى المعايير التي تعكس بدقة خصائصها الفريدة. اليوم، نحن متحمسون لتقديم جهد رائد لتغيير هذا السرد – لوحة المتصدرين المفتوحة الجديدة في LLM، والمصممة خصيصًا لتقييم وتعزيز نماذج اللغة باللغة العبرية.

العبرية هي لغة غنية شكليا مع نظام معقد من الجذور والأنماط. يتم إنشاء الكلمات من الجذور باستخدام البادئات واللواحق والملحقات المستخدمة لتعديل المعنى أو الزمن أو صيغة الجمع (من بين وظائف أخرى). يمكن أن يؤدي هذا التعقيد إلى وجود عدة أشكال كلمات صالحة مشتقة من جذر واحد، مما يجعل استراتيجيات الترميز التقليدية، المصممة للغات الأبسط من الناحية الشكلية، غير فعالة. ونتيجة لذلك، قد تكافح النماذج اللغوية الحالية لمعالجة الفروق الدقيقة في اللغة العبرية وفهمها بدقة، مما يسلط الضوء على الحاجة إلى معايير تلبي هذه الخصائص اللغوية الفريدة.

لذلك يحتاج بحث LLM باللغة العبرية إلى معايير مخصصة تلبي بشكل خاص الفروق الدقيقة والخصائص اللغوية للغة. تم إعداد لوحة المتصدرين الخاصة بنا لملء هذا الفراغ من خلال توفير مقاييس تقييم قوية للمهام الخاصة باللغة، وتعزيز تعزيز مفتوح يقوده المجتمع لنماذج اللغة التوليدية باللغة العبرية. نعتقد أن هذه المبادرة ستكون بمثابة منصة للباحثين والمطورين لمشاركة ومقارنة وتحسين شهادات LLM العبرية.

مقاييس ومهام المتصدرين

لقد قمنا بتطوير أربع مجموعات بيانات رئيسية، كل منها مصممة لاختبار نماذج اللغة فيما يتعلق بفهمهم وتوليدهم للغة العبرية، بغض النظر عن أدائهم في اللغات الأخرى. تستخدم هذه المعايير تنسيقًا سريعًا قصيرًا لتقييم النماذج، مما يضمن قدرتها على التكيف والاستجابة بشكل صحيح حتى في ظل سياق محدود.

فيما يلي ملخص لكل معيار من المعايير المدرجة في لوحة المتصدرين. للحصول على تفاصيل أكثر شمولاً لكل مجموعة بيانات، ونظام التسجيل، والبناء الفوري، يرجى زيارة الموقع About علامة التبويب المتصدرين لدينا.

• إجابة سؤال عبري: تقوم هذه المهمة بتقييم قدرة النموذج على فهم ومعالجة المعلومات المقدمة باللغة العبرية، مع التركيز على الفهم والاسترجاع الدقيق للإجابات بناءً على السياق. فهو يتحقق من فهم النموذج لبناء الجملة والدلالات العبرية من خلال تنسيقات الأسئلة والأجوبة المباشرة.

  • مصدر: مجموعة اختبار فرعية لمجموعة بيانات HeQ.

• دقة المشاعر: يختبر هذا المعيار قدرة النموذج على اكتشاف وتفسير المشاعر في النص العبري. فهو يقيم قدرة النموذج على تصنيف العبارات بدقة على أنها إيجابية أو سلبية أو محايدة بناءً على الإشارات اللغوية.

• تحدي مخطط فينوغراد: تم تصميم المهمة لقياس فهم النموذج لدقة الضمائر وغموض السياق في اللغة العبرية. إنه يختبر قدرة النموذج على استخدام المنطق المنطقي والمعرفة العالمية العامة لتوضيح الضمائر بشكل صحيح في الجمل المعقدة.

• ترجمة: تقوم هذه المهمة بتقييم كفاءة النموذج في الترجمة بين الإنجليزية والعبرية. فهو يقيم الدقة اللغوية والطلاقة والقدرة على الحفاظ على المعنى عبر اللغات، مع تسليط الضوء على قدرة النموذج في مهام الترجمة ثنائية اللغة.

الإعداد الفني

لوحة المتصدرين مستوحاة من لوحة المتصدرين Open LLM، وتستخدم قالب لوحة المتصدرين التجريبية. يتم نشر النماذج التي يتم إرسالها تلقائيًا باستخدام نقاط نهاية الاستدلال الخاصة بـ HuggingFace ويتم تقييمها من خلال طلبات واجهة برمجة التطبيقات (API) التي تديرها مكتبة Lighteval. كان التنفيذ واضحًا ومباشرًا، حيث كانت المهمة الرئيسية هي تهيئة البيئة؛ تم تشغيل بقية الكود بسلاسة.

شارك معنا

ونحن ندعو الباحثين والمطورين والمتحمسين للمشاركة في هذه المبادرة. سواء كنت مهتمًا بتقديم نموذجك للتقييم أو الانضمام إلى المناقشة حول تحسين تقنيات اللغة العبرية، فإن مساهمتك مهمة للغاية. قم بزيارة صفحة التقديم على لوحة المتصدرين للحصول على إرشادات حول كيفية إرسال النماذج للتقييم، أو انضم إلى صفحة المناقشة في مساحة HF الخاصة بلوحة المتصدرين.

لوحة المتصدرين الجديدة هذه ليست مجرد أداة لقياس الأداء؛ نأمل أن يشجع هذا مجتمع التكنولوجيا الإسرائيلي على التعرف على الفجوات في أبحاث تكنولوجيا اللغة العبرية ومعالجتها. ومن خلال تقديم تقييمات مفصلة ومحددة، نهدف إلى تحفيز تطوير النماذج التي لا تكون متنوعة لغويًا فحسب، بل أيضًا دقيقة ثقافيًا، مما يمهد الطريق للابتكارات التي تكرم ثراء اللغة العبرية. انضم إلينا في هذه الرحلة المثيرة لإعادة تشكيل مشهد نمذجة اللغة!

الرعاية

يتم رعاية لوحة المتصدرين بفخر من قبل DDR&D IMOD / البرنامج الوطني الإسرائيلي للبرمجة اللغوية العصبية باللغتين العبرية والعربية بالتعاون مع DICTA: المركز الإسرائيلي لتحليل النصوص وWebiks، وهو دليل على الالتزام تجاه تطوير تقنيات اللغة باللغة العبرية. نود أن نعرب عن امتناننا للبروفيسور رعوت تصرفاتي من جامعة بار إيلان على استشاراتها وتوجيهاتها العلمية.