طفرة في نماذج اللغة العربية

تحقق من مدونتنا الرسمية (بالإنكليزية، AR)

نحن متحمسون لتقديم الصقر العربي، نموذج اللغة ذو المعلمة 7B الذي يضع معيارًا جديدًا للبرمجة اللغوية العصبية (NLP) العربية. تم بناء Falcon-Arabic على بنية Falcon 3، وهو نموذج متعدد اللغات يدعم اللغة العربية والإنجليزية والعديد من اللغات الأخرى. وهو يتفوق في المعرفة العامة، وقواعد اللغة العربية، والتفكير الرياضي، وحل المشكلات المعقدة، وفهم التنوع الغني للهجات العربية. يدعم Falcon-Arabic طول سياق يبلغ 32000 رمزًا مميزًا، مما يسمح له بالتعامل مع المستندات الطويلة وتمكين التطبيقات المتقدمة مثل توليد الاسترجاع المعزز (RAG)، وإنشاء المحتوى المتعمق، والمهام كثيفة المعرفة.

يعيد Falcon-Arabic تحديد حدود ما هو ممكن لنماذج اللغة العربية. إنه يتفوق بشكل كبير على برامج LLM العربية الأخرى في فئتها من حيث الحجم وحتى النماذج الأكبر بما يصل إلى أربعة أضعاف في كل من النماذج العربية الأصلية وتلك المقتبسة من لغات أخرى. وهذا لا يجعل Falcon-Arabic نموذجًا متطورًا من حيث الأداء فحسب، بل أيضًا حلاً فعالاً فريدًا ويمكن الوصول إليه للمطورين والباحثين الذين يعملون باللغة العربية.

🚀 تقديم لغة الصقر العربية: تطوير ماجستير إدارة الأعمال للعالم الناطق باللغة العربية

في السنوات الأخيرة، أحدثت نماذج اللغات الكبيرة (LLMs) تحولًا في الذكاء الاصطناعي، وتعزيز أدوات الترجمة، وإنشاء المحتوى، والمساعدة الافتراضية، والمزيد. ومع ذلك، فقد ركز الكثير من هذا التقدم على اللغات ذات التمثيل العالي مثل الإنجليزية، مما ترك لغات مثل العربية ممثلة تمثيلا ناقصا. تمثل اللغة العربية تحديات فريدة من نوعها، فهي غنية شكليًا وثنائية اللغة (تشمل اللغة العربية الفصحى الحديثة (MSA) واللهجات الإقليمية المتنوعة)، وتستخدم عبر مجموعة كبيرة ومتنوعة من السكان ثقافيًا. يعد تطوير ماجستير إدارة الأعمال باللغة العربية أمرًا ضروريًا لضمان دمج المجتمعات الناطقة باللغة العربية بشكل كامل في ثورة الذكاء الاصطناعي.

ومع وضع هذا الهدف في الاعتبار، فإننا نقدمه الصقر العربي التكيف المتخصصة من فالكون 3 الأسرة النموذجية، التي طورتها معهد الابتكار التكنولوجي (TII) في دولة الإمارات العربية المتحدة. اكتسبت نماذج Falcon اعترافًا عالميًا بقوتها المتعددة اللغات ونهجها مفتوح المصدر. يعتمد برنامج Falcon-Arabic على هذا الإرث، مما يوفر فهمًا وتوليدًا متقدمًا للغة العربية. ومن خلال تدريب النموذج على التعامل مع اللغة العربية الفصحى الحديثة واللهجات الرئيسية، يسد Falcon-Arabic فجوة حرجة في تكنولوجيا اللغة مما يتيح ذكاءً اصطناعيًا عربيًا أكثر طبيعية وذكية وشاملة في جميع أنحاء الخليج والشرق الأوسط وشمال إفريقيا.

🦅 لقد هبطت لغة الصقر العربي – إليكم وصفة التدريب 🧪

بدأ بناء Falcon-Arabic بقرار استراتيجي: فبدلاً من تدريب نموذج من الصفر، اخترنا تكييف أساس قوي متعدد اللغات. في مشهد LLM العربي، توجد ثلاثة أساليب رئيسية: التدريب من الصفر (على سبيل المثال، Jais الأصلي)، وتكييف النماذج متعددة اللغات (مثل Allam أو Fanar)، أو استخدام النماذج التي تدعم اللغة العربية أصلاً إلى جانب اللغات الأخرى (مثل Qwen أو LLaMA). ومن خلال مراقبة لوحة المتصدرين باللغة العربية المفتوحة LLM، أصبح من الواضح أن النماذج المكيفة والمتعددة اللغات تتفوق باستمرار على النماذج الأخرى من حيث الكفاءة والقدرة. وللبناء على هذا الزخم، اخترنا فالكون 3-7ب، وهو نموذج يحقق توازنًا عمليًا بين الأداء وكفاءة الموارد داخل عائلة Falcon 3 التي طورتها شركة معهد الابتكار التكنولوجي (TII).

كان التحدي الأساسي هو تكييف Falcon 3-7B، الذي كان يفتقر في الأصل إلى الدعم العربي على مستوى الرمز والتضمين. لقد تناولنا هذه المشكلة من خلال توسيع مفردات أداة الرمز باستخدام 32000 رمز خاص باللغة العربية، وتطبيق أ استراتيجية تهيئة التضمين الجديدة مرتكز على التشابه النصي. قامت هذه التقنية بتعيين رموز عربية جديدة للتضمينات ذات الصلة لغويًا من المفردات الموجودة، مما يسمح للنموذج بوراثة المعرفة السابقة وتسريع التعلم خاصة فيما يتعلق بالمشاعر والمفاهيم المجردة وأنماط التفكير. أعطى هذا لـ Falcon-Arabic السبق في فهم وإنشاء نص عربي عالي الجودة.

بدأنا مع وجود الرمز المميز والتضمينات التدريب المسبق المستمر على الجودة العالية، مجموعات بيانات عربية أصلية 100%وتجنب استخدام المحتوى المترجم آليًا لتقليل التحيز الثقافي والحفاظ على الأصالة اللغوية. يتبع التدريب أ منهج متعدد المراحل: المراحل المبكرة تركز على المعرفة العامة والمحتوى العربي الغني باللهجات لتحقيق الاستقرار في النموذج وتعزيز القدرات المنطقية، في حين تم التأكيد على المراحل اللاحقة الرياضيات والرمز والتفكير. والنتيجة هي نموذج لا يتحدث اللغة العربية بطلاقة عبر اللهجات فحسب، بل يحتفظ أيضًا بنقاط القوة المتعددة اللغات والمنطق التي يتمتع بها Falcon والتي تدفع حدود الذكاء الاصطناعي باللغة العربية أولاً.

متوسط ​​أداء النماذج المدربة مسبقًا

📊 الصقر العربي: رفع المستوى في ماجستير اللغة العربية

قمنا بتقييم الصقر العربي على اوال v2، المرجع الرائد لنماذج اللغة العربية. ويتضمن ست مهام متعددة الاختيارات مثل MMLU العربية (الأصلية والمترجمة)، والامتحانات العربية، وAlghafa، وMadinahQA، وAratrust، ومعيار توليدي واحد، Alrage. يتفوق Falcon-Arabic على جميع برامج LLM العربية الموجودة في نطاق حجمه ويتفوق حتى على النماذج الأكبر حجمًا بما يصل إلى 4 مرات. إنها رائدة في المعايير الرئيسية مثل MMLU العربية، والامتحانات، وMadinahQA، وAratrust، مما يضع معيارًا جديدًا لنماذج اللغة العربية الأولى.

جدول مقارنة النماذج المدربة مسبقا

تفاصيل التقييم (احتمالات السجل والتنبؤات وLLM كمقاييس للقاضي). فالكون-عربي-7B-Base متاحة على https://huggingface.co/datasets/tiiuae/Falcon-Arabic-7B-Base-details

🗣️ من التدريب المسبق إلى التعليمات: محاذاة الصقر العربي للمحادثات

بعد الانتهاء من التدريب على النموذج الأساسي، قمنا بإجراء محاذاة ما بعد التدريب المرحلة الأولى لضبط استجابات Falcon-Arabic وفقًا لتفضيلات الإنسان. بدأت هذه المرحلة ب الضبط الدقيق الخاضع للإشراف (SFT) باستخدام مجموعة من مجموعات البيانات العامة عالية الجودة والتي تم جمعها داخليًا بيانات التعليمات العربية الأصلية، ويغطي مجموعة من المهام وسيناريوهات المحادثة.

لمزيد من تعزيز المحاذاة، طبقنا تحسين التفضيل المباشر (DPO) طريقة قائمة على التعلم المعزز تعمل على ضبط النموذج لتفضيل المخرجات التي يصنفها البشر على أنها أكثر فائدة وأمانًا وملاءمة. تضمن هذه العملية المكونة من خطوتين أن Falcon-Arabic Instruct لا يفهم اللغة العربية جيدًا فحسب، بل يستجيب بطريقة تتوافق مع توقعات المستخدم الحقيقية.

متوسط ​​أداء نماذج التعليمات

كما هو موضح في مخططات النتائج، Falcon-Arabic Instruct يقود المجموعة، متفوقًا في الأداء على جميع برامج LLM العربية الأخرى المتوافقة مع Instruct في فئتها ذات الحجم وحتى النماذج الأكبر حجمًا عبر معايير متعددة. يُظهر النموذج أداءً قويًا في كل من متابعة التعليمات والحوار المفتوح، مما يضع معيارًا جديدًا للذكاء الاصطناعي للمحادثة باللغة العربية.

أداء نماذج التعليمات حسب المعيار

جدول مقارنة نماذج الدردشة

تفاصيل التقييم (احتمالات السجل والتنبؤات وLLM كمقاييس للقاضي). فالكون-عربي-7B-Instruct متاحة على https://huggingface.co/datasets/tiiuae/Falcon-Arabic-7B-Instruct-details

🔓 إطلاق العنان لإمكانات الذكاء الاصطناعي العربي

تضع Falcon-Arabic معيارًا جديدًا لنماذج اللغة العربية. مع معلمات 7B فقط، فإنه يقدم أداءً متطورًا يتفوق على النماذج ذات الحجم المماثل وحتى تلك الأكبر عدة مرات عبر المعايير الرئيسية مثل MMLU العربية، وMadinahQA، وAratrust. فهو يجمع بين الطلاقة في اللغة العربية الفصحى الحديثة، والفهم القوي للهجات الإقليمية، والتفكير القوي والقدرات المتعددة اللغات، مما يجعله مثاليًا لمجموعة واسعة من التطبيقات: بدءًا من روبوتات الدردشة العربية الأولى والأدوات التعليمية وحتى إنشاء المحتوى والمساعدة البرمجية وفهم المستندات.

لإعطائك فكرة عملية عما يمكن أن تفعله Falcon-Arabic، قمنا ببناء عرض توضيحي بسيط يعرض قدراته في الترجمة الآلية على الرغم من أن النموذج لم يتم ضبطه خصيصًا لهذه المهمة. تعمل الأداة بحتة Falcon-7B-Arabic-Instructوكانت النتائج قوية بشكل مدهش عبر اتجاهات الترجمة المختلفة. يمكنك تجربتها بنفسك من خلال العرض التوضيحي المرتبط أدناه. في الواقع، استخدمنا نفس الإعداد لترجمة منشور المدونة هذا إلى اللغة العربية لجمهورنا الناطق باللغة العربية. التحقق من ذلك هنا 🚀. وإذا كنت مهتمًا باستكشاف المزيد، فإننا نوفر لك أيضًا إمكانية الوصول إلى ساحة لعب مباشرة حيث يمكنك التفاعل مع Falcon-Arabic Instruct وتجربة أدائه عبر مهام مختلفة ✨.

⚠️ القيود

مثل جميع نماذج اللغات الكبيرة، ترث لغة Falcon-Arabic بعض القيود الشائعة. وتشمل هذه في بعض الأحيان الهلوسة (إنتاج مخرجات معقولة ولكن غير صحيحة)، حساسية لكيفية صياغة المطالبات، والأداء المتفاوت عبر سياقات طويلة جدًا. في حين أن Falcon-Arabic مصمم للحد من هذه المشكلات خاصة بالنسبة للمهام العربية، إلا أنه يجب على المستخدمين الاستمرار في تطبيق التفكير النقدي عند تفسير النتائج، خاصة في حالات الاستخدام عالية المخاطر أو الحساسة للحقائق.

الاقتباس

إذا وجدت هذا العمل مفيدًا لأبحاثك أو مشاريعك، فيرجى التفكير في الاستشهاد به.

@misc{falcon-arabic,
    title = {Falcon-Arabic: A Breakthrough in Arabic Language Models},
    author = {Falcon-LLM Team},
    month = {May},
    url = {https://falcon-lm.github.io/blog/falcon-arabic},
    year = {2025}
}