مرحبًا بـ Llama 4 Maverick & Scout على وجه المعانقة

نحن متحمسون للغاية للترحيب بالجيل القادم من نماذج اللغات الكبيرة من Meta إلى Hugging Face Hub: Llama 4 Maverick (~400B) وLlama 4 Scout (~109B)! 🤗 كلاهما عبارة عن نماذج خليط من الخبراء (MoE) مع 17B من المعلمات النشطة.

تمثل هذه النماذج القوية متعددة الوسائط التي تم إصدارها اليوم قفزة كبيرة إلى الأمام. لقد عملنا بشكل وثيق مع Meta لضمان التكامل السلس في نظام Hugging Face البيئي، بما في ذلك كل من المحولات وTGI منذ اليوم الأول.

هذه مجرد بداية رحلتنا مع Llama 4. خلال الأيام القادمة، سنواصل التعاون مع المجتمع لبناء نماذج ومجموعات بيانات وتطبيقات مذهلة مع Maverick وScout! 🔥

ما هو اللاما 4؟

تقدم Llama 4، التي طورتها شركة Meta، بنية جديدة لمزيج الخبراء (MoE) ذات الانحدار التلقائي. يتضمن هذا الجيل نموذجين:

• ذو القدرة العالية اللاما 4 مافريك مع 17 مليار معلمة نشطة من إجمالي 400 مليار تقريبًا، مع 128 خبيرًا.
• الكفاءة اللاما 4 الكشفية يحتوي أيضًا على 17 مليار معلمة نشطة من إجمالي 109 مليار تقريبًا، باستخدام 16 خبيرًا فقط.

يستفيد كلا النموذجين من الدمج المبكر للوسائط المتعددة الأصلية، مما يمكّنهما من معالجة مدخلات النص والصور. تم تدريب كل من Maverick وScout على ما يصل إلى 40 تريليون رمز مميز على بيانات تشمل 200 لغة (مع دعم ضبط محدد لـ 12 لغة بما في ذلك العربية والإسبانية والألمانية والهندية).

للنشر، تم تصميم Llama 4 Scout لسهولة الوصول، وتركيبه على وحدة معالجة رسومات واحدة على مستوى الخادم من خلال التكميم السريع 4 بت أو 8 بت، بينما يتوفر Maverick بتنسيقات BF16 وFP8. يتم إصدار هذه النماذج بموجب اتفاقية ترخيص مجتمع Llama 4 المخصصة، المتوفرة في مستودعات النماذج.

الميزات والتكاملات على معانقة الوجه

ولمساعدة المجتمع على الاستفادة من هذه النماذج الحديثة على الفور، يسعدنا أن نعلن عن عمليات التكامل التالية:

• نقاط التفتيش النموذجية على المحور: يتوفر كل من أوزان طراز Llama 4 Maverick وLlama 4 Scout مباشرة على Hugging Face Hub أسفل meta-llama منظمة. يتضمن ذلك كلاً من المتغيرات الأساسية والتعليمات المضبوطة. وهذا يسمح بسهولة الوصول والاستكشاف والتنزيل. يتعين عليك قبول شروط الترخيص الموجودة على بطاقة النموذج قبل الوصول إلى الأوزان.
• تعانق الوجه transformers اندماج: احصل على البناء الآن! تم دمج نماذج Llama 4 بالكامل مع transformers (إصدار v4.51.0). يتيح ذلك سهولة التحميل والاستدلال والضبط باستخدام واجهات برمجة التطبيقات المألوفة، بما في ذلك دعم إمكانات الوسائط المتعددة الأصلية والمكتبات النهائية مثل TRL.
• الدعم التلقائي للتوتر الموازي وتعيين الجهاز التلقائي في المحولات.
• دعم استنتاج إنشاء النص (TGI): من أجل النشر الأمثل والقابل للتطوير، يتم دعم كلا الطرازين بواسطة TGI. وهذا يسمح بإنشاء نص عالي الإنتاجية، مما يسهل دمج Llama 4 في تطبيقات الإنتاج.
• دعم التكميم: يتم توفير التعليمات البرمجية لتكميم int4 أثناء التنقل لـ Scout، مما يقلل من تدهور الأداء مع تمكين النشر على آثار أجهزة أصغر. يتضمن Maverick أوزانًا كمية FP8 للنشر الفعال على الأجهزة المتوافقة.
• تخزين شيت: لتحسين عمليات التحميل والتنزيلات ودعم التكرار الأسرع على النماذج التي تم ضبطها من قبل المجتمع، قمنا بإطلاق جميع نماذج Llama 4 باستخدام الواجهة الخلفية للتخزين Xet. تم تصميم نظام التخزين هذا لعمليات تحميل وتنزيلات أسرع، ومع Llama 4، فإنه يحقق إلغاء البيانات المكررة بنسبة 25% تقريبًا. يجب أن تحتوي جميع النماذج المشتقة (الضبط الدقيق، والتكميم، وما إلى ذلك) على نسبة أعلى من إلغاء البيانات المكررة (~ 40%) مما يوفر للمجتمع مزيدًا من الوقت وعرض النطاق الترددي.

طول السياق وخيارات الهندسة المعمارية

تم تدريب نماذج Llama 4 مسبقًا بطول سياق يبلغ 256 كيلو بايت. تم ضبط نماذج Instruct بدقة لدعم أطوال سياق أكبر بكثير: 1M في الإصدار الكبير الذي يضم 128 خبيرًا (Maverick)، و10M (!) للإصدار الذي يضم 16 خبيرًا (Scout).

تأتي أطوال السياق الكبيرة هذه مع عدد قليل من خيارات الهندسة المعمارية المثيرة للاهتمام. وإلى أن يتم نشر تقرير فني رسمي، هذا ما نعرفه حتى الآن.

NoPE (اسم لطيف، +1 نقاط كاريزما)، التي تم استكشافها منذ عام 2022، تتجاهل مخططات التشفير الموضعي التقليدية، مثل RoPE، التي يتم تطبيقها في معظم الأوقات في نماذج المحولات. في حالة Llama 4، يتم استخدام طبقات NoPE كل 4 طبقات. تعتبر هذه الطبقات ضرورية للسياق الطويل، حيث أنها تستخدم القناع السببي الكامل فوق السياق.

بالنسبة لطبقات الحبال (ثلاثة من أصل 4)، اهتمام مجزأ يستخدم.

يشير ميتا إلى معشق استخدام طبقات NoPE، مع قياس درجة الحرارة (كما هو موضح أدناه)، كما هو موضح أدناه iRoPE بنيان.

إذا كنت تريد معرفة المزيد حول الترميزات الموضعية، فإننا نوصي بمنشور كريس الأخير.

• الاهتمام المجزأ (في طبقات حبل)

كوسيلة لتقليل متطلبات الذاكرة، يستخدم Llama 4 اهتمامًا مقسمًا في الطبقات التي تعمل مع تشفيرات RoPE الموضعية التقليدية (ثلاث من أصل 4 طبقات فك ترميز). أفضل طريقة لتصور كيفية عمل الاهتمام المقسم هي من خلال تمثيل ASCII الذي تم استخراجه من الكود المصدري للمحولات:

'What'      :  0 ■ ⬚ ⬚ ⬚ ⬚ ⬚ 
'▁is'       :  1 ■ ■ ⬚ ⬚ ⬚ ⬚ 
'▁ch'       :  2 ■ ■ ■ ⬚ ⬚ ⬚ 
'unked'     :  3 ⬚ ⬚ ⬚ ■ ⬚ ⬚ 
'▁attention':  4 ⬚ ⬚ ⬚ ■ ■ ⬚ 
'?'         :  5 ⬚ ⬚ ⬚ ■ ■ ■ 

يوضح هذا الرسم البياني قناع الانتباه الذي سيتم استخدامه إذا كان طول الانتباه المقسم هو 3. في حالة اللاما 4، يكون طول الانتباه المقسم هو 8192. وهذا يعني أن طبقات RoPE يمكنها فقط تتبع السياق في كتل 8K، بينما تتمتع طبقات NoPE بإمكانية الوصول إلى السياق الكامل. يمكنك رؤيته كنسخة أكثر كفاءة من الذاكرة والحوسبة من Sliding Window Attention.

• انتبه لضبط درجة الحرارة

تواجه كتل الانتباه المطبقة على السياقات الطويلة مشكلة: درجات احتمالية الانتباه يختفي أقرب إلى الصفر مع زيادة طول التسلسل. وهذه نتيجة معروفة لتطبيق com.softmax وظيفة لتسلسلات طويلة جدا. لمعالجة هذه المشكلة، يستخدم Llama 4 مقياس softmax، والذي يشير إليه النموذج بضبط درجة الحرارة. يتم تطبيق هذا في طبقات NoPE، ولكن ليس في طبقات RoPE حيث إنها تهتم بتسلسلات فرعية أقصر.

هذه الطريقة هي وسيلة لتحسين تعميم أطوال السياق العشوائية، وربما تكون أحد العوامل الرئيسية لتحقيق طول سياق يبلغ 10 ملايين في Llama 4 Scout.

يستخدم Llama Scout (إصدار 16 خبيرًا) تسوية RMS إضافية بدون معلمة قابلة للتعلم لحالات الاستعلام والمفتاح في طبقات RoPE، بعد تطبيق تضمينات RoPE.

Llama Scout هي وزارة تربية كاملة تتكون من 16 خبيرًا. يستخدم اللاما مافريك 128 خبيرًا، لكن وزارة البيئة والطبقات الكثيفة تتناوب. لذلك، يتم تطبيق الخبراء في نصف الطبقات.

تم استخلاص Llama Maverick من نموذج أكبر، Llama Behemoth، باستخدام دالة خسارة جديدة تعمل على وزن لوغاريتم الطالب والمعلم ديناميكيًا.

تستفيد النماذج من MetaP، وهي منهجية من المحتمل أن تكون مستوحاة من MuP، لضبط المعلمات الفائقة بشكل مثالي عبر أبعاد مختلفة بما في ذلك ميزانية التدريب وحجم النموذج.

كيفية استخدامها مع المحولات

البدء باستخدام Llama 4 transformers هو واضح ومباشر. تأكد من أن لديك transformers v4.51.0 أو تم تثبيته لاحقًا (pip install -U transformers huggingface_hub[hf_xet]). فيما يلي مثال سريع باستخدام نموذج Maverick المضبوط للتعليمات والذي يستجيب لصورتين، باستخدام موتر متوازي لتحقيق أقصى سرعة. تحتاج إلى تشغيل هذا البرنامج النصي على مثيل يحتوي على 8 وحدات معالجة رسوميات، باستخدام أمر مثل:
torchrun –nproc-per-instance=8 script.py

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

تأكد من التحقق من بطاقات النماذج في عمليات إعادة الشراء (Llama 4 Maverick (~400B) وLlama 4 Scout (~109B)) للحصول على تعليمات الاستخدام التفصيلية، بما في ذلك أمثلة الوسائط المتعددة، وتنسيقات المطالبة المحددة (مثل مطالبات النظام)، وتفاصيل التكميم، وخيارات التكوين المتقدمة!

نتائج التقييم

تؤكد نتائج التقييم قوة هذه النماذج، حيث تُظهر أداءً متطورًا يتفوق بشكل كبير على سابقاتها مثل Llama 3.1 405B. على سبيل المثال، في مهام التفكير والمعرفة، يحقق Maverick المضبوط للتعليمات 80.5% في MMLU Pro و69.8% في GPQA Diamond، بينما يسجل Scout 74.3% و57.2% على التوالي.

انقر لتوسيع نتائج التقييم

النماذج المدربة مسبقا

فئة	المعيار	# لقطات	متري	اللاما 3.1 70 ب	اللاما 3.1 405 ب	اللاما 4 الكشفية	اللاما 4 مافريك
المنطق والمعرفة	MMLU	5	Macro_avg/acc_char	79.3	85.2	79.6	85.5
	MMLU-Pro	5	ماكرو_avg/em	53.8	61.6	58.2	62.9
	الرياضيات	4	em_maj1@1	41.6	53.5	50.3	61.2
شفرة	مبب	3	تمرير@1	66.4	74.4	67.8	77.6
متعدد اللغات	TydiQA	1	متوسط/f1	29.9	34.3	31.5	31.7
صورة	ChartQA	0	Relax_accuracy	لا يوجد دعم متعدد الوسائط		83.4	85.3
	DocVQA	0	anls			89.4	91.6

نماذج ضبطها التعليمات

فئة	المعيار	# لقطات	متري	اللاما 3.3 70 ب	اللاما 3.1 405 ب	اللاما 4 الكشفية	اللاما 4 مافريك
تفكير الصورة	MMMU	0	دقة	لا يوجد دعم متعدد الوسائط		69.4	73.4
	MMMU برو^	0	دقة			52.2	59.6
	MathVista	0	دقة			70.7	73.7
فهم الصورة	ChartQA	0	Relax_accuracy			88.8	90.0
	DocVQA (اختبار)	0	anls			94.4	94.4
الترميز	LiveCodeBench (10/01/2024–02/01/2025)	0	تمرير@1	33.3	27.7	32.8	43.4
المنطق والمعرفة	MMLU برو	0	ماكرو_avg/em	68.9	73.4	74.3	80.5
	GPQA الماس	0	دقة	50.5	49.0	57.2	69.8
متعدد اللغات	إم جي إس إم	0	متوسط ​​/ م	91.1	91.6	90.6	92.3
سياق طويل	MTOB (نصف كتاب) eng →kgv/kgv → eng	–	مركز حقوق الإنسان	نافذة السياق هي 128 كيلو بايت		42.2/36.6	54.0/46.4
	MTOB (كتاب كامل) eng →kgv/kgv → eng	–	مركز حقوق الإنسان			39.7/36.3	50.8/46.7

شكر وتقدير

يتطلب إطلاق عملاق مثل Llama 4 جهدًا هائلاً عبر الفرق والمناطق الجغرافية والكثير من الأجهزة الافتراضية. لا نود أن نشكر آرثر، وليساندر، وسيريل، وبابلو، ومارك، ومحمد من فريق المحولات بدون أي ترتيب معين. نحن ممتنون لفريق vLLM الكامل للمناقشات الغنية والرؤى والاختبارات المشتركة وتصحيح الأخطاء خلال هذا التكامل المكثف مع العديد من التحديات. مع احتياجات التحسين الأكبر، نود أن نشكر Mohit على إضافة الدعم بمفرده إلى Llama 4 في TGI. تتطلب هذه النماذج المكتنزة بعض الهندسة الجادة على مستوى التخزين. استغرق هذا الكثير من الجهد من أجيت وراجات وجاريد ودي ويوتشنغ وبقية فريق Xet أيضًا.

هناك الكثير من الأشخاص المشاركين في هذا الجهد، شكرًا جزيلاً لبقية فرق Hugging Face وvLLM وMeta Llama على التآزر الرائع!

مراجع