نموذج لغة تم تدريبه مسبقًا بمعلمة 11B وVLM، تم تدريبه على أكثر من 5000B من الرموز المميزة و11 لغة

نماذج الصقر 2

يطلق معهد دراسات الترجمة جيلًا جديدًا من النماذج، Falcon 2، الذي يركز على تزويد مجتمع المصادر المفتوحة بسلسلة من النماذج الأصغر ذات الأداء المحسن والدعم متعدد الوسائط. هدفنا هو تمكين الاستدلال الأرخص وتشجيع تطوير المزيد من التطبيقات النهائية مع تحسين سهولة الاستخدام.

قدم الجيل الأول من نماذج Falcon، التي تضم Falcon-40B وFalcon-180B، مساهمة كبيرة في مجتمع المصادر المفتوحة، حيث شجع إطلاق شهادات LLM المتقدمة بتراخيص متساهلة. يمكن العثور على مزيد من المعلومات التفصيلية حول الجيل السابق من نماذج Falcon في أبحاث RefinedWeb وPenedo et al., 2023 وThe Falcon Series of Open Language Models، وAlmazrouei et al.، 2023، ومنشورات مدونة Falcon and Falcon-180B.

ويركز الجيل الثاني من النماذج على زيادة قابلية الاستخدام والتكامل، وبناء نظام بيئي متعدد الوسائط. نبدأ هذه الرحلة بإطلاق ليس فقط نموذج 11B LLM الأساسي، ولكن أيضًا نموذج 11B VLM الذي يشتمل على إمكانات فهم الصورة. سيسمح نموذج لغة الرؤية، أو VLM، للمستخدمين بالمشاركة في محادثات حول المحتوى المرئي باستخدام النص.

كما هو الحال مع عملنا السابق، تقدم النماذج الدعم بشكل أساسي باللغة الإنجليزية ولكنها تتمتع بقدرات جيدة بعشر لغات أخرى، بما في ذلك الإسبانية والفرنسية والألمانية.

جدول المحتويات

فالكون 2-11 بي إل إل إم

بيانات التدريب

تم تدريب Falcon2-11B على أكثر من 5000 GT (مليار رمز) من RefinedWeb، وهي مجموعة بيانات ويب تمت تصفيتها وإلغاء تكرارها عالية الجودة، ومُعززة بمجوعات منسقة. واتبعت استراتيجية التدريب من أربع مراحل. ركزت المراحل الثلاث الأولى على زيادة طول السياق، من 2048 إلى 4096 وأخيراً إلى 8192 رمزًا. وتهدف المرحلة الأخيرة إلى زيادة تعزيز الأداء باستخدام بيانات عالية الجودة فقط.

وبشكل عام، تضمنت مصادر البيانات RefinedWeb-English، وRefinedWeb-Europe (خدمات العملاء, دي, وفاق, الاب, هو – هي, nl, رر, نقطة, ريال عماني, القديس)، بيانات فنية عالية الجودة، وبيانات التعليمات البرمجية، وبيانات المحادثة المستخرجة من المصادر العامة.

وجاءت مراحل التدريب على النحو التالي:

تم ترميز البيانات باستخدام الرمز المميز Falcon2-11B، وهو نفس الرمز المميز لنماذج Falcon السابقة.

العمارة النموذجية

يلخص الجدول التالي بعض التفاصيل الهامة حول بنية النموذج:

إجراءات التدريب

تم تدريب Falcon2-11B على 1024 وحدة معالجة رسوميات A100 سعة 40 جيجابايت لمعظم التدريب، باستخدام استراتيجية التوازي ثلاثي الأبعاد (TP=8، PP=1، DP=128) جنبًا إلى جنب مع ZeRO وFlash-Attention 2.

تدريب المعلمات الفائقة

تقييم فالكون 2-11 بي

أداء اللغة الإنجليزية

الأداء في مهام لوحة المتصدرين المفتوحة LLM:

قدم فريق Hugging Face Leaderboard تقييمًا رسميًا لنموذجنا فيما يتعلق بمهام Open LLM Leaderboard. يعمل النموذج بشكل أفضل من نماذج مثل Llama3-8B (التي تم تدريبها على بيانات أكثر بثلاث مرات) وMistral-7B، وعلى قدم المساواة مع Gemma-7b.

أداء صفر طلقة:

تظهر نتائج التقييم أن Falcon2-11B يُظهر أداءً مشابهًا لـ Falcon-40B، بحجم نموذج أصغر أربع مرات!

قدرات متعددة اللغات

باستخدام لوحة المتصدرين Multilingual LLM، قمنا بمقارنة نموذج Falcon2-11B بنموذج Llama-7B وBloom-7B. كمرجع، نقوم أيضًا بتضمين Falcon-40B (الذي يدعم نفس اللغات)، وFalcon-7B (الذي يدعم الفرنسية) وMistral-7B.

تماشيًا مع روح نماذج Falcon الأصلية، تم تدريب Falcon2-11B ليس فقط على البيانات الإنجليزية ولكن أيضًا على عشر لغات أخرى. تظهر نتائج تقييمنا متعدد اللغات أن النموذج يقدم قدرات جيدة في اللغات الست (دي, وفاق, الاب, هو – هي, nl, ريال عماني) ظهرت في Multilingual LLM Leaderboard وتُظهر في الواقع أداءً أعلى من Falcon-40B والعديد من النماذج الأخرى متعددة اللغات في جميع اللغات المذكورة.

سنصدر قريبًا نتائج تقييم أكثر شمولاً لقدرات متعددة اللغات في بطاقة طراز Falcon2-11B!

قدرات توليد التعليمات البرمجية

نحن نتحقق من أداء النموذج عند إنشاء التعليمات البرمجية مقابل BigCode Leaderboard في معيار HumanEval للغة Python، حيث حصلنا على pass@1 بنسبة 29.59%.

باستخدام Falcon2-11B

from transformers import AutoTokenizer
import transformers
import torch

model = "tiiuae/falcon-11B"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

وبعد ذلك، يمكنك تشغيل إنشاء النص باستخدام كود مثل ما يلي:

sequences = pipeline(
   "Can you explain the concept of Quantum Computing?",
    max_length=200,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

فالكون 2-11 بي إل إم

Falcon2-11B VLM هو نموذج لغة رؤية (VLM) مبني على أعلى LLM، والذي يتعامل بالإضافة إلى ذلك مع مدخلات الصور ويكون قادرًا على الإجابة على الاستفسارات حول الصور. ولتحقيق ذلك، قمنا بدمج جهاز تشفير الرؤية CLIP ViT-L/14 المُدرب مسبقًا مع نموذج الدردشة Falcon2-11B المضبوط بدقة، والتدريب باستخدام بيانات نص الصورة.

لتعزيز إدراك VLM للتفاصيل الدقيقة التي تتضمن كائنات صغيرة في الصور، فإننا نستخدم آلية تشفير ديناميكية بدقة عالية لمدخلات الصور، على غرار LLaVA-Next.

تمرين

يتم التدريب على مرحلتين: التدريب المسبق والضبط الدقيق. في كلتا المرحلتين، يتم الاحتفاظ بأوزان التشفير البصري مجمدة. في مرحلة ما قبل التدريب، يتم الاحتفاظ بـ LLM مجمداً، ويتم تدريب جهاز العرض متعدد الوسائط فقط على 558 ألف زوج من تعليقات الصور. وهذا يمكّن جهاز العرض متعدد الوسائط من تعلم رسم الخرائط من المساحة المرئية إلى مساحة تضمين النص. أثناء الضبط الدقيق، يتم تدريب كل من أوزان جهاز العرض وLLM على مجموعة مكونة من 1.2 مليون بيانات تعليمات نصية مصورة من مجموعات البيانات العامة، والتي تتضمن أيضًا محادثات متعددة الجولات.

تقييم Falcon2-11B VLM

باستخدام Falcon2-11B-FalconVLM

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor
from PIL import Image
import requests
import torch

processor = LlavaNextProcessor.from_pretrained("tiiuae/falcon-11B-vlm")
model = LlavaNextForConditionalGeneration.from_pretrained("tiiuae/falcon-11B-vlm", torch_dtype=torch.bfloat16)

url = "https://merzougabirding.com/wp-content/uploads/2023/09/falcon-size.jpg"
falcon_image = Image.open(requests.get(url, stream=True).raw)
prompt = "User: <image>\nWhat's special about this bird's vision?"

inputs = processor(prompt, images=falcon_image, return_tensors="pt", padding=True).to('cuda:0')

model.to('cuda:0')
output = model.generate(**inputs, max_new_tokens=256)


prompt_length = inputs['input_ids'].shape[1]
generated_captions = processor.decode(output[0], skip_special_tokens=True).strip()

print(generated_captions)

معلومات الترخيص

تتوفر نماذج Falcon 2 بموجب ترخيص TII Falcon 2، وهو ترخيص برمجي قائم على Apache 2.0 يتضمن سياسة استخدام مقبولة تشجع الاستخدام المسؤول للذكاء الاصطناعي. تمت صياغة هذا الترخيص في إطار روح التزام معهد دراسات الترجمة تجاه مجتمع المصادر المفتوحة.