في ديسمبر الماضي، أصدرت Google لعبة PaliGemma 2: عائلة جديدة من اللاعبين المدربين مسبقًا (نقطة) نماذج لغة الرؤية PaliGemma (VLMs) المستندة إلى SigLIP وGemma 2. تأتي النماذج بثلاثة أحجام مختلفة (3B، 10B، 28B) وثلاثة دقة مختلفة (224×224، 448×448، 896×896).
اليوم، جوجل تطلق PaliGemma 2 مزج: تم ضبطه بدقة على مزيج من مهام لغة الرؤية، بما في ذلك التعرف الضوئي على الحروف والتعليقات التوضيحية الطويلة والقصيرة والمزيد.
PaliGemma 2 مدرّب مسبقًا (نقطة) المتغيرات هي نماذج لغة رؤية رائعة تحويل في مهمة معينة في متناول اليد. الجميع نقطة من المفترض أن يتم ضبط نقاط التفتيش بدقة في مهمة المصب وتم إصدارها لهذا الغرض.
تعطي نماذج المزيج فكرة سريعة عن الأداء الذي يمكن أن يحصل عليه المرء عند ضبط نقاط التفتيش المدربة مسبقًا في مهمة المصب. الغرض الرئيسي من عائلة نماذج PaliGemma هو توفير نماذج مدربة مسبقًا يمكنها التعلم بشكل أفضل في مهمة لاحقة، بدلاً من توفير نموذج دردشة متعدد الاستخدامات. تعطي النماذج المختلطة إشارة جيدة حول كيفية القيام بذلك نقطة تعمل النماذج عند ضبطها على مزيج من مجموعات البيانات الأكاديمية.
يمكنك قراءة المزيد عن PaliGemma 2 في منشور المدونة هذا.
يمكنك العثور على جميع نماذج المزيج والعرض التوضيحي في هذه المجموعة.
جدول المحتويات
نماذج باليجيما 2 ميكس
يمكن لنماذج مزيج PaliGemma 2 إنجاز مجموعة متنوعة من المهام. يمكننا تصنيفهم حسب مهامهم الفرعية على النحو التالي.
- المهام المتعلقة بالرؤية العامة واللغة: الإجابة على الأسئلة البصرية، في اشارة الى الصور
- فهم الوثيقة: الإجابة على الأسئلة المرئية باستخدام الرسوم البيانية والرسوم البيانية وفهم المخططات
- التعرف على النص في الصور: اكتشاف النص، والتعليق على الصور التي تحتوي على نصوص، والإجابة على الأسئلة المرئية على الصور التي تحتوي على نص
- المهام المتعلقة بالتوطين: كشف الكائنات، تجزئة الصورة
لاحظ أن قائمة المهام الفرعية هذه ليست شاملة، ويمكنك الحصول على مزيد من المعلومات حول القائمة الكاملة للمهام في ورقة PaliGemma 2.
عند المطالبة بنماذج مزيج PaliGemma 2، يمكننا استخدامها مطالبات مفتوحة. في التكرار السابق لنماذج PaliGemma المدربة مسبقًا، كنا بحاجة إلى إضافة بادئة مهمة إلى الموجه اعتمادًا على المهمة التي نرغب في إنجازها بلغة معينة. لا يزال هذا يعمل، لكن المطالبات المفتوحة تؤدي إلى أداء أفضل. تبدو المطالبات التي تحتوي على بادئة المهمة كما يلي:
- “caption {lang}”: تسميات توضيحية قصيرة لطيفة تشبه COCO
- “describe {lang}”: تسميات توضيحية أطول وأكثر وصفًا
- “ocr”: التعرف البصري على الأحرف
- “answer {lang} {question}”: إجابة سؤال حول محتويات الصورة
- “question {lang} {answer}”: إنشاء سؤال لإجابة معينة
مهمتان فقط تعملان فقط مع بادئات المهام هما اكتشاف الكائنات وتجزئة الصورة. تبدو المطالبات كما يلي.
- “detect {object description}”: حدد موقع الكائنات المدرجة في صورة ما وأرجع المربعات المحيطة لتلك الكائنات
- “segment {object description}; {object description}”: حدد المنطقة التي يشغلها الكائن في الصورة لإنشاء تجزئة الصورة لهذا الكائن
إذا كنت تريد البدء فورًا، فلا تتردد في الانتقال إلى هذا القسم من المدونة، أو تجربة العرض التوضيحي.
مقارنة متغيرات مزيج PaliGemma 2
في هذا القسم، سنراجع الإمكانيات المذكورة أعلاه، وكيفية أداء مزيج PaliGemma 2 عليها، ونقارن بين المتغيرات المختلفة ذات الأحجام والدقة المختلفة في عدد قليل من المهام. هنا، نقوم باختبار النموذج على بعض الأمثلة الواقعية.
مهام الرؤية العامة واللغة
| صورة الإدخال | موجه الإدخال | الاستجابة 3ب/448 | الرد 10ب/448 |
|---|---|---|---|
|
كم عدد الحلوى هناك؟ |
5 ✅ |
5 ✅ |
|
وصف الصورة بقدر كبير من التفصيل |
مجموعة من الناس يسيرون في الشارع وظهورهم نحو الكاميرا. تصطف على جانبي الشارع شجرة خضراء طويلة ونخلة وسياج أبيض على طول الرصيف. يمكن رؤية مبنى وردي كبير بسقف دائري كبير ومبنى وردي كبير بسقف مقبب من مسافة بعيدة. يسير رجل يرتدي قميصًا أسود وحقيبة رمادية أمام الدراجة النارية البيضاء المتوقفة بالقرب من السياج. رجل يرتدي قميصًا أحمر وحقيبة ظهر سوداء يقف بجوار عربة الطعام على الرصيف. عربة الطعام متوقفة على جانب الشارع. رجل يرتدي قميصًا أزرق ويحمل حقيبة بيضاء على ظهره ويمشي على الرصيف. ضوء الشارع أسود. السماء زرقاء. ✅ |
مجموعة من الناس يسيرون في الشارع وظهورهم نحو الكاميرا. مبنى طويل ذو سقف مدبب ومبنى كبير باللونين الوردي والأبيض يسيطر على الأفق. تسير امرأة ترتدي فستانًا أسود ورجلًا يرتدي بنطالًا أسود جنبًا إلى جنب، بينما يسير خلفهما رجل يرتدي قميصًا أحمر ورجلًا يرتدي قميصًا أزرق. توجد دراجة نارية متوقفة بجوار السياج، ودراجة نارية متوقفة على الرصيف. الشخص يسير، ويقود الدراجة النارية رجل يرتدي قميصًا أبيض. يرتدي الرجل قميصًا أحمر وسروالًا أسود، والشخص الذي يرتدي القميص الأزرق يركب دراجة نارية. العلامة الموجودة على العمود مرئية، والشخص يرتدي حقيبة ظهر. ✅ |
فهم الوثيقة
| صورة الإدخال | موجه الإدخال | الاستجابة 3ب/448 | الرد 10ب/448 |
|---|---|---|---|
|
بالنسبة للمهام الحساسة للدقة، ما هو البديل الأفضل؟ |
448 بكسل ولكن تم تغيير حجمها إلى 224 بكسل أولاً |
448 بكسل ✅ |
|
ما هو معدل الانبعاثات المستهدف لفرنسا لعام 2023؟ |
20 ✅ |
20 ✅ |
مهام التوطين
لقد قمنا بتقييم متغيرات مزيج PaliGemma 2 وفقًا لقدراتها المتعلقة بالتوطين. بالنظر إلى “اكتشاف {وصف الكائن}؛ {وصف كائن آخر}” مع كائنات مختلفة محل اهتمام، يمكن لـ PaliGemma اكتشاف كائنات مختلفة محل اهتمام. لا يقتصر الأمر هنا على فصول قصيرة مثل “طائر”، ولكن يمكن أن يكون “طائر على عصا”.
أدناه، يمكنك العثور على مخرجات الكشف والتجزئة لمتغيرات مختلفة بدقة ثابتة تبلغ 448 × 448. نقوم بتكبير الكائن محل الاهتمام لأغراض التصور.
التعرف على النص في الصور
| صورة الإدخال | موجه الإدخال | الاستجابة 3ب/448 | الرد 10ب/448 |
|---|---|---|---|
|
متى تاريخ هذه التذكرة وكم تكلفتها؟ |
26-05-2023 21:52 |
26-05-2023 17.00 ✅ |
|
قراءة النص |
الجمعة، 20 ديسمبر\nحفلة المكتب الجديدة\nقائمة الكوكتيل -\nOffice MARTINI\nفودكا فريز دي بوا – عصير فرامبواز – مشروب كحولي من فلور دي سوريو – فلور فودكا الفراولة البرية – هريس التوت – مشروب زهرة البيلسان – زهرة\nDIFFUSERS SUNRISE\ntequila – ماندرين إمبريال – عصير البرتقال المتفشي – كوانترو – تكيلا الكرز المر – شراب اليوسفي – عصير البرتقال الدموي – كوانترو – مر الكرز\ngin مملوء بمانجو روتي – سيترونيل، كيوي فير & أصفر – سيترون – بوافر بلانك مانجو محمص جين – عشبة الليمون – كيوي أخضر وأصفر، ليمون – فلفل أبيض\nالمحولات تويست\nباتيه كريم دي سيريس – كراميل جامبليموس – موز\nبيفت بيرو\npêches – شراب الكرز – عصير الجريب فروت – الأناناس ✅ |
الجمعة، 20 ديسمبر قائمة كوكتيلات جديدة لحفلات المكتب – فودكا مارتيني فودكا فريز دي بوا – عصير إطار – مشروب كحولي من فلور دي مكتب – فودكا زهر الفراولة البرية – هريس التوت – مشروب كحولي لزهرة البيلسان – زهور ناشرات الشمس تيكيلا – ماندرين إمبيريال – عصير البرتقال المتفائل – كوانترو – تيكيلا الكرز المر – شراب اليوسفي – عصير البرتقال الدموي – كوانترو – جين الكرز المر – ترانسفورمرز تويست جين المملوء بمانجو روتي – سيترون فير آند جون – سيترون – بوافر بلانك مانجو محمص جين – عشبة الليمون – ليمون كيوي أخضر وأصفر – فلفل أبيض قطعة بيروفية – ماء سيدر – ماء دي بامبلموس – قطعة أناناس – شراب الكرز – فودكا الجريب فروت – الأناناس ✅ |
الاستدلال والضبط باستخدام المحولات
يمكنك استخدام نماذج مزيج PaliGemma 2 باستخدام المحولات.
from transformers import (
PaliGemmaProcessor,
PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch
model_id = "google/paligemma2-10b-mix-224"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)
prompt = "describe en"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]
with torch.inference_mode():
generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
generation = generation[0][input_len:]
decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)
لدينا برنامج تعليمي متعمق حول الضبط الدقيق لـ PaliGemma 2. ويمكن استخدام نفس دفتر الملاحظات لضبط نقاط فحص المزيج أيضًا.
تجريبي
نحن نصدر عرضًا توضيحيًا لنموذج 10B بدقة 448 × 448. يمكنك اللعب بها أدناه أو التوجه إلى التطبيق في هذا الرابط.
اقرأ المزيد
اقرأ وتعرف على المزيد حول نماذج PaliGemma أدناه.
شكر وتقدير
نود أن نشكر ساياك بول وفيبهاف سريفاستاف على مراجعة منشور المدونة هذا. نشكر فريق Google على إطلاق هذه العائلة النموذجية الرائعة والمفتوحة.
شكرًا جزيلًا لبابلو مونتالفو لدمج النموذج في المحولات، وكذلك لليساندر وروشان وآرثر وييه-دار وبقية الفريق على المراجعة والاختبار والدمج في وقت قصير.
