المؤلفون: دروف ناثاواني، شويانغ دينغ الولايات المتحدة، فيتالي لافروخين الولايات المتحدة، جين بولاك سكوكروفت الولايات المتحدة، أوليكسي كوتشاييف الولايات المتحدة
تواصل NVIDIA إطلاق مجموعات البيانات المتساهلة لدعم النظام البيئي المفتوح مع 6 مليون مجموعة بيانات استدلالية متعددة اللغات.
استمرارًا لنجاح الإصدار 1 الأخير من Nemotron Post-Training Dataset v1 المستخدم في نموذج Llama Nemotron Super، وإصدار Llama Nemotron Post-Training Dataset في وقت سابق من هذا العام، نحن متحمسون لإصدار مجموعة البيانات المنطقية المترجمة إلى خمس لغات مستهدفة: الفرنسية والإسبانية والألمانية والإيطالية واليابانية.
يعمل NVIDIA Nemotron Nano 2 9B الذي تم إصداره حديثًا على جلب هذه الإمكانات إلى الحافة بدقة وكفاءة رائدة من خلال بنية Transformer-Mamba المختلطة وميزانية تفكير قابلة للتكوين – حتى تتمكن من طلب الدقة والإنتاجية والتكلفة لتتناسب مع احتياجاتك في العالم الحقيقي.
أبرز النماذج (TL;DR)
- حجم النموذج: 9B المعلمات
- بنيان: محول هجين – Mamba (Mamba‑2 + عدد صغير من طبقات الانتباه) لإنتاجية أعلى وبدقة مماثلة لأقران المحولات فقط
- الإنتاجية: ما يصل إلى 6 × توليد رمز أعلى من النماذج الرائدة الأخرى في فئة الحجم
- يكلف: تتيح لك ميزانية التفكير التحكم في عدد الرموز المميزة “للتفكير” المستخدمة، مما يوفر تكاليف تفكير أقل بنسبة تصل إلى 60%
- هدف: وكلاء لخدمة العملاء، ودعم برامج الدردشة الآلية، ومساعدي التحليلات، وعمليات نشر Edge/RTX
- التوفر: أوزان النموذج متاحة على Hugging Face، ويمكنك تجربة نقطة النهاية على build.nvidia.com، وسيكون النموذج متاحًا كـ NVIDIA NIM للإنتاجية العالية وزمن الوصول المنخفض
- رخصة: ترخيص nvidia-open-model
يمثل الإصدار خطوة مهمة إلى الأمام في التزامنا المستمر بالانفتاح والشفافية في تطوير النموذج وتحسينه. من خلال إصدار بيانات التدريب، بالإضافة إلى أدوات التدريب وأوزان النماذج النهائية، تدعم NVIDIA التحسين المستمر للنماذج ذات الوزن المفتوح.
ماذا يوجد في مجموعة البيانات وكيف قمنا ببنائها
على مستوى عالٍ، تأخذ مجموعة بيانات Nemotron Post-Training Dataset V2 بيانات الاستدلال باللغة الإنجليزية التي تم إصدارها مسبقًا وترجمتها إلى خمس لغات مستهدفة (الفرنسية والألمانية والإيطالية واليابانية والإسبانية). لتحقيق أقصى استفادة من المعرفة باللغة الإنجليزية التي تم غرسها أثناء التدريب المسبق، نقوم بترجمة مطالبة المستخدم والاستجابة النموذجية مع الحفاظ على سلسلة الاستدلال الإنجليزية الأصلية.
وفقًا لنتائج مهمة الترجمة العامة المشتركة لـ WMT 2024، يحقق طلاب LLM أحدث النتائج لمهام الترجمة الآلية. ومع ذلك، بالنسبة للتوليد الاصطناعي لبيانات ما بعد التدريب، أظهرت دراساتنا الأولية ما يلي:
- يكون حاملو شهادات الماجستير في القانون أكثر عرضة للهلوسة عند ترجمة مجموعات بيانات SFT مقارنة بترجمة مجموعات اختبار الترجمة الآلية الشائعة (على سبيل المثال، FLORES).
- تتدهور جودة الترجمة ومعدل الهلوسة في برامج LLM مفتوحة المصدر بشكل ملحوظ مع زيادة طول المدخلات.
ومن ثم، فإننا ندمج عدة آليات للحفاظ على جودة الترجمة العالية وسهولة اكتشاف الهلوسة. لتلخيص:
- نحن نقوم بتقسيم الجمل حسب السطر الجديد ونترجمها سطرًا تلو الآخر. إذا كان السطر غير قابل للترجمة (على سبيل المثال، علامات التبويب فقط) أو كان جزءًا من كتلة تعليمات برمجية، فلن تتم ترجمته.
- نحن نفرض تنسيقًا محددًا (“لف النص المترجم بين قوسين 〘〙”) ونستخدم قوس المطابقة الخاص هذا لاستخراج الترجمات. يتم تجاهل الأمثلة الأخرى (انظر الجدول 1).
- نقوم بتشغيل معرف لغة fastText على ترجمة المدخلات السريعة لتصفية نقاط البيانات غير المستهدفة. لقد تجاهلنا 55.567 مثالًا آخر (1.1% أخرى من جميع الأمثلة متعددة اللغات).
الجدول 1: نسبة البيانات المهملة (تقاس بالبايت) عن طريق فرض تنسيق الإخراج
| لغة | شفرة | سؤال وجواب | الرياضيات |
|---|---|---|---|
| دي | 2.28% | 1.11% | 2.47% |
| وفاق | 26.14% | 5.15% | 6.38% |
| الاب | 11.01% | 1.37% | 1.96% |
| هو – هي | 4.94% | 1.36% | 0.75% |
| جا | 7.68% | 2.51% | 3.86% |
وبعد المقارنة اخترنا Qwen2.5-32B-Instruct-AWQ (للألمانية) و Qwen2.5-14B-Instruct (للآخرين) لإجراء الترجمة. وتشمل الاعتبارات لاختيار هذه النماذج ما يلي:
- جودة ترجمة قوية
- يمكن أن يتناسب مع وحدة معالجة الرسومات A100 واحدة للاستدلال
- تغطية نطاق واسع في بيانات التدريب
- الترخيص المفتوح (أباتشي 2.0)
كيفية استخدامه
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Post-Training-Dataset-v2")
👉 استكشف مجموعة البيانات هنا: صفحة مجموعة بيانات Hugging Face
