نهج الذكاء الاصطناعي المركب تجاه الشخصيات الهندية المرتكز على توزيعات العالم الحقيقي
البيانات المفتوحة لمستقبل الذكاء الاصطناعي في الهند
تمثل الهند واحدة من أكبر فرص الذكاء الاصطناعي في العالم – مع أكثر من 700 مليون مستخدم للإنترنت، والعديد من اللغات، ونظام بيئي للمطورين سريع النمو. ومع ذلك، فإن معظم مجموعات البيانات المفتوحة تعكس المعايير الغربية والسياقات الإنجليزية فقط، مما يخلق فجوة في البيانات تحد من تبني الذكاء الاصطناعي في بيئة متعددة اللغات ومتعددة النصوص في الهند.
اليوم، نصدر Nemotron-Personas-India، وهي أول مجموعة بيانات تركيبية مفتوحة للشخصيات الهندية المتوافقة مع التوزيعات الديموغرافية والجغرافية والثقافية في العالم الحقيقي. مرخصة تحت سي سي بي 4.0، توفر مجموعة البيانات هذه أساسًا للحفاظ على الخصوصية وجاهزًا للتنظيم لتوسيع نطاق أنظمة الذكاء الاصطناعي التي تعكس المجتمع الهندي – دون الاعتماد على البيانات الشخصية الحساسة.
تم تصميم Nemotron-Personas-India باستخدام NeMo Data Designer، وهي خدمة مصغرة لتوليد البيانات الاصطناعية على مستوى المؤسسات من NVIDIA، وهي تعمل على توسيع مجموعتنا العالمية من مجموعات بيانات الذكاء الاصطناعي السيادية. إنه يعتمد على نجاح مجموعات بياناتنا الشخصية في الولايات المتحدة واليابان ويتضمن ميزات جديدة مصممة خصيصًا للمناظر الطبيعية الغنية ثقافيًا في الهند.
تتكامل مجموعة البيانات هذه بسلاسة مع نماذج النيموترون وغيرها من شهادات LLM مفتوحة المصدر، مما يجعل من السهل ضبط أنظمة الذكاء الاصطناعي لحالات الاستخدام الهندية – بدءًا من روبوتات الدردشة متعددة اللغات وحتى مساعدي الطيارين المتخصصين القائمين على أسس ثقافية.
يكمل هذا الإصدار مجموعتنا السابقة من مجموعات بيانات التقييم الهندية – بما في ذلك ChatRAG-Hi، وIFEval-Hi، وMT-Bench-Hi، وGSM8K-Hi، وBFCL-Hi – مما يدعم مسارًا كاملاً بدءًا من توليد البيانات الاصطناعية وحتى التقييم الدقيق للنماذج لأنظمة الذكاء الاصطناعي الهندية.
ماذا يوجد في مجموعة البيانات؟
- إجمالي 21 مليون شخص (سجلات 3M × 7 أشخاص لكل منهم)
- دعم متعدد اللغات: الإنجليزية والهندية، بالكتابة الديفاناغارية واللاتينية
- 27 حقلاً لكل سجل: السمات الشخصية + السمات السياقية المرتكزة على التعداد الرسمي وإحصاءات العمل، بما في ذلك العمر والجنس والتعليم والمهنة والولاية والمنطقة والمزيد
- إجمالي 7.7 مليار رمز، بما في ذلك 2.9 مليار من الرموز الشخصية
- الإنجليزية: إجمالي 1B من الرموز، و394 مليون من الرموز الشخصية
- الهندية (الديفاناجارية): إجمالي 4.7 مليار رمز مميز، و1.8 مليار رمز شخصي
- الهندية (اللاتينية): إجمالي 2B من الرموز، و746 مليون من الرموز الشخصية
- ~560 ألف اسم كامل فريدمما يعكس التنوع اللغوي الهائل في الهند
- 2.9 ألف فئة مهنيةبما في ذلك القطاعات غير الرسمية والرسمية والتقليدية
- جميع ولايات الهند الـ 36 و640 مقاطعة ممثلة
- مجالات اللغة الطبيعية الخلفية الثقافية والخلفية اللغوية والمهارات والخبرات والهوايات والاهتمامات
- أنواع الشخصية: يشمل الشخصيات العامة والمهنية واللغوية والطهي والرياضة والفنون والسفر
- مرخص بموجب CC BY 4.0 للاستخدام التجاري وغير التجاري
كيف بنيناها
خط أنابيب توليد البيانات
تم إنتاجه باستخدام NeMo Data Designer، وهي خدمة NVIDIA الصغيرة لإنشاء البيانات الاصطناعية. يتيح نظام الذكاء الاصطناعي المركب هذا التوليد باستخدام قوالب Jinja المعقدة، والتحقق من صحة Pydantic، والمخرجات المنظمة، وإعادة المحاولة الآلية، ويدعم الواجهات الخلفية متعددة الأجيال – وهي الأدوات اللازمة لتوسيع نطاق مجموعة بيانات اصطناعية بهذا الحجم. كما قمنا بالاستفادة من النماذج التالية:
- النموذج الرسومي الاحتمالي (Apache-2.0) للتأريض الإحصائي
- جي بي تي-OSS-120B (أباتشي-2.0) لتوليد السرد باللغات الإنجليزية والهندية (الديفاناجارية) والهندية (اللاتينية)
السياق الثقافي المضمن
تمت مواءمة مجموعة البيانات هذه مع التوزيعات الديموغرافية الرسمية للهند من التعداد السكاني لعام 2011 وتم توسيعها لتشمل السمات الأساسية للتدريب الجدير بالثقة على الذكاء الاصطناعي:
- تعليم: توسيع مستويات الدرجات العلمية لتعكس المسارات الأكاديمية المتنوعة في الهند
- المهن: تشمل القطاعات الرسمية وغير الرسمية والتقليدية مثل الزراعة والخياطة والبيع في الشوارع
- مراحل الحياة: وشملت فئات الطلاب وربات البيوت والمتقاعدين والعاطلين عن العمل
- السمات الثقافية: الهياكل الأسرية والمهرجانات الإقليمية وتقاليد الزواج وأعرافه
- الفجوة الرقمية: أنماط الاستخدام النموذجية عبر خطوط المناطق الحضرية/الريفية والعمر والدخل
- التنوع اللغوي: يتضمن تنوعًا لا يصدق فيما يتعلق باللغات المنطوقة الأولى والثانية والثالثة لكل شخصية اصطناعية
خاص حسب التصميم
لا أسماء حقيقية. لا يوجد خطر إعادة تحديد الهوية.
جميع الشخصيات اصطناعية بالكامل. على الرغم من اعتمادها على التوزيعات الواقعية من التعداد السكاني لعام 2011 وبيانات القوائم الانتخابية الهندية المحللة، إلا أنه لا توجد بيانات مرتبطة بأي فرد حي أو متوفى. ويضمن ذلك أن يتمكن المطورون من تدريب أنظمة الذكاء الاصطناعي بأمان دون مخاطر الخصوصية أو العوائق التنظيمية.
لمن هذا
صُممت من أجل الهند، وجاهزة للعالم
تم تصميم Nemotron-Personas-India للمطورين الذين يقومون ببناء أنظمة الذكاء الاصطناعي السيادية من أجل السوق الهندي، بالإضافة إلى الفرق العالمية التي تتطلع إلى تكييف النماذج مع السياق اللغوي والثقافي والاجتماعي الفريد للهند.
تعكس معظم مجموعات البيانات المفتوحة اليوم المعايير الغربية الناطقة باللغة الإنجليزية، مما يحد من أداء الذكاء الاصطناعي في بيئات الهند المتعددة اللغات والمتعددة النصوص والمعقدة ديموغرافيًا.
تطبيقات الذكاء الاصطناعي العملية
مع Nemotron-Personas-India، يمكن للفرق:
- توليد بيانات تدريبية متنوعة وواقعية في اللغات والنصوص الهندية
- ضبط النماذج لالتقاطها الفروق الدقيقة الاجتماعية والمهنية والثقافية المحلية
- يبني وكلاء الذكاء الاصطناعي المدركين للمنطقة التي تعمم عبر العديد من المجتمعات في الهند
- يطور مساعدين طيارين خاصين بالمجال تم ضبطها على سير العمل المهني والمدني الهندي
- يخلق أنظمة متعددة اللغات قادرة على التعامل محادثات معقدة متعددة المنعطفات ومستويات متفاوتة من الطلاقة الرقمية
لماذا يهم؟
يتحدث سكان الهند البالغ عددهم 1.4 مليار نسمة مئات اللغات ويعيشون عبر انقسامات ثقافية واقتصادية وجغرافية واسعة. تشير تقديرات بوابة الذكاء الاصطناعي الوطنية في الهند إلى أن أكثر من 7000 شركة ناشئة في مجال الذكاء الاصطناعي ومؤسسات بحثية تعمل على بناء أنظمة ذكاء اصطناعي ذات صلة محليًا، وتعمل مبادرة الهند الرقمية والبرامج الحكومية مثل IndiaAI على تسريع اعتمادها.
ولكن التقدم مقيد بفعل فجوة أساسية: بيانات التدريب العالية الجودة والمرتكزة على أسس ثقافية والتي تعكس الواقع الديموغرافي في الهند. وبدون مجموعات البيانات التمثيلية، تواجه أنظمة الذكاء الاصطناعي صعوبة في التبديل بين اللغتين الإنجليزية والهندية، وتفشل في فهم الفئات المهنية الإقليمية، وتفتقد السياق الثقافي الضروري للثقة والتبني.
وتعمل مجموعة البيانات على تحسين تنوع البيانات المولدة صناعيا، وتخفيف التحيزات، ومنع انهيار النموذج (التدهور الناجم عن التدريب غير المنظم على مخرجات نموذج آخر) من خلال عكس التوزيعات الجغرافية والديموغرافية الحقيقية في الهند.
نيموترون-شخصيات-الهند يدعم بناة النماذج الهندية في تطوير أنظمة الذكاء الاصطناعي السيادية التي تتضمن التركيبة السكانية والسياق الثقافي المهم الخاص بالمنطقة.
ابدأ البناء باستخدام Nemotron-Personas-India
هل ترغب في بناء أنظمة ذكاء اصطناعي تفهم ثقافة الهند ولغاتها وشعبها؟
لبدء التجربة اليوم:
from datasets import load_dataset
nemotron_personas_en = load_dataset("nvidia/Nemotron-Personas-India", "en_IN")
nemotron_personas_hi_deva = load_dataset("nvidia/Nemotron-Personas-India", "hi_Deva_IN")
nemotron_personas_hi_latn = load_dataset("nvidia/Nemotron-Personas-India", "hi_Latn_IN")
سواء كنت منشئ نماذج هنديًا يقوم بتطوير Sovereign AI أو مطورًا عالميًا يسعى إلى اعتماد إقليمي أفضل، فإن Nemotron-Personas-India توفر الأساس الأصيل والآمن للخصوصية الذي تحتاجه تطبيقاتك.
قم بتنزيله. صقلها. بناء الذكاء الاصطناعي الذي يفهم الهند. إذا كنت مستعدًا للتعمق أكثر، فإن الإصدار الموسع من Nemotron-Personas-India (الذي يتضمن على سبيل المثال، الأسماء الأولى/الأخيرة والدين والعناوين الاصطناعية) متاح في NeMo Data Designer.
