النماذج المفتوحة ومجموعات البيانات الجديدة

في مؤتمرها السنوي GTC، كشفت NVIDIA عن ثلاثة إصدارات رائدة مفتوحة المصدر تهدف إلى تسريع تطوير الذكاء الاصطناعي المادي. إطلاق مجموعة جديدة من نماذج الأساس العالمية (WFMs) مع عناصر تحكم متعددة تسمى نقل الكون، برعاية عالية مجموعة بيانات الذكاء الاصطناعي الفيزيائية، وأول نموذج مفتوح للاستدلال البشري العام يسمى نفيديا إسحاق GR00T N1 – يمثل قفزة كبيرة إلى الأمام في تكنولوجيا الذكاء الاصطناعي المادي، حيث يوفر للمطورين أدوات وموارد قوية لتطوير أنظمة الروبوتات، وتعزيز تكنولوجيا المركبات ذاتية القيادة.

نموذج مؤسسة العالم الجديد – نقل الكون

تقدم Cosmos Transfer، أحدث إضافة إلى نماذج الأساس العالمي (WFMs) من NVIDIA’s Cosmos، مستوى جديدًا من التحكم والدقة في إنشاء مشاهد العالم الافتراضي.

يستخدم النموذج، المتوفر بحجم 7 مليارات معلمة، عناصر تحكم متعددة لتوجيه إنشاء مشاهد عالمية عالية الدقة من المدخلات الهيكلية، مما يضمن المحاذاة المكانية الدقيقة وتكوين المشهد.

كيف يعمل

تم بناء النموذج من خلال تدريب شبكات التحكم الفردية بشكل منفصل لكل طريقة استشعار تستخدم لالتقاط العالم المحاكى.

تتضمن أنواع الإدخال خريطة المربع المحيطي ثلاثية الأبعاد، وخريطة المسار، وخريطة العمق، وخريطة التجزئة.

• في وقت الاستدلال، يمكن للمطورين استخدام أنواع مختلفة من المدخلات، بما في ذلك البيانات المرئية أو الهندسية المنظمة مثل خرائط التجزئة، وخرائط العمق، وخرائط الحافة، ونقاط مفاتيح الحركة البشرية، ومسح LiDAR، والمسارات، والخرائط عالية الدقة، والمربعات المحيطة ثلاثية الأبعاد لتوجيه المخرجات.
• يتم ضرب إشارات التحكم من كل فرع تحكم في خرائط التحكم الزمانية المكانية التكيفية المقابلة لها ثم يتم جمعها قبل إضافتها إلى كتل المحولات في النموذج الأساسي.
• الإخراج الذي تم إنشاؤه عبارة عن تسلسلات فيديو واقعية مع تخطيط متحكم فيه وموضع الكائن والحركة. يمكن للمطورين التحكم في الإخراج بطرق متعددة، مثل الحفاظ على البنية والمظهر أو السماح بتغيرات المظهر مع الحفاظ على البنية.

تنقل المخرجات من Cosmos البيئات والأحوال الجوية المختلفة.

تعمل Cosmos Transfer إلى جانب منصة NVIDIA Omniverse على توليد بيانات اصطناعية يمكن التحكم فيها لتطوير الروبوتات والمركبات ذاتية القيادة على نطاق واسع. يمكنك العثور على المزيد من أمثلة نقل Cosmos على GitHub.

عينات Cosmos Transfer التي تم إنشاؤها باستخدام النموذج الأساسي لما بعد التدريب متاحة أيضًا للمركبات ذاتية القيادة.

افتح مجموعة بيانات الذكاء الاصطناعي الفيزيائية

أصدرت NVIDIA أيضًا مجموعة بيانات الذكاء الاصطناعي الفيزيائية، مجموعة بيانات مفتوحة المصدر حول Hugging Face لتطوير الذكاء الاصطناعي المادي. تتكون مجموعة البيانات التجارية التي تم التحقق من صحتها مسبقًا من 15 تيرابايت من البيانات التي تمثل أكثر من 320,000 مسارًا للتدريب على الروبوتات، بالإضافة إلى ما يصل إلى 1,000 من أصول وصف المشهد العالمي (OpenUSD)، بما في ذلك مجموعة SimReady.

تم تصميم مجموعة البيانات لنماذج الأساس لما بعد التدريب مثل نماذج الأساس العالمية Cosmos Predict، مما يوفر للمطورين بيانات عالية الجودة ومتنوعة لتعزيز نماذج الذكاء الاصطناعي الخاصة بهم.

نموذج مصمم خصيصًا للكائنات البشرية – NVIDIA Isaac GR00T N1

إعلان مثير آخر هو إطلاق NVIDIA Isaac GR00T N1، أول نموذج أساس مفتوح في العالم للتفكير والمهارات العامة للروبوت البشري. يأخذ نموذج التجسيد المتقاطع هذا مدخلات متعددة الوسائط، بما في ذلك اللغة والصور، لتنفيذ مهام المعالجة في بيئات متنوعة. يتوفر طراز NVIDIA Isaac GR00T-N1-2B على Hugging Face.

تم تدريب Isaac GR00T N1 على مجموعة بيانات بشرية موسعة، تتكون من بيانات حقيقية تم التقاطها، وبيانات تركيبية تم إنشاؤها باستخدام مكونات NVIDIA Isaac GR00T Blueprint، وبيانات الفيديو على نطاق الإنترنت. وهو قابل للتكيف من خلال التدريب اللاحق لتجسيدات ومهام وبيئات محددة.

يستخدم Isaac GR00T N1 نموذجًا واحدًا ومجموعة من الأوزان لتمكين سلوكيات التلاعب على العديد من الروبوتات البشرية، مثل Fourier GR-1 و1X Neo. إنه يُظهر تعميمًا قويًا عبر مجموعة من المهام، بما في ذلك الإمساك بالأشياء والتعامل معها بإحدى الذراعين أو كلتيهما، بالإضافة إلى نقل العناصر بين الذراعين. ويمكنه أيضًا تنفيذ مهام معقدة ومتعددة الخطوات تتطلب فهمًا سياقيًا مستدامًا وتكاملًا للمهارات المتنوعة. هذه القدرات تجعلها مناسبة تمامًا للتطبيقات في مجال مناولة المواد والتعبئة والفحص.

يتميز Isaac GR00T N1 ببنية النظام المزدوج المستوحاة من الإدراك البشري، والتي تتكون من المكونات التكميلية التالية:

• نموذج الرؤية واللغة (النظام 2): يعتمد نظام التفكير المنهجي هذا على NVIDIA-Eagle مع SmolLM-1.7B. فهو يفسر البيئة من خلال تعليمات الرؤية واللغة، مما يمكّن الروبوتات من التفكير بشأن بيئتها وتعليماتها، والتخطيط للإجراءات الصحيحة.
• محول الانتشار (النظام 1): يقوم نموذج العمل هذا بإنشاء إجراءات مستمرة للتحكم في حركات الروبوت، وترجمة خطة العمل التي وضعها النظام 2 إلى حركات روبوت دقيقة ومستمرة.

المسار إلى الأمام

ما بعد التدريب هو الطريق إلى الأمام لتطوير الأنظمة المستقلة، وإنشاء نماذج متخصصة لمهام الذكاء الاصطناعي المادية.

تحقق من GitHub للتعرف على البرامج النصية لاستدلال Cosmos Predict وCosmos Transfer. استكشف الورقة البحثية Cosmos Transfer لمزيد من التفاصيل.

يتوفر طراز NVIDIA Isaac GR00T-N1-2B على Hugging Face. نماذج مجموعات البيانات والبرامج النصية PyTorch لمرحلة ما بعد التدريب باستخدام مجموعات بيانات المستخدم المخصصة، والتي تتوافق مع تنسيق Hugging Face LeRobot متاحة على GitHub. لمزيد من المعلومات حول نموذج إسحاق GR00T N1، راجع الورقة البحثية.

اتبع NVIDIA على Hugging Face لمزيد من التحديثات.