أصدرت NVIDIA اليوم Cosmos Reason 2، وهو أحدث تقدم في نماذج لغة الرؤية المنطقية المفتوحة للذكاء الاصطناعي المادي. يتفوق Cosmos Reason 2 على نسخته السابقة من حيث الدقة ويتصدر قوائم المتصدرين لمنصة الذكاء الاصطناعي الفيزيائي والاستدلال الفيزيائي باعتباره النموذج المفتوح رقم 1 للفهم البصري.
NVIDIA Cosmos السبب 2: نموذج لغة الرؤية المنطقية للذكاء الاصطناعي المادي
منذ طرحها، تحسنت نماذج لغة الرؤية بسرعة في مهام مثل التعرف على الأشياء والأنماط في الصور. لكنهم ما زالوا يعانون من المهام التي يجدها البشر طبيعية، مثل التخطيط لعدة خطوات للأمام، أو التعامل مع عدم اليقين أو التكيف مع المواقف الجديدة. تم تصميم Cosmos Reason لسد هذه الفجوة من خلال منح الروبوتات ووكلاء الذكاء الاصطناعي حسًا سليمًا ومنطقًا أقوى لحل المشكلات المعقدة خطوة بخطوة.
يعد Cosmos Reason 2 نموذجًا متطورًا للغة الرؤية والتفكير المفتوح (VLM) الذي يمكّن الروبوتات ووكلاء الذكاء الاصطناعي من الرؤية والفهم والتخطيط والتصرف في العالم المادي مثل البشر. ويستخدم الفطرة السليمة والفيزياء والمعرفة السابقة للتعرف على كيفية تحرك الأشياء عبر المكان والزمان للتعامل مع المهام المعقدة، والتكيف مع المواقف الجديدة، ومعرفة كيفية حل المشكلات خطوة بخطوة.
✨ النقاط الرئيسية
-
تحسين الفهم المكاني والزماني ودقة الطابع الزمني.
-
أداء مُحسّن مع خيارات نشر مرنة من الحافة إلى السحابة باستخدام أحجام نماذج المعلمات 2B و8B.
-
دعم مجموعة موسعة من الفهم المكاني وقدرات الإدراك البصري – توطين النقاط ثنائية/ثلاثية الأبعاد، وإحداثيات المربع المحيط، وبيانات المسار، ودعم التعرف الضوئي على الحروف.
-
تحسين فهم السياق الطويل باستخدام 256 ألف رمز إدخال، مقارنة بـ 16 ألفًا مع Cosmos Reason 1.
-
قابلة للتكيف مع حالات الاستخدام المتعددة مع وصفات كتاب الطبخ Cosmos سهلة الاستخدام.
🤖 حالات الاستخدام الشائعة
-
وكلاء الذكاء الاصطناعي لتحليلات الفيديو — يمكن لهؤلاء الوكلاء استخلاص رؤى قيمة من كميات هائلة من بيانات الفيديو لتحسين العمليات. يعتمد Cosmos Reason 2 على قدرات Cosmos Reason 1 ويوفر الآن دعم التعرف الضوئي على الحروف، بالإضافة إلى توطين النقاط ثنائية وثلاثية الأبعاد ومجموعة من فهم العلامات.
مثال على كيفية فهم Cosmos Reason للنص المضمن في مقطع فيديو لتحديد حالة الطريق أثناء عاصفة ممطرة. يمكن للمطورين البدء في تطوير وكلاء الذكاء الاصطناعي لتحليلات الفيديو باستخدام مخطط NVIDIA للبحث عن الفيديو وتلخيصه (VSS) مع Cosmos Reason باعتباره VLM.
تعمل Salesforce على إحداث تحول في السلامة والامتثال في مكان العمل من خلال تحليل لقطات الفيديو التي تم التقاطها بواسطة روبوتات Cobalt باستخدام مخطط Agentforce وVSS باستخدام Cosmos Reason مثل VLM.
-
شرح البيانات ونقدها – تمكين المطورين من أتمتة التعليقات التوضيحية والنقد عالي الجودة لمجموعات بيانات التدريب الضخمة والمتنوعة. يوفر Cosmos Reason طوابع زمنية وأوصافًا تفصيلية لمقاطع الفيديو التدريبية الحقيقية أو الاصطناعية.
مثال على نموذج مطالبة بإنشاء تسميات توضيحية مفصلة ومختومة زمنيًا لفيديو سيارة سباق. تستكشف أوبر Cosmos Reason 2 لتقديم تعليقات فيديو دقيقة وقابلة للبحث لبيانات تدريب المركبات ذاتية القيادة (AV)، مما يتيح التعرف الفعال على سيناريوهات القيادة المهمة. يوضح هذا السبب 2 الذي تم تأليفه بشكل مشترك للتسمية التوضيحية لفيديو AV ووصفة VQA كيفية ضبط وتقييم Cosmos Reason 2-8B على مقاطع فيديو AV المشروحة. عبر مقاييس التقييم المتعددة، تم تحقيق تحسينات قابلة للقياس: تحسنت درجات BLEU بنسبة 10.6% (0.113 → 0.125)، وحصلت VQA المستندة إلى MCQ على 0.67 نقطة مئوية (80.18% → 80.85%)، وزادت LingoQA بنسبة 13.8% (63.2% → 77.0%). توضح هذه المكاسب التكيف الفعال للمجال لتطبيقات AV.
-
تخطيط الروبوت والتفكير – العمل كعقل لاتخاذ قرارات متعمدة ومنهجية في نموذج عمل لغة الرؤية الروبوتية (VLA). يوفر Cosmos Reason 2 الآن إحداثيات المسار بالإضافة إلى تحديد الخطوات التالية.
مثال على إخراج المطالبة وJSON من Cosmos Reason 2 لتوفير الخطوات والمسار الذي يجب أن يتخذه القابض الآلي لتحريك شريط الرسام إلى السلة. توفر Encord دعمًا أصليًا لـ Cosmos Reason 2 في مكتبة Data Agent الخاصة بها ومنصة بيانات الذكاء الاصطناعي، مما يمكّن المطورين من الاستفادة من Cosmos Reason 2 باعتباره VLA للروبوتات وحالات الاستخدام المادية الأخرى للذكاء الاصطناعي.
تستخدم شركات مثل Hitachi وMilestone وVAST Data برنامج Cosmos Reason لتطوير الروبوتات والقيادة الذاتية ووكلاء الذكاء الاصطناعي لتحليلات الفيديو من أجل سلامة المرور وسلامة مكان العمل.
جرب Cosmos Reason 2 على موقع build.nvidia.com واستمتع بتجربة أحدث الميزات من خلال نماذج المطالبات لإنشاء المربعات المحيطة ومسارات الروبوت. قم بتحميل مقاطع الفيديو والصور الخاصة بك لمزيد من التحليل.
قم بتنزيل نماذج Cosmos Reason 2 (2B و8B) على Hugging Face أو استخدم Cosmos Reason 2 في السحابة. سيكون النموذج متاحًا قريبًا على Amazon Web Services وGoogle Cloud وMicrosoft Azure. للبدء، راجع وثائق Cosmos Reason 2 وCosmos Cookbook.
نماذج أخرى من عائلة كوزموس:
🔮 توقع الكون 2.5
Cosmos Predict هو نموذج ذكاء اصطناعي توليدي يتنبأ بالحالات المستقبلية للعالم المادي كفيديو، بناءً على مدخلات النص أو الصورة أو الفيديو.
- قائد مقعد الذكاء الاصطناعي المادي من حيث الجودة والدقة والاتساق العام.
- ما يصل إلى 30 ثانية من المقطع المتسق ماديًا ومؤقتًا لكل جيل.
- يدعم إطارات ودقة متعددة.
- تم تدريبه مسبقًا على 200 مليون مقطع.
- متوفر كنماذج 2B و14B مدربة مسبقًا ونماذج مختلفة 2B بعد التدريب للعرض المتعدد وتكييف الحركة والتدريب على المركبات المستقلة.
تحقق من بطاقة النموذج >>
🔁 نقل الكون 2.5
Cosmos Transfer هو أخف نموذج متعدد التحكم لدينا مصمم لنقل الفيديو إلى النمط العالمي.
- قم بقياس محاكاة واحدة أو فيديو مكاني عبر بيئات وظروف إضاءة مختلفة.
- تحسين الالتزام الفوري والمواءمة الفيزيائية.
- استخدمه مع NVIDIA Isaac Sim™ أو NVIDIA Omniverse NuRec لمحاكاة التحول الحقيقي.
تحقق من بطاقة النموذج >>
🤖 نفيديا GR00T N1.6
NVIDIA GR00T N1.6 هو نموذج عمل لغة الرؤية المنطقية المفتوحة (VLA)، مصمم خصيصًا للروبوتات البشرية، والذي يفتح التحكم الكامل في الجسم ويستخدم NVIDIA Cosmos Reason لتحسين التفكير والفهم السياقي.
موارد
◀️ شاهد عرضًا توضيحيًا لـ Cosmos → https://youtu.be/iWs-2TD5Dcc
🧑🏻🍳 اقرأ كتاب الطبخ الكوني → https://nvda.ws/4qevli8
📚 استكشاف النماذج ومجموعات البيانات → https://github.com/nvidia-cosmos
⬇️ جرب نماذج Cosmos في كتالوجنا المستضاف → https://nvda.ws/3Yg0Dcx
💻 انضم إلى مجتمع Cosmos → https://discord.gg/u23rXTHSC9
🗳️ ساهم في كتاب الطبخ الكوني → https://nvda.ws/4aQcBkk
