LeRobot v0.5.0: قياس كل الأبعاد

مع أكثر من 200 ممثل علاقات عامة مدمج وأكثر من 50 مساهمًا جديدًا منذ الإصدار 0.4.0، يعد LeRobot الإصدار 0.5.0 أكبر إصدار لدينا حتى الآن – حيث يتوسع في كل اتجاه في وقت واحد. المزيد من الروبوتات (بما في ذلك أول روبوت بشري لدينا)، والمزيد من السياسات (بما في ذلك عودة VLAs ذات الانحدار التلقائي)، ومجموعات البيانات الأسرع، وبيئات المحاكاة التي يمكنك تحميلها مباشرة من Hub، وقاعدة تعليمات برمجية حديثة تعمل على Python 3.12 وTransformers v5. سواء كنت تقوم بتدريب السياسات على المحاكاة أو نشرها على أجهزة حقيقية، فإن الإصدار 0.5.0 لديه ما يناسبك.

ليرة تركية؛ د

يضيف الإصدار 0.5.0 من LeRobot دعمًا بشريًا كاملاً من Unitree G1 (نماذج التحكم في الجسم بالكامل)، وسياسات جديدة – بما في ذلك VLAs ذات الانحدار التلقائي Pi0-FAST والتقطيع في الوقت الحقيقي للاستدلال سريع الاستجابة – وترميز الفيديو المتدفق الذي يلغي أوقات الانتظار بين حلقات التسجيل. يقدم الإصدار أيضًا EnvHub لتحميل بيئات المحاكاة من Hugging Face Hub، وتكامل NVIDIA IsaacLab-Arena، وتحديث قاعدة التعليمات البرمجية الرئيسية باستخدام Python 3.12+، وTransformers v5، والمكونات الإضافية لسياسة الطرف الثالث.

جدول المحتويات

الأجهزة: المزيد من الروبوتات من أي وقت مضى

يعمل LeRobot v0.5.0 على توسيع قائمة الأجهزة المدعومة بشكل كبير – بدءًا من الأسلحة والروبوتات المحمولة وحتى الروبوتات البشرية الكاملة.

يونيتري G1 الروبوت

أكبر إضافة للأجهزة في هذا الإصدار: الدعم الكامل للروبوت Unitree G1. هذا هو أول تكامل بشري لـ LeRobot، وهو شامل:

• الحركة: المشي والتنقل والتنقل عبر البيئات.
• تلاعب: أداء مهام معالجة الكائنات ببراعة.
• التشغيل عن بعد: تحكم في G1 عن بعد باستخدام واجهة التشغيل عن بعد البديهية.
• التحكم في الجسم بالكامل (WBC): تنسيق الحركة والتلاعب في وقت واحد للمهام المعقدة في العالم الحقيقي.

يمثل تكامل G1 خطوة كبيرة نحو الروبوتات ذات الأغراض العامة داخل LeRobot – والانتقال من أذرع الطاولة إلى الذكاء الاصطناعي المتجسد لكامل الجسم. جربه بنفسك باتباع الوثائق.

أوبن آرم و أوبن آرم ميني

لقد أضفنا دعمًا لـ الذراع المفتوحة الروبوت ورفيقه اوبن ارم ميني مشغل عن بعد. OpenArm هو ذراع روبوت قادر على التكامل الكامل مع LeRobot، ويعمل Mini كجهاز طبيعي للتشغيل عن بعد. كلا الدعم التكوينات اليدوية الثنائية، مما يتيح إعدادات الذراع المزدوجة لمهام المعالجة الأكثر تعقيدًا. التحقق من ذلك في الوثائق.

المزيد من الروبوتات

يستمر النظام البيئي للأجهزة في النمو:

• الأرض روفر: أول تكامل للروبوت المتنقل لدينا، حيث جلب LeRobot إلى الملاحة الخارجية والروبوتات على مستوى الأرض.
• روبوت أو إم إكس: ذراع روبوت جديد مع إعدادات قابض قابلة للتكوين ودعم المعايرة.
• توحيد SO-100/SO-101: لقد قمنا بتوحيد تطبيقات SO-100 وSO-101 في قاعدة تعليمات برمجية واحدة أكثر وضوحًا – بما في ذلك الإعدادات الثنائية اليدوية. تكرار أقل للكود، وصيانة أسهل، ونفس الروبوتات الرائعة.

يمكن لمحركات الحافلات

دعم وحدة التحكم في المحرك الجديد عبر ناقل CAN (شبكة منطقة التحكم) يفتح الباب أمام المحركات ذات الأداء العالي:

• روبسترايد: وحدة تحكم في المحرك قائمة على CAN لتطبيقات عزم الدوران العالي.
• دامياو: وحدة تحكم أخرى بمحرك ناقل CAN، تعمل على توسيع نطاق الأجهزة المتوافقة.

تعني هذه الإضافات أن LeRobot يمكنه الآن تشغيل مجموعة واسعة من المحركات الاحترافية بما يتجاوز النظام البيئي Dynamixel وFeetech الحالي.

السياسات: حديقة حيوانات نموذجية متنامية

يقدم هذا الإصدار ست سياسات وتقنيات جديدة إلى LeRobot، مما يدفع حدود ما هو ممكن من خلال تعلم الروبوت مفتوح المصدر.

Pi0-FAST: VLAs الانحدار الذاتي

Pi0-FAST يجلب نماذج الرؤية واللغة والإجراء الانحدارية إلى LeRobot باستخدام FAST (الترميز المميز لتسلسل عمل التردد والفضاء). على عكس نهج مطابقة التدفق الخاص بـ Pi0، يستخدم Pi0-FAST خبيرًا في إجراءات الانحدار الذاتي (استنادًا إلى Gemma 300M) الذي يقوم بإنشاء رموز عمل مميزة، مما يتيح:

• ترميز سريع: يتم ترميز الإجراءات لفك تشفير الانحدار التلقائي، باستخدام رمز مميز للإجراء FAST مخصص.
• فك تشفير مرن: درجة حرارة قابلة للتكوين والحد الأقصى لخطوات فك التشفير لتحقيق التوازن بين السرعة والجودة.
• متوافق مع RTC: يعمل مع التقطيع في الوقت الفعلي (انظر القسم التالي) للاستدلال سريع الاستجابة.

lerobot-train \
  --policy.type=pi0_fast \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human \
  --policy.device=cuda

التقطيع في الوقت الحقيقي (RTC)

التقطيع في الوقت الحقيقي هي تقنية استدلال زمني من الذكاء الفيزيائي تجعل سياسات مطابقة التدفق أكثر استجابة بشكل كبير. بدلاً من انتظار انتهاء جزء الإجراء الكامل قبل إعادة التخطيط، يمزج RTC باستمرار التنبؤات الجديدة مع الإجراءات قيد التنفيذ، مما ينتج عنه سلوك أكثر سلاسة وتفاعلية.

إن RTC ليست سياسة مستقلة – إنها عبارة عن تحسين يتم توصيله بسياسات مطابقة التدفق الحالية (عائلة Pi0، وSmolVLA، وDiffusion). تكوينه عبر --policy.rtc_config.enabled=true.

يعد هذا بمثابة تغيير في قواعد اللعبة بالنسبة للنشر في العالم الحقيقي حيث يكون زمن الاستجابة مهمًا. اقرأ الورقة الأصلية للحصول على التفاصيل الفنية ووثائقنا.

الجدار-X

الجدار-X هي سياسة VLA جديدة مبنية عليها Qwen2.5-VL مع التنبؤ العمل مطابقة التدفق. فهو يجمع بين الفهم القوي للغة الرؤية لـ Qwen2.5-VL ورأس مطابقة التدفق للتحكم الآلي في التجسيد المتقاطع.

pip install lerobot[wall_x]
lerobot-train \
  --policy.type=wall_x \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

X-VLA

X-VLA يجلب أ مقرها فلورنسا 2 VLA إلى LeRobot. يوفر X-VLA، المبني على نموذج لغة الرؤية Florence-2 من Microsoft، العمود الفقري البديل لسياسات VLA، مما يوسع تنوع النماذج الأساسية المتاحة لتعلم الروبوت. راجع دليل التدريب للحصول على تعليمات الإعداد والنموذج الأساسي.

pip install lerobot[xvla]
lerobot-train \
  --policy.type=xvla \
  --dataset.repo_id=lerobot/bimanual-so100-handover-cube

سارم

SARM (نمذجة المكافآت على مستوى المرحلة) يعالج واحدة من أصعب المشاكل في تعلم الروبوتات: المهام طويلة المدى. بدلاً من استخدام إشارة تقدم خطية عالمية واحدة على مدار الحلقة بأكملها، فإنها تصمم التقدم بطريقة تدرك المرحلة من خلال التنبؤ بكل من مرحلة المهمة والتقدم خلال تلك المرحلة. وهذا يجعل من الأسهل بكثير تدريب السياسات على مهام معالجة معقدة ومتعددة الخطوات. ابدأ تجربته باتباع الوثائق.

دعم بي إي إف تي

يمكنك الآن ضبط VLAs الكبيرة باستخدام LoRA (وطرق PEFT الأخرى) دون تعديل مسار التدريب الأساسي. يوجد تكوين PEFT على مستوى السياسة، مما يجعل من السهل تكييف نماذج الأساس الضخمة مع الروبوت الخاص بك والمهمة المحددة بجزء صغير من الحوسبة. تعرف على المزيد من خلال قراءة الوثائق.

lerobot-train \
  --policy.type=pi0 \
  --policy.peft_config.use_peft=true \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

مجموعات البيانات: تسجيل أسرع، تدريب أسرع

يحصل مسار مجموعة البيانات على تحسينات كبيرة في الأداء في هذا الإصدار، مما يجعل جمع البيانات والتدريب أسرع بشكل ملحوظ.

ترميز الفيديو المتدفق

في السابق، كان تسجيل مجموعة البيانات يعني الانتظار بعد كل حلقة حتى ينتهي تشفير الفيديو. لا أكثر. باستخدام تشفير الفيديو المتدفق، يتم تشفير الإطارات في الوقت الفعلي عند التقاطها – وهذا يعني صفر وقت الانتظار بين الحلقات. ما عليك سوى إنهاء حلقة واحدة والبدء فورًا في الحلقة التالية.

يدعم أيضًا تشفير البث الكشف التلقائي عن أجهزة التشفير، لذلك إذا كان نظامك يحتوي على برنامج تشفير فيديو مُسرّع بواسطة وحدة معالجة الرسومات، فسيستخدمه LeRobot تلقائيًا:

dataset = LeRobotDataset.create(
    repo_id="my/dataset",
    fps=30,
    video_backend="auto",       
    streaming_encoding=True,    
)

يمكن أن يختلف أداء تشفير البث بشكل كبير وفقًا لجهازك وإعدادات التسجيل (عدد الكاميرات، والدقة، وما إلى ذلك). تأكد من مراجعة وثائق ترميز الفيديو المتدفق قبل تمكينه.

تدريب أسرع على الصور 10x، وترميز أسرع 3x

ضمن هذا الغطاء، قمنا بإصلاح اختناقات الوصول إلى البيانات الرئيسية وإصلاح معالجة الصور:

• تدريب أسرع على الصور بـ 10 مرات: تحسين دعم تحويل الصور وإصلاح اختناقات الوصول إلى البيانات التي كانت تؤدي إلى إبطاء التدريب بصمت.
• ترميز أسرع 3 مرات: أصبح التشفير المتوازي الآن هو الإعداد الافتراضي عبر جميع الأنظمة الأساسية، مع مستويات ضغط ديناميكية تتكيف مع نوع مجموعة البيانات الخاصة بك (فيديو مقابل صورة)، عند عدم استخدام البث.
• استخدام أفضل لوحدة المعالجة المركزية: استخدام أكثر كفاءة للموارد أثناء التسجيل وإنشاء مجموعة البيانات.

أدوات مجموعة البيانات الجديدة

تستمر مجموعة أدوات تحرير مجموعة البيانات في النمو:

• دعم المهام الفرعية: قم بتعليق المهام الفرعية والاستعلام عنها داخل الحلقات لتعلم المهام الهرمية.
• تحويل الصورة إلى الفيديو: قم بتحويل مجموعات البيانات الحالية المستندة إلى الصور إلى تنسيق فيديو لتحسين كفاءة التخزين، مع دعم حلقات متعددة لكل ملف فيديو.
• المزيد من عمليات التحرير: جديد info عملية فحص مجموعات البيانات وأدوات تعديل المهام والإصلاحات العديدة للعمليات الحالية (التقسيم والدمج وتحرير الميزات).
• فضح المزيد من الخيارات: برامج ترميز الفيديو القابلة للتكوين، وإعدادات التسامح، وأحجام المخزن المؤقت لبيانات التعريف للتحكم الدقيق في إنشاء مجموعة البيانات.

EnvHub: بيئات من المحور

EnvHub هي طريقة جديدة لاستخدام بيئات المحاكاة في LeRobot: قم بتحميلها مباشرةً من Hugging Face Hub. بدلاً من تثبيت حزم البيئة محليًا وتوصيل التسجيل، يمكنك الآن توجيه LeRobot إلى مستودع Hub وهو يتعامل مع كل شيء — تنزيل رمز البيئة، وتسجيله في Gymnasium، وإتاحته للتدريب والتقييم.

تستخدم بيئات المحور HubEnvConfig، والذي يتم تنزيله وتنفيذه عن بعد make_env وظائف:

lerobot-train \
  --env.type=hub \
  --env.hub_path="username/my-custom-env" \
  --policy.type=act

يؤدي هذا إلى تقليل حاجز مشاركة بيئات المحاكاة المخصصة مع المجتمع. احزم بيئتك، وادفعها إلى المركز، ويمكن لأي شخص أن يتدرب عليها. تحقق من الوثائق لمعرفة المزيد. فيما يلي مثال للبدء: البرنامج التعليمي LeIsaac x LeRobot EnvHub.

نفيديا إسحاق لاب أرينا

لقد دمجنا نفيديا إسحاق لاب أرينا، مما يوفر محاكاة GPU المسرّعة إلى LeRobot. توفر IsaacLab-Arena مجموعة من مهام المعالجة التي تعمل على Isaac Sim من NVIDIA، مما يوفر مثيلات بيئة متوازية على نطاق واسع للتعلم المعزز السريع. يتضمن التكامل خطوات مخصصة لما قبل/ما بعد المعالجة وتوافقًا كاملاً مع مسار تدريب LeRobot. تحقق من الوثائق.

قاعدة التعليمات البرمجية: مؤسسة حديثة

يقوم هذا الإصدار بتحديث قاعدة التعليمات البرمجية:

• بايثون 3.12+: يتطلب LeRobot الآن إصدار Python 3.12 كحد أدنى، مما يتيح بناء الجملة الحديث والأداء الأفضل.
• المحولات v5: لقد انتقلنا إلى Hugging Face Transformers v5، لنظل مطلعين على أحدث نموذج للنظام البيئي.
• المكونات الإضافية لسياسة الطرف الثالث: تمامًا مثل نظام المكونات الإضافية للأجهزة في الإصدار 0.4.0، يمكنك الآن تسجيل السياسات المخصصة كحزم قابلة للتثبيت — pip install lerobot_policy_mypolicy واستخدامها مع --policy.type=mypolicy. لا حاجة إلى تغييرات المكتبة الأساسية. تعرف على كيفية القيام بذلك باتباع الوثائق.
• إعادة تشغيل التصور عن بعد: تصور القياس عن بعد الخاص بالروبوت الخاص بك عن بعد باستخدام Rerun، مع دعم الصورة المضغوطة للتدفق الفعال لعرض النطاق الترددي.
• تحسينات التثبيت: أضيفت uv تعليمات التثبيت وخطوات الإعداد الموضحة وإدارة التبعية المحسنة. تم الآن توثيق خطوات التثبيت التسلسلية بشكل واضح.
• إصدار التوثيق: تم الآن إصدار المستندات، لذا يمكنك دائمًا العثور على الوثائق المطابقة للإصدار المثبت لديك.
• عثرة نسخة PyTorch: تم تحديث حدود إصدار PyTorch لدعم وحدات معالجة الرسومات NVIDIA Blackwell.

المجتمع والنظام البيئي

• الخلاف الحديث: تم تحديث مركز المجتمع الأكثر حيوية من خلال تنظيم أفضل للقناة.
• الملف التمهيدي لـ GitHub والقوالب ووضع العلامات الآلية: ملف README محدث، والإصدار الجديد وقوالب العلاقات العامة، وإرشادات المساهمة، ووضع العلامات التلقائية على التذاكر – مما يسهل على الجميع المساهمة.
• قبول الأوراق ICLR 2026: تم قبول ورقة LeRobot في ICLR 2026!
• تحديث LeRobot Visualizer: تم تحديث أداة التمثيل المرئي باستخدام شارات تصور مجموعة البيانات الجديدة والوظائف المحسنة. تحقق من ذلك !
• استوديو التعليقات التوضيحية من LeRobot: مساحة HuggingFace مصممة لتعليق كل لحظة من مجموعة البيانات الخاصة بك بسهولة باستخدام المهام الفرعية باللغة الطبيعية. تحقق من ذلك !

الأفكار النهائية

بالإضافة إلى هذه الميزات الرئيسية، يتضمن الإصدار 0.5.0 المئات من إصلاحات الأخطاء وتحسينات التوثيق وتحسينات CI/CD وتحسينات جودة الحياة عبر قاعدة التعليمات البرمجية بأكملها. بدءًا من التحقق الأفضل من النوع وحتى البنية التحتية الأكثر قوة للاختبار، نحن نستثمر في الأسس التي تجعل LeRobot موثوقًا وقابلاً للصيانة أثناء توسعه.

نريد تمديد ضخمة شكرا للجميع في المجتمع – المساهمين والمستخدمين والمتعاونين على حد سواء – لمساعدة LeRobot على النمو إلى ما هو عليه اليوم. كل تقرير عن الأخطاء والعلاقات العامة والمناقشة يجعل هذا المشروع أفضل.

ترقبوا المزيد في المستقبل 🤗 ابدأ هنا! – فريق LeRobot ❤️

هناك مفاجأة كبيرة قادمة على الأبواب، ترقبوا ذلك! 👕