دليل عملي لجمع البيانات وسياسات التدريب ونشر سير عمل الروبوتات الطبية المستقلة على أجهزة حقيقية
جدول المحتويات
مقدمة
لقد كانت المحاكاة حجر الزاوية في التصوير الطبي لمعالجة فجوة البيانات. ومع ذلك، في مجال روبوتات الرعاية الصحية حتى الآن، غالبًا ما كانت بطيئة جدًا أو منعزلة أو يصعب ترجمتها إلى أنظمة العالم الحقيقي.
إن NVIDIA Isaac for Healthcare، وهو إطار عمل مطور لروبوتات الرعاية الصحية المدعومة بالذكاء الاصطناعي، يمكّن مطوري روبوتات الرعاية الصحية من حل هذه التحديات من خلال تقديم خطوط أنابيب متكاملة لجمع البيانات والتدريب والتقييم التي تعمل عبر كل من المحاكاة والأجهزة. على وجه التحديد، يوفر الإصدار 0.4 من Isaac for Healthcare لمطوري الرعاية الصحية سير عمل شامل يعتمد على SO – ARM بالإضافة إلى برنامج تعليمي خاص بغرفة العمليات. يعمل سير العمل المبدئي لـ SO-ARM على تقليل العوائق أمام مطوري MedTech لتجربة سير العمل الكامل بدءًا من المحاكاة وحتى التدريب وحتى النشر والبدء في البناء والتحقق من الاستقلالية على أجهزة حقيقية على الفور.
في هذا المنشور، سنتعرف على سير العمل المبدئي وتفاصيل تنفيذه الفني لمساعدتك في بناء روبوت مساعد جراحي في وقت أقل مما كان يمكن تخيله من قبل.
سير عمل SO-ARM المبدئي؛ بناء مساعد جراحي مجسد
يقدم سير العمل المبدئي لـ SO-ARM طريقة جديدة لاستكشاف مهام المساعدة الجراحية، وتزويد المطورين بخط أنابيب كامل وشامل للمساعدة الجراحية المستقلة:
- اجمع بيانات العالم الحقيقي والاصطناعية باستخدام SO-ARM باستخدام LeRobot
- قم بضبط GR00t N1.5، وتقييمه في IsaacLab، ثم نشره على الأجهزة
يوفر سير العمل هذا للمطورين بيئة آمنة وقابلة للتكرار لتدريب المهارات المساعدة وتحسينها قبل الانتقال إلى غرفة العمليات.
التنفيذ الفني
ينفذ سير العمل خط أنابيب من ثلاث مراحل يدمج المحاكاة والأجهزة الحقيقية:
- جمع البيانات: محاكاة مختلطة وعروض توضيحية للعمليات عن بعد في العالم الحقيقي باستخدام SO101 وLeRobot
- التدريب النموذجي: الضبط الدقيق لـ GR00T N1.5 على مجموعات البيانات المدمجة مع رؤية الكاميرا المزدوجة
- نشر السياسة: الاستدلال في الوقت الفعلي على الأجهزة المادية باستخدام اتصال RTI DDS
ومن الجدير بالذكر أن أكثر من 93% من البيانات المستخدمة للتدريب على السياسات تم إنشاؤها صناعيًا في المحاكاة، مما يؤكد قوة المحاكاة في سد فجوة البيانات الآلية.
نهج التدريب المختلط Sim2Real
يجمع سير العمل بين المحاكاة وبيانات العالم الحقيقي لمواجهة التحدي الأساسي المتمثل في أن تدريب الروبوتات في العالم الحقيقي مكلف ومحدود، في حين أن المحاكاة البحتة غالبًا ما تفشل في التقاط تعقيدات العالم الحقيقي. يستخدم هذا النهج ما يقرب من 70 حلقة محاكاة لسيناريوهات متنوعة وتغيرات بيئية، بالإضافة إلى 10-20 حلقة من العالم الحقيقي من أجل الأصالة والأساس. يؤدي هذا التدريب المختلط إلى إنشاء سياسات تتعدى المجالين وحدهما.
متطلبات الأجهزة
يتطلب سير العمل:
- وحدة معالجة الرسومات: بنية تدعم RT Core (Ampere أو أحدث) مع ذاكرة فيديو بسعة ≥30 جيجابايت لاستدلال GR00TN1.5
- تابع SO-ARM101: مناور دقيق 6-DOF مع رؤية كاميرا مزدوجة (المعصم والغرفة). يتميز SO-ARM101 بمكونات رؤية WOWROBO، بما في ذلك كاميرا مثبتة على المعصم مع محول مطبوع ثلاثي الأبعاد
- قائد SO-ARM101: واجهة التشغيل عن بعد 6-DOF لمجموعة العروض التوضيحية للخبراء
والجدير بالذكر أن المطورين يمكنهم تشغيل جميع عمليات المحاكاة والتدريب والنشر (3 أجهزة كمبيوتر مطلوبة للذكاء الاصطناعي الفعلي) على جهاز DGX Spark واحد.
تنفيذ جمع البيانات
لجمع البيانات الواقعية باستخدام أجهزة SO-ARM101 أو أي إصدار آخر مدعوم في LeRobot:
python lerobot-record \
--robot.type=so101_follower \
--robot.port=<follower_port_id> \
--robot.cameras="{wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, room: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
--robot.id=so101_follower_arm \
--teleop.type=so101_leader \
--teleop.port=<leader_port_id> \
--teleop.id=so101_leader_arm \
--dataset.repo_id=<user>/surgical_assistance/surgical_assistance \
--dataset.num_episodes=15 \
--dataset.single_task="Prepare and hand surgical instruments to surgeon"
لجمع البيانات القائمة على المحاكاة:
python -m simulation.environments.teleoperation_record \
--enable_cameras \
--record \
--dataset_path=/path/to/save/dataset.hdf5 \
--teleop_device=keyboard
python -m simulation.environments.teleoperation_record \
--port=<your_leader_arm_port_id> \
--enable_cameras \
--record \
--dataset_path=/path/to/save/dataset.hdf5
ضوابط محاكاة العملية عن بعد
بالنسبة للمستخدمين الذين ليس لديهم أجهزة SO-ARM101 فعلية، يوفر سير العمل التشغيل عن بعد المستند إلى لوحة المفاتيح مع عناصر التحكم المشتركة التالية:
- المفصل 1 (الكتف): Q (+) / U (-)
- المفصل 2 (رفع_الكتف): W (+) / I (-)
- المفصل 3 (الكوع_المرن): E (+) / O (-)
- المفصل 4 (معصم مرن): A (+) / J (-)
- المفصل 5 (لفة المعصم): S (+) / K (-)
- المفصل 6 (القابض): D (+) / L (-)
- مفتاح R: إعادة ضبط بيئة التسجيل
- مفتاح N: تحديد الحلقة على أنها ناجحة
خط أنابيب التدريب النموذجي
بعد جمع كل من بيانات المحاكاة والبيانات الواقعية، قم بتحويل مجموعات البيانات ودمجها للتدريب:
python -m training.hdf5_to_lerobot \
--repo_id=surgical_assistance_dataset \
--hdf5_path=/path/to/your/sim_dataset.hdf5 \
--task_description="Autonomous surgical instrument handling and preparation"
python -m training.gr00t_n1_5.train \
--dataset_path /path/to/your/surgical_assistance_dataset \
--output_dir /path/to/surgical_checkpoints \
--data_config so100_dualcam
يقوم النموذج المدرّب بمعالجة تعليمات اللغة الطبيعية مثل “تحضير المشرط للجراح” أو “ناولني الملقط” وتنفيذ الإجراءات الروبوتية المقابلة. مع الإصدار الأحدث من LeRobot (0.4.0)، ستتمكن من ضبط Gr00t N1.5 أصلاً في LeRobot!
تجميع خطوط أنابيب Sim-Train-Eval من طرف إلى طرف
تكون المحاكاة أقوى عندما تكون جزءًا من حلقة: تجميع → تدريب → تقييم → نشر.
مع الإصدار 0.3، يدعم IsaacLab هذا المسار الكامل:
توليد البيانات الاصطناعية في المحاكاة
- تشغيل الروبوتات عن بعد باستخدام لوحة المفاتيح أو وحدات التحكم في الأجهزة
- التقط ملاحظات الكاميرات المتعددة وحالات الروبوت وإجراءاته
- قم بإنشاء مجموعات بيانات متنوعة مع حالات حافة من المستحيل جمعها بأمان في بيئات حقيقية
تدريب وتقييم السياسات
- التكامل العميق مع إطار عمل RL الخاص بـ Isaac Lab لتدريب PPO
- البيئات الموازية (الآلاف من عمليات المحاكاة في وقت واحد)
- تحليل المسار المدمج ومقاييس النجاح
- التحقق الإحصائي عبر سيناريوهات متنوعة
تحويل النماذج إلى TensorRT
- التحسين التلقائي لنشر الإنتاج
- دعم الأشكال الديناميكية والاستدلال متعدد الكاميرات
- أدوات قياس الأداء للتحقق من الأداء في الوقت الحقيقي
وهذا يقلل الوقت من التجربة إلى النشر ويجعل sim2real جزءًا عمليًا من التطوير اليومي.
ابدء
Isaac for Healthcare SO-ARM Starter Workflow متاح الآن. للبدء:
- استنساخ المستودع:
git clone https://github.com/isaac-for-healthcare/i4h-workflows.git - اختر سير العمل: ابدأ بسير عمل SO-ARM Starter للحصول على المساعدة الجراحية أو استكشف مسارات العمل الأخرى
- تشغيل الإعداد: يتضمن كل سير عمل برنامجًا نصيًا للإعداد التلقائي (على سبيل المثال،
tools/env_setup_so_arm_starter.sh)
موارد
