كيفية بناء روبوت للرعاية الصحية من المحاكاة إلى النشر باستخدام NVIDIA Isaac للرعاية الصحية

لقد كانت المحاكاة حجر الزاوية في التصوير الطبي لمعالجة فجوة البيانات. ومع ذلك، في مجال روبوتات الرعاية الصحية حتى الآن، غالبًا ما كانت بطيئة جدًا أو منعزلة أو يصعب ترجمتها إلى أنظمة العالم الحقيقي. وهذا يتغير الآن. بفضل التطورات الجديدة في المحاكاة المتسارعة بواسطة وحدة معالجة الرسومات والتوائم الرقمية، يمكن للمطورين تصميم واختبار والتحقق من صحة سير العمل الآلي بالكامل في بيئات افتراضية – مما يقلل وقت إنشاء النماذج الأولية من أشهر إلى أيام، ويحسن دقة النماذج، ويتيح ابتكارًا أكثر أمانًا وسرعة قبل وصول جهاز واحد إلى غرفة العمليات.

ولهذا السبب قدمت NVIDIA Isaac for Healthcare في وقت سابق من هذا العام، وهو إطار عمل مطور لروبوتات الرعاية الصحية المعتمدة على الذكاء الاصطناعي، والذي يمكّن المطورين من حل هذه التحديات من خلال جمع البيانات المتكاملة والتدريب وخطوط التقييم التي تعمل عبر كل من المحاكاة والأجهزة. على وجه التحديد، يوفر الإصدار 0.4 من Isaac for Healthcare للمستخدمين سير عمل شامل يستند إلى SO-ARM بالإضافة إلى البرنامج التعليمي الخاص بغرفة العمليات. يعمل سير العمل المبدئي لـ SO-ARM على تقليل العائق أمام مطوري MedTech لتجربة سير العمل الكامل بدءًا من المحاكاة وحتى التدريب وحتى النشر والبدء في البناء والتحقق بشكل مستقل على أجهزة حقيقية على الفور.

في هذا المنشور، سنتعرف على سير العمل المبدئي وتفاصيل تنفيذه الفني لمساعدتك في بناء روبوت مساعد جراحي في وقت أقل مما كان يمكن تخيله من قبل.

سير عمل SO-ARM المبدئي؛ بناء مساعد جراحي مجسد

يقدم سير العمل المبدئي لـ SO-ARM طريقة جديدة لاستكشاف مهام المساعدة الجراحية، ويوفر للمطورين مسارًا كاملاً وشاملاً للمساعدة الجراحية المستقلة:

• اجمع بيانات العالم الحقيقي والاصطناعية باستخدام SO-ARM باستخدام LeRobot
• بعد تدريب GR00T N1.5، وتقييمه في Isaac Lab، ثم نشره على الأجهزة

يوفر سير العمل هذا للمطورين بيئة آمنة وقابلة للتكرار لتدريب المهارات المساعدة وتحسينها قبل الانتقال إلى غرفة العمليات.

التنفيذ الفني

ينفذ سير العمل خط أنابيب من ثلاث مراحل يدمج المحاكاة والأجهزة الحقيقية:

1. جمع البيانات: عروض المحاكاة المختلطة والعمليات عن بعد في العالم الحقيقي باستخدام SO-101 وLeRobot
2. التدريب النموذجي: ما بعد التدريب GR00T N1.5 على مجموعات البيانات المجمعة مع رؤية الكاميرا المزدوجة
3. نشر السياسة: الاستدلال في الوقت الفعلي على الأجهزة المادية باستخدام اتصال RTI DDS

ومن الجدير بالذكر أن أكثر من 93% من البيانات المستخدمة للتدريب على السياسات تم إنشاؤها صناعيًا في المحاكاة، مما يؤكد قوة المحاكاة في سد فجوة البيانات الآلية.

نهج التدريب المختلط Sim-to-Real

يجمع سير العمل بين المحاكاة وبيانات العالم الحقيقي لمواجهة التحدي الأساسي المتمثل في أن تدريب الروبوتات في العالم الحقيقي مكلف ومحدود، في حين أن المحاكاة البحتة غالبًا ما تفشل في التقاط تعقيدات العالم الحقيقي. يستخدم هذا النهج ما يقرب من 70 حلقة محاكاة لسيناريوهات متنوعة وتغيرات بيئية، بالإضافة إلى 10-20 حلقة من العالم الحقيقي من أجل الأصالة والأساس. يؤدي هذا التدريب المختلط إلى إنشاء سياسات تتعدى المجالين وحدهما.

متطلبات الأجهزة

يتطلب سير العمل:

• GPU: بنية RT Core (Ampere أو أحدث) مع ذاكرة فيديو بسعة ≥30 جيجابايت لاستدلال GR00T N1.5
• SO-ARM101 متابع: 6- مناور دقيق DOF مزود برؤية كاميرا مزدوجة (المعصم والغرفة). يتميز SO-ARM101 بمكونات رؤية WOWROBO، بما في ذلك كاميرا مثبتة على المعصم مع محول مطبوع ثلاثي الأبعاد.
• زعيم SO-ARM101: 6-واجهة التشغيل عن بعد DOF لجمع العروض التوضيحية للخبراء

والجدير بالذكر أن المطورين يمكنهم تشغيل جميع عمليات المحاكاة والتدريب والنشر (3 أجهزة كمبيوتر مطلوبة للذكاء الاصطناعي الفعلي) على جهاز DGX Spark واحد.

تنفيذ جمع البيانات

لجمع البيانات الواقعية باستخدام أجهزة SO-ARM101 أو أي إصدار آخر مدعوم في LeRobot:

python /path/to/lerobot-record \ 
  --robot.type=so101_follower \ 
  --robot.port=<follower_port_id> \ 
  --robot.cameras="{wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, room: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \ 
  --robot.id=so101_follower_arm \ 
  --teleop.type=so101_leader \ 
  --teleop.port=<leader_port_id> \ 
  --teleop.id=so101_leader_arm \ 
  --dataset.repo_id=<user>/surgical_assistance/surgical_assistance \ 
  --dataset.num_episodes=15 \ 
  --dataset.single_task="Prepare and hand surgical instruments to surgeon"

لجمع البيانات القائمة على المحاكاة:

# With keyboard teleoperation 
python -m simulation.environments.teleoperation_record \ 
  --enable_cameras \ 
  --record \ 
  --dataset_path=/path/to/save/dataset.hdf5 \ 
  --teleop_device=keyboard 

# With SO-ARM101 leader arm 
python -m simulation.environments.teleoperation_record \ 
  --port=<your_leader_arm_port_id> \ 
  --enable_cameras \ 
  --record \ 
  --dataset_path=/path/to/save/dataset.hdf5

ضوابط محاكاة العملية عن بعد

بالنسبة للمستخدمين الذين ليس لديهم أجهزة SO-ARM101 فعلية، يوفر سير العمل التشغيل عن بعد المستند إلى لوحة المفاتيح مع عناصر التحكم المشتركة التالية:

• المفصل 1 (الكتف): Q (+) / U (-)
• المفصل 2 (رفع_الكتف): W (+) / I (-)
• المفصل 3 (الكوع_المرن): E (+) / O (-)
• المفصل 4 (معصم مرن): A (+) / J (-)
• المفصل 5 (لفة المعصم): S (+) / K (-)
• المفصل 6 (القابض): D (+) / L (-)
• مفتاح R: إعادة ضبط بيئة التسجيل
• مفتاح N: تحديد الحلقة على أنها ناجحة

خط أنابيب التدريب النموذجي

بعد جمع كل من بيانات المحاكاة والبيانات الواقعية، قم بتحويل مجموعات البيانات ودمجها للتدريب:

# Convert simulation data to LeRobot format 
python -m training.hdf5_to_lerobot \ 
  --repo_id=surgical_assistance_dataset \ 
  --hdf5_path=/path/to/your/sim_dataset.hdf5 \ 
  --task_description="Autonomous surgical instrument handling and preparation" 


# Post-train GR00T N1.5 on mixed dataset 
python -m training.gr00t_n1_5.train \ 
  --dataset_path /path/to/your/surgical_assistance_dataset \ 
  --output_dir /path/to/surgical_checkpoints \ 
  --data_config so100_dualcam 

يقوم النموذج المدرّب بمعالجة تعليمات اللغة الطبيعية مثل “تحضير المشرط للجراح” أو “ناولني الملقط” وتنفيذ الإجراءات الروبوتية المقابلة. مع أحدث إصدار من LeRobot (الإصدار 0.4.0)، ستتمكن من تدريب GR00T N1.5 أصلاً في LeRobot!

تجميع خطوط أنابيب Sim-Train-Eval من طرف إلى طرف

تكون المحاكاة أقوى عندما تكون جزءًا من حلقة: جمع البيانات ← التدريب ← التقييم ← النشر. يدعم Isaac Lab خط الأنابيب الكامل هذا:

توليد البيانات الاصطناعية في المحاكاة

• تشغيل الروبوتات عن بعد باستخدام لوحة المفاتيح أو وحدات التحكم في الأجهزة
• التقط ملاحظات الكاميرات المتعددة وحالات الروبوت وإجراءاته
• قم بإنشاء مجموعات بيانات متنوعة مع حالات حافة من المستحيل جمعها بأمان في بيئات حقيقية

تدريب وتقييم السياسات

• التكامل العميق مع إطار عمل RL الخاص بـ Isaac Lab لتدريب PPO
• البيئات الموازية (الآلاف من عمليات المحاكاة في وقت واحد)
• تحليل المسار المدمج ومقاييس النجاح
• التحقق الإحصائي عبر سيناريوهات متنوعة

تحويل النماذج إلى TensorRT

• التحسين التلقائي لنشر الإنتاج
• دعم الأشكال الديناميكية والاستدلال متعدد الكاميرات
• أدوات قياس الأداء للتحقق من الأداء في الوقت الحقيقي

وهذا يقلل الوقت من التجربة إلى النشر ويجعل من عملية المحاكاة إلى الواقع جزءًا عمليًا من التطوير اليومي.

ابدء

Isaac for Healthcare SO-ARM Starter Workflow متاح الآن. للبدء:

• استنساخ المستودع: git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
• اختر سير العمل: ابدأ بسير عمل SO-ARM Starter للحصول على المساعدة الجراحية أو استكشف مسارات العمل الأخرى
• قم بتشغيل الإعداد: يتضمن كل سير عمل برنامجًا نصيًا للإعداد التلقائي (على سبيل المثال، tools/env_setup_so_arm_starter.sh)

موارد