تتحرك الروبوتات الجراحية بسرعة من العمليات عن بعد نحو سياسات الرؤية واللغة والعمل ذات القدرة المتزايدة. لكن تقييم وتدريب هذه الأنظمة لا يزال صعبا. إن تشغيل المنصات الروبوتية المادية باهظ التكلفة، كما أن إعادة إنتاج التجارب بطيء، وقد يؤدي الفشل إلى إتلاف الأدوات أو المواد البيولوجية. توفر أجهزة المحاكاة التقليدية بديلاً أكثر أمانًا، ولكن من الصعب جدًا تصميم المشاهد الجراحية: فالأنسجة المشوهة، وتفاعلات الأدوات الدقيقة، والأسطح المرآوية، والغرز، والإبر، والدخان، والانسدادات كلها أمور مهمة.
تقدم نماذج المؤسسات العالمية مسارًا مختلفًا. بدلاً من تأليف كل كائن وتفاعل جسدي يدويًا، يتعلمون الديناميكيات البصرية مباشرة من الفيديو المتزامن وحركيات الروبوت. أظهر برنامج Cosmos-H-Surgical-Simulator من NVIDIA هذا النهج من خلال إنشاء فيديو جراحي مستقبلي من مشهد أولي وسلسلة من إجراءات الروبوت. لقد أتاح التقييم بشكل أسرع من المادي وتوليد البيانات الاصطناعية عبر النظام البيئي Open-H-Embodiment.
واليوم، نقدم الخطوة التالية: Cosmos-H-Dreams، وهو جهاز محاكاة توليدي مشروط بالحركة في الوقت الفعلي للروبوتات الجراحية. يقوم Cosmos-H-Dreams بتقطير قدرات Cosmos-H-Surgical-Simulator إلى نموذج طلابي غير رسمي قليل الخطوات ويقدمه من خلال FlashDreams، مكتبة استدلال التدفق المتسارع من NVIDIA. من خلال تشغيله على وحدة معالجة رسومات NVIDIA RTX PRO 6000 واحدة، تكون النتيجة بيئة تفاعلية يمكن لأي شخص أو سياسة مكتسبة التحكم فيها في حلقة مغلقة.
1. من النموذج العالمي الجراحي إلى المحاكاة التفاعلية
يعد Cosmos-H-Surgical-Simulator نموذجًا أساسيًا عالميًا مكيفًا للعمل مبنيًا على NVIDIA Cosmos-Predict2.5-2B وتم تدريبه لاحقًا على مجموعة بيانات Open-H-Embodiment. ونظرًا لإطار السياق الجراحي ومسار الروبوت المستقبلي، فإنه يقوم بإنشاء فيديو يوضح العواقب البصرية المحتملة لتلك الإجراءات. وهذا يجعلها مفيدة لتقييم السياسات دون الاتصال بالإنترنت وتوليد البيانات الاصطناعية. يمكن إرسال المسار المسجل أو الذي تم إنشاؤه بواسطة السياسة إلى النموذج، ويمكن إنشاء عملية الطرح المقابلة، ويمكن فحص النتيجة أو تسجيلها دون تنفيذ الحركة بشكل متكرر على الروبوت المادي.
ينقل Cosmos-H-Dreams النموذج إلى نظام الوقت الفعلي. بدءًا من المبادئ الجراحية متعددة النماذج التي تعلمتها Cosmos-H-Surgical-Simulator، نحن متخصصون في نموذج خياطة الطاولة لمجموعة Da Vinci Research Kit (dVRK) وتقطيرها إلى طالب سببي يولد المشهد بشكل انحداري. يتلقى النموذج الذي تم إصداره إطار RGB أوليًا وبثًا مباشرًا لحركيات الروبوت، ثم ينتج الجزء التالي من الإطارات قبل المتابعة مع كتلة الإجراء التالية.
لقد أظهرنا أيضًا تنوع استخدامات Cosmos-H-Dreams من خلال التعاون مع CMR Surgical وCambridge Consultants لدمجها مع وحدة تحكم الجراح Versius، مما يتيح التشغيل في الوقت الفعلي على منصة Versius.
2. جهاز محاكاة جراحي للتقطير Cosmos-H في الوقت الفعلي
ويتمثل التحدي الرئيسي في الحفاظ على الديناميكيات الجراحية المفيدة مع تقليل تكلفة التوليد. يستخدم Cosmos-H-Dreams مسارًا تدريبيًا من المعلم إلى الطالب مصممًا لعمليات إطلاق طويلة ذات انحدار ذاتي.
2.1. مدرس جراحي
يبدأ المعلم ثنائي الاتجاه من نقطة تفتيش Cosmos-H-Surgical-Simulator Open-H، والتي تستخدم تمثيل عمل موحد ذو 44 بُعدًا. بالنسبة لنموذج سطح الطاولة dVRK الذي تم إصداره، تم تعيين محتوى إجراء dVRK ثنائي الذراع، والذي يتكون من ترجمة المؤثر النهائي النسبي والدوران وحالة القابض، في هذا التمثيل المشترك.
يتم بعد ذلك ضبط المعلم على خليط الطاولة JHU dVRK، بما في ذلك العروض التوضيحية الناجحة بالإضافة إلى الحلقات الفاشلة وغير الموزعة مثل قطرات الإبرة والرميات المفقودة وربطات العنق غير الناجحة. وتشكل هذه الإخفاقات أهمية بالغة: إذ يتعين على جهاز المحاكاة الذي يهدف إلى تقييم السياسات أن يعيد إنتاج العواقب المترتبة على التصرفات الرديئة، وليس فقط الإثباتات المثالية.
لتحسين الاستقرار أثناء عمليات الطرح الطويلة، تعمل عملية التدريب على زيادة الأفق الزمني للمعلم تدريجيًا. نبدأ التدريب على أفق مكون من 12 إطارًا ونزيد هذا العدد تدريجيًا حتى 72 إطارًا. عند كل نتوء أفق، نقوم بتهيئة النموذج المسخن بأوزان مدربة مسبقًا.
2.2. الاحماء السببي
يتم أولاً حساب مسارات تقليل الضوضاء الخاصة بالمعلم مسبقًا وتخزينها مؤقتًا. تتم تهيئة الطالب السببي من المعلم وتدريبه على تقليد هذه المسارات المخزنة مؤقتًا. تعلم مرحلة الإحماء هذه الطالب العمل باهتمام سببي وذاكرة تخزين مؤقت للمفتاح/القيمة المتدفقة قبل أن يبدأ التعلم من السجل الذي تم إنشاؤه.
2.3. التقطير القسري الذاتي
تواجه نماذج الانحدار الذاتي مشكلة مألوفة: أثناء التدريب، قد ترى سياقًا نظيفًا وحقيقيًا، بينما أثناء النشر، يجب أن تشترط على مخرجاتها غير الكاملة. وبالتالي يمكن أن تتفاقم الأخطاء الصغيرة بمرور الوقت.
يعالج Cosmos-H-Dreams هذا عدم التطابق مع التقطير القسري الذاتي. أثناء التدريب، يتقدم الطالب للأمام باستخدام السياق الذي تم إنشاؤه الخاص به. ثم يقوم الإشراف على مطابقة التوزيع من المعلم المجمد بتوجيه تلك النشرات التي تم إنشاؤها ذاتيًا نحو فيديو جراحي واقعي. يؤدي ذلك إلى إعداد الطالب لنفس الظروف التي سيواجهها أثناء الاستدلال التفاعلي.
يدعم النموذج الناتج الانتشار بضع خطوات، مع ما لا يقل عن خطوتين لتقليل الضوضاء لكل إطار كامن، بدلاً من العملية متعددة الخطوات التي يستخدمها المعلم الكامل. فهو يجمع بين المبادئ الجراحية للمعلم والبنية السببية اللازمة للتدفق.
3. FlashDreams: محرك الاستدلال في الوقت الحقيقي
التقطير النموذجي ليس سوى جزء من القصة في الوقت الحقيقي. يتم تقديم Cosmos-H-Dreams من خلال FlashDreams، وهي مكتبة استدلال متسارعة لنماذج العالم والفيديو ذات الانحدار الذاتي.
يحول FlashDreams الطالب المقطر إلى نظام دفق منخفض الكمون من خلال العديد من التحسينات التكميلية، مثل دفق ذاكرة التخزين المؤقت KV، أو التقاط CUDA Graph، أو تجميع النماذج.
تعمل هذه التقنيات معًا على تحسين النموذج الجراحي العالمي المقطر من نظام العشرة إطارات في الثانية تقريبًا لاستدلال Cosmos-H-Surgical-Simulator القياسي إلى التشغيل التفاعلي (حوالي 160 إطارًا في الثانية) على جهاز واحد. نفيديا آر تي إكس برو 6000.
توفر Cosmos-H-Dreams أيضًا واجهات بين الإنسان والآلة التي تحول التوليد إلى تفاعل. يمكن لعميل المتصفح إرسال أوامر لوحة المفاتيح واستقبال الإطارات التي تم إنشاؤها عبر WebRTC. يمكن لعميل Meta Quest تعيين حركة وحدة التحكم المتعقبة في إجراءات الروبوت وعرض المشهد المركب من خلال WebXR. ويمكن أيضًا ربط النموذج نفسه بسياسة جراحية مكتسبة، مع تبادل الملاحظات الناتجة والإجراءات المتوقعة داخل حلقة مغلقة.
4. التكيف مع بياناتك الخاصة
في حين أن Cosmos-H-Dreams تتضمن نقطة تفتيش مدربة مسبقًا للخياطة على الطاولة، فقد تم تصميم النظام ليكون قابلاً للتوسيع ليناسب تجسيدك المحدد. لتدريب نموذج الطالب في الوقت الفعلي على مجموعة البيانات الخاصة بك، نقدم وصفة كاملة لضبط المعلم والتقطير الذاتي في دليلنا خطوة بخطوة.
5. ما هو التالي: نحو الذكاء الاصطناعي الفيزيائي الجراحي ذو الحلقة المغلقة
يفتح Cosmos-H-Dreams حدودًا جديدة للمحاكاة الجراحية: البيئات المستفادة من بيانات الروبوت الحقيقية والتي تستجيب بدرجة كافية للسكن فيها.
الخطوة التالية المباشرة هي تقييم ما هو أكثر من الجودة البصرية. يجب أن يستجيب جهاز المحاكاة الجراحي المفيد بشكل صحيح للإجراءات، ويحافظ على بنية الأداة والمشهد على مدار فترات طويلة، ويدعم الاستنتاجات التي تنتقل إلى الروبوت المادي. وهذا يحفز عائلة جديدة من معايير الحلقة المغلقة: الوصول إلى طرف الأداة ودقة الوضع، والإخلاص في دورة القابض، والاستقرار الخامل، وتنوع الإجراءات المغايرة للواقع، والانحراف طويل الأفق، والاتفاق بين نتائج السياسة المحاكاة والحقيقية.
يمكن أيضًا أن تصبح النماذج العالمية في الوقت الفعلي شركاء نشطين في تطوير السياسات الجراحية. فهي قادرة على توليد حالات فشل نادرة عند الطلب، وتوفير بيئات قابلة للتطوير لتعزيز التعلم أو تقليده، وتمكين التقييم السريع للسياسات الجديدة من دون ربط كل تجربة بأجهزة روبوتية نادرة.
علاوة على ذلك، تتيح المحاكاة في الوقت الفعلي سلسلة من التطبيقات النهائية مثل الجراحة عن بعد المدركة لزمن الوصول، حيث يساعد النموذج العالمي في الحفاظ على عرض أكثر استقرارًا؛ أو بروفة جراحية تفاعلية، وتخطيط الإجراءات، ودعم القرار أثناء العملية. Cosmos-H-Dreams عبارة عن منصة للبحث والتطوير، وليست نظامًا تشخيصيًا، أو بديلاً للتصوير أثناء العملية الجراحية، أو وحدة تحكم لروبوت جراحي مادي. ومع ذلك، فهو يوفر الأساس لاستكشاف هذه الاحتمالات بأمان.
مع استمرار تحسن دقة النموذج والاستقرار الزمني وكفاءة الأجهزة، يمكن أن تساعد المحاكاة التوليدية في الوقت الفعلي في ربط تعليم الجراحين وتوليد البيانات الاصطناعية والتدريب على السياسات وتقييم السياسات ضمن بيئة ذكاء اصطناعي مادية واحدة مشتركة.
6. ابدأ اليوم
استكشف النماذج والبيانات ووقت التشغيل وراء Cosmos-H-Dreams:
تعمل Cosmos-H-Dreams على جلب نماذج العالم الجراحي المكيف للعمل إلى حلقة الوقت الفعلي، مما يخلق بيئة جديدة للأشخاص والسياسات لممارسة واستكشاف وتوليد البيانات وتقييم ما سيحدث بعد ذلك.
