باستخدام أدوات مثل TRL وTorchForge وverl، أظهر مجتمع المصادر المفتوحة كيفية توسيع نطاق الذكاء الاصطناعي عبر البنية التحتية الحاسوبية المعقدة. لكن الحساب ليس سوى وجه واحد للعملة. الجانب الآخر هو مجتمع المطورين؛ الأشخاص والأدوات التي تجعل الأنظمة الوكيلة ممكنة. لهذا السبب، تتعاون Meta وHugging Face لإطلاق OpenEnv Hub: مركز مجتمعي مشترك ومفتوح للبيئات الوكيلة.
تحدد بيئات الوكيل كل ما يحتاجه الوكيل لأداء مهمة: الأدوات وواجهات برمجة التطبيقات وبيانات الاعتماد وسياق التنفيذ ولا شيء آخر. إنها توفر الوضوح والسلامة والتحكم في وضع الحماية لسلوك الوكيل.
يمكن استخدام هذه البيئات للتدريب والنشر، وتكون بمثابة الأساس للتطوير الفعال القابل للتطوير.
المشكلة
يمكن لوكلاء الذكاء الاصطناعي الحديث التصرف بشكل مستقل عبر آلاف المهام. ومع ذلك، فإن نموذج اللغة الكبير لا يكفي لتشغيل هذه المهام فعليًا، فهو يحتاج إلى الوصول إلى الأدوات المناسبة. إن تعريض ملايين الأدوات مباشرةً لنموذج ما ليس أمرًا معقولًا (أو آمنًا). بدلا من ذلك، نحن بحاجة البيئات الوكيلة: صناديق حماية آمنة وواضحة لغويًا تحدد بالضبط ما هو مطلوب لمهمة ما، وليس أكثر. تتعامل هذه البيئات مع التفاصيل المهمة:
- دلالات واضحة حول ما تحتاجه المهمة
- تنفيذ Sandboxed وضمانات السلامة
- الوصول السلس إلى الأدوات وواجهات برمجة التطبيقات المصادق عليها
الحل
لتعزيز هذه الموجة التالية من التطوير الوكيل، تتعاون Meta-PyTorch وHugging Face لإطلاق مركز للبيئات: مساحة مشتركة حيث يمكن للمطورين إنشاء بيئات متوافقة مع OpenEnv ومشاركتها واستكشافها لكل من التدريب والنشر. ويوضح الشكل أدناه كيف OpenEnv يناسب حزمة ما بعد التدريب الجديدة التي يتم تطويرها بواسطة ميتا، مع التكامل مع المكتبات الأخرى مثل ترل, SkyRL، و غير كسلان جارية:
ابتداءً من الأسبوع المقبل، يمكن للمطورين:
- قم بزيارة مركز البيئة الجديد في Hugging Face حيث سنزرع بعض البيئات الأولية
- التفاعل مع البيئات مباشرة كعامل بشري
- قم بتجنيد نموذج لحل المهام داخل البيئة
- فحص الأدوات التي تكشفها البيئة وكيفية تحديد ملاحظاتها
- كل بيئة يتم تحميلها إلى Hub والتي تتوافق مع مواصفات OpenEnv تكتسب هذه الوظيفة تلقائيًا – مما يجعل التحقق والتكرار سريعًا وسهلاً قبل تشغيل تدريب RL الكامل.
إلى جانب ذلك، نقوم بإصدار OpenEnv 0.1 Spec (RFC) لجمع تعليقات المجتمع والمساعدة في تشكيل المعيار.
طلبات التعليقات
في الحالة الحالية للمستودع، يمكن لمنشئي البيئة إنشاء بيئات باستخدام step(), reset(), close() واجهات برمجة التطبيقات (جزء من RFCs أدناه). يمكن رؤية بعض الأمثلة حول كيفية إنشاء مثل هذه البيئات هنا. يمكن لمستخدمي البيئة اللعب مع البيئات المحلية المستندة إلى Docker لجميع البيئات المتوفرة بالفعل في الريبو. طلبات RFC التالية قيد المراجعة:
- RFC 001: إنشاء بنية لكيفية ارتباط المكونات الأساسية مثل البيئة والوكيل والمهمة وما إلى ذلك
- RFC 002: اقتراح واجهة البيئة الأساسية والتعبئة والعزل والاتصال مع البيئة.
- RFC 003: اقتراح تغليف أدوات MCP من خلال تجريد البيئة وحدود العزل
حالات الاستخدام
- RL بعد التدريب: اسحب البيئات عبر المجموعات واستخدمها لتدريب وكلاء RL مع TRL وTorchForge+Monarch وVeRL وما إلى ذلك.
- إنشاء البيئة: بناء بيئة والتأكد من أنها تتفاعل مع أدوات RL الشائعة في النظام البيئي، ومشاركتها مع المتعاونين، وما إلى ذلك.
- إعادة إنتاج أساليب SOTA: يمكنك بسهولة تكرار الأساليب مثل تلك الموجودة في نموذج Code World Model الخاص بـ FAIR من خلال دمج بيئات الترميز الوكيل وهندسة البرمجيات.
- النشر: يمكن للمستخدمين إنشاء بيئة، والتدريب على نفس البيئة ثم استخدامها للاستدلال أيضًا (خط الأنابيب الكامل)
ما هو التالي
هذه مجرد البداية نحن نقوم بدمج OpenEnv Hub مع Meta الجديد مكتبة TorchForge RLوالتعاون مع مشاريع RL الأخرى مفتوحة المصدر مثل verl, ترل، و SkyRL لتوسيع التوافق. انضم إلينا في مؤتمر PyTorch في 23 أكتوبر للحصول على عرض توضيحي مباشر وشرح تفصيلي للمواصفات، وترقب لقاء مجتمعنا القادم حول البيئات، وRL بعد التدريب، وتطوير الوكلاء.
👉 استكشف OpenEnv Hub على Hugging Face وابدأ في بناء البيئات التي ستزود الجيل القادم من العملاء بالطاقة.
👉 تحقق من مواصفات 0.1 التي يمكن العثور عليها مطبقة في مشروع OpenEnv → نحن نرحب بالأفكار والمساهمات لتحسينه!
👉 شارك في Discord وتحدث مع المجتمع حول RL والبيئات وتطوير الوكلاء
👉 جربه بنفسك – لقد أنشأنا دفترًا شاملاً يرشدك عبر مثال شامل وبالطبع يمكنك بسهولة تثبيت الحزمة عبر PyPI. يرشدك دفتر الملاحظات هذا عبر التجريدات التي أنشأناها، بالإضافة إلى مثال حول كيفية استخدام عمليات التكامل الحالية وكيفية إضافة عمليات التكامل الخاصة بك – جربها في Google Colab!
👉 تحقق من المنصات الداعمة – Unsloth، TRL، Lightning.AI
دعونا نبني مستقبل العملاء المفتوحين معًا، بيئة واحدة في كل مرة 🔥!
