تمكين المجتمع من دراسة الوكلاء

في عالم مثالي، سيكون عملاء الذكاء الاصطناعي مساعدين موثوقين. عندما يتم إعطاؤهم استفسارًا، يمكنهم بسهولة إدارة الغموض في التعليمات، وإنشاء خطط خطوة بخطوة، وتحديد الموارد الضرورية بشكل صحيح، وتنفيذ تلك الخطط دون الانحراف، والتكيف مع الأحداث غير المتوقعة، كل ذلك مع الحفاظ على الدقة وتجنب الهلوسة. ومع ذلك، فإن تطوير الوكلاء واختبار هذه السلوكيات ليس بالأمر الهين: إذا سبق لك أن حاولت تصحيح أخطاء الوكيل الخاص بك، فمن المحتمل أنك لاحظت مدى صعوبة هذا الأمر وإحباطه. ترتبط بيئات التقييم الحالية ارتباطًا وثيقًا بالمهام التي تقيمها، وتفتقر إلى المرونة في العالم الحقيقي، ولا تعكس الواقع الفوضوي لعملاء العالم المفتوح: لا يفشل تحميل الصفحات المحاكاة أبدًا، ولا تظهر الأحداث تلقائيًا، وتغيب الفوضى غير المتزامنة.

ولهذا السبب يسعدنا جدًا تقديم Gaia2، وهو متابعة لمعيار GAIA الوكيل، مما يسمح بتحليل السلوكيات الأكثر تعقيدًا إلى حد كبير. تم إصدار Gaia2 مع إطار عمل Meta Agents Research Environments (ARE) المفتوح لتشغيل الوكلاء وتصحيح أخطائهم وتقييمهم. يحاكي ARE الظروف المعقدة التي تشبه العالم الحقيقي ويمكن تخصيصها لمزيد من دراسة سلوكيات الوكلاء. تم إصدار مجموعة بيانات Gaia2 بموجب ترخيص CC بواسطة 4.0، وهي بموجب ترخيص MIT.

Gaia2: تقييم الوكيل لمهام مساعد الحياة الواقعية

GAIA هو معيار وكيل تم نشره في عام 2023، مع 3 مستويات من أسئلة استرجاع المعلومات التي تتطلب أدوات وتصفح الويب والتفكير لحلها. في غضون عامين، أصبحت المستويات الأسهل سهلة للغاية بالنسبة للعارضات، ويقترب المجتمع من حل أصعب الأسئلة، لذلك حان الوقت لمعيار وكيل جديد تمامًا وأكثر صعوبة!

هنا يأتي Gaia2، وهو متابعة لـ GAIA، ويتجاوزها من حيث القدرات التي تمت دراستها!

بينما كان GAIA للقراءة فقط، أصبح Gaia2 الآن معيارًا للقراءة والكتابة، مع التركيز على السلوك التفاعلي وإدارة التعقيد. يتم تقييم الوكلاء الآن ليس فقط على أساس البحث والاسترجاع، ولكن أيضًا على أساس التعليمات التي تتبع استعلامات غامضة أو حساسة للوقت، في بيئة صاخبة مع إخفاقات يمكن التحكم فيها – مما يعكس ظروف العالم الحقيقي أكثر من أي بيئة محاكاة أخرى. نريد اختبار كيفية إدارة الوكلاء للأدوات أو واجهات برمجة التطبيقات التي لا تعمل في بعض الأحيان، والتخطيط لسلسلة من الإجراءات ضمن أطر زمنية محددة للغاية، والتكيف مع الأحداث الجديدة – نطاق جديد تمامًا من التعقيد!

للقيام بذلك، نستخدم مجموعات المهام التالية (بفضل 1000 سيناريو جديد تمامًا من صنع الإنسان):

• تنفيذ: اتباع التعليمات متعددة الخطوات واستخدام الأداة (على سبيل المثال، تحديثات جهات الاتصال)
• يبحث: جمع المعلومات عبر المصادر (على سبيل المثال، المدن الصديقة من WhatsApp)
• معالجة الغموض: توضيح الطلبات المتعارضة (مثل تعارض المواعيد)
• القدرة على التكيف: الاستجابة للتغيرات في المحاكاة (على سبيل المثال، تحديث البريد الإلكتروني باستخدام معلومات المتابعة)
• الوقت / التفكير الزمني: الإجراءات الحساسة للوقت (على سبيل المثال، طلبات سيارات الأجرة بعد تأخير لمدة 3 دقائق)
• التعاون من وكيل إلى وكيل: التواصل بين الوكلاء دون الوصول المباشر إلى واجهة برمجة التطبيقات (API).
• التسامح مع الضوضاء: المتانة لفشل API وعدم الاستقرار البيئي

وفقًا لروح غايا، لا تتطلب السيناريوهات معرفة متخصصة: يجب أن يكون البشر قادرين من حيث المبدأ على الحصول على 100%، مما يتيح تصحيح الأخطاء بسهولة لمطوري النماذج.

هل تريد استكشاف المعيار؟ تحقق من مجموعة البيانات الخاصة بنا، والتي يمكنك عرضها بشكل أفضل في العرض التوضيحي الخاص بنا هنا.

كيف يعمل Gaia2؟

يعمل Gaia2 مع ARE، وهي بيئة تنفيذ، حيث يتمتع الوكيل الذي تختاره بإمكانية الوصول إلى مجموعة من التطبيقات والبيانات المرتبطة بها والتي تم تعبئتها مسبقًا.

بالنسبة لـ Gaia2، قمنا بإنشاء ملف نموذج الهاتف الذكي البيئة، ومحاكاة ما يستخدمه الإنسان في حياته اليومية. فهو يحتوي على تطبيقات واقعية مثل المراسلة (البريد الإلكتروني)، والأدوات المساعدة (التقويم، وجهات الاتصال، والتسوق، ونظام الملفات،…)، وواجهة دردشة للتحدث مع الوكيل. جميع التطبيقات متاحة أيضًا للوكلاء من خلال استدعاء الأدوات. وأخيرًا وليس آخرًا، يحتوي العرض التوضيحي أيضًا على سجل شخصي محاكي للمحادثات والتفاعلات مع التطبيق.

يتم تسجيل جميع تفاعلات الوكيل تلقائيًا على أنها آثار منظمة أثناء التنفيذ للتعمق والتحليل: فهي تتضمن استدعاءات الأدوات، واستجابات واجهة برمجة التطبيقات (API)، والأفكار النموذجية، ومقاييس التوقيت (على سبيل المثال، زمن استجابة الاستجابة)، وتفاعلات المستخدم، وما إلى ذلك – ويمكن تصديرها جميعًا بتنسيق JSON.

نتائج

كمرجع، قمنا بمقارنة مجموعة من النماذج الكبيرة مفتوحة ومغلقة المصدر: Llama 3.3-70B Instruct، وLlama-4-Maverick، وGPT-4o، وQwen3-235B-MoE، وGrok-4، وKimi K2، وGemini 2.5 Pro، وClaude 4 Sonnet، وGPT-5 في جميع أوضاع التفكير.

يتم تقييم جميع النماذج باستخدام نفس الإعداد (حلقة ReAct موحدة للاتساق، ودرجة حرارة 0.5، وحد توليد 16 ألف رمز مميز)، مع مزيج من النموذج كحكم (Llama 3.3 Instruct 70B) وتقييم المطابقة التامة اعتمادًا على المهمة المحددة. يتم توفير كافة الأدوات الـ 101 (والوصف العام للبيئة) في موجه النظام.

ومن بين النماذج التي تم تقييمها، النموذج الأعلى نقاطًا بشكل عام اعتبارًا من سبتمبر 2025، أصبح GPT-5 ذو أسباب عالية، وأفضل نموذج مفتوح المصدر هو Kimi K2.

يبدو أن بعض القدرات موجودة بالفعل قريب من الحل بأفضل النماذج: تنفيذ استدعاءات الأدوات البسيطة والتعليمات التالية (execution)، وبشكل عام search (كما كان من الممكن أن نخمن من النتائج الحالية على GAIA). ويظل الغموض والقدرة على التكيف وانقسامات الضوضاء قائمة صعبة في الوقت الحالي بالنسبة لجميع النماذج، ومن المثير للاهتمام أن نرى أن الأداء فيما يعتبر مهام وكيلة معقدة (متابعة التعليمات والبحث) ليس وكيلًا جيدًا للأداء في المهام الأقرب إلى العالم الحقيقي. أخيرًا وليس آخرًا، الانقسام الأصعب لجميع الموديلات في الوقت الحالي هو time واحد: من الصعب جدًا في هذه اللحظة على النماذج التعامل بشكل صحيح مع الإجراءات الحساسة للوقت (على الرغم من إمكانية التخفيف من ذلك من خلال استخدام أدوات متخصصة وتفكير زمني أفضل). ويمكن الاطلاع على تحليل مفصل لهذه النتائج في الورقة.

ومع ذلك، نعتقد أنه من المهم أن دفع التقارير إلى ما هو أبعد من النتائج الأولية: إذا كان النموذج صحيحًا ولكنه استغرق عدة آلاف من الرموز المميزة للوصول إلى الحل الصحيح، أو تم تشغيله لعدة ساعات، فهو “ليس جيدًا” مثل النموذج الذي نجح بأحجام كبيرة بشكل أسرع. لذلك، نقوم أيضًا بتطبيع درجات التكلفة، والتي يتم قياسها كميًا كمتوسط ​​عدد مكالمات LLM ورموز الإخراج (والتي تحدد كلاهما حدود باريتو لأداء التكلفة). ستجد في الورقة النتيجة مقابل التكلفة النقدية والوقت.

قارن مع النماذج المفضلة لديك! التقييم على Gaia2

إذا كنت تريد تقييم النموذج الخاص بك على Gaia2، فيمكنك اتباع الخطوات التالية:

أولاً، قم بتثبيت Meta’s Agent Research Environment في بيئة Python التي تختارها (uv، conda، virtualenv، …)

pip install meta-agents-research-environments

ثم قم بتشغيل المعيار لجميع التكوينات: التنفيذ والبحث والقدرة على التكيف والوقت والغموض. لا تنس تحميل جميع النتائج إلى المركز باستخدام hf_upload kwarg!

are-benchmark run --hf meta-agents-research-environments/Gaia2     --split validation --config CONFIGURATION     --model YOUR_MODEL --model_provider YOUR_PROVIDER     --agent default     --max_concurrent_scenarios 2     --scenario_timeout 300     --output_dir ./monitored_test_results     --hf_upload YOUR_HUB_DATASET_TO_SAVE_RESULTS 

قم بتشغيل أوراكل للحصول على ملف درجاتك المجمعة

are-benchmark judge --hf meta-agents-research-environments/Gaia2     --split validation --config CONFIGURATION     --agent default     --max_concurrent_scenarios 2     --scenario_timeout 300     --output_dir ./monitored_test_results --hf_upload YOUR_HUB_DATASET_TO_SAVE_RESULTS 

أخيرًا، أضف جميع المعلومات ذات الصلة بنموذجك في ملف README، وشاركها على لوحة المتصدرين لمركزة آثار Gaia2 هنا!

ما وراء Gaia2: ادرس عملائك مع ARE

بعيدًا عن السيناريوهات المعيارية، يمكنك استخدام تطبيقات Gaia2 والمحتوى في ARE لمعرفة ما إذا كان النموذج قادرًا على حل المهام الأقل التحقق منها بشكل صحيح مثل تحميل رسائل البريد الإلكتروني أو كتابة المتابعات أو إضافة أحداث إلى التقويم أو حجز الاجتماعات – باختصار، توفير الإعداد المثالي لـ تقييم مساعدي الذكاء الاصطناعي الخاص بك من خلال التفاعل!

يمكنك أيضًا تخصيص البيئة بسهولة، من خلال 1) ربط الأدوات الخاصة بك (عبر MCP أو مباشرة) لاختبار عملائك عليه؛ 2) تنفيذ السيناريوهات الخاصة بك، بما في ذلك التعريف أحداث الزناد أو التوقيت (على سبيل المثال: بعد دقيقتين، سيتلقى تطبيق البريد بريدًا إلكترونيًا جديدًا من جهة الاتصال)، لمعرفة مدى قدرة الوكيل على التكيف مع البيئة المتطورة

(كما هو الحال مع الوكلاء بشكل افتراضي json agents، فلا يمكنهم إفساد جهازك، إلا إذا قمت بالطبع بتوصيلهم بتطبيقات خارجية بحقوق غير آمنة. لذا، يجب توخي الحذر عند إضافة تطبيقاتك الخاصة أو استخدام MCPs غير الموثوق بها)

فيما يلي العديد من حالات الاستخدام التي استخدمناها ARE من أجل:

• Vibe-تحقق من أي وكيل على بيانات حقيقية أو محاكاة، لدراسة مجموعة متنوعة من الإعدادات، مع قواعدها وأدواتها ومحتواها وعمليات التحقق الخاصة بها
• وكيل الاختبار قدرات استدعاء الأداة والتنسيقإما باستخدام التطبيقات المحلية أو أدوات MCP
• قم بإنشاء تتبع استدعاء الأداة الخاص بك إلى ضبط نماذج استدعاء الأدوات
• جمع و بسهولة إعادة إنتاج المعايير الوكيلة الموجودة في إطار موحد
• تصحيح و وكيل الدراسة إلى وكيل التفاعلات على الطاير داخل واجهة المستخدم
• قيود نموذج الدراسة في البيئات الصاخبة (مع انتهاء مهلات واجهة برمجة التطبيقات (API) والغموض)

قمنا بتسجيل 3 مقاطع فيديو حتى تتمكن من التحقق من بعض حالات الاستخدام هذه (ولكن بالطبع، نأمل أن يصبح المجتمع مبدعًا في ARE :hugging_face:). بالنسبة إلى مقاطع الفيديو هذه، نستخدم العرض التوضيحي الافتراضي الموضح أعلاه، والذي يحتوي على محاكاة لحياة ليندا رين، طالبة دكتوراه في التعلم الآلي.

1) اختبار الوكيل في مهمة بسيطة: تنظيم الحدث

لاختبار مدى جودة النموذج الافتراضي في تنظيم الحدث، فلنخطط لحفلة عيد ميلاد!

نطلب أولاً من الوكيل إرسال رسالة نصية إلى كل فرد في عائلة Renne حول حفلة عيد الميلاد الثلاثين للمستخدم في 7 نوفمبر. يحتوي الكون الافتراضي على 21 جهة اتصال في القائمة، بما في ذلك 5 أفراد من عائلة Renne – ليندا، “مالكة” المحاكاة، وجورج وستيفي، ووالديها، وآنا أختها، ومورجان جدها. نجح الوكيل في تصفح قائمة جهات الاتصال، والعثور على أفراد الأسرة الأربعة، وإرسال رسائل نصية إليهم.

بعد ذلك، نطلب من الوكيل إنشاء دعوة تقويم وإضافتهم كمدعوين. يتذكر الوكيل السياق أعلاه! يقوم بإنشاء دعوة تقويم في التاريخ الصحيح ويضيف أفراد العائلة إليها بشكل صحيح.

2) فهم الوكلاء: الغوص العميق في الآثار

تتيح لنا ARE أيضًا التحقق من الآثار الكامنة وراء الإجراءات التي اتخذها الوكيل. عند فتح أداة سجلات الوكيل على اليسار، يمكننا رؤية موجه النظام، وسلسلة الأفكار، والإجراءات متعددة الخطوات التي تم اتخاذها باستخدام الأدوات المسماة، والنتائج كسجلات منظمة بدقة. يمكن تصدير كل شيء بتنسيق json إذا كنت تريد استشارة الأشياء في وضع عدم الاتصال!

3) اللعب بالعرض التوضيحي وتوسيعه: توصيل الوكيل بـ MCPs الخاصة بك

في هذا المثال الأخير، قمنا بتوصيل ARE بذراع روبوت بعيد عبر MCP، حتى يتمكن من الإشارة إلينا بالأشياء، ثم نطلب من الوكيل الإجابة على أسئلتنا بنعم أو لا من خلال التلويح بذراع الروبوت! وهنا ما يبدو عليه.

لكن هذه الأمثلة ليست سوى نقاط بداية بسيطة جدًا، ونحن نتطلع حقًا إلى ما ستبنيه! (بالنسبة للمستخدمين الأكثر تقدمًا، يمكنك أيضًا تثبيت رمز Meta-ARE وتحريره مباشرةً هنا.)

خاتمة

تعد Gaia2 وARE أدوات بحثية جديدة نأمل أن تمكن أي شخص من بناء عملاء ذكاء اصطناعي أكثر موثوقية وقابلية للتكيف بسهولة – من خلال السماح بإجراء تجارب سهلة، وجعل التقييم الواقعي في متناول أي شخص، فضلاً عن تحسين الثقة من خلال معايير شفافة وقابلة للتكرار وآثار قابلة للتصحيح.

نود أن نرى ما ستفعله بهذا المشروع!