بالأمس، أصدرت OpenAI بحثًا عميقًا، وهو نظام يتصفح الويب لتلخيص المحتوى والإجابة على الأسئلة بناءً على الملخص. النظام مثير للإعجاب وأذهل عقولنا عندما جربناه لأول مرة.
إحدى النتائج الرئيسية في منشور المدونة هي التحسن القوي في الأداء في مقياس مساعدي الذكاء الاصطناعي العام (GAIA)، وهو معيار كنا نلعب به مؤخرًا أيضًا، حيث نجحوا في الوصول إلى ما يقرب من 67% من الإجابات الصحيحة في لقطة واحدة في المتوسط، و47.6% في أسئلة “المستوى 3” الصعبة بشكل خاص والتي تتضمن خطوات متعددة من التفكير واستخدام الأداة (انظر أدناه للحصول على عرض تقديمي لـ GAIA).
يتكون DeepResearch من LLM (والتي يمكن اختيارها من القائمة الحالية لـ LLM المقدمة من OpenAI، 4o، o1، o3، إلخ) و”إطار عمل وكيل” داخلي يوجه LLM لاستخدام أدوات مثل بحث الويب وتنظيم إجراءاته في خطوات.
في حين أن برامج LLM القوية متاحة الآن مجانًا في المصادر المفتوحة (انظر على سبيل المثال نموذج DeepSeek R1 الأخير)، إلا أن OpenAI لم تكشف الكثير عن الإطار الوكيل الكامن وراء Deep Research…
لذلك قررنا الشروع في مهمة مدتها 24 ساعة لإعادة إنتاج نتائجهم وفتح المصدر المفتوح للإطار المطلوب على طول الطريق!
الساعة تدق، دعونا نذهب! ⏱️
جدول المحتويات
ما هي أطر عمل الوكيل وسبب أهميتها؟
إطار عمل الوكيل عبارة عن طبقة أعلى LLM لجعل LLM المذكور ينفذ الإجراءات (مثل تصفح الويب أو قراءة مستندات PDF)، وتنظيم عملياته في سلسلة من الخطوات. للحصول على مقدمة سريعة للوكلاء، قم بمراجعة هذه المقابلة الرائعة التي أجراها Andrew Ng ومنشور المدونة التقديمي الخاص بنا إلى مكتبة smolagents. للحصول على معلومات أكثر تفصيلاً عن الوكلاء، يمكنك الاشتراك في دورة الوكلاء لدينا والتي تبدأ خلال أيام قليلة: الرابط هنا.
لقد اختبر الجميع تقريبًا بالفعل مدى قوة حاملي شهادات الماجستير في القانون بمجرد اللعب باستخدام روبوتات الدردشة. ومع ذلك، ما لا يعرفه الجميع حتى الآن هو أن دمج حاملي شهادات الماجستير في الأنظمة الوكيلة يمكن أن يمنحهم قوى خارقة حقيقية!
فيما يلي مثال حديث لمقارنة أداء عدد قليل من برامج LLM الحدودية مع وبدون إطار عمل وكيل (في هذه الحالة مكتبة الوكلاء البسيطة) – يؤدي استخدام إطار عمل وكيل إلى زيادة الأداء بما يصل إلى 60 نقطة!
في الواقع، سلطت OpenAI الضوء أيضًا في تدوينة إصدارها على كيفية أداء Deep Research بشكل أفضل من برامج LLM المستقلة في اختبار “الاختبار الأخير للإنسانية” كثيف المعرفة.
لذا، ماذا يحدث عندما نقوم بدمج أفضل ماجستير إدارة أعمال لدينا حاليًا في إطار عمل وكيل، للعمل نحو تحقيق open-DeepResearch ؟
ملاحظة سريعة: سنقوم بقياس نتائجنا على نفس تحدي GAIA ولكن ضع في اعتبارك أن هذا العمل قيد التقدم. يعد DeepResearch إنجازًا هائلاً وسيستغرق إعادة إنتاجه بشكل مفتوح وقتًا. على وجه الخصوص، سيتطلب التكافؤ الكامل استخدامًا محسّنًا للمتصفح وتفاعلًا مثل ما يوفره OpenAI Operator، أي بما يتجاوز تفاعل الويب الحالي الذي يقتصر على النص فقط والذي نستكشفه في هذه الخطوة الأولى.
دعونا أولاً نفهم نطاق التحدي: GAIA.
معيار GAIA
يمكن القول إن GAIA هو المعيار الأكثر شمولاً للوكلاء. أسئلتها صعبة للغاية وتواجه العديد من تحديات الأنظمة القائمة على LLM. وهذا مثال لسؤال صعب:
أي من الفاكهة التي تظهر في لوحة “تطريز من أوزبكستان” لعام 2008 تم تقديمها كجزء من قائمة الإفطار في أكتوبر 1949 لسفينة المحيط التي تم استخدامها لاحقًا كدعامة عائمة لفيلم “الرحلة الأخيرة”؟ أعط العناصر كقائمة مفصولة بفواصل، ورتبها بترتيب عقارب الساعة بناءً على ترتيبها في اللوحة بدءًا من موضع الساعة 12. استخدم صيغة الجمع لكل فاكهة.
يمكنك أن ترى أن هذا السؤال ينطوي على عدة تحديات:
- الرد بصيغة مقيدة
- استخدام إمكانيات الوسائط المتعددة (لاستخراج الثمار من الصورة)،
- جمع عدة أجزاء من المعلومات، بعضها يعتمد على البعض الآخر:
- التعرف على الثمار الموجودة في الصورة
- العثور على سفينة المحيط التي تم استخدامها كدعامة عائمة لـ “الرحلة الأخيرة”
- العثور على قائمة الإفطار لشهر أكتوبر 1949 لسفينة المحيط المذكورة أعلاه
- ربط مسار حل المشكلات معًا بالترتيب الصحيح.
ويتطلب حل هذه المشكلة قدرات تخطيط عالية المستوى وتنفيذًا صارمًا، وهما مجالان تواجهان صعوبة في الحصول على ماجستير إدارة الأعمال عند استخدامهما بمفردهما.
لذا فهي مجموعة اختبار ممتازة لأنظمة الوكلاء!
في لوحة المتصدرين العامة لـ GAIA، لا يصل GPT-4 حتى إلى 7% في مجموعة التحقق عند استخدامه بدون أي إعداد وكيل. على الجانب الآخر من الطيف، مع Deep Research، وصلت OpenAI إلى 67.36% في مجموعة التحقق، لذا فإن الترتيب أفضل من حيث الحجم! (على الرغم من أننا لا نعرف كيف سيكون أداؤهم فعليًا في مجموعة الاختبار الخاصة.)
دعونا نرى ما إذا كان بإمكاننا القيام بعمل أفضل باستخدام الأدوات مفتوحة المصدر!
بناء بحث عميق مفتوح
باستخدام CodeAgent
أول تحسين على أنظمة وكيل الذكاء الاصطناعي التقليدية التي سنتناولها هو استخدام ما يسمى “وكيل الكود”. كما هو مبين من قبل وانغ وآخرون. (2024)، فإن السماح للوكيل بالتعبير عن أفعاله في التعليمات البرمجية له مزايا عديدة، ولكن أبرزها ذلك تم تصميم الكود خصيصًا للتعبير عن تسلسلات معقدة من الإجراءات.
خذ بعين الاعتبار هذا المثال الذي قدمه وانغ وآخرون:
وهذا يسلط الضوء على العديد من المزايا لاستخدام التعليمات البرمجية:
- إجراءات التعليمات البرمجية هي أكثر إيجازا من JSON.
- هل تحتاج إلى تشغيل 4 تيارات متوازية من 5 إجراءات متتالية؟ في JSON، ستحتاج إلى إنشاء 20 نقطة JSON، كل منها في خطوة منفصلة؛ في الكود فهي خطوة واحدة فقط.
- في المتوسط، يوضح البحث أن إجراءات التعليمات البرمجية تتطلب خطوات أقل بنسبة 30% من JSON، وهو ما يعادل انخفاضًا مكافئًا في الرموز المميزة التي تم إنشاؤها. نظرًا لأن مكالمات LLM غالبًا ما تكون تكلفة أبعاد أنظمة الوكيل، فهذا يعني أن تشغيل نظام الوكيل الخاص بك أرخص بنسبة 30٪ تقريبًا.
- يتيح الكود إعادة استخدام الأدوات من المكتبات المشتركة
- أداء أفضل في المعايير، وذلك لسببين:
- طريقة أكثر سهولة للتعبير عن الإجراءات
- التعرض المكثف لـ LLMs للرمز في التدريب
تم تأكيد المزايا المذكورة أعلاه من خلال تجاربنا على agent_reasoning_benchmark.
من المبنى smolagents يمكننا أيضًا أن نذكر ميزة إضافية ملحوظة، وهي التعامل بشكل أفضل مع الحالة: وهذا مفيد جدًا للمهام متعددة الوسائط على وجه الخصوص. هل تحتاج إلى تخزين هذه الصورة/الصوت/أخرى لاستخدامها لاحقًا؟ لا توجد مشكلة، فقط قم بتعيينه كمتغير في حالتك ويمكنك إعادة استخدامه بعد 4 خطوات إذا لزم الأمر. في JSON، سيتعين عليك السماح لـ LLM بتسميته في مفتاح القاموس والثقة في أن LLM ستفهم لاحقًا أنه لا يزال بإمكانه استخدامه.
صنع الأدوات الصحيحة 🛠️
الآن نحن بحاجة إلى تزويد الوكيل بالمجموعة المناسبة من الأدوات.
1. متصفح ويب. في حين أنه ستكون هناك حاجة إلى تفاعل كامل لمتصفح الويب مثل Operator للوصول إلى الأداء الكامل، فقد بدأنا بمتصفح ويب بسيط للغاية يعتمد على النص في الوقت الحالي كأول إثبات للمفهوم. يمكنك العثور على الرمز هنا
2. مفتش نص بسيط، لتكون قادرة على قراءة مجموعة من تنسيق الملف النصي، تجده هنا.
تم أخذ هذه الأدوات من وكيل Magentic-One الممتاز بواسطة Microsoft Research، تحية لهم! لم نغيرها كثيرًا، حيث كان هدفنا هو الحصول على أعلى أداء ممكن بأقل قدر ممكن من التعقيد.
فيما يلي خريطة طريق قصيرة للتحسينات التي نرى أنها ستحسن أداء هذه الأدوات (لا تتردد في فتح ملف العلاقات العامة والمساهمة!):
- توسيع عدد تنسيقات الملفات التي يمكن قراءتها.
- اقتراح معالجة أكثر دقة للملفات.
- استبدال متصفح الويب بمتصفح قائم على الرؤية، وهو ما بدأناه هنا.
النتائج 🏅
في سباق الاستنساخ الذي دام أكثر من 24 ساعة، شهدنا بالفعل تحسينات مطردة في أداء وكيلنا في GAIA!
لقد صعدنا بسرعة من SoTA السابق بإطار عمل مفتوح، حوالي 46% لـ Magentic-One، إلى أدائنا الحالي البالغ 55.15% في مجموعة التحقق من الصحة.
يرجع هذا الارتفاع في الأداء في الغالب إلى السماح لوكلائنا بكتابة أفعالهم في التعليمات البرمجية! في الواقع، عند التبديل إلى وكيل قياسي يكتب الإجراءات بتنسيق JSON بدلاً من التعليمات البرمجية، يتراجع أداء نفس الإعداد على الفور إلى متوسط 33% في مجموعة التحقق من الصحة.
هنا هو نظام الوكيل النهائي.
لقد قمنا بإعداد عرض توضيحي مباشر هنا لتجربته!
ومع ذلك، هذه هي البداية فقط، وهناك الكثير من الأشياء التي يجب تحسينها! يمكن تحسين أدواتنا المفتوحة، ويمكن أيضًا ضبط إطار عمل smolagans، ونود استكشاف أداء النماذج المفتوحة الأفضل لدعم الوكيل.
نحن نرحب بانضمام المجتمع إلينا في هذا المسعى، حتى نتمكن من الاستفادة من قوة البحث المفتوح معًا لبناء إطار عمل وكيل مفتوح المصدر رائع! سيسمح لأي شخص بتشغيل وكيل يشبه DeepResearch في المنزل، مع نماذجه المفضلة، باستخدام نهج محلي ومخصص بالكامل!
نسخ المجتمع
بينما كنا نعمل على هذا ونركز على GAIA، ظهرت تطبيقات مفتوحة رائعة أخرى للأبحاث العميقة من المجتمع، وتحديدًا من
يستخدم كل من هذه التطبيقات مكتبات مختلفة لفهرسة البيانات وتصفح الويب والاستعلام عن LLMs. في هذا المشروع، نود أن إعادة إنتاج المعايير التي قدمتها OpenAI (متوسط درجة النجاح 1)، وقياس النتائج التي توصلنا إليها وتوثيقها من خلال التحول إلى LLMs المفتوحة (مثل DeepSeek R1)، باستخدام Vision LMs، وهي أداة تقليدية لقياس الأداء ضد الوكلاء الأصليين للرموز.
أهم الخطوات القادمة
من المحتمل أن يتم تعزيز البحث العميق لـ OpenAI بواسطة متصفح الويب الممتاز الذي قدموه مع المشغل.
لذلك نحن نتعامل مع ذلك بعد ذلك! في مشكلة أكثر عمومية: سنقوم ببناء وكلاء واجهة المستخدم الرسومية، أي “الوكلاء الذين يعرضون شاشتك ويمكنهم التصرف مباشرة باستخدام الماوس ولوحة المفاتيح”. إذا كنت متحمسًا لهذا المشروع، وترغب في مساعدة الجميع في الوصول إلى هذه الإمكانات الرائعة من خلال المصدر المفتوح، فنحن نحب أن نحصل على مساهمتك!
نحن أيضًا نوظف مهندسًا بدوام كامل لمساعدتنا في العمل على هذا وأكثر، تقدم بطلبك إذا كنت مهتمًا 🙂
