AssetOpsBench هو نظام قياس أداء وتقييم شامل بستة أبعاد نوعية تعمل على سد الفجوة في الذكاء الاصطناعي الوكيل في إعدادات خاصة بالمجال، بدءًا من إدارة دورة حياة الأصول الصناعية.
مقدمة
في حين أن معايير الذكاء الاصطناعي الحالية تتفوق في مهام معزولة مثل البرمجة أو التنقل على شبكة الإنترنت، فإنها غالبا ما تفشل في فهم مدى تعقيد العمليات الصناعية في العالم الحقيقي. لسد هذه الفجوة، نقدم AssetOpsBench، وهو إطار مصمم خصيصًا لتقييم أداء الوكيل عبر ستة أبعاد مهمة للتطبيقات الصناعية. على عكس المعايير التقليدية، يؤكد AssetOpsBench على الحاجة إلى وكيل متعدد التنسيق – الانتقال من نماذج “الذئب الوحيد” إلى الأنظمة التي يمكنها التعامل مع أوضاع الفشل المعقدة، ودمج تدفقات البيانات المتعددة، وإدارة أوامر العمل المعقدة. من خلال التركيز على هذه الديناميكيات عالية المخاطر والمتعددة الوكلاء، يضمن المعيار تقييم وكلاء الذكاء الاصطناعي على أساس قدرتهم على التنقل بين الفروق الدقيقة والمتطلبات الحرجة للسلامة في بيئة صناعية حقيقية.
تم تصميم AssetOpsBench لعمليات الأصول مثل المبردات ووحدات معالجة الهواء. وهي تضم:
- 2.3 م نقاط القياس عن بعد الاستشعار
- 140+ سيناريوهات منسقة عبر 4 وكلاء
- 4.2 ك أوامر العمل لسيناريوهات متنوعة
- 53 أوضاع الفشل المنظم
ساعد الخبراء في التنظيم 150+ سيناريوهات. يتضمن كل سيناريو بيانات التعريف: نوع المهمة، وتنسيق الإخراج، والفئة، والوكلاء الفرعيين. المهام المصممة تمتد عبر:
- كشف الشذوذ في تيارات الاستشعار
- منطق وضع الفشل والتشخيص
- توقعات مؤشرات الأداء الرئيسية والتحليل
- أمر العمل التلخيص وتحديد الأولويات
إطار التقييم والتغذية الراجعة الشاملة
تقوم AssetOpsBench بتقييم الأنظمة الوكيلة عبر ستة أبعاد نوعية مصممة لتعكس القيود التشغيلية الحقيقية في إدارة الأصول الصناعية. بدلاً من تحسين مقياس نجاح واحد، يركز المعيار على جودة تتبع القرار، وأسس الأدلة، والوعي بالفشل، وإمكانية التنفيذ في ظل بيانات غير كاملة ومزعجة.
يتم تسجيل كل تشغيل وكيل عبر ستة معايير:
- إكمال المهمة
- دقة الاسترجاع
- التحقق من النتيجة
- صحة التسلسل
- الوضوح والتبرير
- معدل الهلوسة
من خلال التقييمات المبكرة، لاحظنا أن العديد من العوامل ذات الأغراض العامة تؤدي أداءً جيدًا على مستوى التفكير السطحي، ولكنها تعاني من التنسيق المستمر متعدد الخطوات الذي يتضمن أوامر العمل، ودلالات الفشل، والتبعيات الزمنية. يميل الوكلاء الذين يصممون السياق التشغيلي وعدم اليقين بشكل واضح إلى إنتاج مسارات أكثر استقرارًا وقابلة للتفسير، حتى عندما يكون إكمال المهمة النهائية جزئيًا.
هذا التقييم الموجه نحو ردود الفعل مقصود: في البيئات الصناعية، غالبًا ما يكون فهم سبب فشل الوكيل أكثر قيمة من إشارة النجاح الثنائية.
أوضاع الفشل في سير عمل الوكيل الصناعي
المساهمة المركزية لـ AssetOpsBench هي المعالجة الصريحة لـ أوضاع الفشل كإشارات تقييم من الدرجة الأولى في سير العمل الصناعي الوكيل. بدلاً من التعامل مع الفشل كنتيجة ثنائية، يقوم AssetOpsBench بتحليل مسارات التنفيذ الكاملة متعددة الوكلاء لتحديد أين, كيف، و لماذا ينهار سلوك الوكيل في ظل قيود تشغيلية واقعية.
يتم تنفيذ تحليل الفشل في AssetOpsBench من خلال خط أنابيب مخصص على مستوى المسار (TrajFM)، الذي يجمع بين الاستدلال القائم على LLM والتجميع الإحصائي لتوضيح أنماط الفشل القابلة للتفسير من آثار تنفيذ الوكيل. يعمل خط الأنابيب هذا على ثلاث مراحل: (1) استخراج الفشل على مستوى المسار باستخدام موجه تشخيصي موجه من LLM، (2) التجميع القائم على التضمين لتجميع أنماط الفشل المتكررة، و(3) التحليل والتصور لدعم تعليقات المطورين وتكرارهم.
عبر السيناريوهات الصناعية، تتضمن أوضاع الفشل المتكرر ما يلي:
- عدم المحاذاة بين القياس عن بعد لأجهزة الاستشعار والتنبيهات وأوامر العمل التاريخية
- استنتاجات مفرطة في الثقة يتم استخلاصها في ظل وجود أدلة مفقودة أو متأخرة أو غير كافية
- التجميع غير المتناسق لطرائق البيانات غير المتجانسة عبر الوكلاء
- اختيار الإجراء السابق لأوانه دون خطوات التحقق أو التحقق الكافية
- الأعطال في التنسيق بين الوكلاء، مثل المدخلات التي تم تجاهلها أو عدم تطابق منطق الإجراء
الأهم من ذلك، أن AssetOpsBench لا يعتمد فقط على تصنيف فشل ثابت ومصمم يدويًا. في حين يتم استخدام مجموعة منظمة من فئات الفشل المحددة مسبقًا (على سبيل المثال، أخطاء التحقق، وتكرار الخطوات، وانتهاكات الدور) لتحقيق الاتساق، فقد تم تصميم النظام بشكل واضح لـ اكتشاف أنماط الفشل الجديدة التي تظهر على أرض الواقع. يتم تضمين أوضاع الفشل الإضافية التي تم تحديدها بواسطة LLM وتجميعها تلقائيًا، مما يسمح للتصنيف بالتطور مع تقييم تصميمات وسلوكيات الوكيل الجديد.
للحفاظ على السرية الصناعية، لا يتم الكشف عن آثار التنفيذ الأولية أبدًا. وبدلاً من ذلك، يحصل الوكلاء على درجات مجمعة عبر ستة أبعاد تقييم بالإضافة إلى ملخصات مجمعة لوضع الفشل تشرح ذلك لماذا فشل العميل، دون الكشف عن بيانات حساسة أو خطوات تفكير وسيطة. يمكّن هذا التصميم المبني على الملاحظات المطورين من تشخيص نقاط الضعف وتحسين سير عمل الوكيل وإعادة إرسال الوكلاء المحسّنين بشكل متكرر.
يعكس هذا التقييم المدرك للفشل واقع إدارة الأصول الصناعية، حيث غالبًا ما يكون التفكير الحذر والمدرك للتدهور – والقدرة على التعرف على عدم اليقين، أو تأجيل الإجراء، أو التصعيد بشكل مناسب – أفضل من الأتمتة العدوانية ولكن الهشة.
تقديم وكيل للتقييم
تم تصميم AssetOpsBench-Live كمعيار مفتوح وجاهز للمنافسة، ونحن نرحب بتقديم عمليات تنفيذ الوكلاء من المجتمع. يتم تقييم الوكلاء في بيئة خاضعة للرقابة وتحافظ على الخصوصية وتعكس القيود الحقيقية لإدارة الأصول الصناعية.
لإرسال وكيل، يقوم المطورون أولاً بالتحقق من صحة تنفيذهم محليًا باستخدام بيئة محاكاة مقدمة، والتي تتضمن بيانات الاستشعار التمثيلية وأوامر العمل والتنبيهات وكتالوجات وضع الفشل. يتم بعد ذلك وضع الوكلاء في حاويات وإرسالهم للتنفيذ عن بعد في سيناريوهات التقييم المخفية.
يتم تقييم العوامل المقدمة عبر ستة أبعاد نوعية – إكمال المهمة، والدقة، والتحقق من النتائج، وتسلسل العمل، والوضوح، والهلوسة – باستخدام بروتوكول تقييم متسق وقابل للتكرار. لا يتم الكشف عن آثار التنفيذ؛ وبدلاً من ذلك، يتلقى المشاركون درجات مجمعة وملاحظات منظمة عن وضع الفشل تسلط الضوء على مكان وسبب انهيار تفكير العميل أو التنسيق.
تتيح حلقة التقييم المبنية على الملاحظات إمكانية التحسين المتكرر: يمكن للمطورين تشخيص أنماط الفشل وتحسين تصميم الوكيل أو بنية سير العمل وإعادة إرسال الوكلاء المحدثين لمزيد من التقييم. يتم دعم كل من الوكلاء الذين يركزون على التخطيط والتنفيذ، مما يسمح للباحثين والممارسين باستكشاف تصميمات الوكلاء المتنوعة ضمن نفس الإطار المعياري.
التجربة والملاحظات
أجرينا تقييمًا مجتمعيًا حيث اختبرنا مسارين:
- موجه نحو التخطيط تنسيق متعدد الوكيل
- موجه نحو التنفيذ سير عمل ديناميكي متعدد الوكلاء.
عبر 225 مستخدمًا وأكثر من 300 وكيل ونماذج رائدة مفتوحة المصدر، إليك الملاحظات:
| العائلة النموذجية | أفضل نقاط التخطيط | أفضل نقاط التنفيذ | القيود الرئيسية |
|---|---|---|---|
| جي بي تي-4.1 | 68.2 | 72.4 | هلوسة في استكمال سير العمل المعقد |
| ميسترال كبير | 64.7 | 69.1 | واجهت صعوبات في التعامل مع تسلسلات الأدوات متعددة القفزات |
| لاما-4 مافريك | 66.0 | 70.8 | أسئلة توضيحية مفقودة (قابلة للإصلاح) |
| لاما-3-70ب | 52.3 | 58.9 | انهار تحت التنسيق متعدد الوكلاء |
ملحوظة: لم يتمكن أي من النماذج من اجتياز معيار معايير التقييم الخاص بنا والحصول على 85 نقطة، وهو الحد الأدنى للاستعداد للنشر.
توزيع الفشل
عبر 881 من آثار تنفيذ الوكيل، كان توزيع الفشل كما يلي:
- استرداد الأخطاء غير الفعال: 31.2%
- الإكمال المبالغ فيه: 23.8%
- مشاكل التنسيق: 21.4%
- أخطاء الأداة غير المعالجة: 10.3%
- ردود الفعل التي تم تجاهلها: 8.0%
- آخر: 5.3%
علاوة على ذلك، كان لـ 185 أثرًا نمط فشل جديد و164 أثرًا بها عدة حالات فشل جديدة.
نتائج الخطأ الرئيسية
- “يبدو صحيحًا، وهو خطأ”: يزعم الوكلاء أنهم أكملوا المهام (23.8%) ونجحوا في الإخراج حتى بعد التعافي من الفشل غير الناجح (31.2%). يعد قياس AssetOps أمرًا مهمًا للكشف عن ذلك حتى لا يتصرف المشغلون بناءً على معلومات غير صحيحة.
- استخدام الأداة: يعد هذا هو الفرق الأكبر بين الوكلاء ذوي الأداء العالي والمنخفض، حيث يتمتع الوكلاء المتميزون بدقة أدوات تبلغ 94% مقارنة بـ 61% من الوكلاء ذوي الأداء المنخفض.
- تعدد العوامل يضاعف الفشل: تُظهر دقة المهمة بين وكيل واحد (68%) مقابل وكيل متعدد (47%) مدى التعقيد الذي يجلبه الوكيل المتعدد مع فقدان السياق، والمشكلات غير المتزامنة، والفشل المتتالي.
- معرفة المجال: كان أداء الوكلاء الذين لديهم إمكانية الوصول إلى قواعد بيانات وضع الفشل وأدلة الصيانة أفضل. ومع ذلك، لم يتم استخدام معرفة RAG دائمًا بشكل صحيح، مما يشير إلى الحاجة إلى التفكير المنظم.
- الغموض: تسببت أجهزة الاستشعار المفقودة والسجلات المتضاربة وأوصاف المشغل الغامضة في انخفاض معدل النجاح بنسبة 34%. يجب أن يكون لدى الوكلاء استراتيجيات توضيحية مضمنة.
من أين تبدأ؟
