يبدو إنشاء جهاز توجيه في وكيلك بمثابة فوز سهل. أرسل طلبات بسيطة إلى نماذج أرخص، أو احجز طلبات باهظة الثمن للمهام الأصعب، أو قم بالتوجيه حسب التخصص – Claude للرمز، وGemini للوسائط المتعددة، وما إلى ذلك. يقوم المصنف أو الاستدلال بإجراء المكالمة، وتنخفض التكاليف، ويظل الأداء مرتفعًا. منتهي.
إلا أنها ليست كذلك. تفترض معظم أنظمة التوجيه أن اختيار النموذج يمثل مشكلة تصنيف. في تجربتنا في بناء التوجيه في الأنظمة الوكيلة، فإن ما يبدو وكأنه مشكلة في اختيار النموذج سرعان ما يصبح مشكلة في تحسين الأنظمة. الأبعاد الثلاثة جعلت هذا الأمر صعبًا بالنسبة لنا بشكل مدهش.
1. التكلفة أكثر من مجرد تسعير النماذج
كنا نتوقع أن يكون GPT-4.1 أرخص من Claude Sonnet 4.6. لم يكن كذلك.
عبر 417 مهمة في AppWorld Test Challenge باستخدام نفس وكيل CodeAct، تبلغ تكلفة Sonnet 79 دولارًا إجماليًا (0.19 دولارًا/مهمة) بينما تبلغ تكلفة GPT-4.1 155 دولارًا (0.37 دولارًا/مهمة) – أي الضعف تقريبًا. على الورق، هذا ليس له أي معنى. يعد تسعير الرمز المميز لـ GPT-4.1 أقل على كل من المدخلات والمخرجات، وتستغرق Sonnet ما يقرب من ثلاثة أضعاف خطوات التفكير لإنهاء نفس المهام. ومن خلال سعر الملصق وحده، من المفترض أن يفوز GPT-4.1 بسهولة.
التفسير؟ التخزين المؤقت — وهو أمر تتجاهله معظم مناقشات التوجيه تمامًا. تميل أعباء عمل الوكيل إلى إعادة استخدام أجزاء كبيرة من السياق عبر الخطوات. عندما تكون معدلات الوصول إلى ذاكرة التخزين المؤقت مرتفعة، تنخفض تكاليف الإدخال الفعالة بشكل كبير. يعني انخفاض أسعار قراءة ذاكرة التخزين المؤقت لـ Sonnet أنها استفادت بشكل غير متناسب من هذا النمط، وهو ما يكفي للتغلب على تسعيرها الأساسي الأعلى ومساراتها الأطول.
الوجبات الجاهزة: تعتمد التكلفة الفعلية على التفاعل بين النموذج وعبء العمل والبنية التحتية للخدمة. يعمل جهاز التوجيه الذي ينظر فقط إلى أوراق التسعير على تحسين الأداء مقابل الأرقام الخاطئة.
2. التعقيد أكثر من مجرد صعوبة المهمة
تتمثل إحدى استراتيجيات التوجيه الشائعة في تقدير مدى صعوبة المهمة وإرسال المهام الأصعب إلى نماذج أقوى. بديهي، لكنه ينهار بطريقتين.
أولاً، غالبًا ما تكون الصعوبة غير مرئية في وقت التوجيه. يبدو طلب مثل “تلخيص هذا العقد” بسيطًا، ولكنه قد يؤدي إلى الاسترداد، وفحوصات الامتثال، واستخدام الأداة، وجولات متعددة من التحسين قبل الانتهاء منه. وفي الوقت نفسه، قد يتم التعامل مع مطالبة ذات تقنية عالية بكفاءة من خلال نموذج متخصص أصغر. غالبًا لا تعرف مدى صعوبة المهمة فعليًا حتى يتم التنفيذ.
ثانيًا، حتى لو تمكنت من تقدير الصعوبة بشكل مثالي، فهي مجرد إشارة واحدة من بين العديد من الإشارات. في الإنتاج، تحتاج أجهزة التوجيه إلى الموازنة بين التكلفة وزمن الوصول وتخصص النموذج والموثوقية في وقت واحد. تتراكم عمليات النشر المؤسسية على المزيد: متطلبات الامتثال، وقواعد إقامة البيانات، وقيود الخصوصية، وقوائم النماذج المعتمدة. قد تحتاج المهمة التي من المفترض أن تنتقل إلى نموذج واحد إلى مكان آخر بسبب الإدارة – ويجب على جهاز التوجيه التعامل مع ذلك بأمان.
أجهزة التوجيه لا تحل مشكلة واحدة. إنهم يتنقلون باستمرار بين التكلفة والجودة ووقت الاستجابة والامتثال والموثوقية في وقت واحد.
3. الكمون هو أكثر من مجرد سرعة النموذج
من المغري التفكير في زمن الاستجابة من حيث حجم النموذج فقط – فالنماذج الأكبر تكون أبطأ، والنماذج الأصغر حجمًا أسرع. لكن ما يختبره المستخدم فعليًا يعتمد على أكثر من ذلك بكثير.
التوجيه نفسه يضيف الحمل. غالبًا ما تهيمن عوامل البنية التحتية – أي الأجهزة التي يعمل عليها النموذج، وما إذا كانت ذاكرة التخزين المؤقت دافئة، ومدى انشغال نقطة النهاية – على أوقات الاستجابة الشاملة. لا يزال بإمكان النموذج الأسرع نظريًا إنتاج تجربة أبطأ إذا لم تكن ظروف التقديم مناسبة.
ثم هناك دقة التوجيه. يضيف التوجيه مرة واحدة لكل مهمة الحد الأدنى من الحمل. لكن التوجيه في كل خطوة – والذي يمنحك المزيد من المرونة للتكيف في منتصف التنفيذ – يعني أن كل نقطة قرار إضافية تؤدي إلى زمن الاستجابة والتعقيد التشغيلي.
جهاز التوجيه الذي يتجاهل نظام التقديم يعمل على تحسين الأداء ضد الواقع الخاطئ.
فكيف تعاملنا مع هذا؟
شكلت هذه الدروس كيفية بناء جهاز التوجيه الخاص بنا. التحول الرئيسي: توقفنا عن التعامل مع التوجيه كمشكلة تصنيف وبدأنا في التعامل معها كمشكلة تحسين. بدلاً من التساؤل “ما هو النموذج الأفضل لهذه المهمة؟”، تعمل الخوارزمية الخاصة بنا على تحسين التكلفة والجودة ووقت الاستجابة في وقت واحد – مع الحفاظ على خفة الوزن بما يكفي لتجنب أن تصبح عنق الزجاجة في حد ذاتها.
يوضح الشكل أدناه نتيجة تحدي اختبار AppWorld مع وكيل CodeAct. يمثل كل مربع أزرق تكوينًا مختلفًا لجهاز التوجيه الخاص بنا، مما يرسم حدود دقة التكلفة. الشيء المهم ليس نقطة واحدة – بل أن جهاز التوجيه يمنحك مجموعة من نقاط التشغيل للاختيار من بينها اعتمادًا على ما إذا كنت تريد تحديد أولويات التكلفة أو زمن الوصول أو الدقة. يصل التكوين 1 (المُحسَّن لزمن الاستجابة) إلى دقة تصل إلى 84% مقابل 93 دولارًا و83 دولارًا — وهو ما يمثل انخفاضًا في التكلفة بنسبة 21% وتقليل زمن الوصول بنسبة 9% مقارنة بتشغيل Opus وحده، مع انخفاض في الدقة بنسبة 4% فقط. التكوين 2 يدفع التكلفة إلى مستوى أقل.
لاحظ أن جهاز التوجيه القياسي القائم على الصعوبة (الماس الأزرق المخضر) يصل إلى نطاق دقة مماثل ولكن بتكلفة أعلى – فهو لا يستكشف مساحة المقايضة الكاملة بالطريقة التي يمكن بها للنهج القائم على التحسين. ولأن التحسين بحد ذاته خفيف الوزن (حوالي 6 مللي ثانية و2 كيلو بايت من الذاكرة لكل مهمة)، فإن جهاز التوجيه لا يصبح عنق الزجاجة الذي حذرنا منه سابقًا.
الصورة الأكبر
الدرس الذي تعلمناه من هذا العمل هو أن التوجيه لا يتعلق باختيار النماذج. يتعلق الأمر بتحسين الأنظمة. تعد النماذج أحد المتغيرات – وهو متغير مهم، ولكنه متغير واحد فقط بين سلوك التخزين المؤقت وحالة البنية التحتية وقيود الامتثال وأنماط عبء العمل.
عندما يعمل التوجيه بشكل جيد، نادرًا ما يكون ذلك بسبب العثور على النموذج “الأفضل” لمهمة معينة. هذا لأنه وجد أفضل نقطة تشغيل للنظام بأكمله. هذه مشكلة أصعب من التصنيف، لكنها المشكلة التي تستحق الحل.
سنشارك المزيد حول التفاصيل الفنية وراء نهجنا في منشور للمتابعة. في هذه الأثناء، إذا كنت تقوم ببناء التوجيه في أنظمة الوكيل الخاصة بك، فنحن نود أن نسمع ما هي المفاضلات التي تواجهها.
شكر وتقدير
تأثر هذا المنشور بالعديد من المحادثات مع الزملاء، الذين ساعدت أسئلتهم المدروسة وملاحظاتهم وأفكارهم في تحسين تفكيرنا.
