منذ إصداره الأولي في عام 2022، زودت Text-Generation-Inference (TGI) Hugging Face ومجتمع الذكاء الاصطناعي بحل يركز على الأداء لنشر نماذج اللغات الكبيرة (LLMs) بسهولة. قدمت TGI في البداية حلاً بدون تعليمات برمجية تقريبًا لتحميل النماذج من Hugging Face Hub ونشرها في الإنتاج على وحدات معالجة الرسومات NVIDIA. بمرور الوقت، توسع الدعم ليشمل وحدات معالجة الرسومات AMD Instinct ووحدات معالجة الرسومات Intel وAWS Trainium/Inferentia وGoogle TPU وIntel Gaudi.
على مر السنين، ظهرت حلول استدلالية متعددة، بما في ذلك vLLM، وSGLang، وllama.cpp، وTensorRT-LLM، وما إلى ذلك، مما أدى إلى تقسيم النظام البيئي العام. قد تتطلب النماذج والأجهزة وحالات الاستخدام المختلفة واجهة خلفية محددة لتحقيق الأداء الأمثل. ومع ذلك، فإن تكوين كل واجهة خلفية بشكل صحيح، وإدارة التراخيص، ودمجها في البنية التحتية الحالية قد يمثل تحديًا للمستخدمين.
ولمعالجة هذه المشكلة، يسعدنا تقديم مفهوم TGI Backends. توفر هذه البنية الجديدة المرونة اللازمة للتكامل مع أي من الحلول المذكورة أعلاه من خلال TGI كطبقة واجهة أمامية موحدة واحدة. يسهل هذا التغيير على المجتمع الحصول على أفضل أداء لأحمال عمل الإنتاج الخاصة بهم، وتبديل الواجهات الخلفية وفقًا لمتطلبات النماذج والأجهزة والأداء الخاصة بهم.
يسعد فريق Hugging Face بالمساهمة والتعاون مع الفرق التي تقوم ببناء vLLM وllama.cpp وTensorRT-LLM والفرق في AWS وGoogle وNVIDIA وAMD وIntel لتقديم تجربة مستخدم قوية ومتسقة لمستخدمي TGI أيًا كانت الواجهة الخلفية والأجهزة التي يرغبون في استخدامها.
واجهة TGI الخلفية: تحت الغطاء
يتكون TGI من مكونات متعددة، مكتوبة بشكل أساسي بلغة Rust وPython. يقوم Rust بتشغيل طبقات HTTP والجدولة، وتظل لغة Python هي الحل الأمثل للنمذجة.
قصة قصيرة طويلة: يتيح لنا Rust تحسين المتانة العامة لطبقة الخدمة من خلال التحليل الثابت وإنفاذ سلامة الذاكرة المستندة إلى المترجم: فهو يوفر القدرة على التوسع في عدة مراكز مع نفس ضمانات الأمان بسهولة أكبر. إن الاستفادة من نظام النوع القوي لـ Rust لطبقة HTTP والمجدول يجعل من الممكن تجنب مشكلات الذاكرة مع زيادة التزامن إلى الحد الأقصى، وتجاوز قفل المترجم العالمي (GIL) في البيئات المستندة إلى Python.
عند الحديث عن Rust… مفاجأة، هذه هي نقطة انطلاق TGI لدمج واجهة خلفية جديدة – 🤗
في وقت سابق من هذا العام، عمل فريق TGI على كشف المقابض الأساسية لفصل كيفية اقتران خادم HTTP الفعلي والمجدول معًا. قدم هذا العمل الصدأ الجديد trait Backend لواجهة محرك الاستدلال الحالي والقادم.
وجود هذا الجديد Backend تمهد الواجهة (أو السمة بمصطلحات Rusty) الطريق للنمطية وتجعل من الممكن توجيه الطلبات الواردة فعليًا نحو محركات النمذجة والتنفيذ المختلفة.
التطلع إلى المستقبل: 2025
تفتح الإمكانيات الجديدة المتعددة الخلفية لـ TGI العديد من فرص خارطة الطريق المؤثرة. بينما نتطلع إلى عام 2025، يسعدنا مشاركة بعض تطورات TGI التي نتحمس لها كثيرًا:
- الواجهة الخلفية لـ NVIDIA TensorRT-LLM: نحن نتعاون مع فريق NVIDIA TensorRT-LLM لتقديم جميع عروض وحدات معالجة الرسوميات NVIDIA المحسنة + TensorRT إلى المجتمع. سيتم تغطية هذا العمل بشكل أكثر شمولاً في منشور المدونة القادم. إنه يرتبط ارتباطًا وثيقًا بمهمتنا المتمثلة في تمكين منشئي الذكاء الاصطناعي من خلال توفر المصدر المفتوح لكليهما
optimum-nvidiaتكميم/بناء/تقييم القطع الأثرية المتوافقة مع TensorRT جنبًا إلى جنب مع TGI+TRT-LLM لنشر عمليات النشر وتنفيذها وتوسيع نطاقها بسهولة على وحدات معالجة الرسومات NVIDIA. - Llama.cpp الخلفية: نحن نتعاون مع فريق llama.cpp لتوسيع الدعم لحالات استخدام إنتاج الخادم. ستوفر الواجهة الخلفية llama.cpp لـ TGI خيارًا قويًا يعتمد على وحدة المعالجة المركزية (CPU) لأي شخص يرغب في النشر على خوادم Intel أو AMD أو ARM CPU.
- الواجهة الخلفية vLLM: نحن نساهم في مشروع vLLM ونتطلع إلى دمج vLLM كواجهة خلفية لـ TGI في الربع الأول من عام 2025.
- الواجهة الخلفية لـ AWS Neuron: نحن نعمل مع فرق Neuron في AWS لتمكين دعم Inferentia 2 وTrainium 2 أصلاً في TGI.
- جوجل تي بي يو الخلفية: نحن نعمل مع فرق Google Jetstream وTPU لتقديم أفضل أداء من خلال TGI.
نحن واثقون من أن TGI Backends ستساعد في تبسيط عمليات نشر LLMs، مما يوفر التنوع والأداء لجميع مستخدمي TGI. ستتمكن قريبًا من استخدام TGI Backends مباشرة داخل Inference Endpoints. سيتمكن العملاء من نشر النماذج بسهولة مع TGI Backends على أجهزة مختلفة مع أداء وموثوقية من الدرجة الأولى خارج الصندوق.
ترقبوا منشور المدونة التالي حيث سنتعمق في التفاصيل الفنية ومعايير الأداء للواجهات الخلفية القادمة!
