لقد قمنا باستضافة واجهة برمجة تطبيقات Inference بدون خادم على Hub لفترة طويلة (أطلقنا الإصدار الأول في صيف 2020 – واو، الوقت يمر بسرعة 🤯). على الرغم من أن هذا قد أتاح سهولة الاستكشاف وإنشاء النماذج الأولية، فقد قمنا بتحسين عرض القيمة الأساسية الخاص بنا نحو التعاون والتخزين والإصدار وتوزيع مجموعات البيانات والنماذج الكبيرة مع المجتمع. وفي الوقت نفسه، ازدهر مقدمو الخدمات بدون خادم، وكان الوقت مناسبًا لشركة Hugging Face لتوفير وصول سهل وموحد إلى الاستدلال بدون خادم من خلال مجموعة من مقدمي الخدمة الرائعين.
تمامًا كما نعمل مع شركاء رائعين مثل AWS وNvidia وغيرهما للحصول على خيارات نشر مخصصة عبر زر النشر الخاص بصفحات النماذج، كان من الطبيعي أن نتشارك مع الجيل التالي من موفري الاستدلال بدون خادم للاستدلال المرتكز على النموذج وبدون خادم.
إليك ما يتيحه ذلك، مع أخذ مثال DeepSeek-ai/DeepSeek-R1 في الوقت المناسب، وهو النموذج الذي حقق شهرة كبيرة خلال الأيام القليلة الماضية 🔥:
رودريجو ليانج، المؤسس المشارك والرئيس التنفيذي لشركة SambaNova: “نحن متحمسون للدخول في شراكة مع Hugging Face لتسريع واجهة برمجة تطبيقات Inference الخاصة بها. يتمتع مطورو Hugging Face الآن بإمكانية الوصول إلى سرعات استدلال أسرع بكثير على مجموعة واسعة من أفضل النماذج مفتوحة المصدر.”
زيكي سيكيليانوس، المصمم المؤسس في Replicate: “Hugging Face هو الموطن الفعلي لأوزان النماذج مفتوحة المصدر، وقد كان لاعبًا رئيسيًا في جعل الذكاء الاصطناعي في متناول العالم بشكل أكبر. نحن نستخدم Hugging Face داخليًا في Replicate باعتباره سجل الأوزان المفضل لدينا، ويشرفنا أن نكون من بين أوائل موفري الاستدلال الذين تم عرضهم في هذا الإطلاق.”
هذه مجرد البداية، وسنبني على ذلك مع المجتمع في الأسابيع المقبلة!
كيف يعمل
في واجهة المستخدم للموقع
- في إعدادات حساب المستخدم الخاص بك، يمكنك:
- قم بتعيين مفاتيح API الخاصة بك لموفري الخدمة الذين قمت بالتسجيل معهم. بخلاف ذلك، لا يزال بإمكانك استخدامها – سيتم توجيه طلباتك عبر HF.
- مقدمي الطلب حسب الأفضلية. ينطبق هذا على عناصر واجهة المستخدم ومقتطفات التعليمات البرمجية في صفحات النماذج.
- كما ذكرنا، هناك وضعان عند استدعاء واجهات برمجة تطبيقات الاستدلال:
- المفتاح المخصص (تنتقل المكالمات مباشرة إلى موفر الاستدلال، باستخدام مفتاح واجهة برمجة التطبيقات (API) الخاص بموفر الاستدلال المقابل)؛ أو
- يتم التوجيه بواسطة HF (في هذه الحالة، لا تحتاج إلى رمز مميز من الموفر، ويتم تطبيق الرسوم مباشرة على حساب HF الخاص بك بدلاً من حساب الموفر)
- تعرض صفحات النماذج موفري الاستدلال التابعين لجهات خارجية (تلك المتوافقة مع النموذج الحالي، مرتبة حسب تفضيلات المستخدم)
من SDKs العميل
من بايثون، باستخدام Huggingface_hub
يوضح المثال التالي كيفية استخدام DeepSeek-R1 باستخدام Together AI كموفر للاستدلال. يمكنك استخدام رمز Hugging Face للتوجيه التلقائي من خلال Hugging Face، أو مفتاح Together AI API الخاص بك إذا كان لديك واحد.
ثَبَّتَ huggingface_hub الإصدار v0.28.0 أو الأحدث (ملاحظات الإصدار).
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="together",
api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)
messages = [
{
"role": "user",
"content": "What is the capital of France?"
}
]
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-R1",
messages=messages,
max_tokens=500
)
print(completion.choices[0].message)
ملحوظة: يمكنك أيضًا استخدام مكتبة عميل OpenAI للاتصال بموفري الاستدلال أيضًا؛ انظر هنا مثال لنموذج DeepSeek.
وإليك كيفية إنشاء صورة من موجه نصي باستخدام FLUX.1-dev الذي يعمل على fal.ai:
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="fal-ai",
api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)
image = client.text_to_image(
"Labrador in the style of Vermeer",
model="black-forest-labs/FLUX.1-dev"
)
للانتقال إلى مزود آخر، يمكنك ببساطة تغيير اسم المزود، وسيظل كل شيء آخر كما هو:
from huggingface_hub import InferenceClient
client = InferenceClient(
- provider="fal-ai",
+ provider="replicate",
api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)
من JS باستخدام @huggingface/inference
import { HfInference } from "@huggingface/inference";
const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");
const chatCompletion = await client.chatCompletion({
model: "deepseek-ai/DeepSeek-R1",
messages: [
{
role: "user",
content: "What is the capital of France?"
}
],
provider: "together",
max_tokens: 500
});
console.log(chatCompletion.choices[0].message);
من مكالمات HTTP
نكشف عن وكيل التوجيه مباشرةً ضمن النطاق Huggingface.co حتى تتمكن من الاتصال به مباشرة، وهو مفيد جدًا لواجهات برمجة التطبيقات المتوافقة مع OpenAI على سبيل المثال. يمكنك فقط تبديل عنوان URL كعنوان URL أساسي: https://router.huggingface.co/{:provider}.
إليك كيفية الاتصال بـ Llama-3.3-70B-Instruct باستخدام Sambanova كموفر استدلال عبر cURL.
curl 'https://router.huggingface.co/sambanova/v1/chat/completions' \
-H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxx' \
-H 'Content-Type: application/json' \
--data '{
"model": "Llama-3.3-70B-Instruct",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
],
"max_tokens": 500,
"stream": false
}'
الفواتير
بالنسبة للطلبات المباشرة، أي عند استخدام المفتاح من مزود الاستدلال، تتم محاسبتك بواسطة المزود المقابل. على سبيل المثال، إذا كنت تستخدم مفتاح Together AI، فستتم محاسبتك على حساب Together AI الخاص بك.
بالنسبة للطلبات الموجهة، أي عند المصادقة عبر المركز، ستدفع فقط أسعار واجهة برمجة التطبيقات (API) للموفر القياسي. ليس هناك أي علامات إضافية من جانبنا، نحن فقط نمرر تكاليف المزود مباشرة. (في المستقبل، قد نبرم اتفاقيات لتقاسم الإيرادات مع شركائنا من مقدمي الخدمة.)
ملاحظة هامة ‼️ يحصل مستخدمو PRO على أرصدة استدلال بقيمة 2 دولار كل شهر. يمكنك استخدامها عبر مقدمي الخدمة. 🔥
اشترك في خطة Hugging Face PRO لتتمكن من الوصول إلى أرصدة Inference وZeroGPU وSpaces Dev Mode وحدود أعلى 20x والمزيد.
نحن نقدم أيضًا استدلالًا مجانيًا بحصة صغيرة للمستخدمين المجانيين الذين قاموا بتسجيل الدخول، ولكن يرجى الترقية إلى PRO إذا استطعت!
ردود الفعل والخطوات التالية
نحن نحب أن نحصل على تعليقاتك! إليك مناقشة مركزية يمكنك استخدامها: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49
