نحن سعداء لمشاركة ذلك جروك أصبح الآن موفر استدلال مدعومًا على Hugging Face Hub! تنضم Groq إلى نظامنا البيئي المتنامي، مما يعزز اتساع وقدرات الاستدلال بدون خادم مباشرة على صفحات نموذج Hub. يتم أيضًا دمج موفري الاستدلال بسلاسة في حزم SDK لعملائنا (لكل من JS وPython)، مما يجعل من السهل جدًا استخدام مجموعة واسعة من النماذج مع موفري الخدمات المفضلين لديك.
يدعم Groq مجموعة واسعة من نماذج النصوص والمحادثات، بما في ذلك أحدث النماذج مفتوحة المصدر مثل Meta’s Llama 4 وQwen’s QWQ-32B وغيرها الكثير.
تقع وحدة معالجة اللغة (LPU™) في قلب تقنية Groq، وهي نوع جديد من نظام وحدة المعالجة الشاملة الذي يوفر أسرع استنتاج للتطبيقات المكثفة حسابيًا مع مكون تسلسلي، مثل نماذج اللغات الكبيرة (LLMs). تم تصميم وحدات LPU للتغلب على القيود المفروضة على وحدات معالجة الرسومات للاستدلال، مما يوفر زمن وصول أقل بشكل ملحوظ وإنتاجية أعلى. وهذا يجعلها مثالية لتطبيقات الذكاء الاصطناعي في الوقت الفعلي.
تقدم Groq استدلالًا سريعًا بالذكاء الاصطناعي للنماذج المتاحة بشكل مفتوح. أنها توفر واجهة برمجة التطبيقات (API) التي تسمح للمطورين بدمج هذه النماذج بسهولة في تطبيقاتهم. وهو يقدم نموذجًا حسب الطلب والدفع أولاً بأول للوصول إلى مجموعة واسعة من شهادات LLM المتاحة بشكل مفتوح.
يمكنك الآن استخدام واجهة برمجة التطبيقات الخاصة بـ Groq’s Inference كموفر استدلال على Huggingface. نحن متحمسون جدًا لرؤية ما ستبنيه مع هذا المزود الجديد.
اقرأ المزيد حول كيفية استخدام Groq كموفر استدلال في صفحة الوثائق المخصصة له.
انظر قائمة النماذج المدعومة هنا.
كيف يعمل
في واجهة المستخدم للموقع
- في إعدادات حساب المستخدم الخاص بك، يمكنك:
- قم بتعيين مفاتيح API الخاصة بك لموفري الخدمة الذين قمت بالتسجيل معهم. إذا لم يتم تعيين أي مفتاح مخصص، فسيتم توجيه طلباتك عبر HF.
- مقدمي الطلب حسب الأفضلية. ينطبق هذا على عناصر واجهة المستخدم ومقتطفات التعليمات البرمجية في صفحات النماذج.
- كما ذكرنا سابقًا، هناك وضعان عند استدعاء موفري الاستدلال:
- مفتاح مخصص (تنتقل المكالمات مباشرة إلى موفر الاستدلال، باستخدام مفتاح واجهة برمجة التطبيقات (API) الخاص بموفر الاستدلال المقابل)
- يتم التوجيه بواسطة HF (في هذه الحالة، لا تحتاج إلى رمز مميز من الموفر، ويتم تطبيق الرسوم مباشرة على حساب HF الخاص بك بدلاً من حساب الموفر)
- تعرض صفحات النماذج موفري الاستدلال التابعين لجهات خارجية (تلك المتوافقة مع النموذج الحالي، مرتبة حسب تفضيلات المستخدم)
من SDKs العميل
من بايثون، باستخدام Huggingface_hub
يوضح المثال التالي كيفية استخدام Meta’s Llama 4 باستخدام Groq كموفر الاستدلال. يمكنك استخدام رمز Hugging Face المميز للتوجيه التلقائي من خلال Hugging Face، أو مفتاح Groq API الخاص بك إذا كان لديك واحد.
ثَبَّتَ huggingface_hub من المصدر (انظر التعليمات). سيتم إصدار الدعم الرسمي قريبًا في الإصدار v0.33.0.
import os
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="groq",
api_key=os.environ["HF_TOKEN"],
)
messages = [
{
"role": "user",
"content": "What is the capital of France?"
}
]
completion = client.chat.completions.create(
model="meta-llama/Llama-4-Scout-17B-16E-Instruct",
messages=messages,
)
print(completion.choices[0].message)
من JS باستخدام @huggingface/inference
import { InferenceClient } from "@huggingface/inference";
const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({
model: "meta-llama/Llama-4-Scout-17B-16E-Instruct",
messages: [
{
role: "user",
content: "What is the capital of France?",
},
],
provider: "groq",
});
console.log(chatCompletion.choices[0].message);
الفواتير
بالنسبة للطلبات المباشرة، أي عند استخدام المفتاح من مزود الاستدلال، تتم محاسبتك بواسطة المزود المقابل. على سبيل المثال، إذا كنت تستخدم مفتاح Groq API، فستتم محاسبتك على حساب Groq الخاص بك.
بالنسبة للطلبات الموجهة، أي عند المصادقة عبر Hugging Face Hub، ستدفع فقط أسعار واجهة برمجة تطبيقات المزود القياسية. ليس هناك أي علامات إضافية من جانبنا، نحن فقط نمرر تكاليف المزود مباشرة. (في المستقبل، قد نبرم اتفاقيات لتقاسم الإيرادات مع شركائنا من مقدمي الخدمة.)
ملاحظة هامة ‼️ يحصل مستخدمو PRO على أرصدة استدلال بقيمة 2 دولار كل شهر. يمكنك استخدامها عبر مقدمي الخدمة. 🔥
اشترك في خطة Hugging Face PRO لتتمكن من الوصول إلى أرصدة Inference وZeroGPU وSpaces Dev Mode وحدود أعلى 20x والمزيد.
نحن نقدم أيضًا استدلالًا مجانيًا بحصة صغيرة للمستخدمين المجانيين الذين قاموا بتسجيل الدخول، ولكن يرجى الترقية إلى PRO إذا استطعت!
ردود الفعل والخطوات التالية
نحن نحب أن نحصل على تعليقاتك! شارك أفكارك و/أو تعليقاتك هنا: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49
