من خلال هذا الإصدار، نود أن نجعل Inference Endpoints أكثر تركيزًا على المجتمع ونسمح لأي شخص بالحضور والمساهمة في إنشاء عمليات نشر استدلالية مذهلة على Hugging Face Platform. جنبًا إلى جنب مع المجتمع، نود أن نقترح عمليات نشر محسنة لمجموعة واسعة من المهام من خلال استخدام تقنيات مفتوحة المصدر رائعة ومتاحة.
إن الموقع الفريد لـ Hugging Face، في قلب مجتمع الذكاء الاصطناعي مفتوح المصدر، والذي يعمل جنبًا إلى جنب مع الأفراد والمؤسسات والشركاء الصناعيين، يجعلها المنصة الأكثر تجانسًا عندما يتعلق الأمر بنشر نماذج الذكاء الاصطناعي للاستدلال على مجموعة واسعة من الأجهزة والبرمجيات.
مكدس الاستدلال
تستفيد نقطة نهاية Whisper الجديدة من المشاريع المجتمعية المذهلة مفتوحة المصدر. يتم تشغيل الاستدلال بواسطة مشروع vLLM، الذي يوفر طرقًا فعالة لتشغيل نماذج الذكاء الاصطناعي على عائلات الأجهزة المختلفة – وخاصة، على سبيل المثال لا الحصر، وحدات معالجة الرسومات NVIDIA. نحن نستخدم تطبيق vLLM لنموذج Whisper الخاص بـ OpenAI، مما يسمح لنا بتمكين المزيد من التحسينات على المستوى الأدنى في حزمة البرامج.
في هذا الإصدار الأولي، نستهدف وحدات معالجة الرسومات NVIDIA بقدرات حسابية 8.9 أو أفضل (Ada Lovelace)، مثل L4 وL40s، والتي تفتح نطاقًا واسعًا من تحسينات البرامج:
- تجميع PyTorch (torch.compile)
- الرسوم البيانية كودا
- تجميع ذاكرة التخزين المؤقت float8 KV مع
torch.compileينشئ نواة محسنة بطريقة Just-In-Time (JIT)، والتي يمكنها تعديل الرسم البياني الحسابي، وإعادة ترتيب العمليات، واستدعاء الأساليب المتخصصة، والمزيد.
تسجل الرسوم البيانية CUDA تدفق العمليات المتسلسلة، أو النوى، التي تحدث على وحدة معالجة الرسومات، وتحاول تجميعها كأجزاء أكبر من وحدات العمل لتنفيذها على وحدة معالجة الرسومات. تعمل عملية التجميع هذه على تقليل تحركات البيانات، والمزامنة، وجدول جدولة وحدة معالجة الرسومات (GPU) عن طريق تنفيذ وحدة عمل واحدة أكبر بكثير، بدلاً من عدة وحدات أصغر.
أخيرًا وليس آخرًا، نقوم بقياس عمليات التنشيط بشكل ديناميكي لتقليل متطلبات الذاكرة التي تتكبدها ذاكرة التخزين المؤقت KV. تتم الحسابات بنصف الدقة، bfloat16 في هذه الحالة، ويتم تخزين المخرجات بدقة منخفضة (1 بايت لـ float8 مقابل 2 بايت لـ bfloat16) مما يسمح لنا بتخزين المزيد من العناصر في ذاكرة التخزين المؤقت KV، مما يزيد من معدل ضرب ذاكرة التخزين المؤقت.
هناك العديد من الطرق لمواصلة دفع هذا الأمر ونحن نستعد للعمل جنبًا إلى جنب مع المجتمع لتحسينه!
المعايير
يُظهر Whisper Large V3 تحسنًا بمقدار 8 أضعاف تقريبًا في RTFx، مما يتيح استنتاجًا أسرع بكثير دون فقدان جودة النسخ.
قمنا بتقييم جودة النسخ وكفاءة وقت التشغيل للعديد من النماذج المستندة إلى Whisper — Whisper Large V3، وWhisper Large V3-Turbo، وDistil-Whisper Large V3.5 — وقمنا بمقارنتها بتطبيقاتها في مكتبة Transformers لتقييم كل من الدقة وسرعة فك التشفير في ظل ظروف مماثلة.
لقد قمنا بحساب معدل خطأ الكلمات (WER) عبر 8 مجموعات بيانات قياسية من Open ASR Leaderboard، بما في ذلك AMI وGigaSpeech وLibriSpeech (Clean and Other) وSPGISpeech وTedlium وVoxPpuli وEarnings22. تمتد مجموعات البيانات هذه إلى مجالات وظروف تسجيل متنوعة، مما يضمن إجراء تقييم قوي للتعميم وجودة النسخ في العالم الحقيقي. يقيس WER دقة النسخ عن طريق حساب النسبة المئوية للكلمات التي تم التنبؤ بها بشكل غير صحيح (عن طريق الإدراج أو الحذف أو الاستبدال)؛ يشير انخفاض WER إلى أداء أفضل. تحافظ جميع متغيرات Whisper الثلاثة على أداء WER مشابهًا لخطوط الأساس الخاصة بالمحولات.
لتقييم كفاءة الاستدلال، أخذنا عينات من مجموعة البيانات الطويلة rev16، والتي تحتوي على مقاطع صوتية يزيد طولها عن 45 دقيقة – تمثل أعباء عمل النسخ الحقيقية مثل الاجتماعات أو البث الصوتي أو المقابلات. قمنا بقياس عامل الوقت الحقيقي (RTFx)، والذي يُعرف بأنه نسبة مدة الصوت إلى وقت النسخ، وقمنا بحساب متوسطه عبر العينات. تم تقييم جميع النماذج في bfloat16 على وحدة معالجة الرسومات L4 واحدة، باستخدام إعدادات فك التشفير المتسقة (اللغة وحجم الشعاع وحجم الدفعة).
كيفية النشر
يمكنك نشر خط أنابيب استدلال ASR الخاص بك عبر Hugging Face Endpoints. تتيح نقاط النهاية لأي شخص يرغب في نشر نماذج الذكاء الاصطناعي في بيئات جاهزة للإنتاج القيام بذلك عن طريق ملء بعض المعلمات. كما أنه يتميز بأسطول كامل من أجهزة الذكاء الاصطناعي المتوفرة في السوق لتناسب احتياجاتك من حيث التكلفة والأداء. كل هذا مباشرة من المكان الذي يتم فيه بناء مجتمع الذكاء الاصطناعي. للبدء، ليس هناك ما هو أسهل، ما عليك سوى اختيار النموذج الذي تريد نشره:
الاستدلال
يمكن تنفيذ الاستدلال على نقطة نهاية النموذج المنشور ببضعة أسطر من التعليمات البرمجية في Python، ويمكنك أيضًا استخدام نفس البنية في Javascript أو أي لغة أخرى تناسبك.
فيما يلي مقتطف صغير لاختبار نقطة التفتيش المنشورة بسرعة.
import requests
ENDPOINT_URL = "https://<your‑hf‑endpoint>.cloud/api/v1/audio/transcriptions"
HF_TOKEN = "hf_xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
AUDIO_FILE = "sample.wav"
headers = {"Authorization": f"Bearer {HF_TOKEN}"}
with open(AUDIO_FILE, "rb") as f:
files = {"file": f.read()}
response = requests.post(ENDPOINT_URL, headers=headers, files=files)
response.raise_for_status()
print("Transcript:", response.json()["text"])
عرض FastRTC
باستخدام نقطة النهاية السريعة المذهلة هذه، من الممكن إنشاء تطبيقات النسخ في الوقت الفعلي. جرب هذا المثال الذي تم إنشاؤه باستخدام FastRTC. ما عليك سوى التحدث عبر الميكروفون الخاص بك ورؤية خطابك مكتوبًا في الوقت الفعلي!
يمكن تكرار المسافات بسهولة، لذا لا تتردد في تكرارها. كل ما سبق متاح للاستخدام المجتمعي على Hugging Face Hub في مؤسسة HF Endpoints المخصصة لدينا. افتح المشكلات واقترح حالات الاستخدام وساهم هنا: hfendpoints-images (استدلال صور نقاط النهاية) 🚀
