ONNX Runtime عبارة عن أداة للتعلم الآلي عبر الأنظمة الأساسية يمكن استخدامها لتسريع مجموعة واسعة من النماذج، خاصة تلك التي تدعم ONNX.
معانقة دعم وقت التشغيل ONNX
يوجد أكثر من 130.000 نموذج مدعوم من ONNX على Hugging Face، وهو مجتمع مفتوح المصدر يسمح للمستخدمين ببناء وتدريب ونشر مئات الآلاف من نماذج التعلم الآلي المتاحة للعامة. يمكن لهذه النماذج المدعومة من ONNX، والتي تتضمن العديد من نماذج اللغات الكبيرة (LLMs) والنماذج السحابية ذات الشعبية المتزايدة، الاستفادة من ONNX Runtime لتحسين الأداء، إلى جانب المزايا الأخرى. على سبيل المثال، يمكن أن يؤدي استخدام ONNX Runtime لتسريع النموذج الصغير جدًا إلى تحسين متوسط زمن الوصول لكل استدلال، مع زيادة تصل إلى 74.30% مقارنة بـ PyTorch. يعمل ONNX Runtime بشكل وثيق مع Hugging Face لضمان دعم النماذج الأكثر شيوعًا على الموقع. في المجمل، يتم دعم أكثر من 90 بنية لنموذج Hugging Face بواسطة ONNX Runtime، بما في ذلك 11 بنية الأكثر شيوعًا (حيث يتم تحديد الشعبية من خلال العدد المقابل من النماذج التي تم تحميلها على Hugging Face Hub):
| العمارة النموذجية | العدد التقريبي للنماذج |
|---|---|
| بيرت | 28180 |
| جي بي تي 2 | 14060 |
| ديستيلبيرت | 11540 |
| روبرتا | 10800 |
| T5 | 10450 |
| Wav2Vec2 | 6560 |
| انتشار مستقر | 5880 |
| XLM-روبرتا | 5100 |
| الهمس | 4400 |
| بارت | 3590 |
| ماريان | 2840 |
يتعلم أكثر
لمعرفة المزيد حول تسريع نماذج Hugging Face باستخدام ONNX Runtime، راجع منشورنا الأخير على مدونة Microsoft Open Source.
