يسعدنا جدًا أن نعلن رسميًا عن استحواذ Hugging Face على XetHub 🔥
XetHub هي شركة مقرها سياتل أسسها Yucheng Low وAjit Banerjee وRajat Arya الذين عملوا سابقًا في Apple حيث قاموا ببناء البنية التحتية الداخلية لتعلم الآلة في Apple وتوسيع نطاقها. تتمثل مهمة XetHub في تمكين أفضل ممارسات هندسة البرمجيات لتطوير الذكاء الاصطناعي. قامت XetHub بتطوير تقنيات لتمكين Git من التوسع في مستودعات السل وتمكين الفرق من الاستكشاف والفهم والعمل معًا على مجموعات البيانات والنماذج الكبيرة المتطورة. وسرعان ما انضم إليهم فريق موهوب مكون من 12 عضوًا في الفريق. يجب عليك متابعتهم على صفحة المؤسسة الجديدة الخاصة بهم: hf.co/xet-team
هدفنا المشترك في HF
سيساعدنا فريق XetHub في إطلاق العنان للسنوات الخمس القادمة من نمو مجموعات بيانات ونماذج HF من خلال التحول إلى إصدارنا الأفضل من LFS كواجهة تخزين خلفية لمستودعات Hub.
– جوليان شوموند، مدير التكنولوجيا في HF
مرة أخرى في عام 2020، عندما قمنا ببناء الإصدار الأول من HF Hub، قررنا بنائه فوق Git LFS لأنه كان معروفًا جيدًا وكان اختيارًا معقولًا لبدء استخدام Hub.
ومع ذلك، كنا نعلم في ذلك الوقت أننا نرغب في التبديل إلى مساحة التخزين والإصدار الخلفية الخاصة بنا والأكثر تحسينًا في مرحلة ما. Git LFS – على الرغم من أنه يرمز إلى تخزين الملفات الكبيرة – لم يكن مخصصًا أبدًا لنوع الملفات الكبيرة التي نتعامل معها في الذكاء الاصطناعي، والتي ليست كبيرة فقط، ولكنها أيضًا جدا جدا كبيرة 😃
مثال لحالات الاستخدام المستقبلية 🔥 – ما الذي سيمكنه هذا على Hub
لنفترض أن لديك ملف باركيه بسعة 10 جيجابايت. يمكنك إضافة صف واحد. اليوم تحتاج إلى إعادة تحميل 10GB. باستخدام الملفات المقسمة وإلغاء البيانات المكررة من XetHub، ستحتاج فقط إلى إعادة تحميل الأجزاء القليلة التي تحتوي على الصف الجديد.
مثال آخر لملفات نموذج GGUF: لنفترض أن @bartowski يريد تحديث قيمة بيانات تعريف واحدة في رأس GGUF لمستودع Llama 3.1 405B. حسنًا، في المستقبل، يستطيع بارتوفسكي إعادة تحميل جزء واحد فقط من بضعة كيلو بايتات، مما يجعل العملية أكثر كفاءة 🔥
مع انتقال المجال إلى نماذج تريليون معلمة في الأشهر المقبلة (شكرًا لـ Maxime Labonne على BigLlama-3.1-1T الجديد 🤯) نأمل أن تفتح هذه التقنية الجديدة نطاقًا جديدًا سواء في المجتمع أو داخل شركات المؤسسات.
وأخيرًا، مع مجموعات البيانات الكبيرة والنماذج الكبيرة، تأتي تحديات التعاون. كيف تعمل الفرق معًا على البيانات الكبيرة والنماذج والتعليمات البرمجية؟ كيف يفهم المستخدمون كيفية تطور بياناتهم ونماذجهم؟ سنعمل على إيجاد حلول أفضل للإجابة على هذه الأسئلة.
الإحصائيات الحالية الممتعة على Hub repos 🤯🤯
- عدد اتفاقيات إعادة الشراء: 1.3 مليون نموذج، 450 ألف مجموعة بيانات، 680 ألف مساحة
- الحجم التراكمي الإجمالي: 12 بيتابايت مخزنة في LFS (280 مليون ملف) / 7,3 تيرابايت مخزنة في git (غير LFS)
- عدد الطلبات اليومية للمركز: 1B
- النطاق الترددي اليومي لـ Cloudfront: 6 بيتابايت 🤯
كلمة شخصية من @ylow
لقد كنت جزءًا من عالم الذكاء الاصطناعي/التعلم الآلي لأكثر من 15 عامًا، ورأيت كيف استحوذ التعلم العميق ببطء على الرؤية والكلام والنص وبشكل متزايد على كل مجال من مجالات البيانات.
ما قللت من تقديره بشدة هو قوة البيانات. ما بدا وكأنه مهام مستحيلة قبل بضع سنوات فقط (مثل توليد الصور) تبين أنه ممكن مع كميات أكبر من البيانات، ونموذج لديه القدرة على استيعابها. بعد فوات الأوان، هذا هو درس تاريخ تعلم الآلة الذي كرر نفسه عدة مرات.
لقد كنت أعمل في مجال البيانات منذ حصولي على درجة الدكتوراه. أولاً في شركة ناشئة (GraphLab/Dato/Turi) حيث قمت بقياس البيانات المنظمة وخوارزميات تعلم الآلة على جهاز واحد. ثم بعد أن استحوذت عليها شركة Apple، عملت على توسيع نطاق إدارة بيانات الذكاء الاصطناعي إلى أكثر من 100 بيتا بايت، ودعم 10 فرق داخلية تشحن 100 من الميزات سنويًا. في عام 2021، بالتعاون مع المؤسسين المشاركين، وبدعم من Madrona ومستثمرين ملائكيين آخرين، بدأنا XetHub لجلب ما تعلمناه حول تحقيق التعاون على نطاق واسع إلى العالم.
هدف XetHub هو تمكين فرق تعلم الآلة من العمل مثل فرق البرمجيات، عن طريق توسيع نطاق تخزين ملفات Git إلى تيرابايت، وتمكين التجريب والتكرار بسلاسة، وتوفير إمكانات التصور لفهم كيفية تطور مجموعات البيانات والنماذج.
أنا، جنبًا إلى جنب مع فريق XetHub بأكمله، متحمسون جدًا للانضمام إلى Hugging Face ومواصلة هذه المهمة لتسهيل التعاون والتطوير في مجال الذكاء الاصطناعي – من خلال دمج تقنية XetHub في Hub – ولإطلاق هذه الميزات إلى أكبر مجتمع تعلم الآلة في العالم!
أخيرًا، يقوم فريق البنية التحتية لدينا بالتوظيف 👯
إذا كنت تحب هذه المواضيع وترغب في إنشاء منصة تعاونية وتوسيع نطاقها لحركة الذكاء الاصطناعي مفتوحة المصدر، تواصل معنا!
