شارك مجموعات بيانات ML المفتوحة الخاصة بك على Hugging Face Hub!

إذا كنت تعمل على أبحاث كثيفة البيانات أو مشاريع التعلم الآلي، فأنت بحاجة إلى طريقة موثوقة لمشاركة مجموعات البيانات الخاصة بك واستضافتها. تعد مجموعات البيانات العامة مثل Common Crawl وImageNet وCommon Voice وغيرها أمرًا بالغ الأهمية للنظام البيئي المفتوح لتعلم الآلة، ومع ذلك قد يكون من الصعب استضافتها ومشاركتها.

يجعل Hugging Face Hub من السهل استضافة مجموعات البيانات ومشاركتها، والتي تحظى بثقة العديد من المؤسسات البحثية والشركات والوكالات الحكومية الرائدة، بما في ذلك Nvidia وGoogle وStanford وNASA وTHUDM ومركز الحوسبة الفائقة في برشلونة.

من خلال استضافة مجموعة بيانات على Hugging Face Hub، يمكنك الوصول الفوري إلى الميزات التي يمكنها زيادة تأثير عملك إلى الحد الأقصى:

حدود سخية

دعم مجموعات البيانات الكبيرة

يمكن للمركز استضافة مجموعات بيانات بحجم تيرابايت، مع حدود عالية لكل ملف ولكل مستودع. إذا كانت لديك بيانات تريد مشاركتها، فيمكن لفريق مجموعات بيانات Hugging Face المساعدة في اقتراح أفضل تنسيق لتحميل بياناتك لاستخدام المجتمع. تسهل مكتبة 🤗 مجموعات البيانات تحميل ملفاتك وتنزيلها، أو حتى إنشاء مجموعة بيانات من البداية. 🤗 تتيح مجموعات البيانات أيضًا تدفق مجموعات البيانات، مما يجعل من الممكن العمل مع مجموعات البيانات الكبيرة دون الحاجة إلى تنزيل كل شيء. قد يكون هذا أمرًا لا يقدر بثمن للسماح للباحثين الذين لديهم موارد حسابية أقل بالعمل مع مجموعات البيانات الخاصة بك، أو اختيار أجزاء صغيرة من مجموعة بيانات ضخمة للاختبار أو التطوير أو النماذج الأولية.

يمكن لـ Hugging Face Hub استضافة مجموعات البيانات الكبيرة التي يتم إنشاؤها غالبًا لأبحاث التعلم الآلي.

ملحوظة: يعمل فريق Xet حاليًا على تحديث الواجهة الخلفية الذي سيزيد الحدود لكل ملف من 50 جيجابايت الحالية إلى 500 جيجابايت مع تحسين كفاءة التخزين والنقل أيضًا.

عارض مجموعة البيانات

بالإضافة إلى مجرد استضافة بياناتك، يوفر Hub أدوات قوية للاستكشاف. باستخدام عارض مجموعات البيانات، يمكن للمستخدمين استكشاف مجموعات البيانات المستضافة على المركز والتفاعل معها مباشرةً في المستعرض الخاص بهم. يوفر هذا طريقة سهلة للآخرين لعرض بياناتك واستكشافها دون تنزيلها أولاً.

تدعم مجموعات بيانات Hugging Face العديد من الأساليب المختلفة (الصوت والصور والفيديو وما إلى ذلك) وتنسيقات الملفات (CSV وJSON وParquet وما إلى ذلك) وتنسيقات الضغط (Gzip وZip وما إلى ذلك). راجع صفحة تنسيقات ملفات مجموعات البيانات لمزيد من التفاصيل.

عارض مجموعة البيانات لمجموعة بيانات Infinity-Instruct.

يتضمن عارض مجموعات البيانات أيضًا بعض الميزات التي تسهل استكشاف مجموعة البيانات.

بحث النص الكامل

يعد البحث عن النص الكامل المدمج أحد أقوى ميزات عارض مجموعات البيانات. تصبح أي أعمدة نصية في مجموعة البيانات قابلة للبحث على الفور.

تحتوي مجموعة بيانات Arxiver على 63.4 ألف صف من أوراق بحث arXiv المحولة إلى Markdown. باستخدام البحث عن النص الكامل، من السهل العثور على الأوراق التي تحتوي على مؤلف محدد مثل Ilya Sutskever أدناه.

فرز

يتيح لك عارض مجموعات البيانات فرز مجموعة البيانات من خلال النقر على رؤوس الأعمدة. وهذا يجعل من السهل العثور على الأمثلة الأكثر صلة في مجموعة البيانات.

فيما يلي مثال لمجموعة بيانات تم فرزها حسب helpfulness العمود بترتيب تنازلي لمجموعة بيانات HelpSteer2.

دعم مكتبة الطرف الثالث

من حسن حظ Hugging Face أن يكون لديها عمليات تكامل مع جهات خارجية مع أدوات البيانات الرائدة مفتوحة المصدر. من خلال استضافة مجموعة بيانات على Hub، فإنها تجعل مجموعة البيانات متوافقة على الفور مع الأدوات التي يعرفها المستخدمون كثيرًا.

فيما يلي بعض المكتبات التي يدعمها Hugging Face خارج الصندوق:

تمكنك معظم هذه المكتبات من تحميل أو دفق مجموعة بيانات في سطر واحد من التعليمات البرمجية.

فيما يلي بعض الأمثلة مع Pandas وPolars وDuckDB:

import pandas as pd
df = pd.read_parquet("hf://datasets/neuralwork/arxiver/data/train.parquet")


import polars as pl
df = pl.read_parquet("hf://datasets/neuralwork/arxiver/data/train.parquet")


import duckdb
duckdb.sql("SELECT * FROM 'hf://datasets/neuralwork/arxiver/data/train.parquet' LIMIT 10")

يمكنك العثور على مزيد من المعلومات حول المكتبات المتكاملة في وثائق مجموعات البيانات. إلى جانب المكتبات المذكورة أعلاه، هناك العديد من الأدوات المدعومة من المجتمع والتي تدعم Hugging Face Hub مثل Lilac وSpotlight.

وحدة تحكم SQL

توفر وحدة تحكم SQL محرر SQL تفاعلي يعمل بالكامل في متصفحك، مما يتيح استكشاف البيانات بشكل فوري دون أي إعداد. تشمل الميزات الرئيسية ما يلي:

• بنقرة واحدة: افتح وحدة تحكم SQL للاستعلام عن مجموعة بيانات بنقرة واحدة
• نتائج قابلة للمشاركة والتضمين: مشاركة نتائج الاستعلام المثيرة للاهتمام وتضمينها
• بناء جملة DuckDB الكامل: استخدم بناء جملة SQL الكامل مع الوظائف المضمنة للتعبير المنطقي والقوائم وJSON والتضمينات والمزيد

في كل مجموعة بيانات عامة، يجب أن تشاهد ملفًا جديدًا وحدة تحكم SQL شارة. بنقرة واحدة فقط يمكنك فتح وحدة تحكم SQL للاستعلام عن مجموعة البيانات تلك.

حماية

في حين أن إتاحة الوصول إلى مجموعات البيانات أمر مهم، فإن حماية البيانات الحساسة أمر بالغ الأهمية بنفس القدر. يوفر Hugging Face Hub ميزات أمان قوية لمساعدتك في الحفاظ على التحكم في بياناتك أثناء مشاركتها مع الجماهير المناسبة.

ضوابط الوصول

يدعم Hugging Face Hub خيارات التحكم في الوصول الفريدة لمن لديه حق الوصول إلى مجموعة البيانات.

• عام: يمكن لأي شخص الوصول إلى مجموعة البيانات.
• خاص: يمكنك أنت والأشخاص الموجودون في مؤسستك فقط الوصول إلى مجموعة البيانات.
• بوابات: التحكم في الوصول إلى مجموعة البيانات الخاصة بك من خلال خيارين:
  • الموافقة التلقائية: يجب على المستخدمين تقديم المعلومات المطلوبة (مثل الاسم والبريد الإلكتروني) والموافقة على الشروط قبل الوصول
  • الموافقة اليدوية: تقوم بمراجعة كل طلب وصول والموافقة عليه/رفضه يدويًا

لمزيد من التفاصيل حول مجموعات البيانات المسورة، راجع وثائق مجموعات البيانات المسورة. لمزيد من عناصر التحكم الدقيقة، هناك ميزات خطة المؤسسة حيث يمكن للمؤسسات إنشاء مجموعات أمان الموارد، واستخدام تسجيل الدخول الموحد، والمزيد.

المسح الأمني ​​المدمج

إلى جانب عناصر التحكم في الوصول، يوفر Hugging Face Hub العديد من أدوات الفحص الأمني:

الوصول والرؤية

يعد امتلاك منصة آمنة ذات ميزات قوية أمرًا ذا قيمة، ولكن التأثير الحقيقي للبحث يأتي من الوصول إلى الجمهور المناسب. يعد الوصول والرؤية أمرًا بالغ الأهمية للباحثين الذين يشاركون مجموعات البيانات – فهو يساعد على تعظيم تأثير البحث، ويتيح إمكانية التكرار، ويسهل التعاون، ويضمن أن البيانات القيمة يمكن أن تفيد المجتمع العلمي الأوسع.

مع وجود أكثر من 5 ملايين منشئي المحتوى يستخدمون المنصة بشكل نشط، يوفر Hugging Face Hub للباحثين أدوات قوية للمشاركة المجتمعية والرؤية. إليك ما يمكنك توقعه:

مشاركة مجتمعية أفضل

• علامات تبويب المناقشة المضمنة لكل مجموعة بيانات لمشاركة المجتمع
• المؤسسات كمكان مركزي للتجميع والتعاون في مجموعات بيانات متعددة
• مقاييس استخدام مجموعة البيانات وتأثيرها

وصول أوسع

• الوصول إلى مجتمع كبير ونشط من الباحثين والمطورين والممارسين
• عناوين URL محسنة لتحسين محركات البحث مما يجعل مجموعة البيانات الخاصة بك قابلة للاكتشاف بسهولة
• التكامل مع النظام البيئي الأوسع للنماذج ومجموعات البيانات والمكتبات
• امسح الروابط بين مجموعة البيانات الخاصة بك والنماذج والأبحاث والعروض التوضيحية ذات الصلة

تحسين التوثيق

• ملفات README قابلة للتخصيص للحصول على وثائق شاملة
• دعم لأوصاف مجموعة البيانات التفصيلية والاستشهادات الأكاديمية المناسبة
• روابط للأوراق البحثية والمنشورات ذات الصلة

يسهل Hub طرح الأسئلة ومناقشة مجموعات البيانات.

كيف يمكنني استضافة مجموعة البيانات الخاصة بي على Hugging Face Hub؟

الآن بعد أن فهمت فوائد استضافة مجموعة البيانات الخاصة بك على Hub، ربما تتساءل عن كيفية البدء. فيما يلي بعض الموارد الشاملة لإرشادك خلال هذه العملية:

ستكون الصفحات التالية مفيدة إذا كنت تريد مشاركة مجموعات كبيرة من البيانات:

إذا كنت تريد المزيد من المساعدة في تحميل مجموعة بيانات إلى Hub أو ترغب في تحميل مجموعة بيانات كبيرة بشكل خاص، فيرجى الاتصال بـ datasets@huggingface.co.