نعلن اليوم أن Sentence Transformers ستنتقل من مختبر Iryna Gurevych’s Ubiquitous Knowledge Processing (UKP) في TU Darmstadt إلى Hugging Face. يقوم Tom Aarsen من Hugging Face بالفعل بصيانة المكتبة منذ أواخر عام 2023 وسيستمر في قيادة المشروع. في مقرها الجديد، ستستفيد Sentence Transformers من البنية التحتية القوية لشركة Hugging Face، بما في ذلك التكامل والاختبار المستمر، مما يضمن بقاءها على اطلاع بأحدث التطورات في مجال استرجاع المعلومات ومعالجة اللغات الطبيعية.
تعد Sentence Transformers (المعروفة أيضًا باسم SentenceBERT أو SBERT) مكتبة شائعة مفتوحة المصدر لإنشاء تضمينات عالية الجودة تلتقط المعنى الدلالي. منذ إنشائها من قبل نيلز رايمرز في عام 2019، تم اعتماد محولات الجملة على نطاق واسع من قبل الباحثين والممارسين لمختلف مهام معالجة اللغة الطبيعية (NLP)، بما في ذلك البحث الدلالي، والتشابه النصي الدلالي، والتجميع، واستخراج إعادة الصياغة. بعد سنوات من التطوير والتدريب من قبل المجتمع ومن أجله، أصبح أكثر من 16000 نموذج من نماذج Sentence Transformers متاحة للجمهور على Hugging Face Hub، والتي تخدم أكثر من مليون مستخدم فريد شهريًا.
“لقد كانت Sentence Transformers قصة نجاح كبيرة وتتويجًا لأبحاثنا طويلة الأمد حول أوجه التشابه الدلالية الحاسوبية للمختبر بأكمله. لقد اكتشف نيلز رايمرز اكتشافًا في الوقت المناسب جدًا ولم ينتج عنه نتائج بحثية متميزة فحسب، بل أنتج أيضًا أداة قابلة للاستخدام للغاية. ويستمر هذا في التأثير على أجيال من الطلاب والممارسين في معالجة اللغة الطبيعية والذكاء الاصطناعي. أود أيضًا أن أشكر جميع المستخدمين وخاصة المساهمين، الذين بدونهم لن يكون هذا المشروع على ما هو عليه اليوم. وأخيرًا، أود أن أشكر Tom and Hugging Face على نقل المشروع إلى المستقبل.”
- البروفيسور الدكتور إيرينا جوريفيتش، مدير مختبر معالجة المعرفة في كل مكان، TU دارمشتات
“يسعدنا أن نرحب رسميًا بـ Sentence Transformers في عائلة Hugging Face! على مدار العامين الماضيين، كان من المذهل رؤية هذا المشروع ينمو إلى اعتماد عالمي واسع النطاق، وذلك بفضل الأساس المذهل من UKP Lab والمجتمع المذهل المحيط به. هذه مجرد البداية: سنواصل مضاعفة دعم نموها وابتكارها، مع الحفاظ على الروح المفتوحة والتعاونية التي جعلتها تزدهر في المقام الأول.”
- كليم ديلانج، المؤسس المشارك والرئيس التنفيذي لشركة Hugging Face
ستبقى محولات الجملة أ يحركها المجتمع, مفتوح المصدر المشروع، مع نفسه ترخيص مفتوح المصدر (أباتشي 2.0) كما كان من قبل. نرحب بمساهمات الباحثين والمطورين والمتحمسين ونشجعها. سيستمر المشروع في إعطاء الأولوية للشفافية والتعاون وإمكانية الوصول على نطاق واسع.
تاريخ المشروع
تم تقديم مكتبة Sentence Transformers في عام 2019 من قبل الدكتور نيلز رايمرز في مختبر معالجة المعرفة الشاملة (UKP) في جامعة دارمشتات التقنية، تحت إشراف البروفيسور الدكتورة إيرينا جوريفيتش. بدافع من القيود المفروضة على عمليات تضمين BERT القياسية للمهام الدلالية على مستوى الجملة، استخدمت Sentence-BERT بنية شبكة سيامية لإنتاج عمليات تضمين جملة ذات معنى دلالي يمكن مقارنتها بكفاءة باستخدام تشابه جيب التمام. بفضل تصميمها المعياري مفتوح المصدر وأدائها التجريبي القوي في مهام مثل التشابه النصي الدلالي، والتجميع، واسترجاع المعلومات، سرعان ما أصبحت المكتبة عنصرًا أساسيًا في مجموعة أدوات بحث البرمجة اللغوية العصبية، مما أدى إلى إنتاج مجموعة من أعمال المتابعة وتطبيقات العالم الحقيقي التي تعتمد على تمثيلات الجمل عالية الجودة.
في عام 2020، تمت إضافة دعم متعدد اللغات إلى المكتبة، مما أدى إلى توسيع نطاق تضمين الجمل لأكثر من 400 لغة. في عام 2021، وبمساهمات من Nandan Thakur والدكتور Johannes Daxenberger، توسعت المكتبة لدعم تسجيل الجمل الثنائية باستخدام نماذج Cross Encoder وSentence Transformer. تم أيضًا دمج Sentence Transformers مع Hugging Face Hub (الإصدار 2.0). لأكثر من أربع سنوات، حافظ فريق UKP Lab على المكتبة كمشروع مفتوح المصدر يحركه المجتمع ويقدم ابتكارًا مستمرًا يعتمد على الأبحاث. خلال هذه الفترة، تم دعم تطوير المشروع من خلال المنح المقدمة للبروفيسور جوريفيتش من مؤسسة الأبحاث الألمانية (DFG)، والوزارة الفيدرالية الألمانية للتعليم والبحث (BMBF)، ووزارة ولاية هيسن للتعليم العالي والبحث والفنون (HMWK).
في أواخر عام 2023، تولى Tom Aarsen من Hugging Face مسؤولية صيانة المكتبة، وقدم تدريبًا محدثًا لنماذج Sentence Transformer (الإصدار 3.0)، بالإضافة إلى تحسينات على نماذج Cross Encoder (الإصدار 4.0) وSparse Encoder (الإصدار 5.0).
شكر وتقدير
مختبر معالجة المعرفة الشاملة (UKP) في جامعة دارمشتات التقنية، بقيادة البروفيسور الدكتورة إيرينا جوريفيتش، معترف به دوليًا لأبحاثه في معالجة اللغات الطبيعية (NLP) والتعلم الآلي. يتمتع المختبر بسجل طويل من العمل الرائد في مجال التعلم التمثيلي، ونماذج اللغات الكبيرة، واسترجاع المعلومات، مع العديد من المنشورات في المؤتمرات والمجلات الرائدة. وبعيدًا عن محولات الجملة، قام مختبر UKP بتطوير عدد من مجموعات البيانات والمعايير والأدوات مفتوحة المصدر المستخدمة على نطاق واسع والتي تدعم كلاً من البحث الأكاديمي والتطبيقات الواقعية.
تود Hugging Face أن تشكر مختبر UKP وجميع المساهمين السابقين والحاليين، وخاصة الدكتور نيلز رايمرز والأستاذ الدكتور إيرينا جوريفيتش، على تفانيهم في المشروع وعلى تكليفنا بصيانته والإشراف عليه الآن. كما نعرب عن امتناننا لمجتمع الباحثين والمطورين والممارسين الذين ساهموا في نجاح المكتبة من خلال المساهمات النموذجية وتقارير الأخطاء وطلبات الميزات وتحسينات التوثيق وتطبيقات العالم الحقيقي. نحن متحمسون لمواصلة البناء على الأساس القوي الذي وضعه مختبر UKP والعمل مع المجتمع لتعزيز قدرات محولات الجملة.
ابدء
لأولئك الجدد على Sentence Transformers أو الذين يتطلعون إلى استكشاف قدراتها:
أحدث مدونات محولات الجملة
أهم التحديثات منذ بدء صيانة Sentence Transformers بواسطة Hugging Face، بالترتيب الزمني:
المشاركات ذات الصلة التي تركز على التقنية:
