fastText هي مكتبة للتعلم الفعال لتمثيل النص وتصنيفه. يدمج fastText، مفتوح المصدر بواسطة Meta AI في عام 2016، الأفكار الرئيسية التي كان لها تأثير في معالجة اللغة الطبيعية والتعلم الآلي على مدى العقود القليلة الماضية: تمثيل الجمل باستخدام كيس من الكلمات وكيس من n-grams، واستخدام معلومات الكلمات الفرعية، واستخدام تمثيل مخفي لمشاركة المعلومات عبر الفصول الدراسية.
لتسريع العمليات الحسابية، يستخدم fastText softmax الهرمي، مع الاستفادة من التوزيع غير المتوازن للفئات. تقدم كل هذه التقنيات للمستخدمين حلولاً قابلة للتطوير لتمثيل النص وتصنيفه.
تستضيف Hugging Face الآن مرايا رسمية لمتجهات الكلمات لجميع اللغات البالغ عددها 157 لغة وأحدث نموذج لتحديد اللغة. وهذا يعني أنه باستخدام Hugging Face، يمكنك بسهولة تنزيل النماذج واستخدامها من خلال بعض الأوامر.
العثور على النماذج
يمكن العثور على نواقل الكلمات لـ 157 لغة ونموذج تعريف اللغة في مؤسسة Meta AI. على سبيل المثال، يمكنك العثور على صفحة النموذج لمتجهات الكلمات الإنجليزية هنا ونموذج تعريف اللغة هنا.
الحاجيات
يتضمن هذا التكامل دعمًا لتصنيف النص وعناصر واجهة مستخدم استخراج الميزات. جرب أداة تعريف اللغة هنا وأداة استخراج الميزات هنا!
كيفية الاستخدام
فيما يلي كيفية تحميل واستخدام المتجهات المدربة مسبقًا:
>>> import fasttext
>>> from huggingface_hub import hf_hub_download
>>> model_path = hf_hub_download(repo_id="facebook/fasttext-en-vectors", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.words
['the', 'of', 'and', 'to', 'in', 'a', 'that', 'is', ...]
>>> len(model.words)
145940
>>> model['bread']
array([ 4.89417791e-01, 1.60882145e-01, -2.25947708e-01, -2.94273376e-01,
-1.04577184e-01, 1.17962055e-01, 1.34821936e-01, -2.41778508e-01, ...])
فيما يلي كيفية استخدام هذا النموذج للاستعلام عن أقرب الجيران لمتجه الكلمات الإنجليزية:
>>> import fasttext
>>> from huggingface_hub import hf_hub_download
>>> model_path = hf_hub_download(repo_id="facebook/fasttext-en-nearest-neighbors", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.get_nearest_neighbors("bread", k=5)
[(0.5641006231307983, 'butter'),
(0.48875734210014343, 'loaf'),
(0.4491206705570221, 'eat'),
(0.42444291710853577, 'food'),
(0.4229326844215393, 'cheese')]
إليك كيفية استخدام هذا النموذج لاكتشاف لغة نص معين:
>>> import fasttext
>>> from huggingface_hub import hf_hub_download
>>> model_path = hf_hub_download(repo_id="facebook/fasttext-language-identification", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.predict("Hello, world!")
(('__label__eng_Latn',), array([0.81148803]))
>>> model.predict("Hello, world!", k=5)
(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'),
array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))
هل ترغب في دمج مكتبتك في المركز؟
هذا التكامل ممكن بفضل تعاوننا مع Meta AI و huggingface_hub مكتبة، والتي تمكن جميع الأدوات لدينا وواجهة برمجة التطبيقات لجميع المكتبات المدعومة لدينا. إذا كنت ترغب في دمج مكتبتك في المركز، فلدينا دليل لك!
