اليوم، نصدر نموذجين جديدين لبرامج التشفير على Hugging Face: LFM2.5-التشفير-230M و LFM2.5-التشفير-350M. إنها تتطابق مع جودة النماذج الأكبر حجمًا ولكنها تظل سريعة مع زيادة طول المدخلات. وهذا يعني أنه يمكنك تشغيل مهام على نطاق المستندات على الأجهزة الموجودة لديك بالفعل، حتى على وحدة المعالجة المركزية (CPU).
إليك ما تحصل عليه:
- قوية بالنسبة لحجمها: مطابقة أو التغلب على برامج التشفير الأكبر حجمًا في GLUE وSuperGLUE والمهام متعددة اللغات.
- سياق 8,192 رمزًا مميزًا مع الكمون الذي ينمو ببطء مع زيادة طول المدخلات.
- سريع على وحدة المعالجة المركزية: أسرع بنحو 3.7× من قاعدة ModernBERT في السياق الطويل.
باستخدام هذه الأجهزة، يمكنك إنشاء أجهزة توجيه الغرض، وأنظمة فحص السياسات، وكاشفات معلومات تحديد الهوية الشخصية (PII)، ومصنفات النصوص التي تعمل بتكلفة زهيدة، طوال اليوم. انظر العروض التوضيحية الحية أدناه.
لماذا بنينا التشفير للأغراض العامة
أطلقنا الشهر الماضي أدوات LFM2.5-Retrievers المصممة للبحث متعدد اللغات. تأتي أجهزة التشفير LFM2.5 من نفس العائلة ولكنها تخدم غرضًا أوسع. لقد تم تدريبهم مسبقًا على هدف لغة مقنعة، حتى تتمكن من ضبطهم للتصنيف والمهام على مستوى الرمز المميز والبحث على حد سواء. البحث هو مجرد شيء واحد يتيحه برنامج التشفير. ولهذا السبب قمنا ببناء نموذج للأغراض العامة بدلاً من إعادة استخدام المستردات.
تعمل أجهزة التشفير على تشغيل العديد من تطبيقات البرمجة اللغوية العصبية (NLP) الحديثة للإنتاج: المصنفات، وأجهزة توجيه الأهداف، ومرشحات الأمان. تعمل هذه المهام طوال اليوم، عادةً على وحدة المعالجة المركزية (CPU)، وعلى مدخلات أطول من أي وقت مضى. أسس BERT هذه الفئة من النماذج، ومؤخرًا قامت ModernBERT بتعزيز دقتها وسرعتها وسياقها. تتخذ أجهزة التشفير LFM2.5 الخطوة التالية في بنية LFM2، حيث تنمو التكلفة ببطء مع نمو المدخلات.
كيف يتم بناء أجهزة التشفير
نقوم بتهيئة أجهزة التشفير من العمود الفقري لجهاز فك التشفير LFM2 الخاص بها: LFM2.5-230M وLFM2.5-350M. ثم نحول كل وحدة فك تشفير سببية إلى وحدة تشفير ثنائية الاتجاه مع بعض التغييرات:
- قناع الانتباه ثنائي الاتجاه: يرى كل رمز مميز الآن الرموز المميزة على كلا الجانبين، وليس فقط الرموز التي تسبقه.
- التلافيف القصيرة غير السببية: نقوم بتبطينها بشكل متماثل بحيث يمتزج التفاف كل رمز مميز مع جيرانه على كلا الجانبين.
- نمذجة اللغة المقنعة: نقوم بإخفاء 30% من الرموز المميزة أثناء التدريب.
نقوم بتدريب كلا النموذجين على مرحلتين:
- الكفاءة اللغوية العامة: هدف لغة مقنعة ذو سياق قصير على مجموعة ويب كبيرة في سياق مكون من 1024 رمزًا مميزًا.
- التكيف مع السياق الطويل: توسيع السياق إلى 8,192 رمزًا مميزًا في مزيج البيانات الكامل، وتعزيز الكفاءة الواقعية والقانونية ومتعددة اللغات.
النتائج المعيارية
نقوم بضبط كل نموذج بشكل كامل في كل مهمة ونبلغ عن النتيجة الناتجة. عبر الجدول، هناك 14 نموذجًا لـ 17 مهمة مأخوذة من GLUE، وSuperGLUE، والتصنيف متعدد اللغات.
لقد قمنا بالإبلاغ عن المتوسط عبر خمس بذور محتجزة، وبالتالي فإن الأرقام مستقرة للتشغيل. الإطار الكامل والنتائج الأولية مفتوحة المصدر.
يحتل LFM2.5-Encoder-350M المرتبة الرابعة من بين 14 طرازًا. الثلاثة التي أمامها كلها أكبر، بما في ذلك نموذج 3.5B وهو ما يقرب من 10 أضعاف حجمه. يتفوق LFM2.5-Encoder-230M على قاعدة ModernBERT وكل طرازات EuroBERT، في حين أنه أصغر من معظمها. كلاهما يسجل أيضًا نتائج أعلى بكثير من مستردات LFM2.5 الخاصة بنا هنا.
سرعة الاستدلال على وحدة المعالجة المركزية ووحدة معالجة الرسومات
ترث أجهزة التشفير لدينا الاستدلال السريع للعمود الفقري LFM2. نظرًا لأن كلاً من برامج التشفير الخاصة بنا وModernBERT تدعم سياقًا مكونًا من 8192 رمزًا مميزًا، فإننا نقيس السرعة عبر النطاق الكامل.
تظهر برامج التشفير لدينا أكبر ميزة لها على وحدة المعالجة المركزية. هنا، يعد LFM2.5-Encoder-230M هو الأسرع في كل طول تسلسلي (حتى أسرع من قاعدة ModernBERT الأصغر للمدخلات القصيرة). مع زيادة طول الإدخال، تنخفض الإنتاجية بشكل حاد بالنسبة لـ ModernBERT، بينما ترتفع أجهزة تشفير LFM2.5 الخاصة بنا إلى النطاق المتوسط قبل أن تتناقص تدريجيًا. عند 8192 رمزًا، تستغرق قاعدة ModernBERT أكثر من دقيقة ونصف لكل تمريرة أمامية مقابل حوالي 28 ثانية لـ LFM2.5-Encoder-230M. وهذا أسرع بحوالي 3.7 مرات. بالنسبة للمطورين، هذا يعني أنه يمكنك مسح أو تصنيف العقد الكامل أو النص أو سلسلة الدعم الطويلة في أقل من 30 ثانية على وحدة المعالجة المركزية للكمبيوتر المحمول.
على وحدة معالجة الرسومات، يوجد نمط مماثل بهامش أصغر: تؤدي قاعدة ModernBERT إلى أقل من 1 ألف رمز مميز على وحدة معالجة الرسومات من Apple. تأخذ برامج التشفير لدينا زمام المبادرة من حوالي 2 ألف رمز مميز. يوضح هذا أنه بالنسبة للمدخلات الطويلة، فإن LFM2.5-Encoders هي الخيار الأسرع، وإذا كنت تعمل على وحدة المعالجة المركزية (CPU)، فإن الأمر كذلك بشكل كبير.
العروض التوضيحية لجهاز التشفير LFM2.5
قمنا ببناء العروض التوضيحية أدناه من أجهزة التشفير LFM2.5 المضبوطة بدقة. يتم تشغيل كل واحد منها في مساحة Hugging Face المخصصة لوحدة المعالجة المركزية فقط:
- توجيه سريع بدون طلقة: حدد ممرات التوجيه الخاصة بك كنص حر. يسجل النموذج الموجه بالكامل مقابل كل حارة في تمريرة واحدة.
- بطانة سياسة الصفر: تحقق من النص المطابق لقواعد شركتك، والمكتوب كنص حر. إنه يسجل كل رمز مقابل كل قاعدة في تمريرة واحدة.
- التدقيق الإملائي: تصحيح الأخطاء الإملائية بالرمز المميز.
- كشف معلومات تحديد الهوية الشخصية: اكتشاف وإزالة 40 نوعًا من المعلومات الشخصية عبر 16 لغة.
- إنشاء نص ملثم الانتشار (مكافأة): قم بتشغيل برنامج التشفير كبرنامج دردشة آلي يقوم بإنشاء نص عن طريق كشف القناع بشكل متكرر بدلاً من اليسار إلى اليمين.
كيفية استخدام وضبط LFM2.5-Encoders
يمكنك الوصول إلى LFM2.5-Encoder عندما تكون لديك مهمة فهم كبيرة الحجم، مثل التصنيف أو التوجيه أو الاستخراج أو التسجيل، والتي تعمل باستمرار ويجب أن تظل رخيصة وسريعة. بالنسبة لوظائف مثل هذه، يكون برنامج التشفير المضبوط أصغر حجمًا وأسرع وأرخص بكثير في التشغيل من ماجستير إدارة الأعمال التوليدي، ويتناسب مع وحدات المعالجة المركزية (CPU) الموجودة لديك بالفعل.
بين حجمي التشفير:
- LFM2.5-التشفير-350M: اختره عندما تكون الدقة أكثر أهمية.
- LFM2.5-التشفير-230M: اختره للحصول على أجهزة أكثر إحكامًا أو إنتاجية أعلى.
يمكنك البدء ببضعة أسطر. تحميل نموذج مع transformers. ثم قم بتشغيله مباشرة للتنبؤ بالرموز المقنعة، أو قم بإرفاق رأسك وضبطه لمهمتك.
تحميل وتشغيل النموذج
قم بتثبيت أحدث إصدار من transformers:
pip install -U transformers
تشغيل التنبؤ بالرمز المقنع:
from transformers import AutoModelForMaskedLM, AutoTokenizer
import torch
model_id = "LiquidAI/LFM2.5-Encoder-230M"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
mlm = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)
text = f"The capital of France is {tok.mask_token}."
enc = tok(text, return_tensors="pt")
with torch.no_grad():
logits = mlm(**enc).logits
pos = (enc["input_ids"][0] == tok.mask_token_id).nonzero()[0].item()
print([tok.decode([t]).strip() for t in logits[0, pos].topk(5).indices.tolist()])
بالنسبة للمهام النهائية، قم بتحميل جسم التشفير وأرفق رأسك (التصنيف، تصنيف الرمز المميز، الانحدار، الاسترجاع):
from transformers import AutoModel
body = AutoModel.from_pretrained(model_id, trust_remote_code=True)
إذا كانت وحدة معالجة الرسومات (GPU) الخاصة بك تدعمها، فاستخدم Flash Attention 2 للحصول على أعلى كفاءة:
pip install flash-attn
الضبط الدقيق لمهمتك
يمنحك برنامج التشفير الأساسي تمثيلات للأغراض العامة، وليس مخرجات المهام. لذلك يمكنك ضبطه لكل مهمة. يشرح برنامجنا التعليمي للضبط الدقيق الضبط الدقيق للمستندات القانونية الطويلة بسياق 8k.
ابدأ مع LFM2.5-Encoders
كلا التشفيرين مفتوحان الوزن ومتاحان على Hugging Face اليوم:
لا يمكننا الانتظار لرؤية ما تقوم ببنائه.
الاقتباس
إذا كنت تستخدم هذا العمل، يرجى الاستشهاد بمدونة الإصدار:
@article{liquidAI2026Encoders,
author = {Liquid AI},
title = {LFM2.5-Encoders: Fast at Long Context, Even on CPU},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/lfm2-5-encoders},
}
