تم عقد شراكة Hugging Face and Protect AI في أكتوبر 2024 لتعزيز أمان نموذج التعلم الآلي (ML) من خلال تقنية المسح الخاصة بـ Guardian لمجتمع المطورين الذين يستكشفون ويستخدمون النماذج من Hugging Face Hub. لقد كانت الشراكة مناسبة بشكل طبيعي منذ البداية، حيث تتمثل مهمة Hugging Face في إضفاء الطابع الديمقراطي على استخدام الذكاء الاصطناعي مفتوح المصدر، مع الالتزام بالسلامة والأمن؛ وتقوم شركة Protect AI ببناء حواجز الحماية لجعل النماذج مفتوحة المصدر آمنة للجميع.
تم إطلاق 4 وحدات جديدة للكشف عن التهديدات
منذ أكتوبر، قامت شركة Protect AI بتوسيع قدرات الكشف الخاصة بـ Guardian بشكل كبير، مما أدى إلى تحسين قدرات الكشف عن التهديدات الحالية وإطلاق أربع وحدات كشف جديدة:
- PAIT-ARV-100: يمكن لقسيمة الأرشيف الكتابة إلى نظام الملفات في وقت التحميل
- PAIT-JOBLIB-101: تم اكتشاف تنفيذ تعليمات برمجية مشبوهة لنموذج Joblib في وقت تحميل النموذج
- PAIT-TF-200: TensorFlow SavedModel يحتوي على باب خلفي معماري
- PAIT-LMAFL-300: يمكن لـ Llamafile تنفيذ تعليمات برمجية ضارة أثناء الاستدلال
من خلال هذه التحديثات، يغطي Guardian المزيد من تنسيقات الملفات النموذجية ويكتشف تقنيات تشويش معقدة إضافية، بما في ذلك الثغرة الأمنية CVE-2025-1550 عالية الخطورة في Keras. من خلال أدوات الكشف المحسنة، يتلقى مستخدمو Hugging Face معلومات أمنية مهمة عبر التنبيهات المضمنة على النظام الأساسي ويتمكنون من الوصول إلى تقارير الثغرات الشاملة في Insights DB. تتوفر النتائج المصنفة بوضوح في كل صفحة نموذج، مما يمكّن المستخدمين من اتخاذ قرارات أكثر استنارة حول النماذج التي سيتم دمجها في مشاريعهم.
 |
|---|
| الشكل 1: حماية تنبيهات الذكاء الاصطناعي المضمنة على Hugging Face |
بالأرقام
اعتبارًا من 1 أبريل 2025، نجحت شركة Protect AI في فحص 4.47 مليون نسخة فريدة من النماذج في 1.41 مليون مستودع على Hugging Face Hub.
حتى الآن، حددت شركة Protect AI ما مجموعه 352,000 مشكلة غير آمنة/مشبوهة عبر 51,700 طراز. في آخر 30 يومًا فقط، تم تقديم خدمة Protect AI 226 مليون طلب من معانقة الوجه في أ زمن الاستجابة 7.94 مللي ثانية.
الحفاظ على نهج الثقة المعدومة في نموذج الأمان
يطبق برنامج Protect AI’s Guardian نهج الثقة المعدومة على أمان الذكاء الاصطناعي/تعلم الآلة. يحدث هذا بشكل خاص عند التعامل مع تنفيذ التعليمات البرمجية التعسفية على أنه غير آمن بطبيعته، بغض النظر عن النية. بدلاً من مجرد تصنيف التهديدات الضارة بشكل علني، تضع Guardian علامة على مخاطر التنفيذ على أنها مشبوهة على InsightsDB، مع إدراك أنه حتى التعليمات البرمجية الضارة يمكن أن تبدو غير ضارة من خلال تقنيات التشويش (راجع المزيد حول تشويش الحمولة أدناه). يمكن للمهاجمين إخفاء الحمولات داخل نصوص برمجية تبدو حميدة أو مكونات قابلة للتوسعة لإطار العمل، مما يجعل فحص الحمولة الصافية وحده غير كافٍ لضمان الأمان. من خلال الحفاظ على هذا النهج الحذر، تساعد Guardian في تخفيف المخاطر التي تشكلها التهديدات الخفية في نماذج التعلم الآلي.
تطوير قدرات نموذج Guardian في اكتشاف الثغرات الأمنية
تتطور التهديدات الأمنية للذكاء الاصطناعي/تعلم الآلة كل يوم. ولهذا السبب تستفيد شركة Protect AI من فرق البحث عن التهديدات الداخلية والصيادين – وهو أول وأكبر برنامج مكافأة أخطاء الذكاء الاصطناعي/تعلم الآلة في العالم المدعوم من مجتمعنا الذي يضم أكثر من 17000 باحث أمني.
بالتزامن مع إطلاق شراكتنا في أكتوبر، أطلقت شركة Protect AI برنامجًا جديدًا عن Hunter لإجراء أبحاث جماعية حول الثغرات الأمنية الجديدة في الملفات النموذجية. منذ إطلاق البرنامج، لقد تلقوا أكثر من 200 تقرير التي عملت عليها فرق Protect AI ودمجتها في Guardian، والتي يتم تطبيقها جميعًا تلقائيًا على عمليات فحص النماذج هنا على Hugging Face.
 |
|---|
| الشكل 2: برنامج مكافأة علة هانتر |
موضوعات الهجوم المشتركة
مع ورود المزيد من تقارير الصيادين وإجراء المزيد من أبحاث التهديدات المستقلة، ظهرت اتجاهات معينة.
سلاسل الهجوم المعتمدة على المكتبة: تركز هذه الهجمات على قدرة الممثل السيئ على استدعاء وظائف من المكتبات الموجودة في بيئة محطات عمل تعلم الآلة. وتذكرنا هذه الهجمات بأسلوب “التنزيل من خلال محرك الأقراص” الذي أصاب المتصفحات والأنظمة عند وجود أدوات مساعدة شائعة مثل Java وFlash. عادةً، يتناسب حجم تأثير هذه الهجمات مع مدى انتشار مكتبة معينة، حيث تتمتع مكتبات تعلم الآلة الشائعة مثل Pytorch بتأثير محتمل أوسع بكثير من المكتبات الأقل استخدامًا.
تشويش الحمولة: سلطت العديد من التقارير الضوء على طرق لإدراج حمولة أو تعتيمها أو “إخفاءها” في نموذج يتجاوز تقنيات المسح الشائعة. تستخدم هذه الثغرات الأمنية تقنيات مثل الضغط والتشفير والتسلسل لتعتيم الحمولة ولا يمكن اكتشافها بسهولة. يمثل الضغط مشكلة نظرًا لأن المكتبات مثل Joblib تسمح بتحميل الحمولات المضغوطة مباشرة. تقوم تنسيقات الحاويات مثل Keras وNeMo بتضمين ملفات نماذج إضافية، من المحتمل أن يكون كل منها عرضة لناقلات الهجوم الخاصة بها. يؤدي الضغط إلى تعريض المستخدمين لثغرات أمنية في TarSlip أو ZipSlip. على الرغم من أن تأثيرات هذه الثغرات ستقتصر غالبًا على رفض الخدمة، إلا أنه في ظروف معينة يمكن أن تؤدي هذه الثغرات الأمنية إلى تنفيذ تعليمات برمجية عشوائية من خلال الاستفادة من تقنيات اجتياز المسار، مما يسمح للمهاجمين الضارين بالكتابة فوق الملفات التي يتم تنفيذها غالبًا تلقائيًا.
ثغرات قابلية التوسعة في الإطار: توفر أطر تعلم الآلة العديد من آليات التوسعة التي تنشئ عن غير قصد ناقلات هجوم خطيرة: الطبقات المخصصة، وتبعيات التعليمات البرمجية الخارجية، وتحميل التعليمات البرمجية المستندة إلى التكوين. على سبيل المثال، يوضح CVE-2025-1550 في Keras، الذي أبلغنا به مجتمع Hunter، كيف يمكن استغلال الطبقات المخصصة لتنفيذ تعليمات برمجية عشوائية على الرغم من ميزات الأمان. تسمح ملفات التكوين التي تحتوي على ثغرات أمنية في التسلسل بالمثل بتحميل التعليمات البرمجية الديناميكية. تجعل ثغرات إلغاء التسلسل هذه النماذج قابلة للاستغلال من خلال الحمولات المعدة والمضمنة في التنسيقات التي يقوم المستخدمون بتحميلها دون شك. على الرغم من التحسينات الأمنية التي أدخلها البائعون، إلا أن الإصدارات القديمة الضعيفة والتعامل غير الآمن مع التبعية لا تزال تمثل مخاطر كبيرة في الأنظمة البيئية لتعلم الآلة.
تسلسل ناقلات الهجوم: توضح التقارير الأخيرة كيف يمكن دمج نقاط الضعف المتعددة لإنشاء سلاسل هجوم متطورة يمكنها تجاوز الكشف. ومن خلال الاستغلال المتسلسل لنقاط الضعف مثل الحمولات المبهمة وآليات التمديد، أظهر الباحثون مسارات معقدة للتسوية التي تبدو حميدة عند فحصها بشكل فردي. يؤدي هذا النهج إلى تعقيد جهود الكشف والتخفيف بشكل كبير، حيث إن الأدوات الأمنية التي تركز على التهديدات ذات المتجهات الفردية غالبًا ما تفشل في هذه الهجمات المركبة. يتطلب الدفاع الفعال تحديد ومعالجة جميع الروابط في سلسلة الهجوم بدلاً من معالجة كل ثغرة على حدة.
تقديم كشف شامل للتهديدات لمستخدمي الوجه المعانق
يقوم فريق أبحاث تهديدات Protect AI الرائد في الصناعة، بمساعدة مجتمع Hunter، بجمع البيانات والرؤى بشكل مستمر من أجل تطوير عمليات فحص نماذج جديدة وأكثر قوة بالإضافة إلى حظر التهديدات تلقائيًا (متاح لعملاء Guardian). في الأشهر القليلة الماضية، قامت Guardian بما يلي:
تعزيز الكشف عن الهجمات المعتمدة على المكتبة: توسع كبير في قدرات الفحص الخاصة بـ Guardian لاكتشاف نواقل الهجوم المعتمدة على المكتبة. تقوم الماسحات الضوئية الخاصة بـ PyTorch وPickle الآن بإجراء تحليل عميق للبنية للتعليمات البرمجية التسلسلية، وفحص مسارات التنفيذ وتحديد أنماط التعليمات البرمجية الضارة المحتملة التي يمكن تشغيلها من خلال تبعيات المكتبة. على سبيل المثال، يمكن لوظائف PyTorch torchvision.io الكتابة فوق أي ملف على نظام الضحية إما لتضمين حمولة أو حذف جميع محتوياتها. يمكن لـ Guardian الآن اكتشاف العديد من هذه الوظائف الخطيرة في المكتبات الشائعة مثل PyTorch وNumpy وPandas.
الهجمات المبهمة المكشوفة: يقوم Guardian بإجراء تحليلات متعددة الطبقات عبر تنسيقات الأرشيف المختلفة، وإلغاء ضغط الأرشيفات المتداخلة وفحص الحمولات المضغوطة بحثًا عن النماذج الضارة. يكتشف هذا الأسلوب محاولات إخفاء التعليمات البرمجية الضارة من خلال تقنيات الضغط أو التشفير أو التسلسل. Joblib، على سبيل المثال، يدعم حفظ النماذج باستخدام تنسيقات ضغط مختلفة يمكن أن تحجب ثغرات إلغاء التسلسل في Pickle، ويمكن فعل الشيء نفسه في تنسيقات أخرى مثل Keras التي يمكن أن تتضمن ملفات Numpyweights التي تحتوي على حمولات إلغاء التسلسل فيها.
تم اكتشاف عمليات استغلال في مكونات قابلية التوسعة في إطار العمل: قامت وحدات الكشف التي تتحسن باستمرار لدى Guardian بتنبيه المستخدمين على Hugging Face إلى النماذج التي تأثرت بالثغرة CVE-2025-1550 (اكتشاف أمني مهم) قبل الكشف عن الثغرة الأمنية علنًا. تقوم وحدات الكشف هذه بتحليل آليات توسيع إطار تعلم الآلة بشكل شامل، مما يسمح فقط للمكونات القياسية أو التي تم التحقق منها وتحظر التطبيقات التي يحتمل أن تكون خطرة، بغض النظر عن غرضها الواضح.
تم تحديد أبواب خلفية معمارية إضافية: تم توسيع إمكانات اكتشاف الأبواب الخلفية المعمارية الخاصة بـ Guardian لتتجاوز تنسيقات ONNX لتشمل تنسيقات نماذج إضافية مثل TensorFlow.
تغطية تنسيق النموذج الموسعة: تأتي قوة Guardian الحقيقية من عمق تغطيتها، مما أدى إلى توسع كبير في وحدات الكشف لتشمل تنسيقات إضافية مثل Joblib وتنسيق llamafile ذو الشعبية المتزايدة، مع دعم أطر تعلم الآلة الإضافية قريبًا.
تقديم تحليل نموذجي أعمق: ابحث بنشاط عن طرق إضافية لزيادة قدرات الكشف الحالية من أجل تحليل واكتشاف النماذج غير الآمنة بشكل أفضل. نتوقع أن نرى تحسينات كبيرة في الحد من الإيجابيات الكاذبة والسلبيات الكاذبة في المستقبل القريب.
إنه يتحسن فقط من هنا
من خلال الشراكة مع Protect AI وHugging Face، جعلنا نماذج التعلم الآلي التابعة لجهات خارجية أكثر أمانًا وسهولة الوصول إليها. نحن نؤمن بأن التركيز بشكل أكبر على أمان النماذج لا يمكن إلا أن يكون أمرًا جيدًا. إننا نرى بشكل متزايد أن عالم الأمن يهتم ويتدخل، مما يجعل التهديدات أكثر قابلية للاكتشاف واستخدام الذكاء الاصطناعي أكثر أمانًا للجميع.
