في الآونة الأخيرة، قدم معهد ألين للذكاء الاصطناعي نموذج olmOCR، وهو نموذج أظهر نتائج مبهرة في تحويل ملفات PDF إلى نص عادي خطي ونظيف مع الحفاظ على المحتوى المنظم. ومع ذلك، فإن حالة الاستخدام الأساسية لـ olmOCR هي توفير المزيد من بيانات التدريب لنماذج اللغة الكبيرة وبالتالي تجاهل المعلومات الدخيلة مثل الرؤوس والتذييلات في المستندات. على الرغم من أن هذا مفيد لتوليد بيانات التدريب، إلا أنه غير كافٍ لتطبيقات الأعمال الحقيقية حيث توجد المعلومات المهمة غالبًا في جزء الرأس والتذييل من النص (فكر في الفواتير، على سبيل المثال). توضح هذه المقالة كيف قمنا بضبط معاينة olmOCR-7B-0225 الأصلية لتكون محرك OCR مخلصًا، مما يمكّنه من دعم نطاق أوسع من التطبيقات.
في هذا المثال، يتم تجاهل المعلومات الهامة الموجودة في رأس الصفحة وتذييلها باللون الأحمر بواسطة olmOCR.
مشكلة محركات التعرف الضوئي على الحروف المستندة إلى خطوط الأنابيب
التعرف الضوئي على الحروف له تطبيقات واسعة في حالات الاستخدام التجاري المختلفة. لفترة طويلة، كان النموذج السائد لمحركات التعرف الضوئي على الحروف المستندة إلى الذكاء الاصطناعي هو الأنظمة القائمة على خطوط الأنابيب. وتتكون هذه من مكونات متعددة للتعلم الآلي، على سبيل المثال، تجزئة الأقسام، وتحليل الجدول، والتعرف على الأحرف، وما إلى ذلك، مترابطة معًا. ومع ذلك، أحد العيوب الأساسية في هذا النهج هو أن النتائج المستخرجة في الغالب لا تسوي السياق بطريقة تلتزم بترتيب القراءة المنطقي، المعروف أيضًا باسم الخطية. يمثل هذا تحديًا خاصًا بالنسبة للمستندات الغنية بالتخطيطات ذات العناصر العائمة مثل المستندات متعددة الأعمدة ذات المخططات العائمة والرؤوس والتذييلات وما إلى ذلك. ومع ظهور نماذج لغة الرؤية مؤخرًا، تم بذل الكثير من الجهد للاستفادة منها كأنظمة التعرف الضوئي على الحروف البديلة لمعالجة هذه المشكلة.
نقطة البداية: olmOCR-7B-0225-preview
أثناء اختبارنا لنموذج olmOCR المنشور على Hugging Face لتطبيقات الأعمال مثل تحليل الفواتير، لاحظنا إغفالًا متسقًا للمعلومات المهمة في الرؤوس والتذييلات. كان هذا متوقعًا، حيث أن مجموعة البيانات المستخدمة لتدريب olmOCR، olmOCR-mix-0225، تستبعد عمدًا المعلومات الدخيلة في هذه المناطق للحفاظ على تدفق القراءة الطبيعي، حيث لا يمكن التنبؤ بهذه المعلومات بشكل مفيد في سياق التنبؤ بالرمز التالي للتدريب.
لمعالجة هذا القيد وتمكين استخلاص معلومات شاملة، استخدمنا Qwen2.5-VL-72B-Instruct لإنشاء مجموعة بيانات مكونة من 8000 مستند تلتقط جميع المعلومات ذات الصلة، كما يتوقع المرء من محرك OCR موثوق به. لقد اعتمدنا في إعدادنا التدريبي على مسار تدريب olmOCR مفتوح المصدر، باستخدام 4 خطوات تراكم متدرجة على عقدة 8xH100 Nvidia، بإجمالي 2.5 حقبة. عملت المعلمات الفائقة الافتراضية بشكل جيد بالنسبة لنا، مما يلغي الحاجة إلى البحث عن المعلمات الفائقة التي تتطلب موارد مكثفة. أظهر تتبع التجربة باستخدام MlLflow النتائج التالية:
للتقييم، استخدمنا إصدارًا مخصصًا من مجموعات بيانات التقييم olmOCR-mix-0225، والتي تتضمن معلومات الرأس والتذييل، والتي تم الحصول عليها أيضًا باستخدام Qwen2.5-VL-72B-Instruct.
بمجرد الانتهاء من التدريب، حان الوقت لاختبار نموذجنا.
مقارنة بين olmOCR الأصلي والمضبوط
لقد أجرينا تقييمًا نوعيًا للمستندات التي كانت فيها معلومات مهمة مفقودة بعد تحليل محتواها. يتطابق إعداد الاستدلال الخاص بنا مع إعداد olmOCR، باستخدام استراتيجية المطالبة الخاصة التي تسمى تثبيت المستند والتي تحافظ على أي محتوى رقمي من كل صفحة. تقوم هذه التقنية باستخراج كتل النص الخام ومعلومات الموضع لمطالبة VLMs بجانب الصورة النقطية.
نقدم عدة أمثلة على الاستجابة الأصلية واستجابة النموذج المضبوط أدناه. لقد وضعنا علامة على المعلومات المفقودة المهمة باللون الأحمر.
بشكل عام، نحن سعداء بالنتائج، حيث سيتم الآن استخراج جميع المعلومات، بما في ذلك البيانات الدخيلة، وسيظل النموذج قادرًا على تحليل جداول بسيطة. والجدير بالذكر أننا لاحظنا أنه في بعض الأمثلة، يمكن أن تتغير جودة الناتج الناتج بشكل كبير مع اختلاف درجات الحرارة.
ملخص
يعد التعرف الضوئي على الحروف أمرًا بالغ الأهمية لاستخراج المعلومات المنظمة من المستندات. إن قدرة الأنظمة الشاملة مثل olmOCR على جعل المحتوى خطيًا تمنحها ميزة قوية على الأنظمة التقليدية. بفضل نسختنا المحسّنة، يمكننا الآن استخراج النص بأمانة، بما في ذلك أقسام الرأس والتذييل من مستندات مختلفة، وهو أمر بالغ الأهمية لحالات الاستخدام التجاري مثل تحليل الفواتير. نحن مهتمون بمعرفة كيفية تطور النماذج المستقبلية في هذا المجال سريع الخطى. شكر خاص لمعهد Allen للذكاء الاصطناعي على توفير المصادر المفتوحة للنموذج ومجموعة البيانات والتعليمات البرمجية الخاصة بهم.
إذا كنت ترغب في تجربة نموذج olmOCR المضبوط، فقد قمنا بفتحه على HuggingFace.
