عائلة جديدة من وحدات VLM لأتمتة واجهة المستخدم الرسومية تعمل على تشغيل وكيل واجهة المستخدم الرسومية Surfer-H

اليوم، في شركة H، نطلق Holo1، وهي عائلة من نماذج لغة الرؤية العملية (VLMs) وWebClick، وهو معيار تعريب جديد متعدد الوسائط على Hugging Face Hub.

Surfer-H، وكيل الويب الأصلي الذي يتفاعل مع المتصفحات مثل الإنسان يعتمد على Holo1.

التقرير الفني

هولو1

Holo1 هي المجموعة الأولى من وحدات VLM ذات المصدر المفتوح والمصممة خصيصًا لفهم واجهة مستخدم الويب العميقة والتوطين الدقيق. تتضمن العائلة طرازي Holo1-3B وHolo1-7B، حيث حقق الأخير دقة متوسطة بنسبة 76.2% وفقًا لمعايير توطين واجهة المستخدم الشائعة – وهي الأعلى بين النماذج صغيرة الحجم. أصدرت شركة H هذه النماذج مفتوحة المصدر على Hugging Face، جنبًا إلى جنب مع معيار WebClick الذي يحتوي على 1639 مهمة واجهة مستخدم شبيهة بالإنسان.

استخدم مع المحولات

تعتمد نماذج Holo1 على بنية Qwen2.5-VL، وهي متوافقة تمامًا مع المحولات. هنا نقدم مثال استخدام بسيط. يمكنك تحميل النموذج والمعالج على النحو التالي.

from transformers import AutoModelForImageTextToText, AutoProcessor
import torch
model = AutoModelForImageTextToText.from_pretrained(
    "Hcompany/Holo1-3B",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)

processor = AutoProcessor.from_pretrained("Hcompany/Holo1-3B")

قم بتحميل الصورة والمعالجة المسبقة.

image_url = "https://huggingface.co/Hcompany/Holo1-3B/resolve/main/calendar_example.jpg" 


guidelines = "Localize an element on the GUI image according to my instructions and output a click position as Click(x, y) with x num pixels from the left edge and y num pixels from the top edge."
instruction = "Select July 14th as the check-out date"
messages = [
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "url": image_url,
                },
                {"type": "text", "text": f"{guidelines}\n{instruction}"},
            ],
        }
    ]


inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

يمكننا الآن أن نستنتج.

generated_ids = model.generate(**inputs, max_new_tokens=128)

decoded = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)

سيرفر-إتش

تمثل أتمتة الويب أحد أكثر تطبيقات الذكاء الاصطناعي عملية للشركات، ولكن حتى الآن، غالبًا ما ضحت الحلول بفعالية التكلفة من أجل الأداء. من خلال إتاحة نماذج Holo1 Action الخاصة بنا في Hugging Face، يمكن للمستخدمين الآن تنفيذ حلول أتمتة الويب التي تحقق دقة بنسبة 92.2% في مهام الويب الواقعية مقابل 0.13 دولار فقط لكل مهمة.

يعتمد Surfer-H على عائلة Holo1 من نماذج الأوزان المفتوحة. إنها بنية معيارية لأتمتة مهام الويب بالكامل، والتي تؤدي القراءة والتفكير والنقر والتمرير والكتابة والتحقق من الصحة. تم تصميمه ليكون مرنًا ونموذجيًا، ويتكون من ثلاثة مكونات مستقلة: نموذج السياسة الذي يخطط ويقود سلوك الوكيل، ونموذج Localizer الذي يفهم واجهات المستخدم المرئية للتفاعلات الدقيقة، ونموذج Validator الذي يؤكد ما إذا كانت المهام قد اكتملت بنجاح. على عكس الوكلاء الآخرين الذين يعتمدون على واجهات برمجة التطبيقات المخصصة أو الأغلفة الهشة، يعمل Surfer-H فقط من خلال المتصفح – تمامًا مثل المستخدم الحقيقي.

تمثل هذه الحلول معًا حدودًا جديدة في أتمتة الويب، وتحقق أداءً متطورًا للترجمة وتضع حدود باريتو في التنقل عبر الويب الفعال من حيث التكلفة وفقًا لمعيار WebVoyager:

نحن نتطلع لرؤية ما ستبنيه باستخدام Holo1! دعونا نجتمع ضمن علامة تبويب المناقشة في منشور المدونة هذا ومستودع النماذج!

الاقتباس

@misc{andreux2025surferhmeetsholo1costefficient,
      title={Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights}, 
      author={Mathieu Andreux and Breno Baldas Skuk and Hamza Benchekroun and Emilien Biré and Antoine Bonnet and Riaz Bordie and Matthias Brunel and Pierre-Louis Cedoz and Antoine Chassang and Mickaël Chen and Alexandra D. Constantinou and Antoine d'Andigné and Hubert de La Jonquière and Aurélien Delfosse and Ludovic Denoyer and Alexis Deprez and Augustin Derupti and Michael Eickenberg and Mathïs Federico and Charles Kantor and Xavier Koegler and Yann Labbé and Matthew C. H. Lee and Erwan Le Jumeau de Kergaradec and Amir Mahla and Avshalom Manevich and Adrien Maret and Charles Masson and Rafaël Maurin and Arturo Mena and Philippe Modard and Axel Moyal and Axel Nguyen Kerbel and Julien Revelle and Mats L. Richter and María Santos and Laurent Sifre and Maxime Theillard and Marc Thibault and Louis Thiry and Léo Tronchon and Nicolas Usunier and Tony Wu},
      year={2025},
      eprint={2506.02865},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2506.02865}, 
}