ساعدت نماذج الانتشار في تعميم الذكاء الاصطناعي التوليدي بفضل قدرتها الخارقة على إنشاء صور واقعية من المطالبات النصية. لقد وجدت هذه النماذج الآن طريقها إلى حالات الاستخدام المؤسسي مثل إنشاء البيانات الاصطناعية أو إنشاء المحتوى. يتضمن مركز Hugging Face أكثر من 5000 نموذج لتحويل النص إلى صورة تم تدريبه مسبقًا. من خلال دمجها مع مكتبة Diffusers، لم يكن من السهل أبدًا البدء في تجربة وبناء مسارات عمل إنشاء الصور.
كما هو الحال مع نماذج Transformer، يمكنك ضبط نماذج Diffusion لمساعدتها على إنشاء محتوى يتوافق مع احتياجات عملك. في البداية، كان الضبط الدقيق ممكنًا فقط على البنية التحتية لوحدة معالجة الرسومات، لكن الأمور تتغير! قبل بضعة أشهر، أطلقت شركة إنتل الجيل الرابع من وحدات المعالجة المركزية Xeon، والتي تحمل الاسم الرمزي Sapphire Rapids. تقدم Sapphire Rapids ملحقات Intel Advanced Matrix Extensions (AMX)، وهي عبارة عن مسرع أجهزة جديد لأحمال عمل التعلم العميق. لقد أظهرنا بالفعل فوائد AMX في العديد من منشورات المدونات: الضبط الدقيق لمحولات البرمجة اللغوية العصبية (NLP)، والاستدلال باستخدام محولات البرمجة اللغوية العصبية (NLP)، والاستدلال باستخدام نماذج الانتشار المستقر.
سيوضح لك هذا المنشور كيفية ضبط نموذج Stable Diffusion على مجموعة وحدة المعالجة المركزية Intel Sapphire Rapids. سوف نستخدم تقنية قلب النص، وهي تقنية لا تتطلب سوى عدد قليل من أمثلة الصور. سوف نستخدم خمسة فقط!
دعونا نبدأ.
إعداد الكتلة
قدم أصدقاؤنا في Intel أربعة خوادم مستضافة على Intel Developer Cloud (IDC)، وهي منصة خدمة لتطوير وتشغيل أعباء العمل في بيئات النشر المحسنة من Intel® مع أحدث معالجات Intel ومجموعات البرامج المحسنة للأداء.
يتم تشغيل كل خادم بواسطة وحدتي معالجة مركزية Intel Sapphire Rapids مع 56 مركزًا فعليًا و112 خيطًا. وهنا الناتج من lscpu:
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Address sizes: 52 bits physical, 57 bits virtual
Byte Order: Little Endian
CPU(s): 224
On-line CPU(s) list: 0-223
Vendor ID: GenuineIntel
Model name: Intel(R) Xeon(R) Platinum 8480+
CPU family: 6
Model: 143
Thread(s) per core: 2
Core(s) per socket: 56
Socket(s): 2
Stepping: 8
CPU max MHz: 3800.0000
CPU min MHz: 800.0000
BogoMIPS: 4000.00
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_per fmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l3 cat_l2 cdp_l3 invpcid_single intel_ppin cdp_l2 ssbd mba ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb intel_pt avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local split_lock_detect avx_vnni avx512_bf16 wbnoinvd dtherm ida arat pln pts hwp hwp_act_window hwp_epp hwp_pkg_req avx512vbmi umip pku ospke waitpkg avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg tme avx512_vpopcntdq la57 rdpid bus_lock_detect cldemote movdiri movdir64b enqcmd fsrm md_clear serialize tsxldtrk pconfig arch_lbr amx_bf16 avx512_fp16 amx_tile amx_int8 flush_l1d arch_capabilities
لنقم أولاً بإدراج عناوين IP لخوادمنا nodefile. يشير السطر الأول إلى الخادم الأساسي.
cat << EOF > nodefile
192.168.20.2
192.168.21.2
192.168.22.2
192.168.23.2
EOF
يتطلب التدريب الموزع كلمة مرور أقل ssh بين العقد الأولية وغيرها. إليك مقالة جيدة حول كيفية القيام بذلك إذا لم تكن على دراية بهذه العملية.
بعد ذلك، نقوم بإنشاء بيئة جديدة على كل عقدة وتثبيت تبعيات البرنامج. نقوم بشكل خاص بتثبيت مكتبتين من Intel: oneCCL، لإدارة الاتصالات الموزعة وIntel Extension for PyTorch (IPEX) للاستفادة من ميزات تسريع الأجهزة الموجودة في Sapphire Rapids. نضيف أيضا gperftools لتثبيت libtcmalloc, مكتبة تخصيص الذاكرة عالية الأداء.
conda create -n diffuser python==3.9
conda activate diffuser
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
pip3 install transformers accelerate==0.19.0
pip3 install oneccl_bind_pt -f https://developer.intel.com/ipex-whl-stable-cpu
pip3 install intel_extension_for_pytorch
conda install gperftools -c conda-forge -y
بعد ذلك، نقوم باستنساخ مستودع الناشرين على كل عقدة وتثبيته من المصدر.
git clone https://github.com/huggingface/diffusers.git
cd diffusers
pip install .
بعد ذلك، نضيف IPEX إلى البرنامج النصي للضبط الدقيق diffusers/examples/textual_inversion. نحن نستورد IPEX ونقوم بتحسين نماذج U-Net وVariable Auto Encoder. يرجى التأكد من تطبيق هذا على جميع العقد.
diff --git a/examples/textual_inversion/textual_inversion.py b/examples/textual_inversion/textual_inversion.py
index 4a193abc..91c2edd1 100644
--- a/examples/textual_inversion/textual_inversion.py
+++ b/examples/textual_inversion/textual_inversion.py
@@ -765,6 +765,10 @@ def main():
unet.to(accelerator.device, dtype=weight_dtype)
vae.to(accelerator.device, dtype=weight_dtype)
+ import intel_extension_for_pytorch as ipex
+ unet = ipex.optimize(unet, dtype=weight_dtype)
+ vae = ipex.optimize(vae, dtype=weight_dtype)
+
# We need to recalculate our total training steps as the size of the training dataloader may have changed.
num_update_steps_per_epoch = math.ceil(len(train_dataloader) / args.gradient_accumulation_steps)
if overrode_max_train_steps:
الخطوة الأخيرة هي تنزيل صور التدريب. من الناحية المثالية، سنستخدم مجلد NFS مشترك، ولكن من أجل البساطة، سنقوم بتنزيل الصور على كل عقدة. يرجى التأكد من وجودهم في نفس الدليل على جميع العقد (/home/devcloud/dicoo).
mkdir /home/devcloud/dicoo
cd /home/devcloud/dicoo
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/0.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/1.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/2.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/3.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/4.jpeg
وهنا الصور:
اكتمل الآن إعداد النظام. دعونا تكوين مهمة التدريب.
تكوين مهمة الضبط الدقيق
تسهل مكتبة Accelerate تشغيل التدريب الموزع. نحتاج إلى تشغيله على كل عقدة والإجابة على الأسئلة البسيطة.
إليك لقطة شاشة للعقدة الأساسية. في العقد الأخرى، تحتاج إلى تعيين الترتيب إلى 1 و2 و3. جميع الإجابات الأخرى متطابقة.
وأخيرًا، نحتاج إلى ضبط البيئة على العقدة الأساسية. سيتم نشره إلى العقد الأخرى عند بدء مهمة الضبط الدقيق. يعين السطر الأول اسم واجهة الشبكة المتصلة بالشبكة المحلية حيث تعمل جميع العقد. قد تحتاج إلى التكيف مع هذا باستخدامifconfig للحصول على المعلومات المناسبة.
export I_MPI_HYDRA_IFACE=ens786f1
oneccl_bindings_for_pytorch_path=$(python -c "from oneccl_bindings_for_pytorch import cwd; print(cwd)")
source $oneccl_bindings_for_pytorch_path/env/setvars.sh
export LD_PRELOAD=${LD_PRELOAD}:${CONDA_PREFIX}/lib/libiomp5.so
export LD_PRELOAD=${LD_PRELOAD}:${CONDA_PREFIX}/lib/libtcmalloc.so
export CCL_ATL_TRANSPORT=ofi
export CCL_WORKER_COUNT=1
export MODEL_NAME="runwayml/stable-diffusion-v1-5"
export DATA_DIR="/home/devcloud/dicoo"
يمكننا الآن بدء مهمة الضبط الدقيق.
ضبط النموذج
نبدأ مهمة الضبط الدقيق مع mpirun، الذي يقوم بإعداد الاتصال الموزع عبر العقد المدرجة في nodefile. سنقوم بتشغيل 16 مهمة (-n) مع أربع مهام لكل عقدة (-ppn). Accelerate يقوم تلقائيًا بإعداد التدريب الموزع عبر جميع المهام.
هنا، نتدرب على 200 خطوة، والتي ينبغي أن تستغرق حوالي خمس دقائق.
mpirun -f nodefile -n 16 -ppn 4 \
accelerate launch diffusers/examples/textual_inversion/textual_inversion.py \
--pretrained_model_name_or_path=$MODEL_NAME --train_data_dir=$DATA_DIR \
--learnable_property="object" --placeholder_token="<dicoo>" --initializer_token="toy" \
--resolution=512 --train_batch_size=1 --seed=7 --gradient_accumulation_steps=1 \
--max_train_steps=200 --learning_rate=2.0e-03 --scale_lr --lr_scheduler="constant" \
--lr_warmup_steps=0 --output_dir=./textual_inversion_output --mixed_precision bf16 \
--save_as_full_pipeline
فيما يلي لقطة شاشة للمجموعة المزدحمة:
استكشاف الأخطاء وإصلاحها
قد يكون التدريب الموزع أمرًا صعبًا، خاصة إذا كنت جديدًا في هذا المجال. المشكلة الأكثر احتمالاً هي وجود خطأ بسيط في التكوين على عقدة واحدة: فقد التبعية، والصور المخزنة في موقع مختلف، وما إلى ذلك.
يمكنك تحديد مصدر المشكلة بسرعة عن طريق تسجيل الدخول إلى كل عقدة والتدريب محليًا. أولاً، قم بتعيين نفس البيئة الموجودة على العقدة الأساسية، ثم قم بتشغيل:
python diffusers/examples/textual_inversion/textual_inversion.py \
--pretrained_model_name_or_path=$MODEL_NAME --train_data_dir=$DATA_DIR \
--learnable_property="object" --placeholder_token="<dicoo>" --initializer_token="toy" \
--resolution=512 --train_batch_size=1 --seed=7 --gradient_accumulation_steps=1 \
--max_train_steps=200 --learning_rate=2.0e-03 --scale_lr --lr_scheduler="constant" \
--lr_warmup_steps=0 --output_dir=./textual_inversion_output --mixed_precision bf16 \
--save_as_full_pipeline
إذا بدأ التدريب بنجاح، أوقفه وانتقل إلى العقدة التالية. إذا بدأ التدريب بنجاح على جميع العقد، فارجع إلى العقدة الأساسية وتحقق جيدًا من ملف العقدة والبيئة وملف العقدة mpirun يأمر. لا تقلق؛ ستجد المشكلة 🙂
توليد الصور باستخدام النموذج المضبوط
وبعد 5 دقائق من التدريب، يتم حفظ النموذج محليًا. يمكننا تحميله بالفانيليا diffusers خط الأنابيب والتنبؤ. بدلاً من ذلك، دعونا نستخدم Optimum Intel وOpenVINO لتحسين النموذج. كما تمت مناقشته في منشور سابق، يتيح لك هذا إنشاء صورة على وحدة معالجة مركزية واحدة في أقل من 5 ثوانٍ!
pip install optimum[openvino]
هنا، نقوم بتحميل النموذج، وتحسينه لشكل ثابت، وحفظه:
from optimum.intel.openvino import OVStableDiffusionPipeline
model_id = "./textual_inversion_output"
ov_pipe = OVStableDiffusionPipeline.from_pretrained(model_id, export=True)
ov_pipe.reshape(batch_size=5, height=512, width=512, num_images_per_prompt=1)
ov_pipe.save_pretrained("./textual_inversion_output_ov")
بعد ذلك، نقوم بتحميل النموذج الأمثل وإنشاء خمس صور مختلفة وحفظها:
from optimum.intel.openvino import OVStableDiffusionPipeline
model_id = "./textual_inversion_output_ov"
ov_pipe = OVStableDiffusionPipeline.from_pretrained(model_id, num_inference_steps=20)
prompt = ["a yellow <dicoo> robot at the beach, high quality"]*5
images = ov_pipe(prompt).images
print(images)
for idx,img in enumerate(images):
img.save(f"image{idx}.png")
وهنا صورة تم إنشاؤها. ومن المثير للإعجاب أن العارضة احتاجت إلى خمس صور فقط لتعلم أن الديكوس له نظارات!
إذا كنت ترغب في ذلك، يمكنك تحسين النموذج أكثر. إليك مثالًا رائعًا تم إنشاؤه بواسطة نموذج مكون من 3000 خطوة (حوالي ساعة من التدريب).
خاتمة
بفضل Hugging Face وIntel، يمكنك الآن استخدام خوادم Xeon CPU لإنشاء صور عالية الجودة تتكيف مع احتياجات عملك. فهي بشكل عام أقل تكلفة ومتاحة على نطاق واسع من الأجهزة المتخصصة مثل وحدات معالجة الرسومات. يمكن أيضًا إعادة استخدام وحدات المعالجة المركزية Xeon بسهولة لمهام إنتاجية أخرى، بدءًا من خوادم الويب ووصولاً إلى قواعد البيانات، مما يجعلها خيارًا متعدد الاستخدامات ومرنًا للبنية التحتية لتكنولوجيا المعلومات لديك.
فيما يلي بعض الموارد لمساعدتك على البدء:
إذا كانت لديك أسئلة أو تعليقات، فنحن نحب قراءتها في منتدى Hugging Face.
شكرا للقراءة!
