العدد الأول 🎉
يتحرك مجال الذكاء الاصطناعي بسرعة كبيرة لدرجة أنه من الصعب تصديق أننا قبل عام مضى كنا لا نزال نكافح من أجل توليد أشخاص بالعدد الصحيح من الأصابع 😂.
لقد كان العامان الماضيان محوريين بالنسبة للنماذج والأدوات مفتوحة المصدر للاستخدام الفني. أصبحت أدوات الذكاء الاصطناعي للتعبير الإبداعي أكثر سهولة من أي وقت مضى، ونحن لا نزال في مرحلة الصفر. انضم إلينا ونحن نلقي نظرة على المعالم والأدوات والإنجازات الرئيسية في الذكاء الاصطناعي والفنون اعتبارًا من عام 2024، ونتطلع إلى ما سيأتي في عام 2025 (حرق المعلومات 👀: لقد بدأنا تقريرًا شهريًا جديدًا 👇).
جدول المحتويات
الإصدارات الرئيسية لعام 2024
ما هي الإصدارات البارزة لأدوات الذكاء الاصطناعي الإبداعية في عام 2024؟ سنسلط الضوء على الإصدارات الرئيسية عبر المجالات الإبداعية والفنية، مع التركيز بشكل خاص على التطورات مفتوحة المصدر في المهام الشائعة مثل إنشاء الصور والفيديو.
توليد الصور
بعد مرور أكثر من عامين على إطلاق الانتشار المستقر لـ OG وإحداث موجات في توليد الصور باستخدام نماذج مفتوحة المصدر، أصبح من الآمن الآن أن نقول أنه عندما يتعلق الأمر بإنشاء الصور من النص وتحرير الصور وإنشاء الصور الخاضعة للتحكم – فإن النماذج مفتوحة المصدر تعطي نماذج مغلقة المصدر فرصة للحصول على أموالها.
توليد النص إلى الصورة
كان عام 2024 هو العام الذي قمنا فيه بتحويل نماذج نماذج الانتشار – من البنية التقليدية القائمة على Unet إلى Diffusion Transformer (DiT)، بالإضافة إلى التبديل الموضوعي إلى مطابقة التدفق.
TD;LR – نماذج الانتشار و غاوسي مطابقة التدفق متكافئة. تقترح مطابقة التدفق معلمات مجال متجه لمخرجات الشبكة تختلف عن تلك المستخدمة بشكل شائع في نماذج الانتشار سابقًا.
- نوصي بهذه المدونة الرائعة من Google DeepMind إذا كنت مهتمًا بمعرفة المزيد حول مطابقة التدفق والاتصال بنماذج الانتشار
العودة إلى الممارسة: أول من أعلن عن هذا التحول كان Stability AI مع Stable Diffusion 3، ومع ذلك كان HunyuanDiT هو أول نموذج مفتوح المصدر مع بنية DiT.
استمر هذا الاتجاه مع إصدارات AuraFlow وFlux.1 وStable Diffusion 3.5.
من بين العديد من اللحظات المحورية في التاريخ (غير الطويل) لنماذج توليد الصور مفتوحة المصدر، من الآمن أن نقول إن إصدار Flux.1 كان واحدًا منها. تدفق [dev] حققت أحدث التقنيات، متجاوزة النماذج الشهيرة مغلقة المصدر مثل Midjourney v6.0 وDALL·E 3 (HD) وفقًا لمعايير مختلفة.
التخصيص والأسلوب
أحد الآثار الجانبية الإيجابية للتقدم في نماذج الصور هو التحسن الكبير في تقنيات التخصيص لنماذج تحويل النص إلى صورة والتوليد المتحكم فيه.
بالعودة إلى أغسطس 2022، عززت الأعمال التحويلية مثل Textual Inversion وDreamBooth قدرتنا على ذلك تعليم وإدخال مفاهيم جديدة لنماذج تحويل النص إلى صورة، وتوسيع نطاق ما يمكن فعله معهم بشكل كبير. وقد فتح ذلك الباب أمام مجموعة من التحسينات والتحسينات المبنية على هذه التقنيات (مثل LoRA لنماذج الانتشار).
ومع ذلك، أ الحد الأعلى لجودة النماذج المضبوطة بدقة هو بطبيعة الحال النموذج الأساسي الذي تم ضبطه منه. وبهذا المعنى، لا يمكننا إهمال Stable Diffusion XL، والذي كان أيضًا علامة مهمة في التخصيص لنماذج إنشاء الصور مفتوحة المصدر. والدليل على ذلك هو أنه حتى الآن، تعتمد العديد من التقنيات والنماذج الشائعة للتخصيص والتوليد المتحكم فيه على SDXL. إن القدرات المتقدمة لـ SDXL (والنماذج التي تم إصدارها بعد ذلك بجودة مماثلة) إلى جانب الفهم المتزايد للأدوار الدلالية للمكونات المختلفة في بنية نموذج الانتشار تثير السؤال –
ما الذي يمكننا تحقيقه دون مزيد من التحسين؟
جديلة في المطر من تقنيات الطلقة الصفرية – كان عام 2024 بالتأكيد هو العام الذي أصبح فيه إنشاء صور شخصية عالية الجودة من الصور المرجعية ممكنًا بأقل قدر ممكن من المال صورة مرجعية واحدة وبدون أي تحسين. ظهرت تقنيات التدريب المجانية مثل محول IP FaceID وInstantID وPhotomaker والمزيد وأظهرت قدرات تنافسية، إن لم تكن متفوقة، على تلك النماذج المضبوطة بدقة.
وبالمثل، فإن تحرير الصور والتوليد المتحكم فيه – مثل إنشاء الصور مع قيود ماهرة / عميقة / وضعية قد أحرز تقدمًا أيضًا – بفضل الجودة المتزايدة للنماذج الأساسية وفهم المجتمع المتزايد للأدوار الدلالية التي تلعبها المكونات المختلفة (Instant Style، B-LoRA)
إذن ما هي الخطوة التالية؟ منذ تحول النماذج إلى DiT وأهداف مطابقة التدفق، ظهرت نماذج إضافية تحاول استخدام النماذج المستندة إلى DiT مثل Flux وSD3.5 لأغراض مماثلة، ولكن حتى الآن لم تتفوق تمامًا على جودة النماذج المستندة إلى SDXL على الرغم من الجودة الفائقة للنموذج الأساسي الأساسي. يمكن أن يعزى ذلك إلى النقص النسبي في فهم الأدوار الدلالية للمكونات المختلفة لـ DiT مقارنة بـ Unet. قد يكون عام 2025 هو العام الذي نحدد فيه هذه الأدوار في DiTs أيضًا، مما يفتح المزيد من الإمكانيات مع الجيل التالي من نماذج توليد الصور.
توليد الفيديو
على عكس توليد الصور، لا يزال أمامنا طريق لنقطعه باستخدام الفيديو. ولكن من الآمن أن نقول إننا بعيدون جدًا عما كنا عليه قبل عام. في حين أننا جميعًا نركز على المصادر المفتوحة، فإن الفضل في (بعض) القفزة الكبيرة في إنشاء فيديو الذكاء الاصطناعي يعود إلى OpenAI لتغيير توقعاتنا لقدرات نماذج الفيديو بشكل جذري. وكما وضعت بشكل جيد يتمتع فيديو الذكاء الاصطناعي بلحظة الانتشار المستقر (الذي نوصي بقراءته 🙂) – عليه
جعل الجميع يدركون ما هو ممكن.
كما أن الطفرة الأخيرة في نماذج إنشاء الفيديو مفتوحة المصدر، بما في ذلك CogVideoX، وMochi، وAllegro، وLTX Video، وHunyuanVideo، كانت جديرة بالملاحظة أيضًا. يعد إنشاء الفيديو بطبيعته أكثر تحديًا من إنشاء الصور نظرًا للحاجة إلى جودة الحركة والتماسك والاتساق. بالإضافة إلى ذلك، يتطلب إنشاء الفيديو موارد حسابية وذاكرة كبيرة، مما يؤدي إلى زمن وصول كبير للجيل. وهذا غالبًا ما يعيق الاستخدام المحلي، مما يجعل العديد من نماذج الفيديو المفتوحة الجديدة غير قابلة للوصول إلى أجهزة المجتمع دون تحسينات واسعة النطاق للذاكرة وأساليب التكميم التي تؤثر على زمن الوصول الاستدلالي وجودة مقاطع الفيديو التي تم إنشاؤها. ومع ذلك فقد حقق مجتمع المصادر المفتوحة تقدمًا ملحوظًا – وهو ما تمت تغطيته مؤخرًا في هذه المدونة حول حالة نماذج إنشاء الفيديو المفتوحة.
في حين أن هذا يعني أن معظم أعضاء المجتمع لا يزالون غير قادرين على تجربة نماذج الفيديو مفتوحة المصدر وتطويرها، فإنه يشير أيضًا إلى أنه يمكننا توقع تطورات كبيرة في عام 2025.
توليد الصوت
لقد تقدم إنتاج الصوت بشكل ملحوظ في العام الماضي بدءًا من الأصوات البسيطة وحتى الأغاني الكاملة مع كلمات الأغاني. على الرغم من التحديات – الإشارات الصوتية معقدة ومتعددة الأوجه، وتتطلب نماذج رياضية أكثر تعقيدًا من النماذج التي تولد نصوصًا أو صورًا وبيانات التدريب نادرة جدًا – شهد عام 2024 إصدارات مفتوحة المصدر مثل OuteTTS وIndicParlerTTS لتحويل النص إلى كلام وWhisper كبير v3 توربو من openai للتعرف على الكلام الصوتي. يبدو أن عام 2025 سيكون بالفعل عامًا رائعًا بالنسبة للنماذج الصوتية، مع عدد ملحوظ من الإصدارات في شهر يناير وحده. لقد شهدنا إطلاق ثلاثة نماذج جديدة لتحويل النص إلى كلام: Kokoro وLLasa TTS وOuteTTS 0.3، بالإضافة إلى نموذجين موسيقيين جديدين: JASCO وYUE. وبهذه الوتيرة، يمكننا أن نتوقع تطورات أكثر إثارة في مجال الصوت على مدار العام.
تم إنشاء هذه الأغنية👇 بالتعاون مع YuE 🤯
الأدوات الإبداعية التي تألقت في عام 2024
يكمن جمال المصدر المفتوح في أنه يسمح للمجتمع بالتجربة والعثور على استخدامات جديدة للنماذج/خطوط الأنابيب الموجودة وتحسين وبناء أدوات جديدة معًا. إن العديد من أدوات الذكاء الاصطناعي الإبداعية التي حظيت بشعبية كبيرة هذا العام هي ثمرة جهد مجتمعي مشترك.
وهنا بعض من المفضلة لدينا:
ضبط التدفق
تم تدريب العديد من نغمات Flux الرائعة التي تم إنشاؤها في العام الماضي بفضل مجموعة أدوات الذكاء الاصطناعي من ostris.
الوجه للجميع
مستوحى من وجه fofr وجهاً لوجه، يجمع Face to All بين نموذج المعرف الفوري الفيروسي مع قيود عمق ControlNet المضافة وSDXL LoRAs المجتمعية المضبوطة بدقة لإنشاء صور عالية الجودة وخالية من التدريب في الأساليب الإبداعية.
تشكيل نمط التدفق
استنادًا إلى سير عمل ComfyUI بواسطة Nathan Shipley، يجمع تشكيل نمط Flux بين Flux [dev] الإرجاع والتدفق [dev] عمق لنقل الأسلوب وإنشاء الوهم البصري.
الطلاء الخارجي باستخدام الناشرون
يستخدم Diffusers Image Outpaint خط أنابيب التعبئة Stable Diffusion XL للناشر مع شبكة تحكم اتحاد SDXL لتوسيع صورة الإدخال بسلاسة.
صورة حية، وجه كزة
لم تكن إضافة التقليد إلى الصورة الثابتة أسهل من أي وقت مضى مع Live Portrait وFace Poke.
تعريشة
TRELLIS هو نموذج جيل ثلاثي الأبعاد لإنشاء أصول ثلاثية الأبعاد متعددة الاستخدامات وعالية الجودة استحوذ على المشهد ثلاثي الأبعاد بقوة.
ضوء آي سي
IC-Light، والتي تعني “Impose Consistent Light”، هي أداة لإعادة الإضاءة مع حالة المقدمة.
ماذا يجب أن نتوقع للذكاء الاصطناعي والفن في عام 2025؟
2025 هو عام المصادر المفتوحة لمواكبة نماذج الفيديو والحركة والصوت، مما يفسح المجال لمزيد من الطرائق. ومع التقدم في الحوسبة الفعالة والتكميم، يمكننا أن نتوقع قفزات كبيرة في نماذج الفيديو مفتوحة المصدر. ومع اقترابنا من مرحلة الاستقرار (الطبيعية) في نماذج توليد الصور، يمكننا تحويل تركيزنا إلى مهام وطرائق أخرى.
البداية القوية – إصدارات مفتوحة المصدر بتاريخ 25 يناير
-
YuE – سلسلة من نماذج أسس الموسيقى مفتوحة المصدر لتوليد الأغنية الكاملة. من المحتمل أن يكون YuE هو أفضل نموذج مفتوح المصدر لتوليد الموسيقى (مع ترخيص Apache 2.0!)، حيث يحقق نتائج تنافسية للنماذج مغلقة المصدر مثل Suno.
جربه واقرأ المزيد: العرض التوضيحي، الأوزان النموذجية.
-
Hunyuan 3D-2، SPAR3D، DiffSplat – نماذج الجيل ثلاثي الأبعاد. أصبحت النماذج ثلاثية الأبعاد رائجة – بعد وقت قصير من إصدار TRELLIS، ظهرت Hunyuan 3D-2 وSPAR3D وDiffSplat لتولي المشهد ثلاثي الأبعاد.
جربه واقرأ المزيد:
-
لومينا-إيماج 2.0 – نموذج النص إلى الصورة. Lumina هو نموذج معلمة 2B يتنافس مع 12B Flux.1 [dev] وبترخيص Apache 2.0 (!!).
جربه واقرأ المزيد: العرض التوضيحي، الأوزان النموذجية.
-
ComfyUI إلى Gradio – دليل خطوة بخطوة حول كيفية تحويل سير عمل ComfyUI المعقد إلى تطبيق Gradio بسيط، وكيفية نشر هذا التطبيق على البنية بدون خادم Hugging Face Spaces ZeroGPU، والتي تسمح بنشره وتشغيله مجانًا بطريقة بدون خادم
اقرأ المزيد هنا.
الإعلان عن نشرتنا الإخبارية 🗞️
في بداية هذه المدونة، سنقدم لك (Poli & Linoy) تقريرًا شهريًا عن الأحدث في عالم الذكاء الاصطناعي الإبداعي. في مثل هذا الفضاء سريع التطور، من الصعب البقاء على اطلاع بكل التطورات الجديدة، ناهيك عن التدقيق فيها. هذا هو المكان الذي نأتي فيه ونأمل أن نتمكن بهذه الطريقة من تسهيل الوصول إلى أدوات الذكاء الاصطناعي الإبداعية
