نشرت منظمة Stability AI الإصدار الثاني من نظام التعلم الآلي Stable Diffusion ، القادر على تجميع الصور وتعديلها بناءً على قالب مقترح أو وصف نص بلغة طبيعية. تمت كتابة رمز أدوات تدريب الشبكة العصبية وتوليد الصور بلغة Python باستخدام إطار عمل PyTorch ونشره بموجب ترخيص معهد ماساتشوستس للتكنولوجيا (MIT). النماذج المدربة بالفعل مفتوحة بموجب ترخيص Creative ML OpenRAIL-M المسموح به ، والذي يسمح بالاستخدام التجاري. بالإضافة إلى ذلك ، يتوفر مولد صور تجريبي عبر الإنترنت.
التحسينات الرئيسية في الإصدار الجديد من Stable Diffusion:
- تم إنشاء نموذج جديد لتركيب الصور على أساس الوصف النصي - SD2.0-v - والذي يدعم توليد الصور بدقة 768 × 768. تم تدريب النموذج الجديد باستخدام مجموعة LAION-5B المؤلفة من 5.85 مليار صورة بأوصاف نصية. يستخدم النموذج نفس مجموعة المعلمات مثل نموذج Stable Diffusion 1.5 ، ولكنه يختلف عن طريق الانتقال إلى استخدام مشفر OpenCLIP-ViT / H مختلف تمامًا ، مما جعل من الممكن تحسين جودة الصور الناتجة بشكل كبير.
- تم إعداد نسخة مبسطة من SD2.0 ، وتم تدريبها على 256 × 256 صورة باستخدام نموذج التنبؤ الكلاسيكي بالضوضاء ودعم إنشاء الصور بدقة 512 × 512.
- يتم توفير إمكانية استخدام تقنية الاختزال الفائق (الدقة الفائقة) لزيادة دقة الصورة الأصلية دون تقليل الجودة ، وذلك باستخدام خوارزميات للقياس المكاني وإعادة بناء التفاصيل. يدعم نموذج معالجة الصور المقدم (SD20-upscaler) ترقية 2048x ، والتي يمكن أن تولد صورًا بدقة 2048 × XNUMX.
- تم اقتراح نموذج SD2.0-deep2img ، والذي يأخذ في الاعتبار العمق والترتيب المكاني للأشياء. يستخدم نظام MiDaS لتقدير العمق الأحادي. يتيح لك النموذج توليف صور جديدة باستخدام صورة أخرى كقالب ، والتي يمكن أن تكون مختلفة جذريًا عن الصورة الأصلية ، ولكنها تحافظ على التكوين العام والعمق. على سبيل المثال ، يمكنك استخدام وضع الشخص في صورة ما لتشكيل شخصية أخرى في نفس الوضع.
- تم تحديث نموذج تعديل الصور - SD 2.0-inpainting ، والذي يسمح لك باستبدال وتغيير أجزاء من الصورة باستخدام المطالبات النصية.
- تم تحسين النماذج للاستخدام على الأنظمة التقليدية باستخدام وحدة معالجة رسومات (GPU) واحدة.
المصدر: opennet.ru