Stability AI نسخه دوم سیستم یادگیری ماشینی Stable Diffusion را منتشر کرده است که قادر به ترکیب و اصلاح تصاویر بر اساس یک الگوی پیشنهادی یا توضیحات متنی به زبان طبیعی است. کد ابزارهای آموزش شبکه های عصبی و تولید تصویر در پایتون با استفاده از چارچوب PyTorch نوشته شده و تحت مجوز MIT منتشر شده است. مدل‌های قبلاً آموزش دیده تحت مجوز مجاز Creative ML OpenRAIL-M باز هستند که امکان استفاده تجاری را فراهم می‌کند. علاوه بر این، یک تولید کننده تصویر آنلاین آزمایشی در دسترس است.
بهبودهای کلیدی در نسخه جدید Stable Diffusion:
- مدل جدیدی برای سنتز تصویر بر اساس توضیحات متن - SD2.0-v - ایجاد شده است که از تولید تصاویر با وضوح 768×768 پشتیبانی می کند. مدل جدید با استفاده از مجموعه 5 میلیارد تصویر LAION-5.85B با توضیحات متنی آموزش داده شد. این مدل از مجموعه پارامترهای مشابه مدل Stable Diffusion 1.5 استفاده می‌کند، اما با انتقال به استفاده از رمزگذار OpenCLIP-ViT/H که اساساً متفاوت است، متفاوت است، که امکان بهبود قابل توجه کیفیت تصاویر حاصل را فراهم می‌کند.
- یک نسخه پایه SD2.0 ساده شده آماده شده است که بر روی تصاویر 256×256 با استفاده از مدل کلاسیک پیش بینی نویز آموزش داده شده و از تولید تصویر با وضوح 512×512 پشتیبانی می کند.
- امکان استفاده از فناوری سوپرنمونه برداری (Super Resolution) برای افزایش وضوح تصویر اصلی بدون کاهش کیفیت با استفاده از الگوریتم های مقیاس بندی فضایی و بازسازی جزئیات فراهم شده است. مدل پردازش تصویر ارائه شده (SD20-upscaler) از افزایش مقیاس 2048 برابری پشتیبانی می کند که می تواند تصاویری با وضوح 2048×XNUMX ایجاد کند.
- مدل SD2.0-depth2img پیشنهاد شده است که عمق و آرایش فضایی اشیاء را در نظر می گیرد. سیستم MiDaS برای تخمین عمق تک چشمی استفاده می شود. این مدل به شما امکان می دهد تصاویر جدید را با استفاده از تصویر دیگری به عنوان الگو ترکیب کنید، که می تواند کاملاً متفاوت از اصلی باشد، اما ترکیب و عمق کلی را حفظ می کند. به عنوان مثال، می توانید از ژست یک شخص در یک عکس برای تشکیل شخصیت دیگری در همان ژست استفاده کنید.
- مدل اصلاح تصاویر به روز شده است - SD 2.0-inpainting که به شما امکان می دهد قسمت هایی از یک تصویر را با استفاده از اعلان های متنی جایگزین و تغییر دهید.
- مدل ها برای استفاده در سیستم های معمولی با یک GPU بهینه شده اند.
منبع: opennet.ru