Systemet för bildsyntes Stable Diffusion 2.0 har presenterats

Företaget Stability AI har publicerat den andra versionen av maskininlärningssystemet Stable Diffusion, som kan syntetisera och ändra bilder baserat på ett angivet mönster eller en textbeskrivning på naturligt språk. Koden för verktygen som används för att träna neurala nätverk och generera bilder är skriven i Python med hjälp av ramverket PyTorch och publicerad under MIT-licens. Redan tränade modeller är öppna under den permissiva licensen Creative ML OpenRAIL-M, som tillåter kommersiell användning. Dessutom finns en online-generator för bilddemonstration tillgänglig.

Huvudförbättringar i den nya versionen av Stable Diffusion:

• En ny bildsyntesmodell genom textbeskrivning har skapats - SD2.0-v, som stödjer generering av bilder med upplösningen 768×768. Den nya modellen har tränats med hjälp av LAION-5B-samlingen, som innehåller 5,85 miljarder bilder med textbeskrivningar. Modellen använder samma uppsättning parametrar som Stable Diffusion 1.5-modellen, men skiljer sig genom att använda en helt ny kodare, OpenCLIP-ViT/H, vilket avsevärt har förbättrat kvaliteten på de resulterande bilderna.
• En förenklad variant, SD2.0-base, har förberetts, tränad på bilder med 256×256, med hjälp av den klassiska modellen för brusförutsägelse och stödjer generering av bilder med upplösningen 512×512.
• Möjligheten att använda super sampling-teknik (Super Resolution) har tillhandahållits för att öka upplösningen på den ursprungliga bilden utan att försämra kvaliteten, med hjälp av algoritmer för rumslig skalning och detaljrekonstruktion. Den tillhandahållna bildbehandlingsmodellen (SD20-upscaler) stödjer fyrfaldig förstoring, vilket möjliggör att skapa bilder med upplösningen 2048×2048.
• Modellen SD2.0-depth2img har föreslagits, som tar hänsyn till djup och rumslig placering av objekt. För monokulär djupbedömning används systemet MiDaS. Modellen möjliggör syntes av nya bilder, med ett annat foto som mall, som kan radikalt skilja sig från originalet men fortfarande behålla den övergripande kompositionen och djupet. Till exempel kan man använda en persons ställning på ett foto för att skapa en annan karaktär i samma ställning.
• Den uppdaterade modellen för bildmodifiering - SD 2.0-inpainting, som möjliggör att byta ut och förändra delar av en bild med hjälp av textledtrådar.
• Optimering av modeller har genomförts för användning på vanliga system med en GPU.

Källa: opennet.ru