Utvecklingar relaterade till maskininlärningssystemet Stable Diffusion, som syntetiserar bilder baserat på en textbeskrivning på naturligt språk, har upptäckts. Projektet utvecklas gemensamt av forskare från Stability AI och Runway, Eleuther AI- och LAION-gemenskaperna och CompVis-labgruppen (ett forskningslaboratorium för datorseende och maskininlärning vid universitetet i München). När det gäller kapacitet och kvalitetsnivå på resultatet liknar Stable Diffusion DALL-E 2-projektet, men utvecklas som öppet och allmänt tillgängligt. Implementeringen av Stable Diffusion är skriven i Python och distribueras under MIT-licensen.
Färdiga modeller finns för närvarande tillgängliga på separat begäran till utbildningsinstitutioner och oberoende forskare, men utvecklarna lovar att öppna dem för alla efter att testningen är klar och den första utgåvan är klar. För att träna systemet användes ett kluster av 4000 NVIDIA A100 Ezra-1 GPU:er och en LAION-5B-samling, inklusive 5.85 miljarder bilder med textbeskrivningar. Komponenterna för bildgenerering noteras som tillräckligt lätta för att fungera på användarsystem, till exempel för att syntetisera bilder med en upplösning på 512x512, en GPU med 10 GB videominne i systemet räcker.
Förutom att syntetisera bilder baserade på textbeskrivningar erbjuds ett alternativ för att modifiera bilder, vilket kan, med förtydligande textuppmaningar, generera bilder från schematiska skisser, redigera och ändra bilder eller återställa förlorade detaljer vid inzoomning. Även under utveckling är Stable Diffusion för videoredigering baserad på textkommandon på naturligt språk.
Källa: opennet.ru
