Au fost descoperite dezvoltări legate de sistemul de învățare automată Stable Diffusion, care sintetizează imagini pe baza unei descriere a textului în limbaj natural. Proiectul este dezvoltat în comun de cercetători de la Stability AI and Runway, comunitățile Eleuther AI și LAION și grupul de laborator CompVis (un laborator de cercetare pentru viziune computerizată și învățare automată de la Universitatea din München). În ceea ce privește capabilitățile și nivelul de calitate al rezultatului, Stable Diffusion seamănă cu proiectul DALL-E 2, dar este dezvoltat ca fiind deschis și disponibil publicului. Implementarea Stable Diffusion este scrisă în Python și distribuită sub licența MIT.
Modelele gata sunt disponibile în prezent la cerere separată pentru instituțiile de învățământ și cercetătorii independenți, dar dezvoltatorii promit să le deschidă tuturor după ce testarea este finalizată și prima versiune este gata. Pentru a antrena sistemul, a fost folosit un cluster de 4000 de GPU-uri NVIDIA A100 Ezra-1 și o colecție LAION-5B, inclusiv 5.85 miliarde de imagini cu descrieri text. Componentele pentru generarea imaginilor sunt remarcate ca fiind suficient de ușoare pentru a funcționa pe sistemele utilizatorului, de exemplu, pentru a sintetiza imagini cu o rezoluție de 512x512, un GPU cu 10 GB de memorie video în sistem este suficient.
Pe lângă sintetizarea imaginilor pe baza descrierilor de text, este oferită o opțiune pentru modificarea imaginilor, care poate, utilizând instrucțiuni de clarificare a textului, să genereze imagini din schițe schematice, să editeze și să modifice imagini sau să restabilească detaliile pierdute la mărire. De asemenea, este în dezvoltare Stable Diffusion pentru editare video bazată pe comenzi de text în limbaj natural.
Sursa: opennet.ru
