Stabileco AI publikigis la duan eldonon de la Stable Diffusion maŝinlernada sistemo, kiu kapablas sintezi kaj modifi bildojn surbaze de proponita ŝablono aŭ naturlingva tekstopriskribo. La kodo de iloj por neŭrala reto trejnado kaj bildgenerado estas skribita en Python uzante la PyTorch-kadron kaj publikigita sub la MIT-licenco. Jam trejnitaj modeloj estas malfermitaj sub la permesilo Creative ML OpenRAIL-M, kiu permesas komercan uzon. Aldone, pruva interreta bildgeneratoro estas havebla.
Ŝlosilaj plibonigoj en la nova eldono de Stable Diffusion:
- Nova modelo por bilda sintezo bazita sur teksta priskribo - SD2.0-v - estis kreita, kiu subtenas generacion de bildoj kun rezolucio de 768×768. La nova modelo estis trejnita uzante la kolekton LAION-5B de 5.85 miliardoj da bildoj kun tekstaj priskriboj. La modelo uzas la saman aron de parametroj kiel la Stable Diffusion 1.5 modelo, sed diferencas per la transiro al uzado de fundamente malsama OpenCLIP-ViT/H-kodilo, kiu ebligis signife plibonigi la kvaliton de la rezultaj bildoj.
- Simpligita SD2.0-baza versio estis preparita, trejnita sur 256×256 bildoj uzante la klasikan bruan prognozomodelon kaj apogante bildgeneracion kun rezolucio de 512×512.
- La ebleco uzi la teknologion de supersampling (Super Resolution) estas provizita por pliigi la rezolucion de la originala bildo sen redukti la kvaliton, uzante algoritmojn por spaca skalo kaj rekonstruo de detaloj. La provizita bild-prilabora modelo (SD20-upscaler) subtenas 2048x altskalon, kiu povas generi bildojn kun rezolucio de 2048×XNUMX.
- La modelo SD2.0-depth2img estas proponita, kiu konsideras la profundon kaj spacan aranĝon de objektoj. La MiDaS-sistemo estas uzita por unuokula profundtakso. La modelo permesas sintezi novajn bildojn uzante alian bildon kiel ŝablonon, kiu povas esti radikale diferenca de la originalo, sed konservi la ĝeneralan komponadon kaj profundon. Ekzemple, vi povas uzi la pozon de persono en foto por formi alian karakteron en la sama pozo.
- La modelo por modifi bildojn estis ĝisdatigita - SD 2.0-inpainting, kiu ebligas al vi anstataŭigi kaj ŝanĝi partojn de bildo per tekstaj instrukcioj.
- Modeloj estis optimumigitaj por uzo en konvenciaj sistemoj kun unu GPU.
fonto: opennet.ru