Usambazaji Imara 2.0 Mfumo wa Usanisi wa Picha Umeanzishwa

Uthabiti AI imechapisha toleo la pili la mfumo wa kujifunza wa mashine ya Usambazaji Imara, ambao una uwezo wa kuunganisha na kurekebisha picha kulingana na kiolezo kilichopendekezwa au maelezo ya maandishi ya lugha asilia. Nambari ya zana za mafunzo ya mtandao wa neural na utengenezaji wa picha imeandikwa kwa Python kwa kutumia mfumo wa PyTorch na kuchapishwa chini ya leseni ya MIT. Miundo iliyofunzwa tayari imefunguliwa chini ya leseni ya kuruhusu ya Creative ML OpenRAIL-M, ambayo inaruhusu matumizi ya kibiashara. Zaidi ya hayo, jenereta ya picha ya demo mtandaoni inapatikana.

Maboresho muhimu katika toleo jipya la Usambazaji Imara:

• Mfano mpya wa usanisi wa picha kulingana na maelezo ya maandishi - SD2.0-v - imeundwa, ambayo inasaidia kizazi cha picha na azimio la 768 × 768. Mtindo mpya ulifunzwa kwa kutumia mkusanyiko wa LAION-5B wa picha bilioni 5.85 zenye maelezo ya maandishi. Muundo huo hutumia seti sawa ya vigezo na muundo wa Usambazaji Imara wa 1.5, lakini hutofautiana na mpito wa kutumia kisimbaji tofauti cha OpenCLIP-ViT/H, ambacho kiliwezesha kuboresha kwa kiasi kikubwa ubora wa picha zinazotokana.
• Toleo lililorahisishwa la SD2.0-base limetayarishwa, lililofunzwa kwa picha 256×256 kwa kutumia kielelezo cha utabiri wa kelele na uundaji wa picha unaounga mkono kwa azimio la 512×512.
• Uwezekano wa kutumia teknolojia ya supersampling (Super Resolution) hutolewa ili kuongeza azimio la picha ya awali bila kupunguza ubora, kwa kutumia algorithms kwa kuongeza nafasi na ujenzi wa maelezo. Mtindo uliotolewa wa usindikaji wa picha (SD20-upscaler) inasaidia kuongeza kasi ya 2048x, ambayo inaweza kutoa picha na azimio la 2048×XNUMX.
• Mfano wa SD2.0-depth2img unapendekezwa, ambao unazingatia kina na mpangilio wa anga wa vitu. Mfumo wa MiDaS hutumiwa kwa ukadiriaji wa kina cha monocular. Mtindo huo hukuruhusu kusasisha picha mpya kwa kutumia picha nyingine kama kiolezo, ambacho kinaweza kuwa tofauti kabisa na asilia, lakini kuhifadhi utunzi na kina cha jumla. Kwa mfano, unaweza kutumia pozi la mtu kwenye picha kuunda mhusika mwingine katika pozi sawa.
• Mfano wa kurekebisha picha umesasishwa - SD 2.0-inpainting, ambayo inakuwezesha kuchukua nafasi na kubadilisha sehemu za picha kwa kutumia maandishi ya maandishi.
• Miundo imeboreshwa kwa matumizi kwenye mifumo ya kawaida yenye GPU moja.

Chanzo: opennet.ru