D'fhoilsigh Cobhsaíocht AI an dara heagrán den chóras foghlama meaisín Idirleata Cobhsaí, atá in ann íomhánna a shintéisiú agus a mhodhnú bunaithe ar theimpléad molta nó tuairisc téacs teanga nádúrtha. Tá an cód uirlisí le haghaidh oiliúna líonra néaraigh agus giniúint íomhá scríofa i Python ag baint úsáide as an gcreat PyTorch agus foilsítear é faoi cheadúnas MIT. Tá múnlaí oilte cheana féin oscailte faoin gceadúnas ceadaitheach Creative ML OpenRAIL-M, a cheadaíonn úsáid tráchtála. Ina theannta sin, tá gineadóir íomhá taispeána ar líne ar fáil.
Príomhfheabhsúcháin san eagrán nua de Stable Diffusion:
- Cruthaíodh samhail nua do shintéis íomhá bunaithe ar thuairisc téacs - SD2.0-v - a thacaíonn le giniúint íomhánna le taifeach 768 × 768. Cuireadh oiliúint ar an tsamhail nua trí úsáid a bhaint as an mbailiúchán LAION-5B de 5.85 billiún íomhá le tuairiscí téacs. Úsáideann an tsamhail an tacar céanna paraiméadair agus an tsamhail Cobhsaí Idirleathadh 1.5, ach tá difríocht idir an t-aistriú go dtí úsáid a bhaint as ionchódóir OpenCLIP-ViT/H atá difriúil go bunúsach, rud a d'fhág gur féidir feabhas suntasach a chur ar cháilíocht na n-íomhánna a d'eascair.
- Tá leagan simplithe de SD2.0-base ullmhaithe, oilte ar íomhánna 256×256 ag baint úsáide as an tsamhail tuar torainn clasaiceach agus ag tacú le giniúint íomhá le taifeach 512×512.
- Soláthraítear an fhéidearthacht úsáid a bhaint as teicneolaíocht supersampling (Super Resolution) chun réiteach na híomhá bunaidh a mhéadú gan an caighdeán a laghdú, ag baint úsáide as halgartaim le haghaidh scálaithe spáis agus sonraí a atógáil. Tacaíonn an tsamhail próiseála íomhá a sholáthraítear (SD20-upscaler) le 2048x upscaling, ar féidir leo íomhánna a ghiniúint le rún 2048 × XNUMX.
- Moltar an tsamhail SD2.0-depth2img, a chuireann san áireamh doimhneacht agus socrú spásúil rudaí. Úsáidtear an córas MiDaS chun doimhneacht mhonasúil a mheas. Ligeann an tsamhail duit íomhánna nua a shintéisiú ag baint úsáide as íomhá eile mar theimpléad, is féidir a bheith difriúil go mór ón gceann bunaidh, ach an comhdhéanamh agus an doimhneacht iomlán a choinneáil. Mar shampla, is féidir leat staidiúir duine a úsáid i ngrianghraf chun carachtar eile a chruthú sa staidiúir chéanna.
- Tá an tsamhail chun íomhánna a mhodhnú nuashonraithe - SD 2.0-inpainting, a ligeann duit codanna d'íomhá a athsholáthar agus a athrú ag baint úsáide as leideanna téacs.
- Tá samhlacha optamaithe le húsáid ar ghnáthchórais le GPU amháin.
Foinse: oscailtenet.ru