Ny tetikasa Riffusion dia mamolavola variana amin'ny rafitra fianarana milina Stable Diffusion namboarina mba hamoronana mozika fa tsy sary. Ny mozika dia azo atambatra amin'ny alalan'ny famaritana lahatsoratra amin'ny fiteny voajanahary na mifototra amin'ny mΓ΄dely atolotra. Ny singa synthesis mozika dia nosoratana tamin'ny Python mampiasa ny rafitra PyTorch ary azo alaina eo ambanin'ny lisansa MIT. Ny famatorana amin'ny interface dia ampiharina amin'ny fiteny TypeScript ary zaraina amin'ny alΓ lan'ny lisansa MIT ihany koa. Ireo modely voaofana dia navoaka tamin'ny alΓ lan'ny fahazoan-dΓ lana Creative ML OpenRAIL-M azo ampiasaina amin'ny varotra.
Mahaliana ny tetikasa satria manohy mampiasa ny maodely "text-to-image" sy "image-to-image" ho an'ny famoronana mozika, saingy manodinkodina ny spectrograms ho sary. Raha lazaina amin'ny teny hafa, ny Stable Diffusion mahazatra dia tsy voaofana amin'ny sary sy sary, fa amin'ny sarin'ny spectrograms izay maneho ny fiovan'ny matetika sy ny amplitude ny onjam-peo rehefa mandeha ny fotoana. Noho izany, misy spectrograma koa miforona amin'ny vokatra, izay avadika ho fanehoana feo.
Ny fomba dia azo ampiasaina koa hanovana ny famoronana feo efa misy sy ny santionany mozika synthesis, mitovy amin'ny fanovana sary ao amin'ny Stable Diffusion. Ohatra, ny taranaka dia afaka mametraka spectrograma santionany miaraka amin'ny fomba fanondroana, manambatra fomba isan-karazany, manao fifindrana milamina avy amin'ny fomba iray mankany amin'ny iray hafa, na manova ny feo efa misy mba hamahana olana toy ny fampitomboana ny habetsaky ny zavamaneno tsirairay, ny fanovana ny gadona ary fanoloana fitaovana. Ampiasaina ihany koa ny lamina mba hamoronana sangan'asam-pilalaovana maharitra, ahitana andalana maromaro mifanakaiky, miovaova kely rehefa mandeha ny fotoana. Ny sombintsombiny novolavolaina misaraka dia atambatra ho stream mitohy amin'ny alalan'ny interpolation ny mari-pamantarana anatiny amin'ny modely.
Mba hamoronana spectrograma avy amin'ny feo dia ampiasaina ny fiovan'ny Fourier misy varavarankely. Rehefa mamorona feo avy amin'ny spectrogram dia misy olana amin'ny famaritana ny dingana (fa ny matetika sy ny amplitude ihany no hita ao amin'ny spectrogram), ho an'ny fanamboarana izay mampiasa ny Griffin-Lim algorithms.
Source: opennet.ru