NVIDIA waxay daabacday koodhka isha ee StyleGAN3, nidaamka barashada mashiinka oo ku salaysan isku-xidhka neerfaha ee ka soo horjeeda (GAN) kaas oo loogu talagalay soo saarista sawirada dhabta ah ee wejiyada dadka. Nambarku wuxuu ku qoran yahay Python iyadoo la adeegsanayo qaab dhismeedka PyTorch waxaana lagu qaybiyaa shatiga Code-ka Isha ee NVIDIA, kaas oo soo rogaya xannibaado isticmaalka ganacsiga.
Moodooyinka tababbaran ee diyaarsan ee lagu tababaray ururinta Flicker-Faces-HQ (FFHQ), oo ay ku jiraan 70 kun oo tayo sare leh (1024x1024) sawirada PNG ee wejiyada dadka, ayaa sidoo kale diyaar u ah soo dejinta. Intaa waxaa dheer, waxaa jira moodooyin lagu dhisay AFHQv2 (sawirada wejiyada xayawaanka) iyo Metfaces (sawirrada wejiyada dadka ee sawirada rinjiyeynta qadiimiga ah). Diirada horumarinta waxay ku wajahan tahay wejiyada, laakiin nidaamka waxaa lagu tababari karaa inuu soo saaro shay kasta, sida muuqaalka muuqaalka iyo baabuurta. Intaa waxaa dheer, aaladaha waxaa lagu bixiyaa is-tababarka shabakada neerfaha iyadoo la adeegsanayo aruurinta sawiradaada. Waxay u baahan tahay hal ama in ka badan kaararka sawirada NVIDIA (Tesla V100 ama A100 GPU lagu taliyay), ugu yaraan 12 GB RAM, PyTorch 1.9 iyo CUDA 11.1+ Toolkit. Si loo go'aamiyo dabeecadda macmalka ah ee wejiyada soo baxay, qalab gaar ah ayaa la sameeyay.
Nidaamku wuxuu kuu ogolaanayaa inaad isku dhejiso sawirka weji cusub oo ku salaysan isdhexgalka sifooyinka wejiyada dhowr ah, oo isku daraya sifooyinkooda, iyo sidoo kale la qabsiga sawirka kama dambaysta ah ee da'da loo baahan yahay, jinsiga, dhererka timaha, dabeecadda dhoola cadeynta, qaabka sanka, midabka maqaarka, muraayadaha, iyo xagal sawireed. Koronto-dhaliyuhu waxa uu u arkaa sawirka sida ururinta qaababka, si toos ah ayuu u kala soocaa tafaasiisha astaamaha ah (jidh-jabka, timaha, muraayadaha) sifooyin heer sare ah oo caadi ah (booska, jinsiga, isbeddelka da'da) wuxuuna kuu ogolaanayaa inaad ku darto qaab kasta oo leh go'aaminta awoodda sare. guryaha iyada oo loo marayo isugeynta miisaanka. Natiijo ahaan, sawirro ayaa la soo saaray kuwaas oo aan la kala saari karin sawirada dhabta ah.
Nooca ugu horreeya ee tignoolajiyada StyleGAN ayaa la daabacay 2019, ka dib daabacaadda la hagaajiyay ee StyleGAN2020 ayaa la soo jeediyay 2, taas oo u oggolaanaysa kor u qaadista tayada muuqaalka iyo baabi'inta farshaxannada qaarkood. Isla mar ahaantaana, nidaamku wuxuu ahaa mid taagan, i.e. ma oggolaan in la gaaro animation-ka dhabta ah iyo dhaqdhaqaaqa wajiga. Marka la horumarinayo StyleGAN3, hadafka ugu weyn wuxuu ahaa in la waafajiyo tignoolajiyada isticmaalkeeda animation iyo muuqaal.
StyleGAN3 waxay isticmaashaa qaab dhismeedka jiilka sawirka dib loo habeeyay, oo xor ka ah isbahaysiga, wuxuuna soo jeedinayaa xaalado cusub oo tababbarka shabakada neerfaha. Waxa ku jira utility cusub oo loogu talagalay is dhexgal muuqaal ah (visualizer.py), falanqaynta (avg_spectra.py) iyo jiilka muuqaalka (gen_video.py). Hirgelintu waxay sidoo kale yaraynaysaa isticmaalka xusuusta waxayna dedejisaa habka waxbarashada.
Muuqaal muhiim ah oo ka mid ah qaab dhismeedka StyleGAN3 wuxuu ahaa u gudubka tarjumaadda dhammaan calaamadaha shabakada neerfaha qaab hawlo joogto ah, taas oo suurtogal ka dhigtay, marka la samaynayo qaybo, in la maareeyo jagooyinka qaraabada ah ee aan ku xidhnayn isku-duwayaasha saxda ah ee pixels shaqsiyeed sawirka, laakiin lagu hagaajiyay dusha walxaha la sawiray. StyleGAN iyo StyleGAN2, ku xidhida pixels inta lagu jiro jiilku waxay keentay dhibaatooyin inta lagu gudajiro bandhigista firfircoon, tusaale ahaan, markii sawirku dhaqaaqay, waxaa jiray ismaandhaafin tafaasiisha yaryar, sida laalaabkii iyo timaha, kuwaas oo u muuqday inay si gooni ah uga guureen wejiga intiisa kale. . In StyleGAN3, dhibaatooyinkan waa la xalliyaa oo tignoolajiyadu waxay noqotay mid ku habboon jiilka fiidiyowga.
Intaa waxaa dheer, waxaan ogaan karnaa ku dhawaaqida abuurista NVIDIA iyo Microsoft ee qaabka luqadda ugu weyn ee MT-NLG oo ku salaysan shabakad qotodheer oo neerfaha ah oo leh qaab dhismeedka "transformer". Qaabku wuxuu daboolayaa 530 bilyan oo cabbir, iyo koox ah 4480 GPUs (560 DGX A100 server oo leh 8 A100 80GB GPUs midkiiba) ayaa loo isticmaalay tababarka. Codsiyada moodeelka waxa ka mid ah xallinta mashaakilaadka habaynta luqadda dabiiciga ah, sida odoroska dhammaystirka jumladaha aan dhammayn, ka jawaabista su'aalaha, fahamka akhriska, sawiridda fikradaha afka dabiiciga ah, iyo xumaynta macnaha erayada.
Source: opennet.ru