Yon ekip chèchè nan Inivèsite Tel Aviv te revele HyperStyle, yon vèsyon envèse nan sistèm aprantisaj machin StyleGAN2 NVIDIA a ki te reamenaje pou rkree pati ki manke yo lè y ap modifye imaj lavi reyèl. Kòd la ekri nan Python lè l sèvi avèk fondasyon PyTorch la epi distribye anba lisans MIT.
Si StyleGAN pèmèt ou fè sentèz nouvo figi moun ki sanble reyalis lè w fikse paramèt tankou laj, sèks, longè cheve, modèl souri, fòm nen, koulè po, linèt ak ang foto, lè sa a HyperStyle fè li posib pou chanje paramèt menm jan an nan ki egziste deja. foto san yo pa chanje karakteristik karakteristik yo epi kenbe rekonesans nan figi orijinal la. Pa egzanp, lè l sèvi avèk HyperStyle, ou ka similye yon chanjman nan laj yon moun nan yon foto, chanje yon kwafur, ajoute linèt, yon bab oswa moustach, fè yon imaj sanble ak yon karaktè desen oswa yon foto trase men, fè yon ekspresyon tris oswa kè kontan. Nan ka sa a, sistèm nan ka resevwa fòmasyon pa sèlman chanje figi moun, men tou, pou nenpòt objè, pou egzanp, pou koreksyon imaj nan machin.
Metòd yo pwopoze a vize pou rezoud pwoblèm nan ak rekonstriksyon pati ki manke yo nan imaj la lè koreksyon an. Nan metòd anvan yo, yo te rezoud konpwomi ki genyen ant rekonstriksyon ak editability lè yo ajiste dèlko imaj la pou ranplase pati nan imaj sib la lè yo te rekreye zòn ki te edite ki te manke yo okòmansman. Dezavantaj nan apwòch sa yo se bezwen an pou alontèm fòmasyon vize nan rezo neral la pou chak imaj.
Metòd ki baze sou algorithm StyleGAN la fè li posib pou itilize yon modèl tipik, ki te deja antrene sou koleksyon imaj komen, pou jenere eleman karakteristik imaj orijinal la ak yon nivo konfyans ki konparab ak algoritm ki mande fòmasyon endividyèl nan modèl la pou chak imaj. . Pami avantaj ki genyen nan nouvo metòd la, se posiblite pou modifye imaj ak yon pèfòmans tou pre tan reyèl.
Modèl yo pre-antrene yo prepare pou figi moun, machin ak bèt ki baze sou koleksyon Flickr-Faces-HQ (FFHQ, 70k imaj PNG bon jan kalite figi moun), Stanford Cars (16k imaj machin) ak AFHQ (foto). nan bèt). Anplis de sa, yo bay zouti pou fòmasyon modèl yo, osi byen ke modèl ki prepare ki fòme nan ankode tipik ak dèlko apwopriye pou itilize avèk yo. Pa egzanp, jeneratè yo disponib pou kreye imaj Toonify-style, karaktè Pixar, fè desen, e menm stil yo tankou Disney prensès.
Sous: opennet.ru