Pwojè PIXIE pou konstwi modèl 3D moun ki soti nan yon foto te pibliye

Tèks sous yo nan sistèm aprantisaj machin PIXIE, ki pèmèt ou kreye modèl 3D ak avatar anime nan kò imen an soti nan yon foto sèl, yo louvri. Tèkstur reyalis nan figi a ak rad yo ka tache ak modèl la ki kapab lakòz, ki diferan de sa yo montre nan foto orijinal la. Sistèm nan ka itilize, pou egzanp, pou fè desen soti nan yon opinyon diferan, kreye animasyon, rekonstwi kò a selon fòm nan figi a, ak fòme yon modèl 3D nan dwèt yo. Kòd la ekri nan Python lè l sèvi avèk fondasyon Pytorch la epi distribye anba yon lisans ki pèmèt pou itilizasyon ki pa komèsyal sèlman.

Li te deklare ke konpare ak pwojè ki sanble, PIXIE pèmèt ou pi byen rkree kontou yo nan kò a, orijinal kache pa rad nan foto a, fòm nan figi a ak pozisyon nan jwenti yo nan men yo. Metòd la baze sou itilizasyon yon rezo neral ki ekstrè figi, kò, ak paramèt men nan yon imaj pixel. Travay rezo neral la kowòdone pa yon regilatè espesyal, ki, ki baze sou analiz lumières, ajoute enfòmasyon sou koyefisyan pwa divès pati nan kò a pou elimine definisyon anòmal poze. Lè w ap kreye yon modèl, yo pran an kont diferans anatomik ant kò gason ak fi, paramèt poze, ekleraj, refleksyon sifas ak wotasyon figi nan yon plan ki genyen twa dimansyon.

Karakteristik PIXIE:

• Modèl 3D rekonstwi kò a, osi byen ke enfòmasyon sou poze a, pozisyon nan men yo ak ekspresyon vizaj yo sove kòm yon seri paramèt SMPL-X, ki ka pita dwe itilize nan sistèm nan modèl Blender atravè yon Plugin.
• Enfòmasyon detaye sou fòm ak ekspresyon figi a, osi byen ke karakteristik li yo, tankou prezans nan ondilasyon, yo detèmine nan foto a (sistèm aprantisaj machin DECA devlope pa menm otè yo itilize pou konstwi modèl tèt la).
• Lè jenere yon teksti figi, albedo objè a estime.
• Modèl kò konstwi a ka pita anime oswa prezante nan yon poze diferan.
• Sipò pou bati yon modèl ki soti nan foto òdinè kote yo pran yon moun nan kondisyon natirèl. PIXIE fè yon bon travay nan defini diferan poze, kondisyon ekleraj, ak bouche vizibilite nan pati nan yon objè.
• Segondè pèfòmans, apwopriye pou pwosesis dinamik imaj kamera a.

Sous: opennet.ru