กลุ่มนักวิจัยจากมหาวิทยาลัยเทคนิคเซี่ยงไฮ้ เครื่องมือ ซึ่งช่วยให้ใช้วิธีการเรียนรู้ของเครื่องเพื่อจำลองการเคลื่อนไหวของผู้คนโดยใช้ภาพนิ่ง เช่นเดียวกับการเปลี่ยนเสื้อผ้า ถ่ายโอนเสื้อผ้าไปยังสภาพแวดล้อมอื่น และเปลี่ยนมุมที่มองเห็นวัตถุได้ โค้ดนี้เขียนด้วยภาษา Python
โดยใช้กรอบงาน . การประกอบยังต้องมี และชุดเครื่องมือ CUDA
ชุดเครื่องมือได้รับภาพสองมิติเป็นอินพุตและสังเคราะห์ผลลัพธ์ที่แก้ไขตามรุ่นที่เลือก รองรับตัวเลือกการแปลงสามตัวเลือก:
การสร้างวัตถุที่เคลื่อนไหวตามการเคลื่อนไหวที่โมเดลได้รับการฝึกฝน การถ่ายโอนองค์ประกอบรูปลักษณ์จากแบบจำลองไปยังวัตถุ (เช่น การเปลี่ยนเสื้อผ้า) การสร้างมุมใหม่ (เช่น การสังเคราะห์ภาพโปรไฟล์จากภาพถ่ายเต็มหน้า) สามารถใช้ทั้งสามวิธีร่วมกันได้ เช่น คุณสามารถสร้างวิดีโอจากภาพถ่ายที่จำลองการแสดงกายกรรมที่ซับซ้อนในเสื้อผ้าที่แตกต่างกัน
ในระหว่างกระบวนการสังเคราะห์ การดำเนินการในการเลือกวัตถุในภาพถ่ายและสร้างองค์ประกอบพื้นหลังที่หายไปเมื่อมีการเคลื่อนไหวจะดำเนินการไปพร้อมๆ กัน โมเดลโครงข่ายประสาทเทียมสามารถฝึกได้เพียงครั้งเดียวและใช้สำหรับการแปลงต่างๆ สำหรับการโหลด โมเดลสำเร็จรูปที่ให้คุณใช้เครื่องมือได้ทันทีโดยไม่ต้องมีการฝึกอบรมเบื้องต้น ต้องใช้ GPU ที่มีขนาดหน่วยความจำอย่างน้อย 8GB เพื่อดำเนินการ
ต่างจากวิธีการแปลงร่างที่อิงการแปลงตามจุดสำคัญที่อธิบายตำแหน่งของร่างกายในพื้นที่สองมิติ Impersonator พยายามสังเคราะห์ตาข่ายสามมิติพร้อมคำอธิบายของร่างกายโดยใช้วิธีการเรียนรู้ของเครื่อง
วิธีการที่นำเสนอช่วยให้สามารถปรับเปลี่ยนได้โดยคำนึงถึงรูปร่างส่วนบุคคลและท่าทางปัจจุบัน โดยจำลองการเคลื่อนไหวตามธรรมชาติของแขนขา
เพื่อรักษาข้อมูลดั้งเดิม เช่น พื้นผิว สไตล์ สี และการจดจำใบหน้าในระหว่างกระบวนการเปลี่ยนแปลง (). ข้อมูลเกี่ยวกับออบเจ็กต์ต้นทางและพารามิเตอร์สำหรับการระบุที่แม่นยำจะถูกดึงออกมาโดยการใช้ .
ที่มา: opennet.ru