ข้อความต้นฉบับของระบบแมชชีนเลิร์นนิง PIXIE ซึ่งช่วยให้คุณสร้างโมเดล 3 มิติและอวาตาร์แอนิเมชันของร่างกายมนุษย์จากภาพถ่ายเพียงภาพเดียวนั้นเปิดอยู่ พื้นผิวที่เหมือนจริงของใบหน้าและเสื้อผ้าสามารถติดเข้ากับโมเดลผลลัพธ์ได้ ซึ่งแตกต่างจากที่ปรากฎในภาพถ่ายต้นฉบับ ระบบนี้สามารถใช้เพื่อวาดภาพจากมุมมองที่แตกต่างกัน สร้างแอนิเมชั่น สร้างร่างกายใหม่ตามรูปร่างของใบหน้า และสร้างโมเดล 3 มิติของนิ้วมือ โค้ดนี้เขียนด้วยภาษา Python โดยใช้เฟรมเวิร์กของ Pytorch และเผยแพร่ภายใต้ใบอนุญาตที่อนุญาตสำหรับการใช้งานที่ไม่ใช่เชิงพาณิชย์เท่านั้น
มีการระบุไว้ว่าเมื่อเทียบกับโครงการที่คล้ายคลึงกัน PIXIE ช่วยให้คุณสร้างรูปทรงของร่างกายได้แม่นยำยิ่งขึ้น ซึ่งแต่เดิมซ่อนอยู่ในเสื้อผ้า รูปร่างของใบหน้า และตำแหน่งของข้อต่อของมือ วิธีการนี้ขึ้นอยู่กับการใช้โครงข่ายประสาทเทียมที่แยกพารามิเตอร์ใบหน้า ร่างกาย และมือออกจากภาพพิกเซล การทำงานของโครงข่ายประสาทเทียมได้รับการประสานงานโดยหน่วยงานควบคุมพิเศษซึ่งจากการวิเคราะห์การส่องสว่างจะเพิ่มข้อมูลเกี่ยวกับค่าสัมประสิทธิ์น้ำหนักของส่วนต่าง ๆ ของร่างกายเพื่อกำจัดคำจำกัดความของท่าทางที่ผิดธรรมชาติ เมื่อสร้างแบบจำลอง จะคำนึงถึงความแตกต่างทางกายวิภาคระหว่างร่างกายชายและหญิง พารามิเตอร์ท่าทาง แสง การสะท้อนแสงของพื้นผิว และการหมุนใบหน้าในระนาบสามมิติ
คุณสมบัติ PIXIE:
- โมเดล 3 มิติของร่างกายที่สร้างขึ้นใหม่ ตลอดจนข้อมูลเกี่ยวกับท่าทาง ตำแหน่งของมือ และการแสดงสีหน้าจะถูกบันทึกเป็นชุดของพารามิเตอร์ SMPL-X ซึ่งสามารถนำไปใช้ในระบบการสร้างแบบจำลอง Blender ผ่านปลั๊กอินได้ในภายหลัง
- ข้อมูลโดยละเอียดเกี่ยวกับรูปร่างและการแสดงออกของใบหน้า ตลอดจนคุณลักษณะต่างๆ เช่น รอยย่น ถูกกำหนดจากภาพถ่าย (ระบบการเรียนรู้ของเครื่อง DECA ที่พัฒนาโดยผู้เขียนคนเดียวกันจะใช้ในการสร้างแบบจำลองศีรษะ)
- เมื่อสร้างพื้นผิวใบหน้า อัลเบโดของวัตถุจะถูกประมาณ
- โมเดลร่างกายที่สร้างขึ้นสามารถเคลื่อนไหวได้ในภายหลังหรือนำเสนอในท่าทางที่แตกต่างกัน
- รองรับการสร้างแบบจำลองจากภาพถ่ายธรรมดาที่ถ่ายบุคคลในสภาพธรรมชาติ PIXIE ทำงานได้ดีในการกำหนดท่าทางต่างๆ สภาพแสง และการบดบังการมองเห็นส่วนต่างๆ ของวัตถุ
- ประสิทธิภาพสูงเหมาะสำหรับการประมวลผลแบบไดนามิกของภาพจากกล้อง
ที่มา: opennet.ru