Mã nguồn của hệ thống máy học PIXIE đã được mở, cho phép bạn tạo mô hình 3D và hình đại diện hoạt hình của cơ thể con người từ một bức ảnh. Các họa tiết khuôn mặt và quần áo thực tế khác với những họa tiết được mô tả trong ảnh gốc có thể được gắn vào mô hình kết quả. Ví dụ: hệ thống có thể được sử dụng để hiển thị từ một vị trí thuận lợi khác, tạo hoạt ảnh, tái tạo cơ thể dựa trên hình dạng khuôn mặt và tạo mô hình 3D của các ngón tay. Mã được viết bằng Python sử dụng khung Pytorch và được phân phối theo giấy phép chỉ sử dụng phi thương mại.
Người ta nói rằng, so với các dự án tương tự, PIXIE cho phép bạn tái tạo chính xác hơn các đường nét của cơ thể, ban đầu bị che khuất bởi quần áo trong ảnh, hình dạng khuôn mặt và vị trí của các khớp tay. Phương pháp này dựa trên việc sử dụng mạng lưới thần kinh, trích xuất các thông số về khuôn mặt, cơ thể và bàn tay từ hình ảnh pixel. Công việc của mạng lưới thần kinh được điều phối bởi một bộ điều khiển đặc biệt, dựa trên phân tích độ chiếu sáng, bổ sung thông tin về hệ số trọng số của các bộ phận khác nhau trên cơ thể để loại trừ việc phát hiện các tư thế không tự nhiên. Khi tạo mô hình, sự khác biệt về mặt giải phẫu giữa cơ thể nam và nữ, các thông số tư thế, ánh sáng, độ phản xạ bề mặt và khả năng xoay của khuôn mặt trong mặt phẳng ba chiều sẽ được tính đến.
Các tính năng của PIXIE:
- Mô hình cơ thể 3D được tái tạo, cũng như thông tin về tư thế, vị trí tay và nét mặt, được lưu dưới dạng tập hợp các tham số SMPL-X, sau này có thể được sử dụng trong hệ thống mô hình Blender thông qua một plugin.
- Từ bức ảnh, thông tin chi tiết được xác định về hình dạng và biểu cảm của khuôn mặt, cũng như các đặc điểm của nó, chẳng hạn như sự hiện diện của các nếp nhăn (hệ thống máy học DECA, do cùng các tác giả phát triển, được sử dụng để xây dựng mô hình đầu) .
- Khi tạo kết cấu khuôn mặt, suất phản chiếu của đối tượng sẽ được ước tính.
- Mô hình cơ thể được xây dựng sau này có thể được làm hoạt hình hoặc trình bày ở một tư thế khác.
- Hỗ trợ xây dựng mô hình từ những bức ảnh thông thường của một người trong điều kiện tự nhiên. PIXIE thực hiện tốt công việc phát hiện các tư thế, điều kiện ánh sáng khác nhau và cản trở tầm nhìn của các bộ phận của vật thể.
- Hiệu suất cao, thích hợp cho việc xử lý động hình ảnh của camera.
Nguồn: opennet.ru