NVIDIA đã công bố mã nguồn của hệ thống máy học SPADE (GauGAN), hệ thống này có thể tổng hợp các cảnh quan thực tế từ các bản phác thảo thô, cũng như các mô hình chưa qua đào tạo liên quan đến dự án. Hệ thống này đã được trình diễn vào tháng 2019 tại hội nghị GTC 4.0, nhưng mã chỉ được công bố ngày hôm qua. Các quá trình phát triển được mở theo giấy phép miễn phí CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike XNUMX), chỉ cho phép sử dụng cho mục đích phi thương mại. Mã được viết bằng Python sử dụng khung PyTorch.
Các bản phác thảo được vẽ dưới dạng bản đồ được phân đoạn để xác định vị trí của các đối tượng gần đúng trên hiện trường. Bản chất của các đối tượng được tạo ra được xác định bằng cách sử dụng các dấu màu. Ví dụ: màu xanh lam chuyển thành bầu trời, xanh lam thành nước, xanh đậm thành cây, xanh nhạt thành cỏ, nâu nhạt thành đá, nâu sẫm thành núi, xám thành tuyết, đường màu nâu biến thành đường và xanh lam dòng thành một con sông. Ngoài ra, dựa trên việc lựa chọn hình ảnh tham chiếu, kiểu bố cục tổng thể và thời gian trong ngày sẽ được xác định. Công cụ được đề xuất để tạo thế giới ảo có thể hữu ích cho nhiều chuyên gia, từ kiến trúc sư và nhà quy hoạch đô thị đến nhà phát triển trò chơi và nhà thiết kế cảnh quan.
Các đối tượng được tổng hợp bởi mạng lưới thần kinh đối lập tổng quát (GAN), tạo ra hình ảnh thực tế dựa trên bản đồ được phân đoạn theo sơ đồ, mượn chi tiết từ một mô hình được đào tạo trước trên hàng triệu bức ảnh. Không giống như các hệ thống tổng hợp hình ảnh được phát triển trước đây, phương pháp được đề xuất dựa trên việc sử dụng phép biến đổi không gian thích ứng, sau đó là phép biến đổi dựa trên học máy. Việc xử lý bản đồ được phân đoạn thay vì đánh dấu ngữ nghĩa cho phép bạn đạt được kết quả khớp chính xác và kiểm soát kiểu.
Để đạt được chủ nghĩa hiện thực, hai mạng lưới thần kinh cạnh tranh với nhau: một máy phát điện và một máy phân biệt đối xử. Trình tạo tạo ra hình ảnh dựa trên việc trộn các yếu tố của ảnh thật và trình phân biệt đối xử xác định những sai lệch có thể có so với ảnh thật. Kết quả là, phản hồi được hình thành, trên cơ sở đó trình tạo bắt đầu soạn các mẫu ngày càng tốt hơn cho đến khi bộ phân biệt đối xử không còn phân biệt chúng với mẫu thật.
Nguồn: opennet.ru