บริษัท NVIDIA ซอร์สโค้ดของระบบการเรียนรู้ของเครื่อง (GauGAN) ซึ่งช่วยให้คุณสามารถสังเคราะห์ทิวทัศน์ที่สมจริงโดยอาศัยภาพร่างคร่าวๆ รวมถึงภาพที่เกี่ยวข้องกับโครงการ . ระบบก็คือ ในเดือนมีนาคมที่งาน GTC 2019 แต่โค้ดเพิ่งเผยแพร่เมื่อวานนี้เท่านั้น การพัฒนา ภายใต้ใบอนุญาตที่เป็นกรรมสิทธิ์ (Creative Commons Attribution-NonCommercial-ShareAlike 4.0) อนุญาตให้ใช้งานที่ไม่ใช่เชิงพาณิชย์เท่านั้น โค้ดนี้เขียนด้วยภาษา Python โดยใช้เฟรมเวิร์ก .
ภาพร่างจะถูกวาดขึ้นในรูปแบบของแผนที่แบบแบ่งส่วนซึ่งกำหนดตำแหน่งของวัตถุโดยประมาณในฉาก ลักษณะของวัตถุที่สร้างขึ้นจะถูกระบุโดยใช้เครื่องหมายสี ตัวอย่างเช่น สีเติมสีน้ำเงินเปลี่ยนเป็นท้องฟ้า สีน้ำเงินเป็นน้ำ สีเขียวเข้มเป็นต้นไม้ สีเขียวอ่อนเป็นหญ้า สีน้ำตาลอ่อนเป็นหิน สีน้ำตาลเข้มเป็นภูเขา สีเทาเป็นหิมะ เส้นสีน้ำตาลเปลี่ยนเป็นถนน และสีน้ำเงิน เรียงกันเป็นแม่น้ำ นอกจากนี้ จากการเลือกภาพอ้างอิง รูปแบบการจัดองค์ประกอบโดยรวมและเวลาของวันจะถูกกำหนด เครื่องมือที่นำเสนอสำหรับการสร้างโลกเสมือนจริงจะมีประโยชน์สำหรับผู้เชี่ยวชาญหลากหลายประเภท ตั้งแต่สถาปนิกและนักวางผังเมือง ไปจนถึงนักพัฒนาเกมและนักออกแบบภูมิทัศน์
วัตถุถูกสังเคราะห์โดยโครงข่ายประสาทเทียมที่ขัดแย้งกัน () ซึ่งสร้างภาพที่เหมือนจริงโดยอิงตามแผนผังแบ่งส่วน โดยยืมรายละเอียดจากแบบจำลองที่ได้รับการฝึกล่วงหน้ากับภาพถ่ายหลายล้านภาพ วิธีที่เสนอนี้แตกต่างจากระบบสังเคราะห์ภาพที่พัฒนาขึ้นก่อนหน้านี้ โดยอาศัยการใช้การเปลี่ยนแปลงเชิงพื้นที่แบบปรับเปลี่ยนได้ ตามด้วยการเปลี่ยนแปลงตามการเรียนรู้ของเครื่อง การประมวลผลแผนที่แบบแบ่งส่วนแทนมาร์กอัปเชิงความหมายช่วยให้คุณได้รับผลลัพธ์ที่ตรงกันทุกประการและควบคุมรูปแบบได้
เพื่อให้บรรลุถึงความสมจริง โครงข่ายประสาทสองเครือข่ายจะแข่งขันกัน: ตัวกำเนิดและผู้แยกแยะ เครื่องสร้างภาพจะสร้างภาพโดยอาศัยการผสมผสานองค์ประกอบต่างๆ ของภาพถ่ายจริง และเครื่องแยกแยะจะระบุความเบี่ยงเบนที่เป็นไปได้จากภาพจริง เป็นผลให้เกิดข้อเสนอแนะขึ้นบนพื้นฐานของการที่เครื่องกำเนิดเริ่มเขียนตัวอย่างที่ดีขึ้นเรื่อย ๆ จนกว่าผู้แยกแยะจะยุติการแยกความแตกต่างจากตัวอย่างจริง
ที่มา: opennet.ru