شركة NVIDIA رموز مصدر نظام التعلم الآلي (GauGAN)، والذي يسمح لك بتجميع مناظر طبيعية واقعية بناءً على الرسومات التقريبية، بالإضافة إلى تلك المرتبطة بالمشروع . كان النظام في شهر مارس في مؤتمر GTC 2019، ولكن تم نشر الكود بالأمس فقط. التطورات بموجب ترخيص الملكية (Creative Commons Attribution-NonCommercial-ShareAlike 4.0)، مما يسمح بالاستخدام غير التجاري فقط. تتم كتابة الكود بلغة بايثون باستخدام إطار العمل .
يتم رسم الرسومات على شكل خريطة مجزأة تحدد موضع الأشياء التقريبية في المشهد. يتم تحديد طبيعة الكائنات التي تم إنشاؤها باستخدام علامات اللون. على سبيل المثال، يتحول اللون الأزرق إلى سماء، والأزرق إلى ماء، والأخضر الداكن إلى أشجار، والأخضر الفاتح إلى عشب، والبني الفاتح إلى صخور، والبني الداكن إلى جبال، والرمادي إلى ثلج، ويتحول الخط البني إلى طريق، ويتحول اللون الأزرق إلى سماء. خط في النهر بالإضافة إلى ذلك، استنادًا إلى اختيار الصور المرجعية، يتم تحديد نمط التكوين العام والوقت من اليوم. يمكن أن تكون الأداة المقترحة لإنشاء عوالم افتراضية مفيدة لمجموعة واسعة من المتخصصين، بدءًا من المهندسين المعماريين ومخططي المدن وحتى مطوري الألعاب ومصممي المناظر الطبيعية.
يتم تصنيع الكائنات بواسطة شبكة عصبية عدائية توليدية ()، الذي ينشئ صورًا واقعية بناءً على خريطة تخطيطية مجزأة، ويستعير التفاصيل من نموذج تم تدريبه مسبقًا على عدة ملايين من الصور الفوتوغرافية. على عكس أنظمة تركيب الصور التي تم تطويرها مسبقًا، تعتمد الطريقة المقترحة على استخدام التحول المكاني التكيفي متبوعًا بالتحويل بناءً على التعلم الآلي. تتيح لك معالجة الخريطة المجزأة بدلاً من العلامات الدلالية تحقيق نتائج مطابقة تامة والتحكم في النمط.
لتحقيق الواقعية، تتنافس شبكتان عصبيتان مع بعضهما البعض: المولد والتمييز. يقوم المولد بإنشاء صور بناءً على مزج عناصر صور حقيقية، ويقوم جهاز التمييز بتحديد الانحرافات المحتملة عن الصور الحقيقية. ونتيجة لذلك، يتم تشكيل ردود الفعل، والتي على أساسها يبدأ المولد في تكوين عينات أفضل بشكل متزايد حتى يتوقف المُميِّز عن تمييزها عن العينات الحقيقية.
المصدر: opennet.ru