സ്കെച്ചുകളിൽ നിന്ന് ലാൻഡ്സ്കേപ്പുകൾ സമന്വയിപ്പിക്കുന്ന ഒരു മെഷീൻ ലേണിംഗ് സിസ്റ്റത്തിനായുള്ള കോഡ് എൻവിഡിയ തുറക്കുന്നു

NVIDIA SPADE (GauGAN) മെഷീൻ ലേണിംഗ് സിസ്റ്റത്തിനായുള്ള സോഴ്‌സ് കോഡ് പ്രസിദ്ധീകരിച്ചു, ഇത് റഫ് സ്കെച്ചുകളിൽ നിന്ന് റിയലിസ്റ്റിക് ലാൻഡ്‌സ്‌കേപ്പുകളും പ്രോജക്റ്റുമായി ബന്ധപ്പെട്ട പരിശീലനം ലഭിക്കാത്ത മോഡലുകളും സമന്വയിപ്പിക്കാൻ കഴിയും. ഈ സംവിധാനം മാർച്ചിൽ GTC 2019 കോൺഫറൻസിൽ പ്രദർശിപ്പിച്ചിരുന്നു, എന്നാൽ കോഡ് ഇന്നലെ മാത്രമാണ് പ്രസിദ്ധീകരിച്ചത്. CC BY-NC-SA 4.0 (ക്രിയേറ്റീവ് കോമൺസ് ആട്രിബ്യൂഷൻ-നോൺ കൊമേഴ്‌സ്യൽ-ഷെയർഎലൈക്ക് 4.0) എന്ന സ്വതന്ത്ര ലൈസൻസിന് കീഴിലാണ് വികസനങ്ങൾ തുറന്നിരിക്കുന്നത്, ഇത് വാണിജ്യേതര ആവശ്യങ്ങൾക്ക് മാത്രം ഉപയോഗിക്കാൻ അനുവദിക്കുന്നു. PyTorch ഫ്രെയിംവർക്ക് ഉപയോഗിച്ച് പൈത്തണിലാണ് കോഡ് എഴുതിയിരിക്കുന്നത്.

ഒരു സെഗ്മെന്റഡ് മാപ്പിന്റെ രൂപത്തിലാണ് സ്കെച്ചുകൾ വരച്ചിരിക്കുന്നത്, അത് ദൃശ്യത്തിലെ ഏകദേശ വസ്തുക്കളുടെ സ്ഥാനം നിർണ്ണയിക്കുന്നു. ജനറേറ്റുചെയ്ത വസ്തുക്കളുടെ സ്വഭാവം വർണ്ണ അടയാളങ്ങൾ ഉപയോഗിച്ച് വ്യക്തമാക്കുന്നു. ഉദാഹരണത്തിന്, ഒരു നീലനിറം ആകാശമായും, നീല വെള്ളമായും, കടും പച്ച മരമായും, ഇളം പച്ച പുല്ലും, ഇളം തവിട്ട് കല്ലും, കടും തവിട്ട് പർവതവും, ചാരനിറം മഞ്ഞും, തവിട്ട് വരയും റോഡും നീലയും മാറുന്നു. ഒരു നദിയിലേക്ക് ലൈൻ. കൂടാതെ, റഫറൻസ് ചിത്രങ്ങളുടെ തിരഞ്ഞെടുപ്പിനെ അടിസ്ഥാനമാക്കി, മൊത്തത്തിലുള്ള രചനാ ശൈലിയും ദിവസത്തിന്റെ സമയവും നിർണ്ണയിക്കപ്പെടുന്നു. വെർച്വൽ ലോകങ്ങൾ സൃഷ്ടിക്കുന്നതിനുള്ള നിർദ്ദിഷ്ട ഉപകരണം ആർക്കിടെക്റ്റുകൾ, നഗര ആസൂത്രകർ മുതൽ ഗെയിം ഡെവലപ്പർമാർക്കും ലാൻഡ്‌സ്‌കേപ്പ് ഡിസൈനർമാർക്കും വരെ വിപുലമായ ശ്രേണിയിലുള്ള സ്പെഷ്യലിസ്റ്റുകൾക്ക് ഉപയോഗപ്രദമാകും.

ഒബ്‌ജക്റ്റുകൾ ഒരു ജനറേറ്റീവ് അഡ്‌വേർസറിയൽ ന്യൂറൽ നെറ്റ്‌വർക്ക് (GAN) ഉപയോഗിച്ച് സമന്വയിപ്പിക്കപ്പെടുന്നു, ഇത് ഒരു സ്കീമാറ്റിക് സെഗ്മെന്റഡ് മാപ്പിനെ അടിസ്ഥാനമാക്കി റിയലിസ്റ്റിക് ഇമേജുകൾ സൃഷ്ടിക്കുന്നു, നിരവധി ദശലക്ഷം ഫോട്ടോഗ്രാഫുകളിൽ മുൻകൂട്ടി പരിശീലനം ലഭിച്ച ഒരു മോഡലിൽ നിന്ന് വിശദാംശങ്ങൾ കടമെടുക്കുന്നു. മുമ്പ് വികസിപ്പിച്ച ഇമേജ് സിന്തസിസ് സിസ്റ്റങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി, നിർദ്ദിഷ്ട രീതി അഡാപ്റ്റീവ് സ്പേഷ്യൽ പരിവർത്തനത്തിന്റെ ഉപയോഗത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, തുടർന്ന് മെഷീൻ ലേണിംഗിനെ അടിസ്ഥാനമാക്കിയുള്ള പരിവർത്തനം. സെമാന്റിക് മാർക്ക്അപ്പിന് പകരം ഒരു സെഗ്മെന്റഡ് മാപ്പ് പ്രോസസ്സ് ചെയ്യുന്നത് കൃത്യമായ പൊരുത്ത ഫലങ്ങൾ നേടാനും ശൈലി നിയന്ത്രിക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു.

റിയലിസം നേടുന്നതിന്, രണ്ട് ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പരസ്പരം മത്സരിക്കുന്നു: ഒരു ജനറേറ്ററും ഒരു വിവേചനക്കാരനും. യഥാർത്ഥ ഫോട്ടോഗ്രാഫുകളുടെ മിക്സിംഗ് ഘടകങ്ങളെ അടിസ്ഥാനമാക്കി ജനറേറ്റർ ഇമേജുകൾ സൃഷ്ടിക്കുന്നു, കൂടാതെ യഥാർത്ഥ ചിത്രങ്ങളിൽ നിന്ന് സാധ്യമായ വ്യതിയാനങ്ങൾ വിവേചനക്കാരൻ തിരിച്ചറിയുന്നു. തൽഫലമായി, ഫീഡ്‌ബാക്ക് രൂപം കൊള്ളുന്നു, അതിന്റെ അടിസ്ഥാനത്തിൽ ജനറേറ്റർ കൂടുതൽ മികച്ച സാമ്പിളുകൾ രചിക്കാൻ തുടങ്ങുന്നു, വിവേചനം നടത്തുന്നയാൾ അവയെ യഥാർത്ഥത്തിൽ നിന്ന് വേർതിരിക്കുന്നത് നിർത്തുന്നത് വരെ.

അവലംബം: opennet.ru