NVIDIA selskab kildekoder til maskinlæringssystem (GauGAN), som giver dig mulighed for at syntetisere realistiske landskaber baseret på grove skitser, såvel som dem, der er forbundet med projektet . Systemet var i marts på GTC 2019-konferencen, men koden blev først offentliggjort i går. Udviklinger under en proprietær licens (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), som kun tillader ikke-kommerciel brug. Koden er skrevet i Python ved hjælp af frameworket .
Skitserne er tegnet i form af et segmenteret kort, der bestemmer placeringen af omtrentlige objekter på scenen. Arten af de genererede objekter er specificeret ved hjælp af farvemærker. For eksempel forvandles en blå fyldning til himlen, blå til vand, mørkegrøn til træer, lysegrøn til græs, lysebrun til klipper, mørkebrun til bjerge, grå til sne, en brun linje omdannes til en vej og en blå linje ind i floden Ud fra udvælgelsen af referencebilleder bestemmes den overordnede kompositionsstil og tidspunkt på dagen. Det foreslåede værktøj til at skabe virtuelle verdener kan være nyttigt for en bred vifte af specialister, fra arkitekter og byplanlæggere til spiludviklere og landskabsdesignere.
Objekter syntetiseres af et generativt adversarielt neuralt netværk (), som skaber realistiske billeder baseret på et skematisk segmenteret kort, der låner detaljer fra en model, der er forudtrænet på flere millioner fotografier. I modsætning til tidligere udviklede billedsyntesesystemer er den foreslåede metode baseret på brugen af adaptiv rumlig transformation efterfulgt af transformation baseret på maskinlæring. Behandling af et segmenteret kort i stedet for semantisk markup giver dig mulighed for at opnå nøjagtige matchresultater og kontrollere stilen.
For at opnå realisme konkurrerer to neurale netværk med hinanden: en generator og en diskriminator. Generatoren genererer billeder baseret på blanding af elementer af rigtige fotografier, og diskriminatoren identificerer mulige afvigelser fra rigtige billeder. Som et resultat dannes feedback, på grundlag af hvilket generatoren begynder at komponere stadig bedre prøver, indtil diskriminatoren ophører med at skelne dem fra de virkelige.
Kilde: opennet.ru