NVIDIA maak die kode oop vir 'n masjienleerstelsel wat landskappe uit sketse sintetiseer

NVIDIA Maatskappy gepubliseer masjienleerstelselbronkodes GRAAF (GauGAN), wat jou toelaat om realistiese landskappe te sintetiseer gebaseer op rowwe sketse, sowel as dié wat met die projek verband hou opgeleide modelle. Die stelsel was gedemonstreer in Maart by die GTC 2019-konferensie, maar die kode is eers gister gepubliseer. Ontwikkelings oopmaak onder 'n eiendomslisensie CC BY-NC-SA 4.0 (Creative Commons Erkenning-Niekommersieel-Insgelyks Deel 4.0), wat slegs vir nie-kommersiële gebruik toelaat. Die kode word in Python geskryf deur die raamwerk te gebruik PyTorch.

Die sketse word in die vorm van 'n gesegmenteerde kaart opgestel wat die plasing van benaderde voorwerpe op die toneel bepaal. Die aard van die gegenereerde voorwerpe word gespesifiseer deur kleurmerke te gebruik. Byvoorbeeld, 'n blou vul verander in die lug, blou in water, donkergroen in bome, liggroen in gras, ligbruin in rotse, donkerbruin in berge, grys in sneeu, 'n bruin lyn verander in 'n pad, en 'n blou lyn in die rivier Daarbenewens, gebaseer op die keuse van verwysingsbeelde, word die algehele komposisiestyl en tyd van die dag bepaal. Die voorgestelde hulpmiddel vir die skep van virtuele wêrelde kan nuttig wees vir 'n wye verskeidenheid spesialiste, van argitekte en stedelike beplanners tot spelontwikkelaars en landskapontwerpers.

Voorwerpe word gesintetiseer deur 'n generatiewe adversariële neurale netwerk (GAN), wat realistiese beelde skep gebaseer op 'n skematiese gesegmenteerde kaart, met besonderhede van 'n model wat vooraf op 'n paar miljoen foto's opgelei is. Anders as voorheen ontwikkelde beeldsintesestelsels, is die voorgestelde metode gebaseer op die gebruik van aanpasbare ruimtelike transformasie gevolg deur transformasie gebaseer op masjienleer. Deur 'n gesegmenteerde kaart in plaas van semantiese opmaak te verwerk, kan u presiese passingsresultate behaal en die styl beheer.

Om realisme te bereik, ding twee neurale netwerke met mekaar mee: 'n generator en 'n diskrimineerder. Die kragopwekker genereer beelde gebaseer op die vermenging van elemente van regte foto's, en die diskrimineerder identifiseer moontlike afwykings van werklike beelde. As gevolg hiervan word terugvoer gevorm, op grond waarvan die kragopwekker al hoe beter monsters begin saamstel totdat die diskrimineerder ophou om hulle van die regte te onderskei.

Bron: opennet.ru