NVIDIA experimenteert actief op het gebied van deep learning en de resultaten van zijn werk zijn soms behoorlijk interessant. Het bedrijf kondigde op GDC 2019 de oprichting aan van GauGAN, een intelligente tekentoepassing die een deep learning-model gebruikt om fotorealistische versies van eenvoudige tekeningen te maken. De naam van de app verwijst naar de Franse postimpressionistische kunstenaar Paul Gauguin en het gebruik van generatieve vijandige netwerken (GAN's) door de software om afbeeldingen te creëren die schilderijen realistisch imiteren.
Hoe werkt GauGAN? Volgens de uitleg van het bedrijf is de app als een ‘slim penseel’ dat de details van de schets van een gebruiker invult (NVIDIA noemt het een ‘segmentatiekaart’). In wezen stelt de gebruiker of artiest gewoon een plan op voor wat hij uiteindelijk wil zien, en geeft hij elk segment een label, waarmee hij aangeeft wat het zou moeten zijn. GauGAN neemt het vervolgens over, vult aanvullende details in en maakt de tekeningen realistischer.
Het deep learning-model is getraind op basis van miljoenen artistieke afbeeldingen en bevolkt vervolgens het landschap met indrukwekkende (maar niet altijd perfecte) resultaten. Als je een vijver tekent, worden nabijgelegen elementen zoals bomen en rotsen weerspiegeld in het water. Het volstaat om het segmentlabel te veranderen van "gras" in "sneeuw", en het hele beeld zal veranderen, veranderen in een winterbeeld, en de lommerrijke bomen zullen kaal worden. Om te begrijpen waar we het over hebben, kunt u de onderstaande video bekijken.
Het is ook de moeite waard om op te merken dat hoewel GauGAN uitgebreide kennis gebruikt, gebaseerd op een groot aantal andere afbeeldingen om de uiteindelijke werken te creëren, deze laatste nog steeds als origineel worden beschouwd omdat de applicatie volledig nieuwe resulterende afbeeldingen genereert.
De nieuwe slimme grafische editor van NVIDIA is niet beperkt tot alleen natuurlijke scènes of landschappen: de app kan gebouwen, wegen en zelfs mensen toevoegen. Met GauGAN kunnen gebruikers ook filters toepassen, waardoor het resultaat wordt vormgegeven in de gewenste stijl. Dergelijke filters kunnen onder meer de stijl van een specifieke artiest (bijvoorbeeld Van Gon) imiteren of de verlichting van een scène aanpassen, waardoor beelden van dag naar nacht veranderen.
Het is onduidelijk of GauGAN ooit zal worden vrijgegeven voor dagelijks consumentengebruik, maar ik denk dat gewone gebruikers vroeg of laat behoorlijk nuttige tools als deze zullen krijgen, die het werk op verschillende gebieden zullen vereenvoudigen: van architectuur en illustratie tot game-ontwikkeling.
Op de NVIDIA AI Playground-bron kunnen geïnteresseerden echter vertrouwd raken met enkele machine learning-mogelijkheden. In de daar aanwezige Artistic Style Transfer-demo kunt u bijvoorbeeld elke foto verwerken in de stijl van bekende artiesten.
Andere soortgelijke experimenten van NVIDIA omvatten een onderzoek dat laat zien hoe door AI gegenereerde visuele effecten kunnen worden gecombineerd met een traditionele rasterisatiepijplijn. Het resultaat is een hybride grafisch systeem dat gebruikt kan worden in games, films en virtual reality. Een ander soortgelijk voorbeeld is een algoritme om met sneeuw gevulde straten om te toveren in zomerse straten, ontwikkeld door bedrijfsspecialisten voor efficiëntere stuurautomaattraining.
Bron: 3dnews.ru