Het bedrijf NVIDIA heeft de broncode van StyleGAN3 gepubliceerd, een machine learning-systeem gebaseerd op generative adversarial networks (GAN), gericht op het synthetiseren van realistische afbeeldingen van menselijke gezichten. De code is geschreven in Python met behulp van het PyTorch-framework en wordt verspreid onder de NVIDIA Source Code License, die beperkingen oplegt aan commercieel gebruik.
Er zijn ook kant-en-klare, getrainde modellen beschikbaar, getraind op de Flickr-Faces-HQ (FFHQ) collectie, die 70.000 hoogwaardige (1024Ć1024) PNG-afbeeldingen van menselijke gezichten omvat. Daarnaast zijn er modellen gebaseerd op de AFHQv2-collecties (foto's van dierengezichten) en Metfaces (afbeeldingen van menselijke gezichten uit klassieke schilderkunst). Bij de ontwikkeling ligt de nadruk op gezichten, maar het systeem kan ook worden getraind om elk object te genereren, zoals landschappen en auto's. Extra hulpmiddelen worden geleverd voor het zelf trainen van het neuraal netwerk met eigen afbeeldingscollecties. Voor werking zijn een of meerdere NVIDIA-grafische kaarten vereist (aanbevolen wordt de GPU Tesla V100 of A100), minimaal 12 GB RAM, PyTorch 1.9 en de CUDA 11.1+ toolkit. Voor het identificeren van de kunstmatige aard van de gegenereerde gezichten wordt een speciale detector ontwikkeld.
Het systeem stelt gebruikers in staat om een afbeelding van een nieuw gezicht te synthetiseren op basis van interpolatie van kenmerken van verschillende gezichten, waarbij de bijbehorende eigenschappen worden gecombineerd en het uiteindelijke beeld wordt aangepast aan de gewenste leeftijd, geslacht, haardos, glimlach, neusvorm, huidskleur, bril en camerahoek. De generator beschouwt het beeld als een verzameling stijlen, scheidt automatisch kenmerkende details (zoals sproeten, haar, brillen) van algemene hoog-niveau attributen (houding, geslacht, ouderdom) en stelt gebruikers in staat om deze naar wens te combineren met dominante eigenschappen via gewichtcoefficiƫnten. Het resultaat zijn afbeeldingen die visueel niet te onderscheiden zijn van echte foto's.
De eerste versie van de StyleGAN-technologie werd gepubliceerd in 2019, waarna in 2020 een verbeterde editie, StyleGAN2, werd voorgesteld. Dit resulteerde in een hogere beeldkwaliteit en het wegnemen van bepaalde artefacten. De systeemarchitectuur bleef echter statisch, wat betekende dat realistische animatie en beweging van gezichten niet mogelijk waren. Bij de ontwikkeling van StyleGAN3 was de belangrijkste doelstelling om de technologie aan te passen voor gebruik in animatie en video.
StyleGAN3 maakt gebruik van een herzien architectuur voor het genereren van beelden, waarbij aliasing is geƫlimineerd en nieuwe trainingsscenario's voor het neuraal netwerk zijn voorgesteld. Het omvat nieuwe hulpmiddelen voor interactieve visualisatie (visualizer.py), analyse (avg_spectra.py) en video-generatie (gen_video.py). Bovendien is het geheugenverbruik verminderd en is het leerproces versneld.
Een van de belangrijkste kenmerken van de StyleGAN3-architectuur is de overstap naar de interpretatie van alle signalen in het neuraal netwerk als continue processen. Dit maakte het mogelijk om bij het vormen van details de relatieve posities te manipuleren, losgekoppeld van de absolute coƶrdinaten van individuele pixels op het beeld en vastgelegd aan het oppervlak van de afgebeelde objecten. In StyleGAN en StyleGAN2 leidde de binding aan pixels tijdens het genereren tot problemen bij dynamische visualisatie; bijvoorbeeld, bij het verplaatsen van het beeld was er een gebrek aan synchronisatie van fijne details zoals rimpels en haartjes, die leek te bewegen als afzonderlijke elementen van het gezicht. In StyleGAN3 zijn deze problemen opgelost en is de technologie goed bruikbaar geworden voor het genereren van video.
Daarnaast moet worden opgemerkt dat NVIDIA en Microsoft de grootste taalmodel MT-NLG hebben aangekondigd, gebaseerd op een diep neuraal netwerk met een 'transformer'-architectuur. Het model omvat 530 miljard parameters en voor de training is een cluster met 4480 GPU's (560 DGX A100 met 8 GPU A100 80GB elk) ingezet. servers De toepassingsgebieden van het model zijn onder andere het oplossen van taken op het gebied van natuurlijke taalverwerking, zoals het voorspellen van de voltooiing van onvoltooide zinnen, het beantwoorden van vragen, het begrijpen van teksten, het formuleren van conclusies in natuurlijke taal en het ontleden van ambiguĆÆteit in woordbetekenissen.
Bron: opennet.ru
