NVIDIA DLSS, een op machine learning gebaseerde anti-aliasing-technologie op volledig scherm die gebruikmaakt van de tensorkernen van GeForce RTX grafische kaarten, is in de loop van de tijd aanzienlijk verbeterd. Aanvankelijk was er bij het gebruik van DLSS vaak sprake van merkbare vervaging van het beeld. In de nieuwe sciencefiction-actiefilm Control van Remedy Entertainment kun je echter zeker de beste implementatie van DLSS tot nu toe zien. Recentelijk NVIDIA Hoe het DLSS-algoritme voor Control is gemaakt.
Tijdens het onderzoek ontdekte het bedrijf dat bepaalde tijdelijke artefacten, die voorheen als fouten werden geclassificeerd, effectief kunnen worden gebruikt om details aan de afbeelding toe te voegen. Nadat ze dit hadden ontdekt, begon NVIDIA te werken aan een nieuw AI-onderzoeksmodel dat dergelijke artefacten gebruikte om details na te bootsen die voorheen in het uiteindelijke beeld ontbraken. Met behulp van het nieuwe model begon het neurale netwerk enorm succes te boeken en een zeer hoge beeldkwaliteit te produceren. Het team moest echter hard werken om de prestaties van het model te optimaliseren voordat het aan de game werd toegevoegd. Het uiteindelijke beeldverwerkingsalgoritme maakte het mogelijk om in de zware modi een verhoging van de framesnelheid tot 75% te bereiken.
Over het algemeen werkt DLSS volgens het volgende principe: het spel wordt in verschillende resoluties weergegeven en vervolgens wordt het neurale netwerk op basis van dergelijke paren afbeeldingen getraind om een afbeelding met een lage resolutie naar een hogere afbeelding te transformeren. Voor elk spel en voor elke resolutie moet je je eigen model lange tijd trainen, dus meestal is DLSS alleen beschikbaar in de moeilijkste modi (bijvoorbeeld met ray tracing-effecten), waardoor er acceptabele prestaties worden geleverd.
NVIDIA merkte op dat zelfs de nieuwe en verbeterde versie van DLSS nog steeds ruimte laat voor verbeteringen en optimalisaties. Als u bijvoorbeeld DLSS bij 720p in Control gebruikt, zien de vlammen er merkbaar slechter uit dan bij 1080p. Soortgelijke artefacten worden waargenomen bij sommige soorten bewegingen in het frame.
Daarom gaan experts het machine learning-model blijven verbeteren om nog indrukwekkendere resultaten te bereiken. En ze lieten zelfs een vroege versie zien van hun volgende veelbelovende DLSS-model met behulp van het voorbeeld van een bosbrandscène in Unreal Engine 4. Met het nieuwe model kun je kleine details zoals sintels en vonken herstellen, hoewel het nog steeds optimalisatie vereist in termen van frameweergave snelheid. Wanneer dit werk is voltooid, ontvangen eigenaren van videokaarten op basis van de Turing-architectuur nieuwe stuurprogramma's met nog betere en efficiëntere DLSS-modi.
Bron: 3dnews.ru