NVIDIA DLSS, pełnoekranowa technologia antyaliasingu oparta na uczeniu maszynowym, wykorzystująca rdzenie tensorowe kart graficznych GeForce RTX, z czasem uległa znacznemu udoskonaleniu. Początkowo przy korzystaniu z DLSS często pojawiało się zauważalne rozmycie obrazu. Jednak w nowym filmie akcji science-fiction Control od Remedy Entertainment z pewnością można zobaczyć najlepszą jak dotąd implementację DLSS. Ostatnio NVIDIA Jak powstał algorytm DLSS dla Control.
Podczas badania firma odkryła, że niektóre tymczasowe artefakty, które wcześniej były klasyfikowane jako błędy, można skutecznie wykorzystać w celu dodania szczegółów do obrazu. Po ustaleniu tego, NVIDIA rozpoczęła prace nad nowym modelem badawczym AI, który wykorzystywał takie artefakty do odtwarzania szczegółów, których wcześniej brakowało w ostatecznym obrazie. Dzięki nowemu modelowi sieć neuronowa zaczęła odnosić ogromne sukcesy i generować bardzo wysoką jakość obrazu. Jednakże zespół musiał ciężko pracować, aby zoptymalizować wydajność modelu przed dodaniem go do gry. Ostateczny algorytm przetwarzania obrazu umożliwił osiągnięcie wzrostu liczby klatek na sekundę nawet o 75% w ciężkich trybach.
Generalnie DLSS działa na zasadzie: gra jest renderowana w kilku rozdzielczościach, a następnie na podstawie takich par obrazów sieć neuronowa jest szkolona do przekształcenia obrazu o niskiej rozdzielczości na obraz o wyższej rozdzielczości. Do każdej gry i do każdej rozdzielczości trzeba długo trenować własny model, dlatego zazwyczaj DLSS jest dostępny tylko w najtrudniejszych trybach (na przykład z efektami ray tracingu), zapewniając w nich akceptowalną wydajność.
NVIDIA zauważyła, że nawet nowa, ulepszona wersja DLSS wciąż pozostawia miejsce na ulepszenia i optymalizacje. Przykładowo przy korzystaniu z DLSS w rozdzielczości 720p w Kontroli płomienie wyglądają zauważalnie gorzej niż przy 1080p. Podobne artefakty obserwuje się w przypadku niektórych rodzajów ruchu w kadrze.
Dlatego eksperci będą nadal udoskonalać model uczenia maszynowego, aby osiągać jeszcze bardziej imponujące wyniki. I pokazali nawet wczesną wersję swojego kolejnego obiecującego modelu DLSS na przykładzie sceny pożaru lasu w Unreal Engine 4. Nowy model pozwala przywrócić drobne szczegóły, takie jak żar i iskry, choć nadal wymaga optymalizacji pod kątem renderowania klatek prędkość. Po zakończeniu tych prac właściciele kart graficznych opartych na architekturze Turing otrzymają nowe sterowniki z jeszcze lepszymi i wydajniejszymi trybami DLSS.
Źródło: 3dnews.ru