NVIDIA DLSS, eine auf maschinellem Lernen basierende Vollbild-Anti-Aliasing-Technologie, die die Tensorkerne von GeForce RTX-Grafikkarten nutzt, hat sich im Laufe der Zeit erheblich verbessert. Anfangs kam es bei der Nutzung von DLSS häufig zu merklichen Unschärfen des Bildes. Allerdings ist im neuen Science-Fiction-Actionfilm Control von Remedy Entertainment sicherlich die bislang beste Umsetzung von DLSS zu sehen. Kürzlich NVIDIA Wie der DLSS-Algorithmus für die Steuerung erstellt wurde.
Während der Studie stellte das Unternehmen fest, dass bestimmte temporäre Artefakte, die zuvor als Fehler eingestuft wurden, effektiv genutzt werden können, um dem Bild Details hinzuzufügen. Nachdem NVIDIA dies herausgefunden hatte, begann es mit der Arbeit an einem neuen KI-Forschungsmodell, das solche Artefakte nutzte, um Details wiederherzustellen, die zuvor im endgültigen Bild fehlten. Mit Hilfe des neuen Modells begann das neuronale Netzwerk enorme Erfolge zu erzielen und eine sehr hohe Bildqualität zu erzeugen. Allerdings musste das Team hart daran arbeiten, die Leistung des Modells zu optimieren, bevor es zum Spiel hinzugefügt wurde. Der endgültige Bildverarbeitungsalgorithmus ermöglichte es, in schweren Modi eine Steigerung der Bildrate um bis zu 75 % zu erreichen.
Im Allgemeinen funktioniert DLSS nach dem folgenden Prinzip: Das Spiel wird in mehreren Auflösungen gerendert und dann wird das neuronale Netzwerk basierend auf solchen Bildpaaren darauf trainiert, ein Bild mit niedriger Auflösung in ein Bild mit höherer Auflösung umzuwandeln. Für jedes Spiel und für jede Auflösung müssen Sie lange Zeit Ihr eigenes Modell trainieren, daher ist DLSS normalerweise nur in den schwierigsten Modi (z. B. mit Raytracing-Effekten) verfügbar und bietet dort eine akzeptable Leistung.
NVIDIA stellte fest, dass selbst die neue und verbesserte Version von DLSS noch Raum für Verbesserungen und Optimierungen lässt. Bei der Verwendung von DLSS bei 720p in Control sehen die Flammen beispielsweise deutlich schlechter aus als bei 1080p. Ähnliche Artefakte werden bei einigen Bewegungsarten im Bild beobachtet.
Daher werden Experten das Modell des maschinellen Lernens weiter verbessern, um noch beeindruckendere Ergebnisse zu erzielen. Und sie zeigten sogar eine frühe Version ihres nächsten vielversprechenden DLSS-Modells am Beispiel einer Waldbrandszene in Unreal Engine 4. Mit dem neuen Modell können Sie kleine Details wie Glut und Funken wiederherstellen, müssen jedoch hinsichtlich der Bildwiedergabe noch optimiert werden Geschwindigkeit. Nach Abschluss dieser Arbeiten erhalten Besitzer von Grafikkarten auf Basis der Turing-Architektur neue Treiber mit noch besseren und effizienteren DLSS-Modi.
Source: 3dnews.ru