🥇Nvidia раскрыла, как DLSS 5 «додумывает» картинку — только 2D-кадр и векторы движения

Сотрудник Nvidia Джейкоб Фридман (Jacob Freeman) в недавнем интервью пояснил, по какому принципу работает технология масштабирования с использованием искусственного интеллекта DLSS 5. В качестве исходных данных система принимает двухмерный отрисованный кадр и векторы движения.

Таким образом, что Nvidia DLSS 5 вообще не берет в расчёт созданные разработчиками трёхмерную геометрию, глубину сцены или данные о материалах. Помимо 2D-изображения и секторов движения, лежащая в основе технологии масштабирования ИИ-модель понимает семантику сцены: идентифицирует волосы, ткань, кожу и условия освещения — и для анализа этих данных ей достаточно всего одного кадра. Она не считывает металличность, шероховатость, карты нормалей и другие основные свойства материалов, хотя по прежним описаниям Nvidia могло сложится впечатление, что DLSS 5 анализирует сцену более глубоко.

Это объясняет, почему некоторые примеры работы технологии выглядят непредсказуемо: одном из них у персонажа появились волосы там, где в оригинале их не было; в другом у него вообще изменились черты лица. Хотя Nvidia настаивает, что «базовая геометрия не изменилась», а на демонстрации использовалась «очень ранняя предварительная версия технологии».

Есть основания предположить, что у разработчиков довольно ограниченные средства управления DLSS 5. Они могут регулировать её интенсивность, цветокоррекцию, смешивание, контраст, насыщенность, гамму, а также применять маски для исключения указанных объектов из алгоритмов улучшения. Конкретных способов изменить коррекцию черт лица или исключить эффект макияжа разработчики тоже не могут — только уменьшить интенсивность эффекта, наложить маску или отключить алгоритм полностью. Лица же как таковые будут по-прежнему генерироваться ИИ.

Источник:

Источник: 3dnews.ru