NVIDIA раскрыла технические детали работы технологии масштабирования DLSS 5, вызвав неоднозначную реакцию в игровом сообществе. В ходе переписки с видеоблогером Даниэлем Оуэном (Daniel Owen) представитель NVIDIA Джейкоб Фриман (Jacob Freeman) подтвердил, как именно алгоритм обрабатывает изображение.
В отличие от предположений о глубокой интеграции с игровым движком, DLSS 5 принимает на вход только финальный 2D-кадр и векторы движения. Нейросеть не считывает напрямую 3D-геометрию, карты глубин или свойства материалов, заложенные художниками, как изначально заявлял Дженсен Хуанг (Jensen Huang). Модель самостоятельно определяет ткани, кожу, волосы и условия освещения, анализируя исключительно итоговое плоское изображение.
Такой подход объясняет опасения, возникшие при просмотре первых демонстраций технологии. Пользователи заметили, что у персонажей иногда появлялась детализация волос там, где ее не было, или менялись черты лица. Также с DLSS 5 добавлялся несвойственный оригиналу макияж. В NVIDIA пояснили, что базовая геометрия остается неизменной, однако признали, что финальное изображение может выглядеть иначе из-за работы генеративной сети.
Контроль со стороны разработчиков при этом остается ограниченным. Студии смогут регулировать общие параметры вроде интенсивности эффекта, насыщенности, гаммы и накладывать маски на определенные объекты для исключения из обработки, но прямой возможности исправить черты лица или нежелательный макияж не предусмотрено — эти элементы полностью генерируются алгоритмом на основе обученной модели.
По сути, технология работает как генеративный нейросетевой фильтр, который «дорисовывает» детали поверх готового рендера. В NVIDIA подчеркивают, что рассматривают DLSS 5 как инструмент для реализации художественного видения, выходящий за рамки возможностей традиционного рендеринга. В компании пока не комментируют возможность адаптации технологии для работы через DirectML на оборудовании сторонних производителей, оставив вопрос о кроссплатформенности открытым.
Как вы считаете, готовы ли разработчики игр пожертвовать точным контролем над внешностью персонажей ради фотореализма, который генерирует нейросеть? Делитесь мнением в комментариях.