DLSS 4 от Nvidia — это не то, что вы думаете. Давайте развенчаем мифы

На выставке CES 2025 компания Nvidia привлекла к себе внимание, представив RTX 5090. Несмотря на разногласия вокруг ее цены в 2000 долларов, она лидирует во внедрении передовых технологий. Одним из ключевых нововведений является DLSS 4, которая использует несколько кадров для улучшения графических процессоров Nvidia, обеспечивая немедленное четырехкратное увеличение производительности в более чем 75 играх, как только на рынке появятся новые графические процессоры RTX 50-й серии.

Как аналитик, я заметил значительную путаницу вокруг внутренней работы DLSS 4. Заявления генерального директора Nvidia, а также фундаментальный пересмотр работы DLSS, безусловно, способствовали этому информационному туману о новой технологии, охватывающей его потенциал, границы и, что особенно важно, его ограничения.

Чтобы прояснить ситуацию немного заранее: как только у нас будет возможность протестировать будущие видеокарты Nvidia, мы сможем вместе в полной мере оценить возможности их новейшей технологии Deep Learning Super Sampling (DLSS), версии 4.

Нет, он не «предсказывает будущее»

Как исследователь, углубляющийся в тонкости DLSS 4, я столкнулся с некоторой путаницей в отношении его технической работы из-за заявления, сделанного генеральным директором Nvidia Дженсеном Хуангом во время сессии вопросов и ответов. В ответ на вопрос о том, как по своей сути функционирует DLSS 4, Хуанг заявил, что он не использует интерполяцию кадров. Вместо этого он описал DLSS 4 как «предсказание будущего», а не как «интерполяцию прошлого». Это утверждение, хотя и интригует, похоже, вводит в заблуждение.

В прошлом Хуанг выражал свое восхищение DLSS Frame Generation в поэтической форме. Хотя этот стиль эффективен для объяснения передовых технологий, таких как DLSS 4, широкой аудитории, он также может вызвать некоторые неправильные представления о ее функционировании. Интересно, что я получил сообщения от читателей, которые считали, что я неправильно понимаю, как работает DLSS 4. Однако я не ошибся, поскольку теперь понимаю причины вызванной этим путаницы.

Усовершенствованная генерация нескольких кадров в DLSS 4 использует метод, известный как интерполяция кадров, аналогичный тому, что мы наблюдали в DLSS 3 и других инструментах генерации кадров, таких как масштабирование без потерь и AMD FSR 3. По сути, этот метод работает, когда ваша видеокарта генерирует два кадра. кадров, за которым следует алгоритм, оценивающий изменения между этими двумя кадрами. Используя эту информацию, он затем создает новый кадр, чтобы заполнить пробел, предсказывая, как должен выглядеть промежуточный кадр, на основе различий между двумя визуализированными кадрами.

DLSS 4 применяет интерполяцию кадров как часть своей технологии, при этом в некоторых предварительных исследованиях изучаются инновационные методы создания кадров, такие как работа Intel по экстраполяции кадров. Однако область технологии генерации кадров все еще находится в зачаточном состоянии. Хотя я пока не могу раскрыть все подробности, несколько источников подтвердили, что DLSS 4 действительно использует интерполяцию кадров. Это неудивительно, поскольку передовые инструменты рендеринга, такие как DLSS 4, часто имеют богатую историю исследований, прежде чем они станут коммерчески доступными.

Важно помнить, что методы, используемые в DLSS 4 для генерации новых кадров, могут напоминать методы DLSS 3. Однако это сходство не должно затмевать впечатляющие возможности самой DLSS 4.

Задержка — это не та проблема, о которой вы думаете

Nvidia, вероятно, предпочитает не обсуждать подробно DLSS 4, поскольку он использует интерполяцию кадров, что добавляет некоторую задержку. Этот метод требует рендеринга двух кадров и выполнения интерполяции для первого перед его отображением, что делает общее впечатление немного запаздывающим, поскольку вы, по сути, играете с небольшой встроенной задержкой по времени. Однако, вопреки распространенному мнению, дополнительные кадры не обязательно вызывают задержку линейно; вместо этого он может вести себя по-другому.

The Verge выразил беспокойство по поводу того, как технология кадрирования последнего поколения может повлиять на задержку, а TechSpot упомянул обеспокоенность пользователей тем, что многокадровый рендеринг может усугубить проблему задержки. Похоже, это реакция на увеличение количества «синтетических» кадров, создаваемых DLSS 4. Если создание одного кадра уже вызывает проблемы с задержкой, то создание нескольких кадров, по-видимому, усугубит проблему. Однако это не совсем так, как описано ниже.

The Verge выразил обеспокоенность по поводу влияния новой технологии кадрирования на задержку, а TechSpot подчеркнул обеспокоенность пользователей по поводу многокадрового рендеринга, который потенциально усугубляет проблему задержки. Похоже, это ответ на повышенные «искусственные» кадры, создаваемые DLSS 4. Если создание одного кадра приводит к проблемам с задержкой, то создание нескольких кадров, по-видимому, приведет к еще большим проблемам с задержкой. Но это предположение неверно, как поясняется ниже.

Понимание того, что DLSS 4 использует интерполяцию кадров, имеет решающее значение, поскольку его функция принципиально не отличается от DLSS 3 по созданию дополнительного кадра — оба включают в себя рендеринг двух кадров и анализ различий между ними. Добавление одного, двух или трех дополнительных кадров не приводит к существенному увеличению задержки. Независимо от количества интерполированных кадров, задержка, добавляемая этим процессом, остается достаточно постоянной.

Проще говоря, если вы играете в игру со скоростью 60 кадров в секунду (fps), между каждым отображаемым кадром проходит примерно 16,6 миллисекунды. DLSS 3 удваивает частоту кадров до 120 кадров в секунду, но задержка не сокращается вдвое до 8,3 мс. Игра выглядит более плавной, но рендеринг каждого нового кадра по-прежнему занимает 16,6 мс. С DLSS 4 вы можете добиться скорости до 240 кадров в секунду, что в четыре раза превышает исходную частоту кадров, но задержка не уменьшается до 4,2 мс. Оно остается на том же уровне 16,6 мс.

В этом объяснении основное внимание уделяется задержке ПК с учетом времени обработки генерации кадров DLSS, а также задержки вашего монитора и мыши. Однако важно помнить, что увеличение количества кадров не обязательно приводит к пропорциональному увеличению задержки ядра. Временной интервал между каждым визуализированным кадром остается постоянным. На воспринимаемую вами задержку в первую очередь влияет исходная частота кадров до генерации кадров DLSS и дополнительное время обработки, необходимое инструменту.

Вместо того, чтобы полагаться только на мои объяснения, вы можете поверить, что Digital Foundry протестировала DLSS 4 и подтвердила свои выводы. В своем отчете Ричард Ледбеттер отметил, что, хотя и происходит небольшое увеличение задержки из-за дополнительных кадров, рассчитываемых с помощью DLSS, это увеличение относительно минимально по сравнению с дополнительной буферизацией кадров. Согласно их выводам, большая часть увеличения задержки между DLSS 4 и DLSS 3 не является существенной.

По сути, и DLSS 3, и DLSS 4 имеют общую проблему: при игре в игры с низкой базовой частотой кадров возникает разрыв между ощущаемой вами отзывчивостью игры и плавностью, которую вы видите. Это несоответствие может показаться более выраженным в DLSS 4, но оно не означает автоматического увеличения задержки. Инновационный Reflex 2 от Nvidia не обязательно требуется для DLSS 4; Как и в случае с DLSS 3, разработчикам просто нужно реализовать начальную версию Reflex, чтобы DLSS 4 мог функционировать.

Совершенно новая модель

Исследователю, углубляющемуся в тонкости DLSS 4, поначалу может показаться, что это постепенное улучшение по сравнению с его предшественником, но это далеко от истины. Фактически, DLSS 4 представляет собой существенный шаг вперед благодаря использованию совершенно разных моделей искусственного интеллекта. Проще говоря, DLSS 4 использует не одну, а пять отдельных моделей искусственного интеллекта для каждого визуализируемого кадра, когда задействованы суперразрешение, реконструкция лучей и многокадровая генерация. Каждая из этих моделей должна выполняться быстро, в течение миллисекунд, чтобы обеспечить плавный игровой процесс.

Из-за особенностей DLSS 4 компания Nvidia решила заменить свою бывшую нейронную сеть Convolution (CNN) моделью Vision Transformer. Этот сдвиг приводит к двум существенным изменениям в модели трансформатора. Во-первых, здесь вводится понятие «самовнимание». В отличие от традиционных моделей, эта новая модель может оценивать значимость различных пикселей в нескольких кадрах, тем самым потенциально уделяя больше внимания сложным областям, таким как мелкие детали в сверхразрешении, которые могут проявлять эффект мерцания.

Модели-трансформеры обладают большей способностью к расширению, что позволяет Nvidia включать значительно больше переменных по сравнению с их более ранней стратегией сверточной нейронной сети (CNN). По сути, Nvidia утверждает, что новая модель трансформера может похвастаться вдвое большим количеством параметров.

В предоставленных видеороликах Nvidia утверждает, что эта последняя модель может похвастаться повышенной стабильностью и превосходным сохранением мельчайших деталей по сравнению с предыдущим методом CNN. Примечательно, что эти достижения не ограничиваются графическими процессорами RTX 50-й серии. Вместо этого все видеокарты RTX смогут использовать новую модель трансформера в играх DLSS 4 при условии, что ее функции соответствуют возможностям каждого поколения.

Как аналитик, я несколько раз видел DLSS 4 в действии, но настоящая лакмусовая бумажка для этой функции еще впереди, когда Nvidia представит свои графические процессоры следующего поколения. На этом этапе у меня будет возможность тщательно изучить его эффективность в различных играх и ситуациях, чтобы оценить его эффективность. На данный момент кажется, что обновления, внесенные в DLSS, предназначены для расширения его возможностей, как следует из информации, предоставленной Nvidia.

Смотрите также

2025-01-12 19:57