NVIDIA 發表「DLSS 5」由 3D 繪圖引導 AI 神經渲染將於 9/3 日 NBA 2K27 搶先首發

NVIDIA 正式發表 DLSS 5 神經渲染技術，並將在 9/3 日隨著正式版《NBA 2K27》遊戲推出。DLSS 5 主要功能是加入「3D 繪圖引導 AI 神經渲染」的新技術，這效果類似於遊戲渲染後藉由後期加入一些濾鏡效果，但 NVIDIA 希望藉助 DLSS 5 讓「即時渲染」可更貼近「Photorealism」的真實感。

當然對於玩家來說這可能會破壞遊戲開發者的美術設計，但 NVIDIA 將這技術的鑰匙（Mask、Model Control）交給開發者決定是否使用這技術，而眾多遊戲中《NBA 2K27》這款擷取自真實 NBA 賽事的擬真籃球遊戲，正適合用來展示 DLSS 5 的效果。NVIDIA 也提到即便現在 RTX 5090 再使用路徑追蹤與 DLSS 4 加速後，想要達到「好萊塢 VFX」視覺特效等級還有一段距離。

而現實中有兩種方法可達到上述的「Photorealism」的照片級真實感：1. 傳統的 3D 影像渲染、2. 利用大型模型通過 AI 推論生成。第一個作法其實就是現在的遊戲，但要做到「即時」的「Photorealism」渲染，但相對耗費的硬體資源相當高。而第二種通過 AI 模型推論生成，但缺點則是生成後的連續性不足，這也是很多 AI 影片的毛病。

DLSS 5 採用「3D 繪圖引導 AI 神經渲染」，遊戲引擎一樣將遊戲渲染影像 Frame、Color 與 Motion Vector 等資料輸入，再加上輔助的 Character 角色資訊、Scene 場景資訊、Lighting Semantic Preservation 光照保留等資訊，同步輸入 DLSS 5 的 Pixel Space Diffusion Transformer 模型當中，藉此達到「即時的照片級真實感」影像渲染輸出。

DLSS 5 的模型訓練宗旨即是「盡可能保留藝術意圖」，包含角色的辨識、臉部、輪廓、服裝，以及場景的物件、材質與彼此的關係，還有光照保留的資訊包含方向、強度、氣氛，最後還有整個影像的運鏡、構圖等資訊。

而且 DLSS 5 訓練包含渲染影像、Surface Albedo、Lighting Semantic、Surface Normal、Motion Vector 等資料，最終訓練出可實際發表的 DLSS 5 模型。

遊戲開發者在套用 DLSS 5 技術後，可藉由開發者控制功能直接調整最終效果，包含 Model A、B、C 三種不同等級的反射模型效果，以及 Structure Intensity、Tone Intensity 與 Maskin 等控制，讓開發者能決定最終 DLSS 5 效果呈現的強度，是否符合該作品的美術效果。