Vulkan 再実装 NVIDIA DLSS 5 ニューラルレンダリングネットワーク紹介

オリジナルの NVIDIA DLSS 5 ニューラルレンダリング（DLSS-NR）とビットごとの一致を確保した、Vulkan による高品質な再実装です。

技術概要

• アーキテクチャ：
  • WebGPU バージョン 310.8.0 と同等の71 ブロック構成の Swin/ViT ネットワークを採用
  • テンソルコア上で**FP8（E4M3）**演算を実行
• 精度保証：
  • 最終画像だけでなく、中間計算結果も完全に一致
  • すべての75 のブロック境界でバイト単位の同一性を確認済み

WebGPU ポート版

• 場所:

  ports/browser-webgpu/

• 特徴：
  • ブラウザ環境向け独立実装
  • テンソルコアや FP8 サポートなしでも動作
  • 完全なバイト一致を保証

ユーザーによるモデルの準備

ネットワークを実行するには、以下の形式のモデルディレクトリが必要です。

• nr::Model

  フォーマットの

  manifest.json

  を含むディレクトリ
• ファイル構造とファイル名はガイドラインに従う（詳細は後述）

ネットワーク構成

NVIDIA のGenerative Neural Rendering (GNR) アーキテクチャを採用しています。

• 構造: U-net 構造
  • 下部：グローバル ViT モジュール
  • 上部：71 ブロックのシフトウィンドウトランスフォーマー
• 計算精度:
  • **FP8（E4M3）**アクティベーション
  • FP16アキュムレーション
• 容量: 約141 MiBの重み情報

GNR の機能

• 既に描画されたフレームを再レンダリングしてノイズから詳細を生成
• トーン、構造、肌の質感を調整
• 入力と出力の解像度は同一（アップスケーラーではない）

WebGPU 比較デモ

• 比較画像: 左側（NR オフ）vs 右側（NR オン）
• シーン例: 「Cowboy Gramps」（Muhammed Ismayil / CC0 ライセンス）
• 処理内容:
  • レンダリングされたフレームの低ダイナミックレンジプロキシ
  • ガウスノイズの3 チェーン（入力機能として）
  • 前フレームからの再射影出力
  • 5 つのコンディショニングスカラー
• 出力形式: ピクセルあたり4 つの f32 チャンネル
  • RGB リジッド残差
  • 時間的ブレンディングロジット

詳細は

docs/network.md

ビルドと実行方法

必要なスクリプト（Windows PowerShell）

# ツールチェーンの一次取得（一度だけ）
scripts\fetch_tools.ps1 [-Npm]

# シェーダー、PTX コード、Vulkan バイナリのビルド
scripts\build.ps1

# デモ用 Filament ライブラリの取得（一度だけ）
scripts\fetch_filament.ps1  
scripts\build_filament.ps1  

# デモアプリケーションのビルド
scripts\build_demo.ps1

実行コマンド例

• ベンチマークテスト

  build\dlss5vk.exe bench --model <モデルディレクトリ> --width 768 --height 768
  

• パフォーマンスプロファイリング（各ディスパッチの時間測定）

  build\dlss5vk.exe profile --model <モデルディレクトリ> --width 768 --height 768
  

• オリジナルとのビット一致検証

  build\dlss5vk.exe parity --model <モデルディレクトリ> --fixture <フックアップディレクトリ>
  

• ブロック単位のバインティング検証（block-0 で Kernel ごとに分割）

  build\dlss5vk.exe verify --model <モデルディレクトリ> --fixture <フックアップディレクトリ>
  

• PTX ディビダーのテスト（numpy を使用）

  python scripts\ptx\test_fast_divmod.py  
  

デモアプリについて

• ダブルクリックで直接起動可能

• build/scenes/

  に配置されるシーンがデフォルトドロップダウンリストに表示され、最初の一つから開始
• コマンドライン引数で glTF ファイルを指定すると、そのシーンをロード

モデルディレクトリの優先順位:

1. --model <ディレクトリ>

2. DLSS5VK_MODEL

   環境変数

3. models\nr/

   （README と隣接）

詳細は

demo/README.md

パフォーマンス結果

テスト環境: RTX 4070 SUPER、全体ネットワークをフレーム単位の最小値で計測（40 フレーム以上平均）、241 回のディスパッチを各解像度で実行

注記: GPU は持続負荷下でクロック周波数の状態を切り替えるため、中央値は最小値よりも数%高い場合があります。比較時は必ず最小値を使用してください。

コンポーネント構成表

src/

shaders/

scripts/ptx/

build/ptx/

demo/, third_party/filament.patch

ports/browser-webgpu/

未実装機能: DLSS-SR は別のネットワークのため含まれていません。ただし、時間経路は実装されており、デモではネットワークのヒストリ入力チャンネルとピクセルごとのブレンディングロジットが再射影フィードバックループを駆動します（

docs/frame.md

dlss5vk

システム要件

• OS: Windows
• GPU: NVIDIA Ada シリーズ以降（VK_KHR_cooperative_matrix などの拡張をサポート）
• ドライバー:

  VK_EXT_shader_float8

  、

  VK_NV_cuda_kernel_launch

  を公開する最新バージョン推奨

開発環境

• Visual Studio 2022 以降（C++ x64 ツールセット対応；

  vswhere

  で探せるか、

  VCVARS64

  を

  vcvars64.bat

  に設定）
• Git
• Python 3（PTX ジェネレーター用）
• Node.js + npm（シーンコンバーター用）
• Pillow（画像処理用）

ポータブルツールチェーン

tools/

• scripts\fetch_tools.ps1

  が以下を自動取得：
  • glslang 16.6.0
  • Vulkan-Headers v1.4.363
  • volk（固定タグ）
  • CMake 3.31、Ninja 1.13

• -Npm

  オプションを使用すると、シーンコンバーターのモジュールも

  tools\gltf/

  にインストールされます。

デモ用 Filament

• Filament v1.77.0 を

  scripts\fetch_filament.ps1

  でクローン・パッチ適用

• scripts\build_filament.ps1

  で一度ビルド（約15 分、6 GB のビルドツリー）
• 出力先:

  %LOCALAPPDATA%\dlss5-vulkan

  または

  DLSS5_FILAMENT_BUILD_DIR

• 並列コンパイル数は

  DLSS5_BUILD_JOBS

  で制限可能（デフォルト8。MSVC は 1 タスクあたり最大 1 GB を消費するため）

モデルディレクトリ構造

nr::Model

manifest.json

• stages アレイ: 各エントリに

  id

  ,

  file

  （相対パス）、

  packedByteLength

  ,

  sha256

• tensors アレイ: 各エントリに

  name

  ,

  block

  ,

  layer

  ,

  parameter

  ,

  stage

  ,

  stageOffset

  ,

  byteLength

ステージファイルはE4M3 重みをパックしたバイト形式で保持し、ホスト側がカーネルが消費する行列形式へ再配置します（

src/nr_model.cpp

グラフ制限:

• DLSS-NR バージョン 310.8.0 と同等の71 ブロックネットワークのみ対応
• 他のブロック数を有するモデルは読み込み時に拒否されます

Fixture（検証用キャプチャ）

parity

manifest.json

sourceDimensions

fullDimensions

proxy

inputFeatures

checks

blocks

transitions

omittedBoundaries

referenceHead

nativeOutput

検証プロセス

GPU 実行前に行われるすべての検証項目が成功しないと実行が拒否されます。以下の条件で失敗判定：

• 宣言されたチェックに対応する参照がない場合
• 参照が存在せず、短縮、またはグラフに記述されていない場合
• チェックで使用されていない参照がある場合
• 比較可能な境界（ブロック 0-69、5 つのエンコーダトランジション）で参照も理由もない場合

判定基準

• ビット完全一致（パス）
• ゼロ符号のみ異なる（失敗）
• コード 1 以内の差（8 ビットキャプチャのみ、別途報告）
• 不一致

比較スケジュール

ヘッダーと出力は生産スケジュールに基づき、

--repeat

チューニングスイッチ

すべてのスイッチはデフォルトで「高速且つ正確なルート」を使用します。各スイッチでは出力バイト列が同一であり、

parity

• DLSS5VK_UNFUSED=1

  : GLSL リファレンスルートを実行（最大解像度 2560×1440 まで）、すべての中間値を生成

• DLSS5VK_PTX_DIR

  : PTX ディレクトリ指定（デフォルト

  build/ptx

  ）

• DLSS5VK_CHAIN=0

  : バリア間でディスパッチ分離（カウンターチェーンリング無効化）

• DLSS5VK_PTX_GEMM

  ,

  GEMMT

  ,

  GEMMV

  ,

  BLOCK32

  ,

  FFN

  ,

  QKV

  ,

  ATTN

  =0: 該当カーネルファミリを GLSL スクリプトへ戻す

• DLSS5VK_ATTN_STREAM

  : ストリーミンググローバルアテンションをオン/オフ（1/0）

• DLSS5VK_SPLITK=0

  ,

  DLSS5VK_VIT_CHAIN=0

  ,

  DLSS5VK_NO_PTX_MLP=1

  : split-K、ViT チェーン、PTX MLP を無効化

• DLSS5VK_NO_FUSE_PRE

  ,

  POOL

  ,

  UPRES

  ,

  POST

  =1: 各融合を省略

• DLSS5VK_CHAIN_MASK

  : ビットマスク（1:expert ステージ, 2:c32 ブロック, 4:split GEMM；デフォルト3）

• DLSS5VK_DEFER_MAX

  : プロjection GEMM を融合する最大ステージ幅（デフォルト128）

• DLSS5VK_VALIDATION=1

  : Khronos バリデーションレイヤー下で動作（未インストール時は拒否；Vulkan SDK または

  VK_LAYER_PATH

  設定必要）

• DLSS5VK_DEBUG=1

  : ドライバー固有メッセージのみ出力（PTX コンパイラー含む）

• DLSS5VK_LIST_EXTENSIONS=1

  : 拡張機能をリスト表示

ドキュメント構成

• docs/README.md

  : インデックス

  • network.md

    : ネットワークグラフ

  • numerics.md

    : 正確性契約（数値精度に関する仕様）

  • weights.md

    : 重みのレイアウト形式

  • execution.md

    : スケジューリング戦略

  • frame.md

    : デモフレームの構造

免責事項・ライセンス

NVIDIA 非公式声明

• 本プロジェクトはNVIDIA とは一切関係なく、承認も支援も受けていません。
• NVIDIA のソフトウェア、重みデータ、ヘッダー、または取得方法の説明を含むものではありません。
• このリポジトリやライセンスから何らかの NVIDIA 知的財産権を付与されることはありません。使用するモデルデータのライセンスについては各自で責任を負ってください。

ライセンス

• このリポジトリ内のすべてのコードはMIT ライセンス（

  LICENSE

  ファイル参照）
• サードパーティコンポーネントの詳細は

  NOTICE

  ファイルにリストされています