エッジとテクスチャから生成する「描かれた」デジタルペインティングの実験

昨年開発した「エッジ認識型のピクセレーションツール」を活用し、画像構造から導出した情報を元に、実際のブラシストロークのように見えるデジタルペインティングスタイルをリアルタイムで生成するプログラムを開発しました。このプロジェクトでは、計算ライブラリ Jolt を非自明な実装に挑戦し、Perlin ノイズやウェーブレットなど複数の技術を統合して「絵」のようにならないか検証を行いました。

ブラシストロークの定義とアプローチ

油絵的なストロークモデル

• 形状: 色の濃淡が中心から縁へ薄まる細長いマーキング。
• 向き: キャンバス上でブラシを引く動作によって決定される。
• 塗装プロセス:
  • まず大きな色ブロックを描き下ろす。
  • その上に、より小さな半透明のマークを重ねて詳細を構築する。

スプラット（点雲）を用いた表現

2 次元ガウシアンスプレッドは、このモデルと驚くほど良く対応します。

• 平均位置: ストロークの着地位置を表す。
• 共分散行列: ストロークの引き伸ばし方・回転角を規定する。
  • 主軸：ストローク方向
  • 副軸：それに垂直な方向
• 合成手法: 標準的なアルファ合成（オーバー・コンポジット）により、自然な塗装効果（重なりと混ざり合い）を得られる。

既存手法の限界と自前の解決策

• 既存アプローチ（DrawingWithGaussians など）:
  • ランダムなスプラットを初期化し、勾配降下法で反復的に微調整する。
  • 問題点: 計算コストが高く、入力画像の「ロスレス再構成」に過ぎず、「絵」のように見えない。
• 本プロジェクトのアプローチ:
  • 画像からエッジ情報を抽出し、盲目的な変化ではなく塗装プロセスを導く。
  • 詳細密度とピクセル色に基づき、勾配降下法に頼らず必要な情報を確保。
  • 既存の画像を追跡するだけで十分という単純さを実現。

レンダリングパイプラインの進化

加法性合成の問題点

• 試行:

  pixel = background + Σ(intensity × color)

  （加法性合成）。
• 発生した問題:
  • オーバーラップを補正する色を学習しようとするため、数千個のスプラットで描画すると過度なオーバーラップが発生。
  • 64×64 の画像で 1,200 スプラットを使用した場合、一部ピクセルの合計値が 22.06 に達し、白い斑点（アーチファクト）が発生。
• 解決策: アルファ合成の標準的なオーバーオペレーターを採用。
  • 各スプラットが自らのアルファ値で背後部分を隠すことで、合計色が 1.0 を超えることを防止。
  • 利点: サンプリングした色と不透明度を明確に分離できる。

ステップ別パイプラインの改良

以下の画像は同一ソース写真を同一パイプラインで処理し、各ステップで一つのアイデアのみを加えることで比較できるようにしています。

1. 構造テンソルによる方向性の決定

• 課題: 初期レンダラーでは規則的な同型 blobs のグリッドしか生成されず、不自然な出力に終わる。
• 手法: 構造テンソル（Structure Tensor） を用いて画像勾配を計算。
  • 2×2 のテンソルから得られる固有ベクトルの情報を利用：
    • 主固有ベクトル: 輪郭に垂直な方向（最も急な勾配）。
    • 副固有ベクトル: エッジに沿う方向（ブラシストロークの方向）。
    • 共鳴度（固有値比率）: エッジが明確か、あるいは等方的な模糊域かの判定。
• 効果: スプラットに独自の共分散行列を割り当ててエッジに沿って伸長させることで、ブラシワークのような視覚効果を生成（Litwinowicz & Hertzmann の手法）。

2. クロマエッジの検出

• 課題: 構造テンソルは輝度勾配のみを扱うため、赤い唇と白い肌などの「等照度彩色エッジ」や、灰色の壁に対する青い看板などを検出できない。
• 解決策: Di Zenzo カラーテンソルを採用。
  • RGB チャンネルごとに Sobel グラデントを計算し、外積を合計して統合。
  • 輝度エッジと同様に強い方向性を示すクロマエッジを検出可能に。

3. エッジだけでは不十分：詳細密度の重要性

• 問題: 構造テンソルは方向性を決めるが、領域の詳細密度に関する情報は提供しない。
  • テクスチャ情報（砂利道のような高周波詳細や、頬のような滑らかな表面）を考慮できない。
  • エッジ解析のみでは多くの重要な詳細を再現できない。
• 解決策: Haar ウェーブレットによる詳細エネルギーマップの使用。
  • 輝度に対して多尺度 2 次元 Haar 分解を適用。
  • 問題点: 生のウェーブレットエネルギーは絶対値であり、暗い領域の詳細が washout（消え去る）してしまう。
• 改良: 輝度相対詳細マップ（Luma-Relative Detail Map） を導入。
  • 式:

    Energy / (LocalAverageBrightness * GlobalAverage)

  • 暗い領域でも詳細を維持でき、平坦な領域内の微弱輪郭にもストロークを集める。

4. グリッドの廃止と確率的配置

• 課題: 適応的な方向性と密度を実現しても、出力は「規則性」があるため人工的に見える。
  • 層化グリッド（Stratified Grid）による位置決定はアーチファクトの原因になる（JPEG 圧縮の問題と同様）。
• 解決策: Wang アバランシェハッシュを用いた確率的配置へ切り替え。
  • 周期性を持たない真のホワイトノイズ座標を提供。
  • 注意: 単純な線形ハッシュ

    frac × i A

    は Marsaglia ハイパー平面上に点分布し、斜め縞模様を生じるため避ける。適切なアバランシェミックスが必要。

5. ペインティングらしさを出すためのノイズ活用

• 課題: エッジに沿ったストロークを配置できたが、「同じエッジ上のすべてのストロークが整列している」のは不自然。
• 解決策: Perlin ノイズの再利用とブレンド。
  • 2 つの非相関な Perlin チャンネルを組み合わせて滑らかなベクトルフロー場を生成。
  • ストロークの向きは、構造テンソルのエッジ角度と Perlin フロー角度を

    (1 - coherence)

    で重み付けしてブレンド。
  • 高共鳴度（明確なエッジ）: 輪郭に忠実。
  • 低共鳴度（平坦領域）: 有機的なフロー場に従う。
• 発見: 初期実装では規則的な波状パターン（コヒーレントな織物のような見え方）が発生。
  • 解決策: ノイズ座標に対してシードごとの位相オフセットを適用し、各ストロークが独立に揺らぐようにする。

6. レイヤーリングによる物理的塗装プロセスのシミュレーション

画家がキャンバスを構築する方法（下塗りから積み重ね）を実装。

• ベースレイヤー:
  • 大きく不透明なストロークで画像全体を被覆し空白を防ぐ。
• 主題適応型広域層（Broad Tier）:
  • ウェーブレット詳細マップに基づく。
  • 背景：ストロークを大きくしてボケ効果、主題部：ストロークを緊密にして詳細を捉える。
• 中間層（Glazes）:
  • ベースレイヤーと変わらず、より短い半透明のストロークで形状を抽出。
• 微細層:
  • 実際のブラシストロークが生きる場所。
  • エッジ接線に沿って階段状に配置されたテーパー付きガウス区間列を追跡し、連続した線として融合。
  • 特徴:
    • サイズとアルファには尾部へのテーパリング（ブラシを持ち上げるように）。
    • 色はエッジの一方側からサンプリングし、境界で交差しないようにする。
    • エッジマップからストローク長さに情報を付与（連続区間に沿う）。

レイヤー構造の視覚効果:

• 各レイヤーが半透明であるため、詳細は下塗りに蓄積され、削られることなく微細化していく。
• 色が境界を通過するにつれてフェードアウトし、不一致が大きい場合はチェーン発射を停止（ブラシを持ち上げたシミュレーション）。

7. GPU への移行

• CPU パイプライン:
  • 55–112ms/フレーム。数万個のスプラット程度なら十分だが、数十万以上のストロークには不十分。
  • Jolt の型ヒント最適化不足も浮き彫りにされる。
• GPU 実装（ジオメトリシェーダー）:
  • 生成全体を GPU へ移動。OpenGL コンテキスト内で処理。
  • シェーダーが各ポイントを詳細マップに対して閾値テストし、生存者に対してスプラットレコードを発射。
  • 利点: バッファーは GPU に留まり、レンダリングパスを直接実行可能。
• インタラクティブ調整:
  • 使用スプラット数、最小サイズ、硬さ、多解像度での平滑化などをリアルタイムで制御。
  • ブラシサイズ、絵具負荷、glaze 透明度など物理的ペインティング概念に対応。

結論：アルゴリズムによるデジタルペインティング

• 成果: デスクトップアプリを構築し、Jolt と GTK 上の Glimmer リアクティブ GUI ライブラリに対する優れた演習となった。
• 実現可能性:
  • 画像のエッジとテクスチャを分析して構造を抽出することにより、画家がブラシストロークの配置場所を決定する際に利用する情報を得ることが可能になった。
  • この意味において、アルゴリズムはまさにデジタルペインティングを行っている。
• 技術統合の魅力:
  • Perlin ノイズ、ウェーブレット、エッジ検出など個別に遊んでいた技術を組み合わせたことで、部品の総和以上の何かを構築できた。
• 最終判断: さらなる微調整の可能性は残るが、基本概念は期待どおり機能し、実験は成功と言える。

このプロジェクトの源代码は GitHub でオープンソースとして公開されています。