2026/11/05 1:45
Show HN: 約2万ドルで学習された高品質なテキスト生成画像モデル（Apache 2.0ライセンスの重み付き）
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Pyramid-JiT（P-JiT）は、2 人の研究者で構成される研究ラボからリリースされた画期的な概念実証モデルであり、現在のソリューションに比べて生成ビデオが高速化・低コスト化し、かつ制御も容易となることでアニメーションの民主化を目指しています。本モデルはこの効率性の向上を、冷凍された Qwen3.5-4B テキストエンコーダーを DiT ブロックに直接統合するといった独自のアーキテクチャ戦略、および画像パッチに対して 16×16 ピクセルという標準サイズから 32×32 ピクセルに変更することで 3:1 の激しいトークン削減を実現するものなどによって達成しており、Linum v2 などのモデルと比較して計算機上のコンテキストウィンドウを大幅に縮小しています。
P-JiT は既存のベンチマークよりも 11 倍少ないトレーニングサンプルで収束し、合計予備トレーニングコストが約 2 万 1,000 ドル（64×H100 GPU による予備トレーニングが約 2 万ドル、ポストトレーニングが約 690 ドル）という総費用を要することで顕著な効率性を発揮しています。このコスト対効果は、圧縮された潜在空間内でも高解像度を維持することで実現されています。アーキテクチャは PixelREPA ヘッドを DINOv3-L フィーチャーに対して整列させるなどの専用勾配加速技術を採用し、学習構造を理解するために集中した高いノイズから始まり、その後に微細な詳細へと移行するカリキュラム学習アプローチを利用しています。
この技術は、過去にフルボディビューやレンダリングされたテキストといった複雑なタスクでモデルが苦慮した問題に対し特化して取り組んでいます。有限差分フロー最適化（FDFO）やヒューマンインザループ評価といった高度な手法を通じてこれらの問題を解決することで、P-JiT は高品質なアニメーションを必要とするユーザーが prohibitively な計算コストなしにより良い制御を実現できるようにしています。小規模チームによるリリースでありながら、本モデルはより広範なコミュニティが採用・改善できる安価かつ効率的なビデオ生成の新たな基準を設けており、現在では多人物相互作用や広範な世界知識の処理において限定的であるという課題が残されています。
本文
ピラミッド-JiT（P-JiT）精度試験レポート
概要
- モデル規模: 20 億パラメータ（画像部分）、Qwen3.5-4B（テキストエンコーダー）
- データ量: 計 24,9 サンプル（学習用）
- 開発背景:
- 本トレーニングは、次世代ビデオモデルへの道筋を見出すための概念検証。
- 規模を考慮すると驚異的な成果であり、実験的バージョンとしてグローバルに公開決定。
- 開発者プロフィル:
- 2 人の研究者のみで構成されるラボ（全自動生成式ビデオモデル開発）。
- 究極のビジョン: 动画制作ツールを一般化する革新的なソフトウェアの実現。
背景と課題：なぜ P-JiT か？
現状の課題
現在、生成式ビデオモデルは以下の2 つの主要な欠陥に悩まされています。
- 推論速度が非常に遅い。
- コストが高く、かつ効果的な制御手段が不足している。
- 創造性は「作成→調整→再向上」という反復的プロセスであるべきですが、現状の「低速・高コスト」はストーリーテリングを阻害しています。
Linum v3 への目標
Linum v3 を開発する上で優先されたのは、推論コストの大幅な削減です。
- モデルが「速く」「安価」であることは、実用的なクリエイティブツール化への重要な一歩です。
技術的洞察：コア結論
過去の記事を補完し、以下の核心的な発見をまとめました。
- アテンション機構はボトルネック:
- 推論と学習の計算複雑度が $O(n^2)$ です。
- 特徴表現をより激しく圧縮することで、アテンションコンテキストウィンドウを小さくし、コストを劇的に削減できます。
- 従来の圧縮方式（VAE）の限界:
- VAE は圧縮能力に上限があります。
- 単に VAE の再構築精度を最適化すると、下流の拡散モデルの生成品質が損なわれます。
- VAE を拡散モデルで置き換えるアプローチ:
- VAE を廃棄し、「圧縮」と「生成」を同一プロセスで実行。
- 外部モデルの潜在空間に依存せず、拡散モデル自身がタスク固有の潜在空間を学習させることで最大限のパフォーマンスを引き出します。
新アーキテクチャ：ピラミッド-JiT (P-JiT)
パフォーマンス向上
- 学習サンプル数の削減: Linum v2 と比べて 11 倍 のサンプル数で収束可能。
- トークン削減率の向上:
- 従来の VAE+DiT アーキテクチャ（$16\times16$ 削減）に対し、P-JiT は $32\times32$ の削減を実現。
- 結果：元来 $256^2$ の画像に必要なトークン数で、$512^2$ の画像を表現可能。
- アテンションコンテキストウィンドウが 4 倍に減少。
技術的仕組み
- ノイズスケジューリング:
- ピクセル空間モデル専用のノイズスケジューリングを発見し、微細なディテールの学習を促進。
- 読み出し機構 (Readouts) の導入:
- DiT（拡散 Transformer）の初期層は通常、勾配信号が弱いですが、P-JiT はこれを解決。
- ピクセル空間で動作させ、各層が最終画像の一部を予測することで、ネットワークの前端で勾配信号を増強し、収束を加速。
- 関連技術: REPA、RAE-v2、Self-Flow などの知見を活用しています。
検証と展望
- 本アーキテクチャは初期実験で良好な結果を示しましたが、より大規模なデータ（約 6 億サンプル vs 過去の 5,000 万〜1 億）での挙動も観察したいと考えました。
- 生成モデルは通常「名詞（物体・場所）」から始まり「動詞（動作）」へと進むため、このテストは大規模なビデオ生成モデルへ向けた**「ストレステスト」**として機能します。
トレーニング体制 (Training Regime)
アーキテクチャ構成
- テキストエンコーディング:
- 凍結された Qwen3.5-4B モデルを使用（テキスト表現）。
- レイヤー 7、15、27 の全アテンション層で読み出し、テキストリファイナーへ統合。
- 画像前処理:
- 画像を $32\times32$ のパッチに分割。
- 圧縮（1024 次元空間へ）後、画像リファイナーへ投影（3:1 の圧縮率）。
- メインネットワーク:
- テキストと画像をそれぞれ単一モーダルな「リファイナー DiT ブロック」で処理。
- その後、22 個の統一された共通 DiT ブロックへ合流。
- 読み出し機構 (Readouts):
- ブロック 5 後: 二重 PixelREPA リードアウトヘッドを導入。DINOv3-L 特徴とモデル潜在空間を対齊（マスキッド状態の 20% のトークンを予測）。
- ブロック 10 と 16 後: 二つの線形リードアウトヘッドを設置。それぞれ $1/4$ 解像度と $1/2$ 解像度のクリア画像を予測。
- 損失関数:
- リードアウト頭の MSE、PixelREPA コサイン距離、最終出力頭の MSE、フル解像度画像の知覚損失（LPIPS + P-DINO）。
- パラメータ数:
- サンプリング段階総計：21.8 億。
- 訓練時のみ使用される「専用ヘッド」が約 0.24 億追加され、合計で約 24.2 億。
ノイズスケジューリングと解決策
- カリキュラム学習 (Curriculum):
- 最初の 8 億サンプル是高ノイズレベルで使用し、基本構造を学習。
- その後、徐々にノイズ分布を広げて微細なディテールを学習。
- 解像度遷移 ($512^2 \to 1024^2$):
- ノイスケールを 2 倍にして高冗長情報に対応（参照：JiT 補足 A）。
- 高解像度での詳細再現により損失値は上昇しますが、画像質は劇的に向上。
- 座標軸の対齊のため、固定グリッドを **$1/2$**倍し維持。
- $1024^2$ スタート時、2M サンプルの EMA（指数移動平均）を保持し、新しい解像度への適応を確保。
事後トレーニング (Post-training)
- 手法: JEV-Image と「人間と協働」による判断を組み合わせ、有限差分法フロー最適化（FDFO）の変体を使用。
コスト概要
| 段階 | 計算時間 (H100) | 推定コスト |
|---|---|---|
| 事前トレーニング (Pretraining) | 8,139 時間 | $20,348 ($2.50/時間) |
| 事後トレーニング (Post-training) | 276 時間 | $690 ($2.50/時間) |
| 合計 | 8,415 時間 | $21,038 |
注釈:
- 事前トレーニングには複数回の再起動が含まれます。
- 事後トレーニングは、モデルの基礎能力を向上させるためのプロセスです（LLM のコードチューニングに類似）。
- 拡散モデルの基礎能力向上については、DPO などの技術が未熟であるという課題があり、今後詳しく解説します。
モデルの限界と注意点
データセットの制限
- テキスト処理不可: レンダーされたテキストを含む画像（図表、PDF、書籍ページ、パワーポイントなど）でのトレーニングは行われていません。
- これらのデータは「アニメーションツール」という最終目標に適合しないため、データセットから完全に除外されました。
- 結論: 文字の生成やポスター作成は不可能です。
スケーラビリティと能力
- パラメータ規模の影響:
- 20 億パラメータ DiT + 40 億パラメータ テキストエンコーダーのため、以下でのパフォーマンスには限界があります。
- フルボディの人物描写
- 多エントティ間の相互作用（複数の車や群衆など）
- 複数人のインタラクション
- 世界知識に関する質問
- 改善策: 70 億パラメータ規模への拡張と追加的事後トレーニングにより、これらの問題は軽減 expected です。
- 20 億パラメータ DiT + 40 億パラメータ テキストエンコーダーのため、以下でのパフォーマンスには限界があります。
補足情報：トレーニング設定サマリー (Appendix A)
| 設定項目 | $512^2$ フェーズ (6.1 億サンプル) | $1024^2$ フェーズ (5,000 万サンプル) |
|---|---|---|
| グローバルバッチサイズ | 2,048 | 2,048 |
| データ画像サイズ | $368\times512, 512\times512$ 等 (横長中心) | $864\times1216, 1024\times1024$ 等 (正方形・縦長含む) |
| アスペクト比混合 | 各 20%（縮小なし） | 各 20%（縮小なし） |
| ノイスケール (Noise Scale) | 最初の 8 億サンプルで辺長に比例して増加 その後一定 | 常に一定（詳細は本文参照） |
| オプティマイザー | Muon (モーメンタム 0.95, Nesterov) + AdamW | 同上 |
| 学習率 | ピーク $2e^{-4}$ → 最後の 6 億で $2.5e^{-5}$ | 同上 |
| ハードウェア | 64 基 × H100 (8 ノード), bf16, FSDP2 | 同上 |
免責事項:
- アーキテクチャの詳細と損失曲線は P-JiT ブログの補足 A を参照してください。
- ガラリ作成やチャート構築は Claude Opus 5.5 の支援で、Model Card と GitHub リポジトリも同様に自動生成されました。
Field Notes にアクセスする
- 詳細な解説: 生成式ビデオモデルをゼロから構築する方法について深く掘り下げます。
- 最新情報: Linum による新しい動的アップデートやニュースをお読みください。