2026/01/19 2:40

ガウス・スプラッティング ― A$AP ロッキー「ヘリコプター」ミュージックビデオ

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

Summary:

A$AP Rocky の新しい「Helicopter」ビデオは、ライブアクション撮影におけるブレークスルーを示しています。動的ガウシアン・スプラッティング（dynamic Gaussian splatting）という手法により、カメラ映像が即座にレンダリング可能な体積データへ変換されます。56 台の RGB‑D カメラからなる大規模アレイを使用してチームは 10 TB 超の原始映像と約 30 分間の事前レンダリング済みスプラッティングコンテンツを生成しました。Houdini（シーケンス作業）、OctaneRender（ライティング調整）、Blender（レイアウト・プロキシキャッシュ）を組み合わせることで、セット上で数秒以内にショットのプレビューが可能となり、重いポストプロダクション作業に入る前に迅速なクリエイティブ判断を行うことができました。

これは A$AP Rocky の 2023 年に「Shittin’ Me」で実施した NeRF ベースの放射場（radiance fields）実験を踏襲しています。現在のワークフローは、各テイク後すぐにライブ空間フィードバックとメッシュプレビューを提供することで、動的ガウシアン・スプラッティングの最も高度な実世界利用例の一つです。この手法は、体積キャプチャがリアルなモーションを保持しながら、監督に広範なポストプロダクションの柔軟性を提供できることを示しています。

広く採用されれば、この技術はミュージックビデオ、映画、広告などを変革し、セット上のリソース削減、ワークフロー高速化、アーティストやスタジオにとっての創造的可能性拡大につながるでしょう。

本文

信じられないかもしれませんが、A$AP Rockyは光輝場（radiance fields）の大ファンです。昨日、彼がミュージックビデオ Helicopter を公開した際、多くの視聴者は映像の混沌と動き、そして当時のMTVのエネルギーを注目しました。しかし、見落としやすい点――もし何を探しているか分からなければ―というと、このビデオに登場するほぼ全ての人間パフォーマンスがボリュメトリックに撮影され、ダイナミック・スプラットとしてレンダリングされていることです。

私はこの映像を撮影した Evercoast のチームと、Grin Machine の CG スーパーバイザー Chris Rutledge、WildCapture と Fitsū.ai の Wilfred Driscoll から Helicopter がどのように作られたか、そしてなぜ今回のプロジェクトが主要音楽リリースで初めて実用化されたダイナミック・ガウス・スプラッティングの最も野心的な事例の一つになったのかを語っていただきました。

Helicopter をボリュメトリックに撮影する決定は、技術自体が動機ではありません。チームによれば、監督の Dan Strait は 7 月に明確な創造的ゴールを持ってプロジェクトに取り組みました。それは「従来の撮影と VFX パイプラインでは実現不可能または高額すぎるような、ポストプロダクションで極端な自由度を与える形で人間パフォーマンスを捉える」ことでした。

Chris は数年前からボリュメトリック・パフォーマンスキャプチャを追跡しており、以前は不可能だったビジュアルを実現できる新しい手法に魅了されていました。2 年前に彼は Dan を含む自分のネットワーク内の監督たちに「いつか使える」ワークフローとしてアイデアを提案していたのです。今年夏、Dan が戻ってきて「ビデオ全体でボリュメトリックキャプチャを使用したい」と言ったとき、ガウス・スプラッティングの普及により、彼らはそれを実現できました。

美的表現は動的モーションに重きを置いています。ダンサーが衝突し、身体が空中で揺れ、混沌とした格闘シーン、そしてプロップと相互作用するパフォーマーが、後に全く別のものへと溶けていく様子です。見えるパンチやスラム、懸垂、落下はすべて物理的に演じられ、3D で捉えられています。

ビデオ内のほぼ全ての人間フィギュア――Rocky 自身を含む――が Evercoast のシステムを使ってボリュメトリックに撮影されました。すべてはリアルなパフォーマンスで、空間的に保存されています。

これは A$AP Rocky が音楽ビデオで光輝場を使用した最初のケースではありません。2023 年の「Shittin’ Me」の映像には複数の NeRF と Instant‑NGP の GUI も登場し、作品全体に散りばめられています。

Helicopter の主撮影は 8 月にロサンゼルスで行われました。Evercoast は 56 台の RGB‑D カメラをデッキワークステーション 2 台と同期させ、キャプチャボリューム内でウェアから吊り下げられたパフォーマーが逆立ちしながら懸垂、天井に設置されたバーで懸垂、プロップを振り回し、スタントを行う様子を撮影しました。

最終ビデオでシュールに見えるシーンは、実際には木製の板がヘリコプターのブレードとして、リアルなワイヤーリグや本物のプロップを使用した非常に物理的なセットアップに基づいています。ボリュメトリックデータのおかげで、それらの要素は後で削除・再構成・完全に別の文脈へと置き換えることができ、人間動作の真実性を失うことなく行えました。

撮影期間中、Evercoast は 10 TB を超える生データを記録し、最終的に約 30 分間のスプラッティング映像を PLY シーケンスとしてエクスポートしました。合計で約 1 テラバイトに相当します。このデータは Houdini に取り込まれ、CG Nomads の GSOP を使って操作とシーケンシングが行われ、OTOY の OctaneRender で最終レンダリングが実施されました。この組み合わせのおかげで、制作チームはスプラットを再照明することも可能でした。

ワークフローの強力な点の一つは、Evercoast が撮影段階で複数のボリュメトリックキャプチャをプレビューできる能力です。監督はセット上でライブ空間フィードバックを確認し、テイク直後にメッシュベースのプレビューを数秒で生成し、さらに Evercoast のウェブプレイヤーで完全レンダリングされたスプラットを確認してから、大量の PLY シーケンスを Houdini にダウンロードできます。実際には、クリエイティブな決定は迅速かつ安価に行え、チームが何を求めているか正確に把握するまで重い後処理にコミットしないワークフローです。このプロセスは、従来の撮影よりもシミュレーションに近いものになっています。

Chris はまた、Octane の Houdini 連携が成熟し、Octane の初期スプラットサポートが十分に進化していることを発見しました。チームによれば、スプラットの再照明やシャドウ導入、より立体的な「3D ビデオ」外観を実現できる点が最終的な美学を決定づけた大きな理由でした。

Blender はレイアウトとプリビジュアライゼーションに多用され、スプラットシーケンスを軽量プロキシキャッシュへ変換してシーン計画に活かしました。Wilfred は WildCapture の内部ツールが選択的に時間的一貫性を導入するために使われたと語っています。彼の言葉では、チームは原始的なポーズ推定スケルトンを作り出し、それをモーション転送や衝突設定に利用し、Houdini のシミュレーションツールセットが剛体・柔体・さらに物理的に基づく相互作用を扱えるようにしました。

ビデオへの一つの共通した反応は「混乱」です。視聴者は映像が AI 生成だと誤解します。Evercoast によれば、真実はその逆です。すべてのスタント・スイング・落下は物理的に演じられ、リアル空間で捉えられました。合成的に感じる理由は、ボリュメトリックキャプチャが与える自由度にあります。カメラ構図に縛られることなく、事後にカメラを再配置し、空間連続性を壊し、2D では不可能な方法でパフォーマンスを組み合わせることができます。

言い換えれば、光輝場技術は現実を置き換えるものではなく、すべてを保存するものであるのです。

同じ日のほかのニュース

一覧に戻る →

2026/01/19 3:01

Flux 2 Klein 純粋 C 推論

## Japanese Translation: ドキュメントは、テキストから画像および画像から画像へのタスクの両方をサポートする純粋なC実装であるFLUX.2‑klein‑4B画像生成モデルについて説明しています。外部依存関係はC標準ライブラリのみで、HuggingFace から小さな Python スクリプト (`pip install huggingface_hub`) を介して VAE、Transformer、Qwen3‑4B エンコーダ、トークナイザを含む約16 GBの事前学習済み重みをロードします。Apple の Silicon 上では Metal Performance Shaders、Linux/Intel macOS では BLAS（OpenBLAS）によるオプションの高速化が可能で、最大約30倍の速度向上と Apple マシン上で自動的に GPU を使用します。ライブラリは単純な C API (`flux_load_dir`、`flux_generate`、`flux_img2img` など) を公開しており、ユーザーのプロジェクトへリンクできます。サンプルコードではプログラムから画像を生成または変換する方法が示されています。またコマンドライン利用も可能で、例として `./flux -d flux-klein-model -p "prompt" -o out.png`（テキスト→画像）や `-i input.png` と `-t strength` を付けて画像→画像を実行します。オプションには幅/高さ（64–1024 px、16ピクセル単位）、ステップ数（デフォルト 4）、シード、quiet/verbose フラグが含まれます。プロンプトのエンコード後、Qwen3‑4B エンコーダは自動的に解放され（約8 GB が解放）拡散中のピークメモリを約16 GB に抑えます。複数のプロンプトが同じエンコーダを再利用でき、再ロードは不要です。サポートされる最大解像度は 1024×1024 ピクセル、最小は 64×64 で、VAE のダウンサンプリングにより 16 の倍数に制限されています。 MIT ライセンスの下で配布されるこのパッケージは、軽量かつ依存関係がないため組み込みシステム、高性能サーバー、クロスプラットフォームアプリケーションに適しています。オープンソースおよび商用プロジェクトの両方で広く採用されることを奨励します。

2026/01/18 17:18

ソーシャル・ファイルシステム

2026/01/19 6:05

**警察は数百万ドルを投資し、影の電話追跡ソフトウェアに費やす―使用方法は明かさない** 米国各地の警察署が、秘密裏に開発された電話追跡ソフトウェアに数百万ドルを投入しています。しかし、当局はその技術がどのように利用されているか、また何らかのデータを収集しているかについて公表することを拒否しています。プライベート企業によって開発された本プログラムは、最初は行方不明者の捜索や容疑者のリアルタイム追跡という法執行機関向けツールとして市場に投入されました。しかし批判派は、その機能が適切な監視を欠いたまま市民の大規模監視を可能にする恐れがあると主張しています。多額の投資にもかかわらず、ソフトウェアが実際に広範囲で展開されているか、また既存のデータ収集システムとの連携方法については公的な報告がありません。いくつかの機関はまだ有効性を試験中と主張し、他の機関は「初期段階にある」ため、さらなる法的検討が完了するまでリリースされないと述べています。透明性の欠如はプライバシー擁護者の懸念を呼び起こしています。彼らは、このようなツールが不差別的に使用された場合、憲法上の保護を迂回する可能性があると警告しています。デジタル監視に対するより厳格な規制を議論する中で、本ソフトウェアを取り巻く継続的な秘密主義は、その実際の影響について多くの疑問を解決できていません。

## Japanese Translation: > 本稿では、テキサス州および連邦法執行機関が「Cobwebs Technologies」のAI駆動型監視ツール「Tangles」に数百万ドルを投入した経緯について検証する。TanglesはWebLocプラットフォームのアドオンで、オープンウェブ・ディープウェブ・ダークウェブからデータをスクレイピングし、ジオフェンス機能によりモバイルデバイスを追跡できるため、ワラントなしで携帯電話を監視することが可能である。 > > ゴリアド郡警察は2021年6月、疑わしい人身売買事件と関連付けられた捨てられたレシートを発見した後に初めてこのツールを使用し、技術訓練を受けていない保安官ロイ・ボイドはiPhone 10を使用し続けながら州境界安全補助金から約30万ドルのライセンスを取得した。以来、テキサス州の機関（公共安全局が2021年に20万ドル、2024年に530万ドルで230ユーザーを対象とする支出、ICEが2025年に約200万ドル、DEAが2025年に1000万ドル超）もTanglesを購入している。 > > ボイドのタスクフォースは「確実な原因を見つける道筋」をソフトウェアが提供したと主張するが、ツールに直接結び付く逮捕や起訴は存在しないと認めている。公的記録によれば、Tanglesへの国内支出が最低でも800万ドルであるにもかかわらず、そのデータに関連する逮捕や起訴の文書化は確認されていない。 > > 2023年にCobwebsを買収したPenLink Ltd. は、Tanglesをオープンソース情報プラットフォームとして市場に投入し、デバイスIDのみ（名前ではなく）を返すと述べる。また、特定の契約については言及せず、プライバシー法への準拠を主張している。会社の経営陣には元DEAエージェントが含まれており、同社と連邦機関との間に循環的な関係があることを示唆している。 > > エルサルバドルでは2020年にTanglesが購入され、その後の刑法改正により州警察は市民に対するワラントなし監視を実施できるようになった。他のテキサス州機関（ダラス、ヒューストン、キルーイン、モンタゴ）は主に犯罪分析または状況認識のためにTanglesを使用しているが、WebLoc機能の利用は稀である。 > > 議会努力（Capriglioneによる下院法案など）はAIツール使用の開示を義務付けようとしたが妥協され、テキサス州法では警察がレポートにAI展開を記録することを要求していない。機関が高度な監視ツールを追求し続ける中で、ワラントなしモニタリングの拡大リスクは高まり、「Carpenter v. U.S.」によって設定された憲法上の基準に照らして重大な市民自由への懸念が生じている。