潜在格子言語モデル

2026/11/18 7:17

潜在格子言語モデル

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

この研究における主な画期的成果は、「Lattice of Latents」(LLLMs)の導入です。これは MIT と Adobe の研究者が発表した AI アーキテクチャであり、性能を損なわずに効率性を向上させます。従来のモデルが広いメモリ構造に依存するのに対し、LLLMs は縦方向のリジidual ストリームと並行して水平的に復帰的に走る潜変数ストリームを使用し、注意機構やデコーディングなど重要な操作を直接条件付けします。406M パラメータを持つ格子モデルは、微調整された 20B トークンのデータ上で、パラメータが一致するトランスフォーマー(15.41)に比べて大幅に低い検証時のペルプレキシティ(14.40)を実現しました。この性能は、ハイパーコネクションや入力リジidual などの機能で強化された際により一層改善され、13.61 に達しました。このアーキテクチャは大幅な効率化を可能にしており、層は 40 ではなく 22 のみを使用し、同様の注意幅において KV キャッシュを 45% 小さく保ち、限られたハードウェア向けに非常にスケーラブルです。さらに、格子モデルは Gated DeltaNet や Mamba-2 など他のアーキテクチャにおいても、より大きな純粋なベースラインに対して優れた精度を示しました。特に「hard regimes」において、縦方向のストリームを大幅に圧縮した場合(例:256 次元)でも同様です。

本文

「潜在の格子 (Lattice of Latents)」による言語モデル計算容量の拡張

本研究では、従来の言語モデルにおける「アクティブな計算状態の数」を増やすことで計算容量を拡大する新たなアプローチ**「潜在の格子 (Lattice of Latents)** を提案します。

既存手法との違い

  • 従来法の限界:
    • より深い層やループ構造、潜在推論ステップを増やすことでトークンあたりの計算量が増大します。
    • 豊富なリザルブ連結(残差接続)は層間での情報流れの改善をもたらしますが、これは深さ方向のリザルブ経路の増設です。
  • 本手法の特徴:
    • リザルブストリームを強化しつつ、深さ方向に経路を増設するのではなく、トークンを越えて持続的に存続する補助的な計算状態を提供します。
    • 時間軸に沿って反復的に動作する水平的な潜在ストリームと、深さ方向に流れる垂直的なリザルブストリームの両方から構成されます。

アーキテクチャ概要

「潜在の格子」は、ハイパー連結(HC)、mHC(マニフォード制約付き HC)、アテンションやバリューの残差などと同様に機能します。

  • トランスフォーマーおよび SSM との違い:
    • 従来の反復型状態は主にシーケンス混ざりのための内部メモリとして機能します。
    • 「潜在の格子」の状態は、垂直ストリームのアテンション計算、KV キャッシュへの書き込み、MLP 計算、ならびにデコーディングプロセスを直接制御します。

主要な実験結果

  • トレーニングデータ: FineWeb-Edu(200 億トークン)
  • モデル規模: 4.06 億パラメータを持つ「格子モデル」
  • ペルプキシティの低下:
    • 同等のパラメータ数を有する標準的なトランスフォーマー(ペルプキシティ 15.41)に対して、14.40まで低下させることに成功しました。
    • この性能向上は、さまざまなアーキテクチャバリエーション全体で確認されました。

アーキテクトとの相乗効果

「潜在の格子」は既存のリザルブストリーム強化手法と相乗的に作用します。

  • トランスフォーマーとの組み合わせ:
    • ハイパー連結および入力残差を組み合わせることで、以下のような強化が可能となりました。
      • 基盤トランスフォーマー(15.41) → 13.61
      • 強化されたトランスフォーマー(14.22) → 13.61
  • SSM アーキテクチャとの組み合わせ:
    • ゲーテッド・デルタネット(Gated DeltaNet)、Mamba-2、トライアド GDN、およびそのハイブリッドアーキテクチャにおいて、試験された全種類のネイティブ状態サイズでペルプキシティ改善が実現されました。
    • **「格子付き GDN」と「格子付きトライアド GDN」**は、4 倍大きなネイティブ状態サイズを持つ純粋なベースラインモデルよりも優位性を発揮しました。

結論

層ごとの持続的な計算状態を、言語モデルの計算能力を拡張するための補完的な次元として認識することができました。


用語解説と略語

略語正式名称説明
HCハイパー連結既存の強化手法の一つ。
mHCマニフォード制約付き HC制約を課したハイパー連結。
valueバリュー残差ResFormer によるアプローチ(単一+value 実行の学習重みなど)。
x0ナノチャット様式入力残差特定の入力残差方式。
LLLMLarge Language LLM本研究で提案するモデル形式。
dmodel
(垂直リザルブストリーム幅)と
dr
(水平潜在ストリーム幅)を持つ。
J3ヤコビリファイナートランスフォーマーを強化する手法。3 サイクルを実行し、推論時はシークエンシャルロールアウトとして単一パスで使用される。

注目すべき実験設定と指標

  • GFLOP/token: アテンションスコア(約 0.1 GFLOP/token)と埋め込みルックアップを除いた、1 トークンあたりの浮動小数点演算数。
  • 事前学習トークンのスケーリング: FineWeb-Edu を用いて 100 億→200 億→300 億トークンへトレーニングを拡大し、検証ペルプキシティの変化を観察。
    • ※両方の LLLM モデルは 40 層(40L)のトランスフォーマーに対し、22 層のみを使用するため、KV キャッシュは約 45% 小さくなります。
  • 潜在の格子の分解実験:
    • ハードな状況下で垂直リザルブストリームを 256 次元に圧縮。
    • 水平更新強化を順次追加することで、フル幅トランスフォーマーとのギャップ回復を確認。
  • 反復型バックボーン:
    • 純粋モデル vs. グリッド付反復モデル(約 4.05 億パラメータ)の比較。
    • ミキサーごとのネイティブ状態サイズを変えて評価。
  • ネイティブ状態サイズ数:
    • ミキサーごとの反復メモリエントリーの数(1K=1024 スカラー)。
    • 水平潜在状態および畳み込み状態を除く指標。

同じ日のほかのニュース

一覧に戻る →

2026/11/18 6:11

Java4Shell:Base64データを処理する際に発生するOpenJDKのRCE

## Japanese Translation: 「Java4Shell」と名付けられた重大な脆弱性が、Java コンパイラの Base64 _decoder_ のヒープメモリ破損を悪用し、OpenJDK でリモートコード実行を可能にする。この欠陥は、AVX-512 VBMI ハードウェアアクセラレーションを使用する x86-64 ビルドに限定して発生する:JIT コンパイラの C2 内在関数における `bzhiq` および `evmovdqub` の計算ミスが、入力長が -1 または -2 にアンダーフローすると、範囲外書き込みを引き起こす可能性がある。攻撃者は「Heap Feng Shui」技術を採用し、G1 ゴーブルトコレクションャの領域に対して「spray and pray」を用いてメモリを再配置し、安全な固定バイト書き込みをコードキャッシュを通じて任意のコード実行へと変える。この脆弱性は OpenJDK 17.0.6 およびそれ以降、また Oracle Java SE のいくつかのリリース(8u511b33-perf、17.0.21.0.3、21.0.13.0.3、25.0.5.0.3、および 27.0.1.0.3)に影響を与える。Amazon Corretto、Eclipse Temurin、Microsoft Build of OpenJDK、Azul Zulu、BellSoft Liberica、SAP SapMachine、Red Hat OpenJDK、Oracle OpenJDK、ならびに JDK 用の Oracle GraalVM を含む多数のディストリビューションが影響を受けている。特に注目すべきは、ARM64 CPU は AVX-512 サポートを有しないため影響を受けない点である。リモート悪用はネットワークレイテンシ(RTT)およびジッターに敏感であり、ターゲットと同じリージョンにある VM をレンタルして実施するなどの方法により、TCP/IP 構成への依存だけではなかったことが実証されている。Proof-of-concept はウォームアップループ後に誤った形式の入力(「64 × "A" + "="」)をデコードすることによってトリガーされ、オフセット 50–111 で 62 バイトが書き換わる。Oracle と OpenJDK は 2026 年 11 月 17 日午後 1 時(PT)にパッチをリリースした。パッチ適用までの間、組織は `-XX:-UseBASE64Intrinsics` または `-XX:UseAVX=2`(後者は x86-64 ホスト上のみ)といった JVM フラグを用いてハードウェアアクセラレーションを無効化することでリスクを軽減できる。この事案は、高度な CPU 機能を監査し、Java ランタイムを最新の状態に保つことの重要性を示している。本調査、報告書、およびエクスプロイトの改善は Quang Luong と Jenish Rakholiya によって行われ、アートワークは Michal Zalewski による。

2026/11/18 7:13

クアドラントのフランスからの撤退:石炭坑のカナリア

## Japanese Translation: スイス非営利財団の Quad9 が先月、著作権侵害ドメインをブロックできないことに対する裁判所による破産に近い日次罰金の命を受け、2 月 14 日以降にフランスから無料公開 DNS リゾルバー(9.9.9.9)を即時撤回すると発表しました。この決断により、政府機関や教育機関、病院、事業会社を含むユーザーおよび組織は、直接的な通知メカニズムが欠如しているため、設定を更新するか、インターネット接続の喪失という説明のない状態に追い込まれます。この状況は、Cloudflare がオランダの裁判所による命令にともない 2027 年 1 月初めまでに同様の問題に対して複数の主要プロバイダー(Google の 8.8.8.8 や Cisco の OpenDNS を含む)に対処する罰則を脅かしたことに続き、フランス、ポルトガル、ベルギーから一時的に OpenDNS リゾルバー(1.1.1.1)を撤回した過去の行動と鏡のように似ています。技術に詳しいユーザーが制限を迂回することは可能であっても、より広範な影響には、兆単位の日常クエリを処理する大きな工学上の課題や、グローバルサービスに対して地域的なブロック命令を適用することでオープンなインターネットを分断化するリスクが含まれ、その結果として違法かどうかにかかわらずドメインに波及被害を引き起こします。

2026/11/18 4:50

jQuery 4.1.0

## Japanese Translation: 2026 年 11 月 17 日、jQuery はテーマ「火炬の引き継ぎ(Passing the Torch)」の下にバージョン 4.1.0 および 3.8.0 をリリースし、配列境界エラーを回避するためループを改修し、古来の `getElementsByTag/ClassName` セレクターではなく現代の `querySelectorAll` メソッドを優先するなどコアアーキテクチャにおいて画期的な転換を図りました。このリリースでは、非同期処理の強化のために `jqXHR` に `responseURL` フィールドを追加し、代替的な `completeCallback` API をサポートするとともに、`createElementNS` による XML ドキュメントサポートも向上させています。重要なセキュリティ向上として、Safari 27 の正規表現バグおよび識別子マッチングにおける ReDoS 脆弱性の修正が含まれています。機能的な更新としては、シリアライゼーションにおいてフォームに関連するカスタム要素を許可し、SVG テキスト抽出およびアニメーションに関する不具合も解消しました。このアップデートでは、`.data()`(SVG 向け)やアニメーション署名などのテストカバレッジが拡大されるとともに、TuxCare を通じた商用サポートが追加され、ドキュメントの修正も行われています。今後のバージョンに向けては、おそらく `jQuery.uniqueSort` における重複削除の最適化とカスタムフォーム要素の処理にさらに注力し、開発者へのパフォーマンス向上とブラウザ互換性改善を約束しながらエンドユーザーにより滑らかな体験を提供することを予定しています。