← 2026-07-13 の一覧へ戻るホーム
Flash-MSA：スパースアテンション kernels を用いてミリオントークン規模の訓練を加速させる

2026/07/13 5:46

Flash-MSA：スパースアテンション kernels を用いてミリオントークン規模の訓練を加速させる

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

このリリースでは、CuTeDSL を使用して Hopper および Blackwell GPU 向けに最適化された、MiniMax スパースアテンション (MSA) のための世界初の高性能オープンソーストレーニングカーネルを提示します。過去の閉鎖的なアプローチとは異なり、この非公式な実装ではブロック単位のスパース性（max-pooling を介して）を採用し、従来の MLA をグループドクエリアテンション（GQA）で置換しています。H100 および B200 GPU の Spheron レンタル上で開発されたこのカーネルは、FlashAttention 向けの MoBA の varlen トリックや、KV サブセットの効率的な管理を目的としたプロキシヘッド戦略などの特定の実装最適化を活用しています。標準的な PyTorch 実装に対する厳格なテストにより、ほぼ完全な数値精度（例：コサイン類似度 0.9996–0.9999）が確認されました。しかしながら、現在の後方伝播性能は登録値消費の多さ（138 regs/thread）に制約されており、現代のハードウェア上の利用効率は SM あたりの CTA 一つに限定されています。今後の計画には、メモリー使用量を最適化して SM あたり 2 つの CTA を実現すること、リング様式のコンテキストパラレルリズムの実装、MSA を用いた高度な Qwen3 ベースモデルの前学習などが含まれます。この画期的な進展は、特許的制限に依存せずに高パフォーマンスのボトルネックを解消し、複雑なスパースアテンションアーキテクチャへのアクセスを民主化します。

本文

Flash-MSA と Flash-Attention の比較：単一学習ステップとスパースアテンションの実装

背景と課題

数々の先端的な大規模言語モデルは、推論時の処理速度向上のために**スパースアテンション（Sparse Attention）**を採用しています。一方で、これらの手法を効率的にトレーニングするためのオープンソースコードは長く公開されていませんでした。

MiniMax の新技術：Flash-MSA

本稿では、世界初の高性能なオープンソース学習カーネルについて解説します。

  • 対応ハードウェア: Hopper 及び Blackwell GPU
  • 実装言語: CuTeDSL（CUDA Tensor Expression DSL）
  • 目的: MiniMax スパースアテンション用のトレーニング効率化

技術的比較：Flash-MSA vs Flash-Attention

1. アプローチの違い

  • Flash-Attention (既存): メモリアクセスの最適化により、推論時や標準的なバッチ処理において高速化を実現しています。
  • Flash-MSA (新規): スパースアテンションメカニズムに特化した設計であり、非ゼロアテンション係数の分布を効率的に処理します。

2. 学習ステップでの利点

スパースアテンションを用いたモデルのトレーニングにおいて、以下の点が重要です：

  • 並列化効率: スパースパターンに合わせて計算グラフを最適化し、GPU リソースの有効活用を図ります。
  • メモリ帯域利用: 非ゼロ要素のみへのアクセスを最適化することで、メモリの浪費を防ぎます。

実装の意義

本プロジェクトは、以下のような現状の課題を解決するために開発されました：

  • 公開されたスパースアテンショントレーニングコードが不足していることへの対応
  • 最新 GPU アーキテクチャ（Hopper, Blackwell）への即応性確保
  • オープンソースコミュニティへ高性能な学習カーネルを提供すること

まとめ

CuTeDSL を用いたこの実装により、スパースアテンションモデルのトレーニング障壁が大幅に低減されます。MiniMax 論文に記載された手法を、実際のトレーニング環境で活用できるようになりました。

同じ日のほかのニュース

一覧に戻る →

2026/07/13 6:12

Chromium 148 より*Math.tanh*は下位の OS を特定するフィンガープリントとして使用可能になった

## 日本語翻訳: Chrome バージョン 148 以降、Chrome や同様のブラウザは特定の数学的な挙動を通じて正確なオペレーティングシステムの詳細を漏らし、高度なデジタルフィンガープリンティングを可能にしています。これはまず `Math.tanh` 関数から始まり、bundled routines からホストライブラリへと切り替わったことで、macOS、Windows、Linux のユーザーが使用しているか否かに基づいて小数点以下最終桁が 1 ユニット異なる独自のプロファイル（OS シグネチャ）が作成され、他の V8 数学関数とは異なりプラットフォーム間で同一ではなくあります。また、すべての CSS 三角関数はホスト libm を直接呼び出すことで OS を漏らします。macOS Apple Silicon では、スカラーおよびベクトルフレームワーク間のアーキテクチャ固有の分断により計算に著しい乖離が生じます。Scrapfly はこれらの問題に対処するため、数学的ビットごとの再現を含め、Linux のなりすまし用の真正な Windows ライブラリのマッピングや特定の ARM/x86 FMA（fused-multiply-add）挙動の処理を含む特別ソリューションを開発しました。彼らの Scrapium ブラウザはこれらの OS シグネチャを真正的なシステムと完全に一致するようになりすまえ、同時に最適な速度のためにハードウェア FMA を能動的に有効化します（ネイティブエミュレーションより最大約 6 倍高速）。高度なマッピング技術および数十万もの入力を対象とした厳格な検証を通じて、ユーザーは微妙な数学的な丸めエラーや将来のアップデートにおけるアーキテクチャの癖に基づく識別を防止する同時期にネイティブレベルのパフォーマンスで完全なステルスを実現します。

2026/07/13 5:23

小さなエミュレータ

## Japanese Translation: このテキストは、収集家のためのプラットフォーム間での即時的な互換性を優先しつつ、コモドール C64、ZX Spectrum（48k/128）、Amstrad CPC（CPC464/6128）、Acorn Atom、Z1013 などのレトロコンピュータシステムおよびそれらの対応ソフトウェアの包括的な目録です。具体的には、『Boulderdash』『Ghost's'n'Goblins』『Rick Dangerous』『Prince of Persia』のようなアクションゲームや、『Tetris』『Pengo』『Sokoban』のようなパズルゲームにわたる特定のタイトルを対象とし、ローディング時の独自の要件（例：BASIC 環境では「Enter」キーを押す、Spectrum タイトル『Cyclone』『Great Escape』では特定のジョイスティック種類[Kempston]を選択する、特定のインターフェースでは「F1」「SPACE」キーを押すなど）を詳述しています。また、本ガイドでは Arkos/Overlanders、Batman Group、Plush、Offence、Oxyron、Proxima、Dekadence などの著名なデベロッパーに帰属する様々なデモとインターフェースを列挙しています。さらに、特定のコントローラーや RAM モジュールなどといったハードウェアの制約を明示することで、今日広く利用可能な膨大なソフトウェアライブラリがどの機械構成で実行可能かをはっきりさせます。これは『Visual 6502 Remix』から『Wunderbar』『Batman Forever』などの特殊なデモにいたるまで、すべてのソフトウェアを網羅しています。最終的には、古いハードウェア上で何が達成可能かについてユーザーが正確に知ることを保証し、余計な詳細を含めない実用的な参考文献として機能します。

2026/07/13 3:25

Claude Code はプロンプトを読み込むまでに約3万トークンを消費し、OpenCodeは7,000 トークンである。

## Japanese Translation: 主要な知見は、セッションの段階と設定の複雑性に 따라 Claude Code と OpenCode の間でのトークン使用ダイナミクスが著しく異なることを示しています。標準的な設定において、Claude Code は非効率的なシステムプロンプト、キャッシュ管理のために数万のトークンを再記述し、堅牢なフレームワークテンプレートにより引き起こされる大規模な初期オーバーヘッド（約 33,000 トークン）を被る一方、OpenCode の床は低い（約 7,000 トークン）ため、大きな差を生じています。ただし、Fable 5 のような新しいモデルではこの隙間が縮小します。特に、複雑な本番環境設定においては、OpenCode 自身のツール呼び出しのシリアライゼーションとスキーマサイズによる影響で、最初のリクエストでより高いトークン負荷（Claude の約 75,000 トークンに対し、約 90,817 トークン）を被り、その後のリクエストで安定化するまで要請されます。新しいモデルは命令セットのサイズを削減しますが（例：27k から 10k クラクターへ）、特定のコストドライバーは残っています：対話履歴と乗算される延長された思考ブロック、「フレームワーク税」として作用する大規模な静的フレームワークテンプレート（例：AGENTS.md）、およびバーストコストを増幅するサブエージェントのファンアウト構造。さらに、本研究では EU AI Act のログ記録要件への準拠を確保し完全性を保証するために、キャッシュの書き込みと課金構造の違い（例：キャッシュされた読み取り対課金されるプレミアム書き込み）を検証できるよう、185 件のレコードを捕捉した SHA-256 ハッシュ連鎖監査軌跡を利用しました。 ## Text to translate: The primary findings indicate that token usage dynamics vary significantly between Claude Code and OpenCode depending on the session stage and configuration complexity. While Claude Code incurs a massive initial overhead (~33,000 tokens) compared to OpenCode's low floor (~7,000 tokens) in standard setups—driven by inefficient system prompts, rewriting tens of thousands of tokens for cache management, and rigid framework templates—this gap narrows with newer models like Fable 5. Notably, in complex production configurations, OpenCode's first request can incur a higher token load (~90,817 tokens vs. ~75,000 for Claude) due to its own serialization of tool calls and schema sizes before stabilizing on subsequent requests. While newer models reduce instruction set sizes (e.g., from 27k to 10k characters), specific cost drivers remain: extended thinking blocks that compound with conversation history, large static framework templates (e.g., AGENTS.md) that act as a "framework tax," and subagent fan-out structures that multiply bootstrap costs. Additionally, the study utilized a SHA-256 hash-chained audit trail capturing 185 records to ensure integrity and support compliance with EU AI Act logging requirements, verifying that both architectures handle cache writes and billing structures differently (e.g., cached reads vs. billed premium writes).