← 2026-07-29 の一覧へ戻るホーム
キミ線形：表現力と効率性に優れた新しいアテンションアーキテクチャ (2025)

2026/07/28 19:52

キミ線形：表現力と効率性に優れた新しいアテンションアーキテクチャ (2025)

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

Kimi チームは、短文脈、長文脈および強化学習のスケーリングレジームにおいて従来のフルアテンションモデルを大幅に凌駕し、かつ計算コストを削減するハイブリッド線形アテンションアーキテクチャ「Kimi Linear」を導入しました。この革新は、特に非常に長い入出力の処理に適した卓越した効率性を提供するとともに、シームレスなドロップイン置換ソリューションとして機能します。コア技術である Kimi Delta Attention (KDA) は、Gated DeltaNet に由来するより細粒度なゲーティングメカニズムを通じてリカレントネットワークにおけるメモリ使用量を向上させます。さらに、モデルは KV キャッシュの計算を最大 75% 削減し、100 万トークンの文脈においてデコード速度を最大 6 倍に向上させることを目的とした特別設計の対角線＋低ランク (DPLR) アルゴリズムを採用しています。総パラメータ数 48B のうち 3B のみを活用するにもかかわらず、このアプローチは同一のトレーニング手法を用いて多様なタスクにおいてフルマルチヘッドレイトンテンションを上回ります。広範な採用を支援するため、チームはオープンソースの KDA カーネルおよび事前学習済みチェックポイント（インストラクションチューニング版を含む）を公開しています。最終的に、この画期的な進歩は、業界にハードウェア要件の低下しながらも大規模なデータ文脈を処理する能力を提供します。本論文は Kimi チームの 56 名のメンバーによって執筆され、2025 年 10 月末から 11 月初旬にかけて 2 つのバージョンとしてリリースされました。

本文

Kimi Linear：フルアテンションを凌駕するハイブリッド型線形アテンションの導入と性能向上

著者情報

本研究成果は以下の研究者によって開発されました。

  • 主要著者: 張宇、林宗愚、姚行成、胡家希、孟凡青、劉承寅、閔新、楊松霖、李智遠、李文涛 など多数

研究の概要

本研究において新たに導入された Kimi Linear は、以下の特徴を備えた革新的なアーキテクチャです。

  • 画期的な性能: 公平な比較に基づいた様々なシナリオにおいて、初めて フル・アテンション（全結合型）を凌駕する ハイブリッド型線形アテンションアーキテクチャを実現。
    • シナリオ例：短コンテキスト、長コンテキスト、強化学習（RL）のスケーリング体制など。

Kimi Delta Attention (KDA) の核心技術

Kimi Linear の性能向上の中心となるのは、Kimi Delta Attention（KDA） モジュールです。

  • 構造: 既存の Gated DeltaNet に微細なゲーティング機構を追加した表現力に優れた線形アテンションモジュール。
  • 利点:
    • 限られた有限状態 RNN メモリをより効果的に活用可能。
    • 高ハードウェア効率を実現する特化型の変換行列を採用。
    • 古典的デルタ則と高い一貫性を確保しつつ、一般の DPLR 形式に対する計算量を大幅に削減。

Kimi Linear モデルの構成と成果

開発された前訓練済みモデルの仕様および実験結果の詳細です。

モデル構成

  • アーキテクチャ: KDA と Multi-Head Latent Attention（MLA）を階層的に組み合わせるハイブリッド構造。
  • パラメータ数:
    • 活性化パラメータ：約 30 億
    • 総パラメータ：約 480 億

実験結果と比較対象（フル MLA vs. Kimi Linear）

同一の学習手法を用いた場合の結果です。

  • 性能: 全ての評価タスクにおいて、フル MLA を有意に上回る性能を示す。
  • リソース効率: KV キャッシュ使用量を最大で 75% 削減。
  • 処理速度: 100 万トークン長のコンテキストに対するデコードスループットを最大で 6 倍向上。

結論

これらの結果は、Kimi Linear が以下の点を満たすことを示しています。

  • 長い入力・出力長さを持つタスクにおいても優れている。
  • フルアテンションアーキテクチャへの**ドロップイン置換（置き換え）**として理想的。
  • 高い性能と効率を兼ね備えている。

オープンソース戦略と公開情報

さらなる研究開発や実用化を支援するため、以下のリソースがオープンソース化され、公開されます。

公開されるコード

  • KDA カーネル: KDA モジュールの実装コード。
  • vLLM 向け実装: vLLM フレームワークとの互換性のある実装。

公開されるモデルチェックポイント

  • 前訓練済みモデル。
  • 指示調整済みモデル（ファインチューニング済みモデル）。

提出履歴

本論文のバージョン管理と提出状況です。

  • [v2] 最終版: 2025 年 11 月 1 日（土）12:05:18 UTC / 691 KB
  • [v1] 初版: 2025 年 10 月 30 日（木）16:59:43 UTC / 645 KB
  • 送信元: 杜育倫

同じ日のほかのニュース

一覧に戻る →

2026/07/29 5:52

OpenAIがCodex Securityをオープンソース化した

## Japanese Translation: `@openai/codex-security` ツールは、コードベース内に直接存在するセキュリティ脆弱性を特定、検証、修正することを目的とした CLI と TypeScript SDK です。このツールにより、チームはリポジトリの走査、コード変更のレビュー、発見結果の自動追跡が可能となり、安全な開発ライフサイクルが効率化されます。ユーザーはワークフローにこれらのチェックを簡単に統合できます：ローカルでの使用には `npm install @openai/codex-security` でインストールし、`npx codex-security login` でログインし、`npx codex-security scan .` で走査を実行します。継続的インテグレーション（CI）パイプラインでは、ログインを必要とせず `OPENAI_API_KEY` 環境変数を設定することで自動化がサポートされます。该软件は現代的な環境（Node.js 22+ または Python 3.10+）で動作し、GitHub Actions などの既存の CI システムにシームレスに統合できます。TypeScript SDK を活用することで、開発者はビルドプロセス内でチェックをプログラム的に初期化し、レポートパスを直接ログ出力できます。この反応的な修正から能動的な予防への転換により、チームは手動介入なしで効率的に堅牢なセキュリティ標準を維持できるようになります。

2026/07/29 1:58

Substack の書き手にはウェブサイトが必要です。

## 日本語訳: 著者は、長期的な生存を確保するため、Substack を単なる配信チャネルとして厳格に扱うべきであり、主なデジタル居宅としては見なしてはならない。`substack.com` などのプラットフォームへの一依存はリスクが高く、同社は規約を変更した場合、著者がコンテンツや可见性（視認性）を失う可能性があるためであり、過去に Twitter、Medium、Reddit、Facebook が直面した状況と同様です。「デジタルテナント」または「デジタル小作農家」として突然の立ち退きに晒されることを避けるために、クリエイターは自らの独立したドメイン所有し、ホームベース（主要サイト）を自らコントロールする必要があります。著者ジョン・スカルズィはこの戦略を例示しており、その 28 年間の歴史を持つ独立ブログが安定的な錨（アンカー）として機能し、ソーシャルメディアはそのトラフィックをそちらへ誘導するための単なる増幅器として使用しています。このアプローチは POSSE（自サイトの公開他サイトへの Syndication：Publish On Your Own Site, Syndicate Elsewhere）手法と整合しており、RSS フィードを通じて著者の「事実上の真実源」から発信されたコンテンツが外部プラットフォームへと配信されることを保証します。これにより、将来の企業崩壊、アルゴリズムのシフト、無警告で少数派やローカライズされた声を沈黙させる可能性があるエコーチェンバーに対する防護策となります。独立したデジタル居宅を確保することで、著者は過渡的なエコシステムに対する耐性を保証し、ユーザーもクリエイターも利得志向のアルゴリズムに人質となるのを防ぎます。

2026/07/29 5:58

ハーフライフを Mac OS 9 に移植

## Japanese Translation: ### サマリー： ハーフライフシリーズが、オリジナルタイトル発売から 28 年ぶりに、PowerPC ベースのマッキン托しコンピュータ向けの初プレイ可能版をリリースしました。これは GitHub ユーザー doctashay が Xash3D FWGS エンジンのフォーク（GoldSrc テクノロジーのリ実装）を用いて作成したものであり、Valve による過去のキャンセルされた計画や、Intel チップへの移行後の 2013 年版に続く長らくの空白を埋めるものです。このファングレードリリースには、『ハーフライフ』、『ブルー・シフト』、『オポージング・フォース』および『Uplink』のデモが含まれ、マルチプレイヤー対応を含み、開始から終了までフルプレイ可能です。Mac OS 9.0 以降で G3 や G4 プロセッサーなどのレガシーハードウェア上で動作し、廃棄されたシステムにも新たな生命を与え、これまでこれらのプラットフォームでは入手不可能だった象徴的なタイトルへのアクセスを維持します。この成就是マッキン托しゲームコミュニティにとって重要ですが、性能はユーザーのグラフィックカードに大きく依存します。VRAM が限られたデバイス（8MB 未満の iMac や iBook など）では動作が困難な場合があります。まだ公式 Valve プロダクトではありませんが、このリリースは PowerPC マクintosh の計算機史におけるキャンセルされた時代を成功裡に蘇らせます。

キミ線形：表現力と効率性に優れた新しいアテンションアーキテクチャ (2025) | そっか～ニュース