2026/09/18 1:55
無限パラメータLLM：ライブデータから重みを生成・適応させる
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
本テキストでは、「無限パラメータ LLM」と呼ばれる画期的なアーキテクチャを紹介しています。このアーキテクチャは、静的な事前学習やプロンプトコンテキストに依存するのではなく、ランタイムデータを直接ウェイトに書き込むことでライブインタラクションから学習することを可能にする設計です。これは、従来のモデルにおいてウェイトがトレーニング後にフリーズされ、ユーザーの訂正やランタイムで供給される知識がプロンプト内に限定され各リクエスト後に破棄されてしまうという根本的な課題に対応するものです。Mixture-of-Experts (MoE) アーキテクチャに触発され、このシステムは、固定されたバンクにウェイトを格納する代わりに、コンパクトなハイパーネットワークを用いてランタイムデータを共有ベースネットワークの低ランク変調に変換します。以前のプロトコルではコンテキストを読み取り一度で出力をフリーズしていたウェイトジェネレータとは異なり、この手法はセッション中を通じてジェネレータの潜在コードに対するベイジアン信念を維持・更新し、効果的なウェイトが単一のコンテキスト読み取り後に固定されるのではなく、進化する信念から再導出できるようにしています。知識や振る舞いをウェイトに格納することで、このアーキテクチャは進行する会話から導出された実質的に無限のコンパイル可能なウェイトを実現します。このような動的な更新は以下の大きな利点をもたらします：限られたコンテキストウィンドウを解放し、アモルタイゼーションによって不要な計算資源の使用を削減し、情報が複数のターンにわたって持続を保証し、文脈内使用よりも優れた汎化能力を可能にする可能性があります。著者はこの機能を文脈内学習および検索に対して直接テストするための評価プロトコルを定式化しています。提出履歴によると、本ドキュメントは Jinli Hu 博士により作成され、[v1]として Wed, 16 Sep 2026 15:49:34 UTC に提出され、ファイルサイズは 50 KB です。
Text to translate:
The text introduces the "Infinite-Parameter LLM," a groundbreaking architecture designed to learn from live interactions by writing runtime data directly into weights, rather than relying solely on static pretraining or prompt context. This approach addresses the critical limitation of conventional models where weights are frozen after training, causing user corrections and knowledge supplied at runtime to be confined to prompts and discarded after each request. Inspired by Mixture-of-Experts (MoE) architectures, the system employs a compact hypernetwork to translate run-time data into low-rank modulations of a shared base network instead of storing weights in a fixed bank. Unlike prior weight generators that read context once and freeze their output, this method maintains and updates a Bayesian belief over the generator's latent code continuously during a session, allowing effective weights to be re-derived from an evolving belief rather than being fixed after a single context read. By storing knowledge and behavior in weights, the architecture achieves effectively infinite compileable weights derived from ongoing conversations. This dynamic updating offers significant advantages: it frees up limited context windows, reduces unnecessary compute usage through amortization, ensures information persists across multiple turns, and potentially enables better generalization than in-context use. The authors specify an evaluation protocol to test this capability directly against in-context learning and retrieval. Submission history indicates the document was authored by Jinli Hu Dr, submitted as [v1] on Wed, 16 Sep 2026 15:49:34 UTC, with a file size of 50 KB.
本文
無限パラメータ LLM：ライブインタラクションからの学習による次世代アーキテクチャ
抄録と背景
- スケーリング則に基づき、パラメータ数や学習データの増加に伴いモデルの能力が向上することを確認。
- 専門家ミックス（MoE） アーキテクチャはこの則を拡張し、驚くべき成果を挙げてきた。
- 静的な事前学習データのみを用い、膨大なパラメータバンクのうち各トークンごとに一部だけを活性化させる方式である。
- しかし、実用環境ではトレーニングセットに含まれていないライブインタラクションのデータ（ユーザー提供事実や訂正など）が重要である。
- 従来の固定重みモデルはこれらのデータを学習できず、知識をプロンプトに記述して再読する一時的な方法に依存している。
提案：Infinite-Parameter LLM
我々は「ライブインタラクションからの学習を実行し、その結果を重みに書き込む」アーキテクチャを提案する。このモデルは以下の特徴を持つ。
アーキテクチャ概要
- MoE のインスピレーション を受け入れ、無限パラメータ大規模言語モデル を実現。
- 構造：コンパクトなハイパーネットワークが実行時データに基づき、共有ベースネットワークへの低ランクモジュレーションを生成。
# コンセプト的な仕組みの簡易表現 current_weights = shared_parameter_bank + hyper_network(live_interaction_data) - フォワード・フィード重み は固定されたバンクではなく、ライブデータから動的に生成される。
学習メカニズムの違い
| 従来のアプローチ | Infinite-Parameter LLM |
|---|---|
| ジェネレータが文脈を一度読み取り後で凍結（固定） | ベイズ的信念を持ってジェネレータの潜在コードを更新 |
| オンラインでの信念更新なし | オンライン更新による継続的学習 |
| 一度読み取った重みはセッション中固定 | セッション進行に伴い、発展する信念から重みを再導出 |
| メモリフットプリントのみが固定 | 実質的に無限のコンパイル可能重み数を実現 |
メリットと利点
- プロンプト依存性の排除: 知識や振る舞いを「プロンプト」ではなく「重み」として保持。
- 計算コストの削減
- コンテキストウィンドウの解放
- 持続性: ターンを超えた知識の蓄積と維持が可能。
- 汎化性能: 文脈内学習（In-Context Learning）よりも優れた汎化能力を発揮。
評価プロトコル
この特性を厳密に検証するために、以下の観点で評価を行う評価プロトコルを定義する。
- 文脈内学習に対する比較検証
- 検索機能に対する効果の検証