
2026/11/21 1:29
言語モデルは自身の重みを書き換えることができる
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
本論文は、「自己書き換え(self-rewriting)」という画期的な手法を導入しており、大規模言語モデルが勾配計算や従来の再訓練を用いず推論に基づいて自身の内部重みを編集することを可能にします。本質的に、モデルは外部トレーニングパイプラインではなく、現在の重み、段階的な回答、および自己実行能力を利用してエラーを診断し、自らをアップグレードする optimizer として機能します。この能力はスケーリング依存です:ファミリー内の小さなモデルは自己編集を行うことができず、さらに性能が低下しましたが、270 億パラメータのモデルは重要な進歩を示すことに成功し、未見の問題における精度を6.6 ポイント向上させました。さらに、オリジナルの重みへのアクセスなしで損傷した自身のバージョンを修復し、画像タスクにおいて 80% 以上の精度を回復させる顕著な回復力も達成しました。標準的な推論が回答ごとにコストを発生させたり、テストタイムスケーリングを行うのに対し、自己書き換えは動作時に前方向パスのみを実行することにより、重みへの利得を書き込む際に追加の計算コストなしで実行されます。モデルは編集を検証し、成功したものだけを提出することで、8 回の連続セッションにわたって反復的に改善します。この技術は、監視モデル、ハーネス、または前・後トレーニング調整なく継続的にアップグレードされる再帰的自己改善へのシフトを表しています。著者らは、これがリアルタイムで新しいデータストリームに適応する自律システムへの道を開くと考えています。(提出日:2026 年 11 月 16〜18 日)
本文
グラデียนティアもなしでモデルが自ら書き換わる「自己書き換え」技術の発表
言語モデルは通常、学習後に固定化される傾向がありますが、本研究では勾配計算も学習プロセスも不要な新たなアプローチを提示します。モデル自身が推論を通じてパラメータを書き換え、自らを最適化する「自己書き換え(Self-Rewriting)」を実現しました。
従来の手法との違い
| 従来手法 | 本研究的手法 |
|---|---|
| 追加の学習回数が不可欠 | 勾配も学習プロセスもない |
| プロンプトやフレームワークに依存 | モデル自身が最適化器として機能 |
| タスク終了後に効果消失(一時的) | パラメータに永続的に埋め込まれる |
| 過剰な計算資源を消費する | サービング時の動作と同様の軽微コスト |
主要な成果と機能
- 自らの失敗診断と修復: 27B パラメータを持つオープンモデルで、与えられたパラメータのみを用いて自己実行機能を実装しました。
- 精度向上の実証:
- 見かけない問題における精度が6.6 ポイント向上。
- 改良は持続的:成功したケースのみを提出するサイクルにより、連続 8 セッションで精度が一貫して上昇しました。
- 破損モデルの自己修復能力:
- 画像認識タスクにおいて「壊れたロボット」のような状況(元の重みを再読み込みせず)でも対応可能。
- 従来見なかった問題に対し、元の精度の80% 以上へ復元させることに成功しました。
- スケールアップ効果:
- 小さいモデルは編集や破損を起こしやすいものの、性能向上や自己修復は最大のモデルのみが果たせます。
テスト履歴
提出された論文情報の一部です。
- 送信元: ジャジュン・ファン
- [v1]: 2026 年 11 月 16 日(月)20:55:08 UTC (サイズ:6,363 KB)
- [v2]: 2026 年 11 月 18 日(水)08:57:59 UTC (サイズ:6,379 KB)