言語モデルは自身の重みを書き換えることができる

2026/11/21 1:29

言語モデルは自身の重みを書き換えることができる

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

本論文は、「自己書き換え(self-rewriting)」という画期的な手法を導入しており、大規模言語モデルが勾配計算や従来の再訓練を用いず推論に基づいて自身の内部重みを編集することを可能にします。本質的に、モデルは外部トレーニングパイプラインではなく、現在の重み、段階的な回答、および自己実行能力を利用してエラーを診断し、自らをアップグレードする optimizer として機能します。この能力はスケーリング依存です:ファミリー内の小さなモデルは自己編集を行うことができず、さらに性能が低下しましたが、270 億パラメータのモデルは重要な進歩を示すことに成功し、未見の問題における精度を6.6 ポイント向上させました。さらに、オリジナルの重みへのアクセスなしで損傷した自身のバージョンを修復し、画像タスクにおいて 80% 以上の精度を回復させる顕著な回復力も達成しました。標準的な推論が回答ごとにコストを発生させたり、テストタイムスケーリングを行うのに対し、自己書き換えは動作時に前方向パスのみを実行することにより、重みへの利得を書き込む際に追加の計算コストなしで実行されます。モデルは編集を検証し、成功したものだけを提出することで、8 回の連続セッションにわたって反復的に改善します。この技術は、監視モデル、ハーネス、または前・後トレーニング調整なく継続的にアップグレードされる再帰的自己改善へのシフトを表しています。著者らは、これがリアルタイムで新しいデータストリームに適応する自律システムへの道を開くと考えています。(提出日:2026 年 11 月 16〜18 日)

本文

グラデียนティアもなしでモデルが自ら書き換わる「自己書き換え」技術の発表

言語モデルは通常、学習後に固定化される傾向がありますが、本研究では勾配計算も学習プロセスも不要な新たなアプローチを提示します。モデル自身が推論を通じてパラメータを書き換え、自らを最適化する「自己書き換え(Self-Rewriting)」を実現しました。

従来の手法との違い

従来手法本研究的手法
追加の学習回数が不可欠勾配も学習プロセスもない
プロンプトやフレームワークに依存モデル自身が最適化器として機能
タスク終了後に効果消失(一時的)パラメータに永続的に埋め込まれる
過剰な計算資源を消費するサービング時の動作と同様の軽微コスト

主要な成果と機能

  • 自らの失敗診断と修復: 27B パラメータを持つオープンモデルで、与えられたパラメータのみを用いて自己実行機能を実装しました。
  • 精度向上の実証:
    • 見かけない問題における精度が6.6 ポイント向上。
    • 改良は持続的:成功したケースのみを提出するサイクルにより、連続 8 セッションで精度が一貫して上昇しました。
  • 破損モデルの自己修復能力:
    • 画像認識タスクにおいて「壊れたロボット」のような状況(元の重みを再読み込みせず)でも対応可能。
    • 従来見なかった問題に対し、元の精度の80% 以上へ復元させることに成功しました。
  • スケールアップ効果:
    • 小さいモデルは編集や破損を起こしやすいものの、性能向上や自己修復は最大のモデルのみが果たせます。

テスト履歴

提出された論文情報の一部です。

  • 送信元: ジャジュン・ファン
  • [v1]: 2026 年 11 月 16 日(月)20:55:08 UTC (サイズ:6,363 KB)
  • [v2]: 2026 年 11 月 18 日(水)08:57:59 UTC (サイズ:6,379 KB)

同じ日のほかのニュース

一覧に戻る →

2026/11/21 3:33

慌ててのお知らせ:Alessandro Masullo(GRH)

## Japanese Translation: Alessandro Masullo は、数十年にわたる数学的猜想である一般リーマン予想(GRH)に関する証明の提案を発表し、その公開が迫っていると表明した。この画期的な成果は完全に人間によるものであり、数学者の Brian Conrad による強力な検証が得られている。Conrad 氏は草案を数月にわたり精査し、現在統合されている詳細なフィードバックを提供しているもともとの予定では、Masullo 氏がさらに推敲のためにスタンフォード大学で 1 年間過ごすことが計画されていたが、現在は米数学会会議中に現在の草案を即座に公開することが専門家による迅速な検証を可能にするとして最適と判断されている。直近の目標は、専門家が既存の理論枠組み内において議論を正式化し、わずかなギャップを速やかに解消することである。成功すれば、この長年の未解決問題の解決は数論に大きな影響を与え、分野全体の焦点を新たな証明をその核心構造に取り入れることへとシフトさせながら、その厳密な正確性を確保することとなる。

2026/11/21 5:12

インクリンク 2 ミニ

## 日本語翻訳: Anthropic は、標準的な消費者向けラップトップ(例:MacBook Pro M5 Pro)のローカルでの利用を目的とした、高効率な人工知能モデル「Inkling 2 Mini」を発売します。この 264 億パラメータを持つエキスパート混合物(Mixture-of-Experts)システムは、中間層にループアーキテクチャを独自に採用しており、トークンあたり 6 層のブロックが 2 つあり、それぞれがトークンごとに 3 回ループします。この設計により複雑な推論能力を強化しつつ、出力は簡潔で人間が読みやすいものとして保たれます。モデルにはアクティブパラメータ 34 億と、ループオーバーヘッドを含むトークンあたり重み活性化値 54 億があります。重みは最初の 20 層で NVFP4 でトレーニングされ、最後の 4 層では MXFP8 でトレーニングされており、NVIDIA GB300 プラットフォーム上でトレーニングされたにもかかわらず量子化による損失はありません。 ベンチマーク結果により、他の 100B パラメータ未満のモデルを上回ることがコーディングタスクで確認されており、DeepSWE v1.1(48.2%)および Vals Index v2.2(46.5%)においてオープンウェイトモデルで首位に立ちました。PMPP-Hard ではより大きな Inkling 2 Small に迫るコーディングスコアを達成し、SWEBench Multilingual などでは Qwen3.8-27B のみを凌ぐ水準です(Inkling 2 Mini: 79.2% vs Qwen: 71.1%)。ループアーキテクチャにより、「no-CoT 時間地平線」が延長され(Think Fast タスクでは 16 秒から 37 秒へ)、人間が読みやすい出力を維持できますが、これらの思考を制御する steerability は依然として低く(〜0.1%)です。LinuxArena での安全性テストでは、Qwen3.6 にて監視された場合、ループ回数に基づくモニタービリティの明確な傾向は見られませんでした。 Stanford の Hazy Research Lab と Goodfire lab と共同開発されたこのモデルは、先進的な NVFP4 量子化技術を採用し、高いインテリジェンス毎ジュール効率(DGX Spark で 0.703)を維持しています。研究者たちは現在、Tinker や Hugging Face を介してオープンウェイトに直接アクセスし、推論をカスタマイズできるようになりました。これには、変数ループの研究用バリエーション("TML-d24-varloop-research")も含まれており、1 回から 5 回のループパスをサポートします。このリリースは、洗練されたオフライン AI 機能を日常デバイスへ持ち込む方向への大きな転換を示しています。研究者たちは、同モデルが構築したフライトシミュレータを飛行モードで実行することに成功し、その実現可能性を実証しました。

2026/11/21 7:30

NINLIVE:ナイン・インチ・ネイルズのライブアーカイブ

## Japanese Translation: この独立した、親和関係のないファン運営のアーカイブは、「The Future Is Here」というプラットフォームを介して、1988年から2026年までのニル・ヤンナイルスのコンサート1,200回以上のストリーミングアクセスを提供しており、46カ国373都市の公演にわたります。デジタルライブラリには、1,900以上の録音、4,600枚以上の写真およびメディアファイル、363曲のトラックが含まれています。最近、管理者たちは歴史的なオーディオ転送の大きな未処理作業を完了しました。これには、NYCのテーパーのための200本のDATテーププロジェクトの完了や、acc123456コレクションの追加などがあり、新しいファンの投稿のより迅速な統合を可能にしています。アーカイブ上またはまだ存在しないアイテムや新しい転送の依頼はメールでお問い合わせいただけます。コンテンツキュレーションはコミュニティによる貢献によって推進されています:管理者が各公演に対してチケットスラブ、セットリストスキャン、パス、写真を追加する一方、カメラマンは外部サイトへのリンクを付与した公演ハイライトの投稿を招待されます。お気に入りの録音を保存し、コンテンツを整理するためには、Discord経由でログインする必要があります。ニル・ヤンナイルスのコアツアーのみならず、関連プロジェクトやサイドパスもアーカイブに含まれており、積極的な参加を通じて歴史保存と現代的アクセシビリティのバランスに成功しています。

言語モデルは自身の重みを書き換えることができる | そっか~ニュース