2025/12/05 10:15
NeurIPS 2025 Best Paper Awards
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
概要:
本会議の論文賞授与式では、プログラムチェアとデータベース＆ベンチマークトラックチェアが指名した委員会により選ばれた優秀な7件の論文が表彰されました。最終承認は総合チェア、新世代チェア、およびアクセシビリティチェアから行われました。賞には、Datasets & Benchmarkトラックから1件を含む4件のベストペーパーと3件のレナーアップが含まれます。ベストペーパー:
- 「Artificial Hivemind: The Open‑Ended Homogeneity of Language Models」 – Infinity‑Chat（26 Kクエリ、31 K人間アノテーション）とオープンエンドプロンプトの分類法を紹介し、モデル内部での反復とモデル間での均質性を明らかにします。
- 「Gated Attention for Large Language Models」 – SDPA後にヘッド特異的シグモイドゲートを追加すると性能・安定性が向上し、密結合およびMoEトランスフォーマーの注意サンク問題を緩和することを示します。コードはGitHub/HuggingFaceで公開されています。
- 「1000 Layer Networks for Self‑Supervised RL」 – 1024層という深さが目標条件付きタスクで性能を向上させ、他のベースラインを上回ることを実証します。
- 「Why Diffusion Models Don’t Memorize」 – 2つの時間スケール（初期一般化と後期記憶）を特定し、暗黙的な動的正則化が過学習を防ぐことを示します。
レナーアップ:
- 「Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?」 – RLVRはサンプリング効率を改善するものの、推論能力を拡張しない；蒸留により新たなパターンが導入される可能性があります。
- 「Optimal Mistake Bounds for Transductive Online Learning」 – Ω(√d) の下限と O(√d) の上限を証明し、以前の結果を指数関数的に改善し、転移学習と標準オンライン学習との間に二次的ギャップがあることを示します。
- 「Superposition Yields Robust Neural Scaling」 – 表現の重ね合わせがニューラルスケーリング法則を駆動することを示し、強い重ね合わせは多様な周波数分布にわたってモデル次元に逆比例して損失を縮小します。
これらの賞は拡散理論、自律学習RL、LLMの注意メカニズム、LLMにおける推論、オンライン学習理論、ニューラルスケーリング法則、および言語モデル多様性のベンチマーク手法を網羅しています。これらは会議が実証的ブレイクスルーと理論的洞察の両方にコミットしていることを示しています。
この改訂版概要は、Key Points List のすべての主要ポイントを忠実に列挙し、裏付けのない推測を避け、読み手に優しい明確なオーバービューを提供します。
本文
ベストペーパー賞委員会メンバー
- ジェイコブ・アンドレアス – MIT（米国）
- サンダー・ディーレマン – Google DeepMind（英国）
- ディレク・ハッカニ‑トゥール – アイルランド大学アーバナ―キャンペーン（米国）
- ブライアン・キングスベリー – IBM（米国）
- ミレラ・ラパタ – エディンバラ大学（イギリス）
- ヴィンセント・ルペティ – École des Ponts ParisTech（フランス）
- ウルリッヒ・パケット – AIMES & Google DeepMind（アフリカ）
- ヴァイオレット・ペン – UCLA（米国）
- ドイナ・プレクップ – マギル大学（カナダ）
- 杉山 雅史 – 研究開発機構・東京大学（日本）
- ヴィンセント・タン – シンガポール国立大学（シンガポール）
- イー・ウイ・テー – オックスフォード大学（英国）
- ジン・シェ – マイクロソフト（中国）
- ルーク・ゼトレモイヤ― – ワシントン大学/Meta（米国）
ベストペーパー賞受賞作品（タイトル順にアルファベット並び）
-
Artificial Hivemind: The Open‑Ended Homogeneity of Language Models (and Beyond)
- 著者: Jiang Liwei, Chai Yuanjun, Margaret Li, Liu Mickel, Fok Raymond, Dziri Nouha, Tsvetkov Yulia, Sap Maarten, Choi Yejin
-
Gated Attention for Large Language Models: Non‑linearity, Sparsity, and Attention‑Sink‑Free
- 著者: Qiu Zihan, Wang Zekun, Zheng Bo, Huang Zeyu, Wen Kaiyue, Yang Songlin, Men Rui, Yu Le, Huang Fei, Huang Suozhi, Liu Dayiheng, Zhou Jingren, Lin Junyang
-
1000 Layer Networks for Self‑Supervised RL: Scaling Depth Can Enable New Goal‑Reaching Capabilities
- 著者: Wang Kevin, Javali Ishaan, Bortkiewicz Michał, Trzcinski Tomasz, Eysenbach Benjamin
-
Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
- 著者: Bonnaire Tony, Urfin Raphaël, Biroli Giulio, Mezard Marc
入賞候補作品（タイトル順にアルファベット並び）
-
Does Reinforcement Learning Really Incentivise Reasoning Capacity in LLMs Beyond the Base Model?
- 著者: Yue Yang, Chen Zhiqi, Lu Rui, Zhao Andrew, Wang Zhaokai, Song Shiji, Huang Gao
-
Optimal Mistake Bounds for Transductive Online Learning
- 著者: Chase Zachary, Hanneke Steve, Moran Shay, Shafer Jonathan
-
Superposition Yields Robust Neural Scaling
- 著者: Liu Yizhou, Liu Ziming, Gore Jeff