2026/01/04 6:34

ループ構造を用いた言語モデルによる潜在推論のスケーリング

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

改善された要約

本論文では、推論を事前学習段階に直接組み込む新しいファミリーの事前学習済みループ言語モデル（LoopLM）である Ouro を紹介する。 LoopLM は反復的潜在計算、学習された深さ割り当て用のエントロピー正則化目的関数を使用し、7.7 兆トークンまでスケールできる。著者は Rui‑Jie Zhu, Zixuan Wang, Kai Hua, Tianyu Zhang, Ziniu Li, Haoran Que, Boyi Wei, Zixin Wen, Fan Yin, He Xing, Lu Li, Jiajun Shi, Kaijing Ma, Shanda Li, Taylor Kergan, Andrew Smith, Xingwei Qu, Mude Hui, Bohong Wu, Qiyang Min, Hongzhi Huang, Xun Zhou, Wei Ye, Jiaheng Liu, Jian Yang, Yunfeng Shi, Chenghua Lin, Enduo Zhao, Tianle Cai, Ge Zhang, Wenhao Huang, Yoshua Bengio, そして Jason Eshraghian は、Ouro 1.4B および 2.6B モデルが多数のベンチマークで最大12 Bパラメータの最先端LLMと同等またはそれを上回る性能を示すことを実証している。制御実験により、この優位性は容量増加ではなく、優れた知識操作によるものであることが明らかになり、LoopLM の内部推論トレースは明示的な思考連鎖（chain‑of‑thought）手法よりも最終出力に近いという結果となった。著者らは LoopLM を推論重視型言語モデルの新たなスケーリング方向として提案している。モデルは未定義の HTTP URL（概要で提供）から入手可能である。提出履歴：v1 2025年10月29日、v2 2025年11月3日、v3 2025年11月14日、v4 2025年11月17日。

本文

著者: Rui‑Jie Zhu、Zixuan Wang、Kai Hua、Tianyu Zhang、Ziniu Li、Haoran Que、Boyi Wei、Zixin Wen、Fan Yin、He Xing、Lu Li、Jiajun Shi、Kaijing Ma、Shanda Li、Taylor Kergan、Andrew Smith、Xingwei Qu、Mude Hui、Bohong Wu、Qiyang Min、Hongzhi Huang、Xun Zhou、Wei Ye、Jiaheng Liu、Jian Yang、Yunfeng Shi、Chenghua Lin、Enduo Zhao、Tianle Cai、Ge Zhang、Wenhao Huang、Yoshua Bengio、Jason Eshraghian

概要:
現代の大規模言語モデル（LLM）は、主にチェーン・オブ・ソート（CoT）などの明示的なテキスト生成を通じて「思考」を学習しますが、これは推論をトレーニング後に遅延させ、事前学習データを十分に活用できない欠点があります。本研究では、再帰的オウロボリス（Ouroboros）から名付けられた Ouro を提案し、公開しています。これは、以下の3つの手法を通じて事前学習段階に推論機能を組み込む Loop Language Models (LoopLM) のファミリーです。

潜在空間での反復計算
学習された深さ割り当てを促すエントロピー正則化目的関数
7.7 兆トークンにスケーリング

Ouro 1.4B と 2.6B モデルは、幅広いベンチマークで最大12 B の最先端LLMと同等かそれ以上の性能を示します。制御実験により、この優位性は知識容量の増加ではなく、知識操作能力の向上によるものであることが明らかになりました。また、LoopLM は明示的な CoT よりも最終出力と整合性の高い推論トレースを生成することを示しています。これらの結果は、思考時代における新たなスケーリング方向として LoopLM の可能性を浮き彫りにします。本モデルは以下から入手できます: [http URL]。

提出履歴

v1 – 2025年10月29日水曜 17:45:42 UTC (14,928 KB)
v2 – 2025年11月3日月曜 06:54:49 UTC (9,619 KB)
v3 – 2025年11月14日金曜 02:14:36 UTC (9,607 KB)
v4 – 2025年11月17日月曜 20:03:56 UTC (9,607 KB)

同じ日のほかのニュース

一覧に戻る →

2026/01/04 1:20

**2025年におけるハッカーニュースで最も人気のあるブログ一覧**

## Japanese Translation: --- ## 要約この記事は、投稿量、総投票数、およびフロントページへのリーチで評価された2025年の最も影響力のあるHacker Newsブロガーをランキングしています。 - **Simon Willison** は、1,000件以上（118本の全文）にわたる公正なAIツールレビューに焦点を当てた投稿で3年連続王者となっています。リンクブログスタイル―短い引用やコメント付きリンクのみ—は手間が少なく高価値なコンテンツを提供します。 - **Jeff Geerling** が2位にランクインし、10,813投票を集めてわずか9ポイントで3位を抜きます。100万人以上のサブスクライバーを持つYouTubeクリエイターであり、自動生成されたトランスクリプトを避けたテキスト中心の投稿を書いて、HN上で読みやすさを高めています。 - **Sean Goedecke** が新たなパワーハウスとして登場します。2025年に140件の投稿と47件のフロントページヒットを記録し、最も人気のある「How I ship projects at big tech companies」投稿は年間トップ100に入っています。技術職への明確な意見とビッグテック組織政治の解説でエンジニア層に共感されています。 - **Brian Krebs** は常にトップブロガーとして残り、2025年には政治的に重いトランプ時代の言論自由ストーリーを投稿し、一時的に#1になりましたがモデレーションで削除されました。 - **Neal Agarwal** はインタラクティブアートとビジュアルエッセイでフロントページを支配し、投稿の約半分が#1に達します。「Stimulation Clicker」は2025年で4番目に人気のある投稿です。 - **John Gruber** が6位で終わり、2011年以来最高の一年となり、2020年以来初めてトップ10入りしました。潜在的なシャドウバンを疑問視したことで注目されました。 - **Mahad Kalam** は単一投稿リストのトップに立ち、その年で最も投票されたエントリーです；**Byrann Huang** が続き、3位の投票数を記録しました。この記事は2025年の完全なトップ100リストが別途文書化されていることを指摘し、将来の発表をほのめかしています。これらのランキングは読者がテックニュースにどのように関与するか、AI・職場文化・政治に関する議論を形作り、Hacker Newsや類似プラットフォームでのコンテンツ戦略のベンチマークとなります。

2025/12/29 1:12

**Ed25519‑CLI – Ed25519署名システム用コマンドラインインターフェース**

## Japanese Translation: ドキュメントは、Ed25519 用の lib25519 コマンドラインツールがどのように機能するかを説明しており、主に 3 つのユーティリティ―`ed25519-keypair`、`ed25519-sign`、`ed25519-open` に焦点を当てています。 * `ed25519-keypair` はランダムな鍵ペアを生成します：公開鍵をファイルディスクリプタ 5 に書き込み、秘密鍵を fd 9 に書き込みます。 * `ed25519-sign` は fd 8 から秘密鍵を読み取り、stdin（fd 0）からメッセージを読み取って署名し、署名済みメッセージを stdout（fd 1）に出力します。 * `ed25519-open` は fd 4 からアリスの公開鍵を読み取り、stdin（fd 0）から署名済みメッセージを読み取って検証し、復号された平文を stdout（fd 1）に書き込みます。検証失敗時、`ed25519-open` はコード 100 で終了し、出力は行いません；他のエラーではすべてのツールが非ゼロで終了し、成功時にはゼロで終了します。 CLI は lib25519 の一部であり、X25519 暗号化と Ed25519 署名の両方を実装しています。2 つの X25519 ツールも存在しますが、別途ドキュメント化されています。現在のドキュメントバージョンは「Ed CLI」ウェブページ用で 2024.02.18 です。関連ユーティリティには `x25519-cli(1)` と `lib25519(3)` が含まれます。これらのツールにより、ユーザーはシェルから直接暗号操作をスクリプト化したり、他言語で FFI を介して lib25519 の C API を呼び出すことで、安全な認証ワークフローをソフトウェアプロジェクトに組み込むことが可能になります。

2026/01/04 6:58

「一歩だけ踏み出しましょう」

## Japanese Translation: （全ての重要ポイントを組み込んでいます）** この文章は、大きな目標を設定すると扁桃体が闘争・逃走反応を起動し、ストレスや回避行動、進捗の停滞を引き起こすと説明しています。対照的に、目標を小さく段階的に分解することでこの反応を迂回し、不安を軽減しながら安定した行動が可能になります。実践的な戦術は次の通りです： - 「次に何をすべきか？」と自問すること； - 完全感覚でビジュアライゼーションを用いること； - 本全体ではなく1ページだけ読むこと； - ドアの近くにランニングシューズを置く（あるいは新しいものがない場合は注文しておく）ことで歩き始める。これら小さな問題―例えば靴を持っているかどうか―を解決することで、後で大きな障害になるのを防げます。靴を履いたり短い散歩を終えたりといった控えめな報酬を祝うことは進捗を強化します。毎日1つの小さなステップ（例：1週間ドアにシューズを置き、次にそれらを履く）を繰り返すことで勢いが生まれ、各行動が徐々に長距離散歩や最終的には大きな野心へと導きます。マイクロアクションの累積効果は、個人開発コーチングや職場での目標設定において、生産性と幸福感を高めるために有用であることを示しています。