2026/06/10 0:01

LLM は古典的ハイパパラメータチューニングアルゴリズムに勝てるか？

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

最も重要な発見は、大規模言語モデル（LLM）が古典的なハイパーパラメータ最適化手法（CMA-ES および TPE など）を補完し、置換するべきではないという点です。固定された計算資源制約の下では、これらの古典的手法が LLM ベースのエージェントを一貫して上回っており、その主な原因は、LLM が試行全体にわたる最適化状態の追跡に困難を伴い、かつ頻繁にメモリ不足エラーが発生するという問題にあります。これらの問題は、探索多様性の懸念よりも重要性が高いものです。さらに、強力なフラウンティアモデル（例：Claude Opus 4.6、Gemini 3.1 Pro Preview）であっても、ソースコードへの直接アクセスを付与しても、古典的手法との性能ギャップを僅かにしか縮小することはできません。不制約のコード編集においては、競争力ある結果を得るにはより大きなモデルが必要とされます。これらの限界を克服するため、「Centaur」と呼ばれるハイブリッド戦略が導入され、LLM に CMA-ES の解釈可能な内部状態（平均ベクトル、ステップサイズ、共分散行列）を共有させつつ、古典的最適化手法の堅牢性を維持します。実験の結果、Centaur が最高の性能を達成することが示されており、Centaur 経由で統合された場合では、0.8B の LLM でも純粋な LLM ベースのアプローチおよび古典的手法単独を上回ることができます。本研究では、探索多様性、0.8B からフラウンティアモデルまでのモデルスケーリング、ならびに Centaur における LLM が提案する試行数の割合に関するアブレーションを分析しました。全体として、開発者は探索多様性と計算上の安定性のバランスを取るために、このハイブリッドアーキテクチャを採用し、LLM を既存の最適化手法の補完としての役割を果たすように活用すべきです。

本文

Autoresearch: LLM エージェントによるハイパパラメータ最適化の評価と限界

研究概要

目的:
```
Autoresearch
```
リポジトリをテストベッドとして活用し、固定された計算資源予算下で「古典的な HPO アルゴリズム」と「LLM ベースの方法」の性能を比較。
環境定義: LLM エージェントがトレーニングコードを直接編集できる環境を設定。
主要な結論:
- LLM は古典的な最適化手法を完全に代替するものではなく、補完的な役割として最も効果的である。
- 両者の強点を統合することで、小規模言語モデルでも最高の性能を引き出せる可能性がある。

実験結果：LLM と古典的手法の比較

検索空間内の性能差

固定された検索空間での結果:
- CMA-ES や TPE のような古典的手法が、LLM ベースのエージェントを一貫して上回る。
- 理由: LLM はメモリ不足による失敗を回避することが難しく、探索の多様性よりもリソース枯渇を恐れるため。
モデル規模の影響 (無制約なコード編集):
- 古典的手法と競争するには、より大規模なモデルが必要となる。
- 最新の最前線モデル（
```
Claude Opus 4.6
```
  、
```
Gemini 3.1 Pro Preview
```
  など）を用いても、差は解消されていない。

両者の特性の分析

手法	強み / 弱み
LLM エージェント	ソースコードの直接編集が可能だが、試行間における最適化状態の追跡に苦戦する。（計算資源制約への耐性が低い）
古典的手法	安定した探索とリソース管理ができるが、ドメイン知識を欠き、LLM が持つ直感を扱えない。

提案：ハイブリッドアプローチ「Centaur」

両者の強点を統合し、LLM のドメイン知識を古典アルゴリズムの状態量に反映させる新しい手法を提案。

アーキテクチャ:
- CMA-ES の解釈可能な内部状態（平均ベクトル、ステップサイズ、共分散行列など）を共有する仕組みを採用。
- LLM はこれらの数値情報を理解し、コード生成や探索方針に活用する。
性能実績:
- 実験において最高成績を収める。
- ```
0.8B
```
  パラメータを持つ小規模 LL を使用した際にも、古典的手法および純粋な LLM 手法のすべてを上回る結果を達成。

アブレーション解析とスケール特性

検索の多様性: 探索戦略が全体の性能に与える影響を確認。
スケール特性:
```
0.8B
```
パラメータから最前線モデルまでの広範な規模における性能変化を測定。
試行の割合: 「Centaur」構成において、LLM が提案する試行（サンプラーとしての比率）に関する調整実験を実施。

結論とリソース

LLM は古典的 HPO を代替するのではなく、その補完者として機能させることが重要である。
コードとデモ:
- ソースコード：URL で閲覧可能
- インタラクティブデモ：URL で体験可能

同じ日のほかのニュース

一覧に戻る →

2026/06/10 1:58

クロード・フェブル 5

## 日本語訳：以下の改善されたバージョンでは、欠落していた安全性の詳細、具体的な価格設定構造、データ保持ポリシー、および可用性のタイムラインを補いながら、明瞭性を維持しています： ## まとめ： Anthropic は、一般使用に安全であり、ソフトウェア工学、可視化解析、長期コンテキスト処理、科学的研究、およびメモリータスクにおいて従来のすべてのバージョンを超えた「Mythos クラス」のモデルである **Claude Fable 5** を導入しました。同モデルは直ちに API とサブスクリプションプラン（Pro から Enterprise まで）で利用でき、6 月 22 日まで利用可能です（6 月 23 日からは使用クレジットに移行）。価格は入力トークンあたり **10 ドル**、出力トークンあたり **50 ドル** で設定されており、Claude Mythos Preview など以前のプレミアムモデルよりも大幅に安価です。 Fable 5 は転換的な性能向上を提供し、以前は何ヶ月もかかった工学タスクを数日へと圧縮するとともに、薬剤設計を約 10 倍加速させます。安全性と有用性のバランスを取りつつ、Fable 5 におけるセンシティブなトピックに関するクエリについては、**Claude Opus 4.8** にフォールバックを行う設定となっており、これは保守的なチューニングによりセッションの **約 5% よりも少ない割合** で発生します。さらに、特定の分類器は生物学/化学分野での危険な研究の向上や悪意のあるハッキング試行をブロックします。また、Anthropic は Mythos クラスモデルに対して新しい **30 日間のデータ保持ポリシー** を実施し、このトラフィックを新モデルの訓練や安全性以外の目的で使用することを禁止しています。一般向けの Fable 5 バージョンは依然として非常に安全ですが、未検閲バージョンである **Claude Mythos 5** は、15 カ国以上で選択されたサイバーセキュリティおよびインフラストラクチャパートナー（将来的には約 150 の新しい組織へ拡大）を独占的に対象とする **Project Glasswing** を通じて利用可能です。この戦略的動きは、責任ある使用基準を損なうことなく科学的発見を加速し、重要インフラのセキュリティを強化することを目的としています。プログラムには、将来、特定の生命科学研究者のために生物学/化学の safeguards を解除する計画も含まれています。

2026/06/10 6:01

NPM バージョン 12 で導入される予定のbreaking changes

## Japanese Translation: npm v12 開始（推定リリースは 2026 年 7 月）、`npm install` に対してより厳格なセキュリティデフォルトが適用されます。最も重要な変更は、自動スクリプト実行の無効化です（`allowScripts` がデフォルトでオフ）。明示的に承認されないと、preinstall、install、postinstall スクリプト（`node-gyp` を介するネイティブビルドを含む）がブロックされます。準備のためには、これらの変更を警告付きで利用可能な npm v11.16.0+（またはそれ以降）を使用してください：`npm approve-scripts --allow-scripts-pending` を実行し、信頼できるパッケージについては `npm approve-scripts` で明示的に承認し、他は `npm deny-scripts` で拒否します。結果となる許可リストは `package.json` に書き込まれコミットすべきであり、v12 へのアップグレード後は承認されたスクリプトのみが実行されます。さらに、デフォルトでは `--allow-git`（npm 11.10.0+ で利用可能）は none に解決され、Git ベースの依存関係に対して明示的なフラグが必要となり、`.npmrc` オーバーライドを介した潜在的なコード実行経路を閉じます。同様に、`--allow-remote`（npm 11.15.0+ で利用可能）はリモート URL から依存関係を解決する場合にデフォルトで none に設定されます。`--allow-file` および `--allow-directory` は現在のデフォルトを維持します。保守担当者および CI/CD パイプラインは依存関係を検証し、`package.json` 内の許可リストを更新し、アップグレード前に変更をコミットする必要があります。そうでない場合、手動の例外を設定しない限りビルド失敗となります。詳細は npm ドキュメントの `npm approve-scripts`、`npm deny-scripts`、および `allow-scripts config` をご参照ください。

2026/06/10 4:21

FPGA を用いたKolmogorov-Arnold Networkによる超高速機械学習

## Japanese Translation: 本テキストは、Kolmogorov-Arnold Network（KAN）を Field-Programmable Gate Array（FPGA）上で展開し、超高速機械学習に特化して設計された革命的な新ハードウェアアーキテクチャを導入します。従来の GPU はスケジューリング遅延およびメモリオーバーヘッドによりマイクロ秒以下の応答時間を達成できず苦労しますが、この FPGA ベースのアプローチでは、ニューラルネットワークをリプログラミング可能なデジタルロジックと直接統合するため、アルゴリズムと設計のコデザインを採用しています。固定された重みではなく、B スプライン基底関数によって定義される学習可能なエッジアクティベーションに置き換えることで、伝統的なルックアップテーブルモデルに見られるような指数関数的スケーリングの問題を回避します。この手法は、定点符号化によるデータエンコーディングの簡素化を実現し、トレーニングの安定性を確保します。主な革新点は、「B スプラインの局所性」の利用であり、グリッドセルごとにアクティブとなる基底関数の数が限られているため、ネットワークの次数を増やすことなくグリッドサイズを拡大することでモデルを水平方向にスケール可能になります。得られる枠組みは「KANELÉ」と命名され、従来の実装に対する驚異的な 2,700 倍もの速度向上を達成し、オンデバイスでの動的モデル更新が可能となる真のオンライン学習を実現します。この画期的な成果は、量子コンピューティング制御システムなどリアルタイム意思決定が必要な産業に対し、高効率性と継続的改善を支援する GPU の代替として堅牢な選択肢を提供します。大規模テストにおいて、同システムは関数近似やキュビット読み出しなどのタスクで伝統的な MLP よりも優れたハードウェアスケーリングと収束性を示し、50,000 パラメータまで扱いながらマイクロ秒以下のレイテンシを維持しました。