2026/10/16 23:18

Show HN: Gemini 4 Argon がスタークラフトをプレイします

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

StarSkirmish Bench v0.2 ベンチマークは、BWAPI 4.4.0 を OpenBW 上で使用して C++ で競合的なプロトスボットを生成する大規模言語モデル（LLM）の能力を評価するものです。評価対象はハートブレイク・リッジ、ベンゼン、ディスタニエーションの3つのラダーマップで、各モデルのパフォーマンスは 5 回のランにおける平均勝利率（ELO は使用しない）で測定されます。生成されたボットは各マップについて 13 のロスターボットのすべてを 6 回ずつプレイし、すべての試行において新しいシード値を使用します。これらは厳格な 1 時間の壁時計時間制限内で実行されます。GPT-6 Astra が約49%の平均勝利率でトップですが、スタードスなど上位レベルの人間によって書かれたボットに対してはそれでも約7%しか勝てません。Gemini 4 Argon、Claude Opus 5.5、そして Claude Fable 5.1 は 37–39% の間を記録し、後従しています。GPT-6.1 Sol が第2位で、1 ランあたりの API 費用は GPT-6 Astra の約 1/10 でコスト効果の高い代替案を提供します。結果はラン間で高い変動を示しており（例：Gemini 4 Argon は±18 ポイント、GPT-6 Astra は±9 ポイント）、単一のテストでは能力の証明とはなり得ないことを示しています。パフォーマンスを最も強く予測する要因は推論への生来の努力ではなく、セッション中に7番目に強力なボットに対する練習に費やす時間量です。Muse Wonder Full や一部の Claude は高いスコアを得ながら主に弱いボットに対して練習を行っていますが、GPT-6 Astra、GPT-6.1 Sol、そして Gemini 4 Argon は早期段階から強力な相手に対して練習を優先しています。このベンチマークは Vals IOI と WeirdML と中程度の相関を示しますが、人工知能分析インテリジェンス指数との相関は低い（ρ ≒ 0.26）です。全体として、現在の AI 生成ボットはいくつかの特定の競技的シナリオにおいて確立された人間のコードに後れを取っており、生成されたボットのパフォーマンスを改善するためには即時の推論への依存のみではなく、練習のための時間配分を最適化することがより効果的です。

本文

StarSkirmish ベンチマーク v0.2 報告書：LLM のスタークラフトボット開発能力評価

TL;DR

StarSkirmish は、LLM が『スタークラフト：ブラッドワーズ』用の C++ プロトッスボットを記述するベンチマーク。各 LLM には**1 時間（ウォールクロック）**が与えられ、生成されたボットは既存の人間開発ボットや他の LLM ボットに対して評価されます。
StarSkirmish ベンチマーク v0.2 は、OpenAI、Anthropic、Google、Meta のフラッグシップモデルを各ラボルの第 1 パーティ CLI ハarness で動作させ、v0.1 からアップデートされました。
LLM のスコアは、競技用人間開発ボットおよびデモボットのロスターに対する勝率を反映します（0〜100 スケール）。
- GPT-6 Astra：最高スコア獲得。GPT-6.1 Sol を明確に上回り 1 位。
  - Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1 が 2 位〜3 位を占め、スコアは37〜39の範囲で実質同点です。
- GPT-6.1 Sol：コストパフォーマンスにおいて最上位。GPT-6 Astra の約 1/10 コストで 2 位となり、最も魅力的な「高スコアかつ低コスト」領域に位置する唯一の LLM です。

飽和の兆候なし

最強の人間開発ボットは依然として凌駕されています。
- トップモデルである GPT-6 Astra でさえ、トップクラスの人間開発ボットに対して勝率は僅か**7%**に留まります。
- 対戦対象:
```
Stardust
```
  、
```
PurpleWave
```
  、
```
BananaBrain
```
  の 3 つの人間ボット。
  - 1 時間の推論時間制限下での結果であり、実際のトーナメント環境よりも単純化された条件です。

新 AI モデルハイライト

Google と Meta の新フラッグシップモデルが v0.1 から後継モデルに更新されました。
- v0.1:
```
Gemini 3.8 Flash
```
  および
```
Muse Spark 1.3
```
- v0.2:
  - ```
  Gemini 4 Argon
```
  : 3 位入賞（「high」設定で動作）。
- ```
Muse Wonder Full
```
    : 7 位入賞。
GPT-6 Astra と Claude Opus 5.5 は引き続き高い評価を得ています。

AI モデルの振る舞いと分析

エージェントの戦略パターン

スコアを予測する最も強い要因は、最強ボットとの対戦練習回数です。
早期練習型:
```
GPT-6 Astra
```
、
```
GPT-6.1 Sol
```
、
```
Gemini 4 Argon
```
は自らのボットがまだ負けていた段階から早期に対戦を開始しました。
非練習型:
```
Muse Wonder Full
```
、
```
Claude Haiku 5.5
```
、
```
GPT-6 Luna
```
は稀に全く練習を行いませんでした。
特異点:
```
Claude Fable 5.1
```
は勝率37を記録しているが、ほとんど弱いボットとのみ対戦を通じて練習を行っています（戦略的矛盾）。

ランごとの分散

各モデルの 5 つのランには結果にばらつきがあります。
- Gemini 4 Argon: 変動が非常に大きく、最高と最低の差が18 ポイント。
  - 対比：
```
GPT-6 Astra
```
    （9 ポイント）、
```
Claude Opus 5.5
```
    （8 ポイント）の方が安定しています。

実装の詳細

目的 (Objective)

環境: BWAPI 4.4.0 / OpenBW 上での C++ プロトッスボット開発。
試合形式:
- マップ:
```
Heartbreak Ridge
```
  、
```
Benzene
```
  、
```
Destination
```
  の 3 つのラダーマップ。
- 条件：一方の陣営建造物が全滅するか、60 分（86,400 フレーム）経過した場合終了。
  - 時間超過時：殺傷数および破壊スコアで勝敗判定（BASIL ラッドルール準拠）。
開発フロー:
1. 採掘のみを行うスケルトンボットからスタート。
2. 3 つのデモボットおよび 2 つの標準ライブラリ (
```
FAP
```
  : 戦闘シミュレーター、
```
BWEM
```
  : マップアナライザー) のソースコードを提供。
3. コンパイル継続が必要（1 時間終了時点でボットフォルダに存在するものが最終品）。
ツール: コンパイル実行、練習試合サマリー/トランスクリプト読み込み、自ボットログ閲覧機能付き。
練習相手 (ティア制):
- D: デモボット 3 つ
- C, B: 中級ランク人間開発ボット（各 3 つ）
- A:
```
BananaBrain
```
  ,
```
Locutus
```
- S:
```
Stardust
```
  ,
```
PurpleWave
```
  (最強)

トーナメント設定 (Tournament Setup)

LLM ボット数: モデルあたり5 個。
相手ロスター: 固定の 13 ボット（人間開発ボット 10 + デモボット 3）。
試合形式: LLM ボットの 5 個が、ロスターの 13 ボットそれぞれと 3 マップ×6 回ずつ対戦。
- 各ラウンドで新しいシード値を使用。
- v0.1 との違い: LLM ボット同士は互いに戦いません（並行処理）。

ハarness と推論 (Harness and Reasoning)

バージョン変遷:
- v0.1: 全てのモデルを同一のハarness で「high」設定実行。
- v0.2: 各ラボルの第 1 パーティ CLI ハarnessを使用し、最大限の推論設定（
```
max
```
  ）で動作（Gemini 4 Argon は harness 制限により
```
high
```
  ）。

主要ハarness (v0.2):

- Claude: Opus 5.5, Fable 5.1, Sonnet 5.5, Haiku 5.5 (CLI: Claude Code 2.1.296)
- Codex: GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna (CLI: Codex 0.162.1)
- Antigravity: Gemini 4 Argon (CLI: Antigravity CLI 1.3.5)
- Muse Code: Muse Wonder Full (CLI: Muse Code 1.4.7)

コンテキスト管理:
- 約25 万トークンに圧縮。90% に達すると自動圧縮（例：Codex はデフォルト 27.2 万→圧縮トリガー）。
制限事項:
- Web 検索/フェッチオフ、インターネットアクセス禁止。
- Submit ツールなし（ハarness が時間経過と共にボットを取得）。

スコアリング (Scoring)

計算方式: 単純な勝率を使用（v0.1 の Elo レートから変更）。
- スコア範囲：0〜100（0: 全敗, 100: 全勝）。
- 最終スコア：5 つのボットの平均勝率。
公平性:
- 固定ロスターとの対戦により、他 LLM ボットの存在に依存しない。
- 並行実行のためリプレイ再生不要。
- 固定ロスターによる時間経過での基準維持により、同一フィールド内での Elo レートが直接比較可能。

ベンチマーク相関性 (Benchmark Correlations)

AI Index: 弱相関（$\rho = 0.26$）。トップの
```
GPT-6 Astra
```
でも 9 モデル中 4 位に留まる。
Terminal-Bench 4.0: v0.1 との関連性が低下。
```
Claude Sonnet 5.5
```
と
```
Muse Wonder Full
```
はスコアが下部にある。
WeirdML v3: 9 モデル中 7 つをスコア付け（執筆時点で
```
Gemini 4 Argon
```
と
```
Muse Wonder Full
```
は除外）。
継続追跡指標: Vals IOI および WeirdML を引き続き追跡中。
- 結論：モデルが調整するターゲットである最も頻繁な評価指標には相関せず、長期的推論・困難なコーディングタスクに対するテストの方が連動している。

同じ日のほかのニュース

一覧に戻る →

2026/10/17 4:47

FLUX 3 イメージ・クライン

## Japanese Translation: Black Forest Labs は、テキストから画像への変換、ピクセルレベルの編集、および複数参照（最大 10 件）を用いた生成を実現するために設計された、56 億パラメータを有する画期的なオープンウェイトモデル「FLUX 3 Image Klein」を公開しました。内部評価においてオープンモデルで首位にランク付けされ、Ideogram V4.5 や FLUX.2 よりも少ない 38% パラメータ数ながら、消費ハードウェア上で優れた効率性を発揮し、より大規模なモデルを上回る性能を発揮しています。本モデルは、微調整用のベースモデル（〜11.2 GB VRAM[BF16]または 5.6 GB[FP8]を必要とします）と、低遅延生成に最適化されたステップ蒸留版の 2 つのパッケージを提供します。NVIDIA との提携を活用し、ComfyUI または Diffusers を通じて RTX シリーズの GeForce GPU（VRAM 8GB 以上でも動作可能）上で FP8、INT8、NVFP4 のビルドを実行できるように対応しています。生成速度は印象的で、RTX 5090 では約 4 秒で 1MP の画像を、RTX 4070 では 9 秒未満で生成でき、将来のハードウェアではサブ秒単位の生成が可能になる可能性があります。FLUX Kommunity License の元、年間の収益が 500 万ドル未満の企業には商用利用が無料で許可され、ただし出典表示は必要です。今後の計画として、プロンプトアップサンプリングなど高度なタスク向けの有料 API を提供する予定です。主要ライブラリからの Day-One サポートと、Cinder によるセーフティレッドチームingiの実施により、このリリースは個人クリエイターおよび中小企業にとって高品位の視覚制作ツールの民主化を推進します。

2026/10/17 3:55

Claude が ECDSA 曲線の由来を明らかにする

## Japanese 翻訳： 2026 年 10 月、Anthropic の研究者 John Wood、Henry de Valence、Ava Howell および他が、NIST の素数曲線（FIPS 186-2）に対して長年にわたり専門家を困惑させてきた ECDSA 曲線のシードの起源について調査しました。これらのシードは、NSA が 2000 年に提供したパラメータです。ユーモアに満ちた理論では、Jerry Solinas が「Bob と Jerry に昇給を」といったパスフレーズからこれらを生み出したと提案されていましたが、Claude の高度な手法（LLL ベースの基底削減を含む）による分析により、シードはランダムなハッシュではなく、素数曲線については 1997 年 5 月と 1998 年 4 月の間の Unix タイムスタンプで種付けされた C ライブラリの `lrand48` 関数の出力であり、バイナリ曲線については 1984 年 2 月かその半分としたタイムスタンプ（1998 年 4 月 17 日に対応）からの出力であることが明らかになりました。この手法は各候補あたり 20 バイトをサンプリングし（例：P-256 の場合は 1,842 回反復が必要）、さらに、6 つの曲線の基点 G は FreeLIP の RNG を特定のある整数シード（例：P-192 では 20,000）で使いながら生成されていることが判明しました。ただし、P-224、P-256、P-384、P-521 および一部のバイナリ曲線候補の基点についてはまだ説明されておらず、特に第 5 のバイナリのシード（B-163）は未解決のままです。これらのシードを見出すため、インターネットセキュリティ研究グループへの寄付を含む賞金として 36,864 ドルが設定されており、Jerry Solinas に追悼の称賛を与えるとともに、基礎的な暗号規格への透明性を向上させることを目的としています。

2026/10/17 3:32

ブレイクされたPS5で動作する Llama.cpp：コンソール上で GGUF モデルを任意にネイティブ実行可能

## Japanese Translation: PlayStation 5 は、クラウドサービスや追加のハードウェアを必要とせず、コンソール上で高度なプライベート AI モデルをローカルに動作させるようになり、特にファームウェア 7.00–13.60 を搭載したジャイブされた PS5 コンソールを対象としています。llama.cpp の改変版（Vulkan バックエンドおよび共有メモリを採用）を利用することで、RDNA 2 GPU 上で直接多様な人工知能アプリケーションを動作させるためにメモリおよびキャッシュの使用方法が最適化されています。このセットアップは etaHEN という特定のインストールペイロードを必要とし、既存のジャイブツールである kstuff-lite および ShadowMountPlus（推奨ツールには elfldr と ftpsrv が含まれる）と統合されます。アプリケーションインターフェースはデュアルショックコントローラーによる操作でアクセス可能であり、Home、Models、Console、API、Settings のセクションを含んでいます。ユーザーはすぐに画像分析や Gemma 4 および MiniCPM-V などの中級モデルに対するチャットコンプリートなどの強力な機能をアクセスできます。リアルタイムのパフォーマンス監視は `ps5-exporter` が担当しており、温度、消費電力、GPU、CPU ロードなどのメトリクスを表示します。アプリはロードされた GGUF モデルに対して利用可能なメモリの中で最长的なコンテキストと最適なキャッシュ適合を自動的に選択し、Hugging Face から内部ストレージ（M.2）または USB ドライブへのダウンロードによって管理できます。特に注目すべきは、小さなモデルが PS5 Slim ハードウェア上で最大 207 トークン/秒の驚異的な速度を実現しており、モデルサイズと量化に基づいて ~20～207 トークン/秒のパフォーマンス範囲があることです。今後の更新では、USB ドライブまたは内部ストレージからロードされる新しいファイルに対する自動管理メモリ割り当てが含まれる可能性が高いです。この進歩により、愛好家は専用の API エンドポイント（`/v1/systemone`）および標準チャット API を通じて Ollaya 駆動の Jev 様（Clef、OpenJev など）といった高度な意思決定モデルと直接相互作用できるようになり、ゲームコンソールのローカル AI パフォーマンスにおける大きな飛躍を達成しながらも、完全なプライバシーを保ち外部データ依存性を排除します。インストールには `PPSA99575` フォルダを `/data/homebrew` にコピーし、`http://<console>:8081` でサーバーにアクセスする必要があります。