スロップコードベンチ 10/2026 – オパス 5.5、アストラが総合優勝、xhigh は有害と評価される

2026/10/16 4:09

スロップコードベンチ 10/2026 – オパス 5.5、アストラが総合優勝、xhigh は有害と評価される

RSS: https://news.ycombinator.com/rss

要約▶

日本語訳:

日付: 2026年10月15日 | 作成者: Dex Horthy
GPT-6 Astra は、直近で記録した最も高い厳格な合格率である 16.3% を達成し、GPT-5.5 の 5 月のベンチマークスコア(14.8%)を上回りました。これは、要件が進化しても既存のコード挙動を維持する能力に顕著な改善がもたらされたことを示しています。しかし、このトップクラスのモデルですら最終チェックポイントにおいて全てのテスト対象機能を維持することに苦しみ、AI エージェントにとってレガシーシステムをクリーンに保つことは依然として大きな課題であることが示されました。今回のベンチマークは、有効な比較を確保するために小さなサンプルではなく 36 の問題に対する全評価を実行するという手法に基づいています。特に、評価労力を増やすことはコストを最大 4 倍に引き上げる一方で、合格率の一貫した向上には至っていません。本レポートでは、2026 年第 4 四半期のこれらの結果を earlier(2026年5月)のベンチマークと比較しています。今後を見据えて、業界は評価用に小さなデータサブセットを使用するアプローチから転換し、Opus や Astra のような先進モデルによって新たに生成されたパターンの処理に対応できるようリンティングツールを更新する必要があります。また、ユーザーは、コストが低い GPT-6.1 Medium モデルが、厳格なコード維持におけるプレミアムリーダーと同等のパフォーマンスを発揮することを認識しておく必要があります。組織は、高コスト・高労力設定によって得られるコード品質への不確かな利益を慎重に検討し、それらのコストとのバランスを取る必要があります。

本文

スロップコードベンチマーク (SlopCodeBench) 更新レポート(2026 年 10 月) - Opus 5.5 と Astra のアップデート

日付: 2026 年 10 月 15 日
著者: Dex Horthy、Gabe Orlanski

注記: 本稿は、スロップ (Slop) の第 4 四半期に関するレポートの第 I 部です。 第 II 部では、Slop パターン分析と定性的な考察が公開されます。

概要

ベンチマーク結果のハイライト

  • 過去比較: 5 月時点の
    gpt-5.5
    は厳密な通過率(strict pass rate)で**14.8%**を記録。
  • 最新最高成績: 今回のキャンペーンでは
    **gpt-6 Astra**
    が最高得点を記録し、厳密な通過率は**16.3%**となりました。
  • 測定指標の定義:
    • 厳密な通過率 (Strict): 全てのチェックポイントにおいて、すべてのテストケース(回帰テストを含む)をクリアした割合。
    • コア通過率 (Core): Core カテゴリ内のすべてのテストがパスした割合(回帰テストは含まない)。

テスト対象モデル一覧

  • Opus 5.5
  • Fable 5.1
  • SOL 6 および 6.1
  • Astra
  • GLM 5.3

パフォーマンス範囲:

  • 厳密な通過率: 12.2% 〜 16.3%
  • コア通過率: 65.8% 〜 74.0%

Medium(中規模)vs XHigh(超多資源)の意外な結果

  • いくつかの新型モデルにおいて、「Medium」モードが「XHigh」モードよりも優れたパフォーマンスを発揮しました。
  • コスト効率:
    • Opus 5.5 は、Medium モードでのパフォーマンスが XHigh を上回りました。
    • 完全なペアにおいて、XHigh のコストは Medium の2.11 倍〜4.22 倍に及びます。

スロップコードベンチマーク (SCB) の仕組み

ベンチマークの概要

  • プロセス: コーディングエージェントに対し、問題を一連の段階で提示し、新たな要件に合わせて既存のコードを変更させます。
  • 評価基準: 後期のチェックポイントでは、新しい振る舞いと古い振る舞いの双方がテストされます。
  • 哲学: 「要件が曖昧でありかつ進化していく」ソフトウェア開発の実態を忠実に再現します。

再現手順 (Reproducibility)

結果を再現するための環境設定:

  • カタログ: ピinned (固定化) された
    v1.0
    カタログの使用。
  • プロンプト: 標準の「just-solve」プロンプトの使用。
  • ランダムシード:
    42
    の設定。
  • ランナー: Any-case ランナーのパスポリシーの利用。
  • 環境: Python 3.12 と uv を搭載した Docker 環境。

仕組みの詳細:

  • モデルと努力量 (Effort) の各組み合わせについて一度ずつ実行しました。
  • チェックポイントは前回の結果を基盤とし、問題数に依存してチェックポイント数は異なります。
  • チェックポイント数は異なっても、それぞれの通過率は同程度の重みを有します(チェックポイント数の多い問題はより大きな影響力を持ちます)。

コア通過率 vs. 厳密な通過率

定義の違い

指標条件
Strict (厳密)すべてのテストカテゴリ(回帰テストを含む)がパスすること。
Core (コア)空でない Core カテゴリ内の全てのテストがパスすること。
(例: チェックポイント 2 で失敗しても、後のチェックポイントで Core パスを獲得することはできません)

統計概要 (サマリストティスティクス)

  • 厳密な通過: 196 チェックポイント中、24〜32 チェックポイント。
  • コアな通過: 196 チェックポイント中、129〜145 チェックポイント。

完全キャンペーンの結果一覧

モデル比較表

モデル厳密な通過数 (32/196)厳密な通過率コア通過率推定コスト
GPT-6 Astra XHigh3216.33%69.39%$758.62
GPT-6 SOL Medium3015.31%67.86%$245.69
GPT-6 Astra Medium2914.80%66.33%$261.05
GPT-6.1 SOL Medium2914.80%65.82%$178.51
Opus 5.5 Medium2814.29%73.98%$193.47
GPT-5.6 SOL XHigh2814.29%70.92%$753.30
Fable 5.1 XHigh2613.27%72.45%$1,550.07
GPT-6 SOL XHigh2613.27%68.37%$517.32
Opus 5.5 XHigh2512.76%71.94%$817.04
GLM 5.3 XHigh2412.24%66.33%$365.13

重要な知見

  • Astra の優勢:
    GPT-6 Astra XHigh
    が最も高い厳密な通過数(32)を記録しましたが、
    SOL 6.1 Medium
    との差はわずか2 チェックポイントです。
  • Opus の強み:
    Opus 5.5
    はコア成功率で首位(145/196)ですが、厳密なパス数は 28 でやや低めです。

主要な洞察: Astra XHigh が最も高い厳密な通過数 (32) を誇りますが、Opus 5.5 はコア通過率で首位に立っています。


努力量と成果の関係

結論:コストの増大は必ずしも結果向上につながらない

  • 傾向: すべてのペアにおいて XHigh(超多資源)はコストがかかりますが、厳密な成功数は Astra を除きほとんど向上していません。
  • 限界: これらの単一の実行では、努力量自体が原因であることを完全に証明することは困難です(ランとラン間の変動の影響を特定できないため)。

モデル比較:Medium vs. XHigh (変化)

モデル厳密: Medium → XHigh (変化)コア: Medium → XHigh (変化)推定コスト倍率
Opus 5.528 → 25 (-3)145 → 141 (-4)4.22 倍
GPT-6 SOL30 → 26 (-4)133 → 134 (+1)2.11 倍
GPT-6 Astra29 → 32 (+3)130 → 136 (+6)2.91 倍

コストパフォーマンスの分析

  • 最も安価で優秀:
    GPT-6.1 Medium
    は記録されたコストが最低 ($178.51) で、Astra Medium と同数の厳密な通過数 (29) を誇ります。
  • 非効率な例:
    Fable 5.1 XHigh
    の見積もりコストは約8.68 倍に達しましたが、厳密な通過数は 3 つ少なくなっています。
  • 解釈: 「より多くの思考プロセスがコーディングを損なう」という証明ではなく、「努力量を投入しても厳密なパス数を信頼できる手段として購入できなかった」結果です。

最終コードの品質

最終チェックポイントサマリー

チェックポイントの成功は、動作するプログラムの存在を保証するものではありません。ここでは最後のチェックポイントのみがカウントされ、失敗したテストケースはバグではなく「スキップ」として別扱いになります。

モデル厳密な最終チェックポイント (36 中)最終的に失敗したテストケース数そのうち回帰に失敗したもの
GPT-6 Astra Medium11,7471,516
GPT-6 SOL XHigh11,6511,366
Opus 5.5 Medium02,5082,206
Fable 5.1 XHigh12,4632,126
GPT-6 SOL Medium12,8312,479
Opus 5.5 XHigh12,4462,123
GLM 5.3 XHigh12,7482,311

注記:

  • GPT-6 Astra Medium
    は最終チェックポイントにおいて厳密なパスを完璧に達成(失敗 0)しました。
  • Opus 5.5 Medium
    は最後のチェックポイントで厳密なパス 0、かつ多くのテストケースで失敗しました。

コード品質に関する発見:曖昧さ (Blurry)

スロップコードの定義と測定方針

  • 問題点: モデルは作業中に大量のジャンクコードやスクラッチコードを残していました。
  • 判断基準: 「テスト、スクラッチコード、生成されたコピー」などはメインプログラムではないため、自動的にパス対象にはしません。
  • 除外リスト: インストールパッケージ、仮想環境、キャッシュフォルダ(
    _work
    ,
    tmp
    ,
    temp
    ,
    scratch
    ,
    generated
    ,
    build
    ,
    dist
    など)およびビルトインファイル(
    *_pb2.py
    など)を除外します。

「Slop パーセント」の計算方法

  • カバレッジ: スロップパターンと反復コードを検出フラグを立てたソースラインの割合。
  • カウント方式: 複数のチェックでフラグが立った場合でも、各行は一度だけカウントされます。
  • 重み付け: フラグされたライン数とソースライン数を合計し、より大きなプログラムほど重みを増やしてパーセンテージを求めます。

主要な観察事項

  1. Opus のジレンマ (複雑性 vs クリーンさ)

    • Opus XHigh
      はスロップパーセントが最も低く (77.75%) 、Medium では 94.25% です。
    • しかし、Opus Medium がより多くの厳密なパスを達成した一方、Opus XHigh のコードの方が約5 倍ほどクリーンでした(通過数:28 vs 25)。
    • 推測: 新しいモデルは新しい/異なるスロップパターンをもたらす可能性があります。
  2. Opus Medium の残滓

    • フィルタリング後も最も多くのコードを残しています。
    • _work
      ファイルのみを除外した際、41,265 ラインすべてが Opus Medium の最終
      dynamic_buffer
      コードでした。
    • 総ソースライン数は 216,881 から 175,616 に減少し、スロップ存在率は 92.90% に低下しました。
  3. 複雑性

    • 平均複雑性は
      Fable
      (3.57) で最も低く、
      GPT-6 SOL Medium
      (11.70) で最高でした。
    • ヘルパー関数を増やすと複雑性は下がるものの、それが必ずコードの変更しやすさや品質向上につながらないことを示唆します。

補足: 出力のより定性的な側面については、第 II 部にて Gabe の詳細な考察が共有されます。


私の結論

現在の状況と課題

  • 主要な困難: エージェントはメインの振る舞いを正しく理解することはできても、要件変化に伴うすべてのテストされた振る舞いを維持するのは依然として難しいです。
  • 進捗の鈍化: コードベース維持能力は向上していますが(5 月からの**14.8%から 9 月の16.3%**へ)、誰も信じるほど早く進化していません。

結論: 今後しばらくの間、スロップコードへの対策を継続してライトを点灯させる必要があると判断します。

同じ日のほかのニュース

一覧に戻る →

2026/10/21 3:29

許認可付きシムシティ

## Japanese Translation: 「Permit Pending」は、プレイヤーの役割を全能な計画者から市町村行政の実態に直面する脆弱な選出された職吏へと転換させることで、都市シミュレーションを再定義します。明確な勝利条件を持つ従来のゲームとは異なり、このサンドボックス体験は市民が市長を罷免するまで無限に続き、成功の鍵はインフラを整備することのみならず、複雑な官僚主義と政治的課題に対応して生き延びるかに依存することが強調されています。すべての建設プロジェクトは必要な審議会の招集、法的レビュー、さらには潜在的な訴訟を引き起こし、霧などに関する懸念を抱える住宅所有者、業界団体、環境保護主義者からの自然な反対を誘発します。プレイヤーは 4 年ごとの再選に直面する 7 議席の評議会において多数派を維持するため、公聴会で譲歩を行わなければなりません。有権者 turnout が高いグループは時間とともに過剰な影響力を行使するため、変動する政治情勢への適応が求められます。ヒートマップなどの診断ツールにより住民の人口統計が可視化され、特定の政策がなぜ反発やゲーム内の新聞「The Gazette」で報じられたスキャンダルへと至るのかを説明します。いくつかの法的訴訟は市長の任期を超えて継続することもでき、インフラストラクチャに関する決定は土地価格、家賃、雇用、税金、サービスにわたって実質的な経済における予期せぬ結果を生み出します。ブラウザベースのサンドボックスであり勝利画面やキャンペーンモードを備えず、最初の訪問後にはオフラインで動作し、プレイヤーは村として新たなスタートを切るか、他人の都市から既存の問題を引き継ぐことができます。

2026/10/21 7:21

連邦当局は、ランサム交渉担当者による ShinyHunters の金銭要求サイト運営を疑っている

## Japanese Translation: # 結論: 調査は驚くべき事実を明らかにしており、主要なランサムウェア集団「ShinyHunters」が、その伸縮サイトの管理を担当する米国の企業やカナダの企業のトップ経営者から直接的な支援を受けていることが判明した。従来の助言とは異なり、これらの仲介人は積極的に交渉を促進し、場合によっては被害者よりも先に機密データの窃取の詳細を知っていることもある。あるカナダの経営者は、脅迫される前に政府機関のファイルが盗まれていたことをFBIに報告しなかった。この深い協力関係は2019年以来進化しており、殺人依頼計画を含む計画や、「Rey」のような現在の指導者を「Ghostbyte」であるDaniel Tobokなどの以前の人物と結びつけるものも含まれている。 このスキャンダルは業界内で重大な利益相反の問題を浮き彫りにしている:ランソムの一部割合を受け取る仲介人は、攻撃を止めるのではなく、結果としてより高い支払いを促すように無意識に動機付けられる可能性がある。起訴はEdward Dubrovskyのような個人や未起訴の米国コンサルタントを対象としており、企業の過失か積極的な共犯が深刻な法的結果をもたらすことを示している。当局は被害者にランソムの支払いを行わないよう明確に警告しており、データは通常二次的な伸縮のために利用可能であり続けるためである。最終的に、この事件は以前会社を支援していた交渉サービスに対する信頼を破壊しており、一部のサイバー犯罪ネットワークが効果的に動作するためには内部の経営者への依存が不可欠であることを証明している。 ## Text to translate: Summary: A disturbing investigation reveals that major ransomware group ShinyHunters receives direct support from high-level executives at U.S. and Canadian firms who manage its extortion websites. Unlike traditional advice, these intermediaries actively facilitate negotiations, sometimes knowing sensitive data theft details before the victims do. One Canadian executive failed to alert the FBI regarding stolen agency files prior to their threatened release. This deep collaboration has evolved since 2019, involving plans for murder-for-hire and linking current leaders like "Rey" to former figures such as Daniel Tobok ("Ghostbyte"). The scandal highlights a critical conflict of interest within the industry: negotiators charging percentages of ransoms may inadvertently incentivize higher payments rather than stopping attacks. Prosecutions are now focusing on individuals like Edward Dubrovsky and uncharged U.S. consultants, demonstrating that corporate negligence or active collusion carries severe legal consequences. Authorities explicitly advise victims against paying ransoms, as data often remains accessible for secondary extortion. Ultimately, this case destroys trust in negotiation services that previously assisted companies, proving that some cybercriminal networks rely entirely on insider executives to operate effectively.

2026/10/20 18:08

DeepInfer:DeepSeek モデル向けの高性能推論フレームワーク

## Japanese Translation: DeepInfer は、NVIDIA SM100 GPU および Huawei Ascend 950 NPU 上でスケールサービング能力を備え、DeepSeek-V4.1-Flash モデルの DeepSeek の本番サービスを支えるオープンソースの高パフォーマンス推論フレームワークです。主に vLLM に構築され、SGLang および TensorRT-LLM を念頭に置いて設計されています。最適化されたカーネル(FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang)と、Attention DP、バランスの取れた CP、MoE EP+EPLB、DSpark、信頼度に基づく検証、SWA 有界再生非同期スケジューリング、バッチ不変推論、決定論的サンプリング、構造化出力(regex/JSON スキーマ/EBNF)を含む高度な並列化戦略を支援します。 コア機能は環境変数経由で設定可能であり、DEEPINFER_ENABLE_MTP_VARLEN=1 で DSpark/検証を有効化し、DEEPINFER_USE_NEXTN_DECODE(デフォルト:5)で最大ドラフト長を制御します。デフォルトの V4.1 設定に対しては、DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact と DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 でデコーダー SWA 有界再生非同期スケジューリングを設定します。デフォルトで CPU バッチスケジューリングとデバイス実行のオーバーラップを可能にするため、非同期スケジューリングを有効化し、NVIDIA 上で DEEPINFER_BATCH_INVARIANT=1 でバッチ構成間での同等の結果を実現するバッチ不変推論を活性化します。DEEPINFER_BATCH_INVARIANT=1、DEEPINFER_ENABLE_MTP_VARLEN=0、SamplingParams の固定 seq_seed を使用することで NVIDIA 上で決定論的サンプリングを実現し、SamplingParams に so_args={"schema_type": ..., "schema": ...} を渡すことで生成を regex/JSON スキーマ/EBNF に制限します。 完全な本番環境のセットアップには、専用の KV キャッシュシステムの統合、 disaggregated 形式での prefill/decode 操作の実施、およびデータ並列レプリカ間での負荷分散(初回リリースには含まれていない)が最終的には必要となる可能性があります。ユーザーは Linux、GCC ≥13.0、Python 3.12、CUDA 13(NVIDIA)または CANN 9.2(Ascend)、そして空の Python 3.12 環境の作成、DEEPINFER_ACCELERATOR=nvidia または ascend のエクスポート、および ./build.sh の実行からすぐに始めることができます。オフライン推論はデフォルトで deepseek-ai/DeepSeek-V4.1-Flash-1017 チェックポイントを使用し、初回実行時に Hugging Face キャッシュにダウンロードするか、DEEPINFER_HF_MODEL_DIR を介してオーバーライドします。例コマンドは python examples/offline_inference.py です。パフォーマンスベンチマークは 1 スケールアップドメイン内での prefill に 4 SM100 GPU、decode に 64 を使用して測定されました(再現は run_sweep.sh で可能;詳細は eval/README.md を参照)。このフレームワークは Apache License 2.0 の元でリリースされており、GitHub(https://github.com/deepseek-ai/DeepInfer)上で DeepSeek-AI(2026)に帰属しています。