← 2026-10-14 の一覧へ戻るホーム
Show HN: パルシモニー – 人工知能モデルが追加するコードの量を測定するためのオープンソースベンチマーク

2026/10/14 4:50

Show HN: パルシモニー – 人工知能モデルが追加するコードの量を測定するためのオープンソースベンチマーク

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

本テキストは、「Parsimony」という新しいベンチマークを紹介し、AI コーディングモデルを評価するために、単なる成功率やコストではなく、追加されるコードユニットのネット量を測定することを目的としています。既存の指標が成功優先で冗長性を無視するのに対し、Parsimony は効率性を重視してモデルをランク付けし、小規模なコードの変更が必ずしも優れた設計や可読性を意味しないことを強調しています。この指標は、文書を実行する必要なく、特定の Python コーディングユニット（ステートメント、関数呼び出し、比較演算子、識別子、リテラルなど）の数を数え、テスト、ドキュメント、生成されたファイルを除外することでパフォーマンスを算出します。ネットユニット量は、追加されたユニットから削除されたユニットを差し引いて計算され、モデルは解決したタスクにおける平均ネット追加ユニット量でランク付けされます（最も低い順）。別途、「平均ネット追加ユニット量」指標には失敗試行も含まれます。データは標準化されたエージェントである mini-SWE-agent を使用して SWE-bench Verified データセットからランキングを導き出しており、pass/fail の結果は再テストなしに SWE-bench によって公開されたデータから得られ、手法ではタスクコードにパッチを適用し、変更された各ファイルの両バージョンを解析します。以前のベンチマークでは、モデルに過度なまたは不要なコードを追加することを罰則として含めず、冗長な解決策が最終製品を膨らませながらも同様に効果的であるように見せていました。このギャップに対処するため、ユーザーは例となるファイルをダウンロードしてローカルで比較グラフを生成することで評価を展開でき、このモジュール的なアプローチによりコミュニティが Parsimony をより広範なコーディング評価に採用し、企業が真の能力と冗長性を区別できるようになります。したがって、組織はこれらのツールを使用する開発者向けのクリーナなソフトウェア保守要件を促進するため、ネットユニット追加量が低いモデルを好むように選択基準を調整する可能性があります。また、本テキストでは「より多くのコードを書く傾向があるモデルほど多くのタスクを解決する」という点も指摘しており、26 つ以上のモデルを含むボードにおける Spearman 相関係数は 0.33–0.60 です。さらに、すべてのモデルが同じエージェント（mini-SWE-agent）を使用するにもかかわらず、エージェント自体がどの程度のコードが書き込まれるかに影響を与えることも明記されています。

本文

パルシモニー（節制性）指標と SWE-bench ベンチマーク解説

既存ベンチマークの課題

従来の評価ベンチマークは以下の点に問題を抱えています。

  • 解決率とコストのみを測定している。
  • 余分なコードの増加分に対してペナルティを課さない。
  • その結果、長期にわたりコードベースの利用が困難になるリスクがある。

パルシモニー（節制性）とは

「パルシモニー」は、AI モデルが追加するコードの量を評価するための新たな指標です。

評価の計算方法

  • 基準データ: 既に公開されているベンチマークのパッチを使用。
  • カウント対象: シンプルな行数ではなく、「コーディング単位」として構文要素をカウントする。
    • ステートメント
    • 関数呼び出し
    • 比較演算
    • 識別子（変数名など）
    • リテラル値
  • 計算式:
    • コードの圧縮行為は評価対象外。
    • 削除されたコードから差し引かれる。

$$ \text{純粋な単位数} = \text{追加された単位数} - \text{削除された単位数} $$

グラフとリーダーボードの読み方

モデル比較グラフ

  • X 軸: タスクごとの解決数（Solved）
  • Y 軸: 平均的な純粋な追加単位数（Measured）

グラフの解釈ポイント

  • ランキング基準: モデルは、各タスクで解決した案件に対する**「平均的な純粋な追加単位数」**によってランク付けされ、最も少ない順に並べられています。
    • ※この数値には、失敗した試行も含まれます。
  • Solved（解決済み）の数値: 
    SWE-bench Verified
    の結果に基づいています。（テストの再実行は行われていません）
  • Measured: 測定可能な解決試行の数を示しています。

リーダーボードと手法の詳細

各パッチは対応するタスクのコードに適用され、以下のように解析・評価されます。

  • 解析対象: 変更されたすべてのファイルのバージョン双方を解析。
  • 実行操作: 一切行わない（静的解析のみ）。
  • 除外対象: テストケース、ドキュメント、生成されたファイル（測定するのは Python のみ）。
  • 結果の採用: 「Pass/Fail（合格・不合格）」は、SWE-bench が公開している結果をそのまま採用しています。

制限事項について

この指標には以下の重要な注意点があります。

  • 単位数の限界: コードサイズが小さいことだけが善きことではありません。
    • 単位数はサイズを表すものであり、可読性や設計の質を直接反映するものではありません。
  • 解決数との相関: より多くのコードを書くモデルほど、より多くのタスクを解決する傾向があります。
    • レーダーボード（26 つ以上のモデル）において、Spearman 相関係数は 0.33～0.60 の範囲で観測されています。
  • エージェントの影響: すべてのモデルが同一のエージェント (
    mini-SWE-agent
    ) を使用していますが、それでもエージェント自体がコードの書かれ方に影響を及ぼします。

独自ベンチマークの追加方法

他のベンチマークからコードサイズの数値をお持ちの場合は、以下の手順でチャートおよび表を追加できます。

  1. サンプルファイルをダウンロードする。
  2. 自らの結果を入力する。
  3. ブラウザ上でそのまま同じ形式のチャートと表を得られる。
    • ファイルはブラウザ内に保持されます。
    • フォーマットと共有方法については別途ご案内いたします。

オープンなデータ

  • オープンなベンチマーク JSON ファイルをご利用いただけます。

具体例：負の数値の有無を確認するケース

以下に示す両方の関数は、同様の結果を返しますが、コードの単位構成が異なります。

def has_negative(values):
    found = False
    for value in values:
        if value < 0:
            found = True
    return found

def has_negative(values):
    return any(value < 0 for value in values)

同じ日のほかのニュース

一覧に戻る →

2026/10/14 1:03

Gemini 4 アルゴン

## 日本語翻訳: 提供されたテキストには読み取れる情報が一切含まれておらず、有効な IT ニュースや事実に基づくコンテンツではなく完全に破損したバイナリデータから構成されています。そのため、意味のある要約ポイントを抽出したり、事実を検証したり、ファイル内で言及されている特定のユーザー、企業、業界を特定することは不可能です。入力データが読み取れないため、分析可能な過去の文脈、周辺の詳細、予測、将来の展望は存在しません。システムは明確にこの破損を、コンテンツに基づいて利害関係者の利益が影響を受けない主要な理由として特定しており、実際にはそのような影響を導き出すためのコンテンツ自体が存在しないためです。本質的に、データ構造が根本的に破綻しているため、過去の出来事、今後のシナリオ、業界の進展に関する洞察は一切得られません。一貫した物語や事実に基づいた論理的な順序がないため、この入力データを要約しようとするあらゆる試みは、正確なレポートではなく憶測に終わることになります。したがって、引き出せる唯一の事実的な結論は、ソース素材が明白なメッセージを伝達することに失敗しており、この特定のデータセットに対して標準的な分析手順を効果的に実行することが不可能であるということです。

2026/10/14 5:23

OpenAI のエンジニアが経営会議室への盗聴行為で逮捕される

## Japanese Translation: OpenAI のエンジニア、アブドゥラフマン・アルフォザンが、秘密のコミュニケーションに関する機密研究や政府との対談を盗聴するといった国家への脅威であると連邦検察官は説明する録画装置の設置未遂の罪で逮捕されました。この事件は、新たな長官のもとで FBI が AI イノベーションの保護を最優先とすることで知られる反諜報活動の大幅なエスカレーションを示しています。捜査当局は、制限された部屋に近い場所で彼を発見した監視映像や、配偶者から来たチャットボットの促し（隠蔽方法の詳細）を通じてアルフォザンの罪を解明しました。また、現場で見つかった留守置き状態の袋からは ID とともに 2 つ目の装置が回収され、内部ツールによる確認で彼は行動前に経営層の会議スケジュールを検索していたことも明らかになりました。これらの深刻な告発にもかかわらず、OpenAI は自社の AI モデルを用いて装置の出所を追跡し、アルフォザンが機密モデルの重み付けや顧客データにアクセスしたという証拠はないと発表しました。その結果、同社は FBI の捜査を進めるために即座に彼を解雇しました。通信盗聴装置の使用で有罪となった場合、アルフォザンは最高 5 年の実刑、多額の罰金、および保護観察を受ける可能性があります。次の法的ステップは、彼の身柄の状態を決定する 10 月 19 日の拘留聴聞会です。 ## Text to translate: The original summary is strong, concise, and clear. It successfully synthesizes a long list of bullet points into a coherent narrative without losing the main message or introducing inaccuracies. Therefore, no improvements are necessary. **Final Output:** ## Summary: OpenAI engineer Abdulrahman Alfozan was arrested on charges of attempting to install a recording device, an act federal prosecutors describe as a national security threat involving the interception of confidential communications about proprietary research and government talks. This incident marks a significant escalation in counterintelligence efforts, with the FBI prioritizing the protection of AI innovation under its new director. Investigators uncovered Alfozan's guilt through surveillance footage placing him near a restricted room and chatbot prompts from his spouse detailing how to hide such devices. Furthermore, an unattended bag found on-site contained a second device alongside his ID, while internal tools confirmed he researched executive meeting schedules before acting. Despite these severe allegations, OpenAI stated it used its own AI models to trace the device's origin and found no evidence that Alfozan accessed sensitive model weights or customer data. Consequently, the company immediately terminated him to facilitate the FBI's investigation. If convicted of using devices to intercept communications, Alfozan faces up to five years in prison, a substantial fine, and supervised release. His next legal step is an October 19 detention hearing to determine his custody status.

2026/10/14 4:11

Show HN: Guitoro、キーボードでストロミングできるバーチャルギター

## Japanese Translation: Guitoro は、オンライン上で利用可能な最も現実的で包括的な無料のバーチャルギターとして際立っています。ダウンロードやアカウント作成なしにブラウザですぐに演奏可能であり、一般的な合成音とは異なり、スチール弦アコースティックギター、ナイロン（クラシック）ギター、ソリッドボディ電気ギター、そして四弦ベースの 4 つのタイプにおいて高品質なリアル楽器録音を特徴としています。プラットフォームは、再生速度を調整できる強力な学習ツールを提供しており、音楽を 20% からフルテンポまでゆっくりさせながら、コード、ストローク、バックバンドを自動的に同期します。視覚的リアリズムは、発光する弦、振るピックアップアニメーション、指番号、バレー（フレットバー）、キャポを示すネックダイアグラムによって向上しています。ユーザーはキーボード（特定のコードゾーン）、マウス、タッチスクリーン、またはタブレットスワイプを通じて対話できます。広範なライブラリには 51 の曲とクラシック作品が含まれており、フルドラムスタイル 15 パターンの伴奏トラック、ベースライン 25 パターン、ストローク/ピッキングパターン 50 以上のパターンを含む完全なバックトラックスイートを備えています。包括的な学習機能は、ハマーオン、プルオフ、ベンディング、ビブラート、パームミュート、チョーキングなどの上級テクニックを、視覚的および音声フィードバック付きに教えます。さらに、ユーザーはドロップ D とオープンチューニングをサポートするマイクチューナーにアクセスでき、ディストーションやリバーブなどのアンプ/FX エフェクトを利用でき、さまざまなキーで最大 10 分間のアレンジを録音し、直接エクスポートする機能を持っています。