LLM のマージレートは、思ったほど向上していないのでしょうか？

Japanese Translation:

記事は、LLM（大規模言語モデル）のプログラミング能力が過去1年間で進歩していないと主張し、その根拠としてマージ率の証拠を挙げています。metr の研究では、2 つの成功基準「すべてのテストに合格する」と「メンテナに承認される」を比較しています。より厳しい基準にするとパフォーマンスが低下し、50 % 成功までの時間が 50 分からわずか 8 分に縮小します。Fisher はプロットを単純に目視で判断することに警告しており、著者は留一除外交差検証（leave‑one‑out cross‑validation）を適用し、3 つのモデルを評価しました：穏やかな上向き傾斜（Brier = 0.0129）、分段定数モデル（Brier = 0.0117）、および定数関数（Brier = 0.0100）。定数モデルがデータに最も適合し、線形とロジスティックの傾向を上回ります—特にプロットの後半では 2 つの定率モデルが支配しています。マージ率プロットの視覚的検査は、2025 年初頭以降改善がないことを確認し、Sonnet 4.5 後に測定されたマージ率データが欠如していたという以前の能力ステップの主張と矛盾します。したがって、現在のところ最近の能力跳躍の証拠はなく、将来の研究では進歩を主張する前に具体的なマージ率メトリクスを提供する必要があります。LLM のパフォーマンスが停滞している場合、自動コード生成に依存する開発者や組織は、明確な改善が示されるまで注意を払うべきです。

Text to translate

(incorporating missing details for completeness):**

The article argues that LLM programming abilities have not advanced over the past year, citing merge‑rate evidence. A study by metr compared two success criteria: “passes all tests” versus “would get approved by the maintainer.” The stricter criterion drops performance, shrinking the 50 % success horizon from 50 minutes to just 8 minutes. Fisher warns against simply eyeballing plots; the author therefore applies leave‑one‑out cross‑validation to evaluate three models: a gentle upward slope (Brier = 0.0129), a piecewise constant model (Brier = 0.0117), and a constant function (Brier = 0.0100). The constant model best fits the data, outperforming both linear and logistic trends—especially in the plot’s latter half where two constant‑rate models dominate. Visual inspection of merge‑rate plots confirms no improvement since early 2025, contradicting earlier claims of a capability step post‑Sonnet 4.5 that lacked measured merge‑rate data. Consequently, there is currently no evidence of a recent capability leap; future studies must provide concrete merge‑rate metrics before claiming progress. If LLM performance remains stagnant, developers and organizations relying on automated code generation should exercise caution until clear improvements are demonstrated.