← 2026-10-17 の一覧へ戻るホーム
AI ベンチマークでカバーされていない業務に米国の労働時間の 90％が使われている

2026/10/17 2:08

AI ベンチマークでカバーされていない業務に米国の労働時間の 90％が使われている

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

現在の AI ベンチマークは実際の能力を正確に測定できておらず、その原因は対象となる業務が現実の業務のごく一部に過ぎることにあります。重要な発見として、米国の労働時間の 90% は既存の評価ではほとんどカバーされておらず、実質的な職業活動の領域を占めているという事実があります。この巨大なギャップが、大規模言語モデルが日常的な業務においてどのように機能するかを真に評価することを阻んでいます。この問題の根源には体系的なバイアスがあり、ベンチマークは高収入の職種（主に大規模労働市場におけるもの）に偏って優遇されるとともに、より重要度が低いものや物理的現実世界に関連するタスクは無視されています。具体的には、重要性が最も低いと評価されたタスクは、評価データセットに含まれる可能性が最多の場合でも 10 分の 1 に過ぎません。さらに、約 63% の職種は物理的な活動を含んでおり、これらは現状の標準的なデジタルテストでは捉えることが困難です。研究者たちは、単純な自動化研究の結果を複雑な人間の拡張シナリオに一般化する前に、統計的検出力不足や難易度のばらつきといった障壁を克服する必要があります。初期ベンチマークの選択基準や「経済的現実性」のような基準に関するこれらのバイアスを是正せずにいる場合、業界の評価は依然として労働時間の大多数を見落とし続けることになり、すべてのセクターにおける AI リディネスの不完全で誤解を招く画像を生み出しかねません。

本文

ベンチマーク地図：米国労働市場の AI 網羅状況と分析

概要

本レポートは、米国労働市場を構成する O*NET の 923 の職業と、それらをカバーする既存の AI ベンチマークの関係を可視化した「ベンチマーク地図」について解説します。

  • 対象: O*NET の 923 職種（22 の職業グループ）。
  • 着色基準: 各業務における初期 AI ベンチマークリストの網羅率（濃淡で表現）。
  • マッピング: 単一のベンチマークプロンプトは、複数の O*NET タスクに対応し得ます。

カバレッジ（網羅範囲）の実態

既存のベンチマークは「ランダム」ではなく、AI コミュニティが大規模な労働市場から特定の領域に着手していることを示しています。

  • 22 職業グループ: グループごとを展開して詳細を確認可能です。
  • 少なくとも 5 つのプロンプトでカバーされる職種:
    • 923 職種中、208 職種のみが業務に対して少なくとも 5 つのベンチマークプロンプトを持ちます。
    • 22 の職業グループのうち、6 グループはこの条件を満たす職種を含んでいません（未網羅）。
  • カバレッジなし（未網羅）:
    • 調査結果によると、米国労働時間の**90%**は、既存ベンチマークでほとんどない全く網羅されていない業務に費やされています。
    • これにより、実際にアメリカ人が行っている仕事において AI モデルが有する真の能力を把握するのが極めて困難です。

ベンチマークインデックスの詳細

各職業の給与総額に対するベンチマークカバレッジを可視化した指標です。

  • 定義: 特定の「AI 曝露タグ」を持つタスクが、特定の給与水準の職業に属する場合、少なくとも 5 つのプロンプトでカバーされる推定確率。
  • データソース:
    • AI 曝露タグ：Eloundou ら（2023）より得た二値データ。
    • 職業給与総額: BLS の平均賃金と従事者数に基づき、週 40 時間労働を前提とした推計値。
  • 分析方法: AI 曝露および対数化された職業給与総額を説明変数とするタスクレベルのロジスティック回帰分析。
  • 誤差棒: 95% デルタ法信頼区間（職業グループレベルでクラスタリングされた標準誤に基づく）。

カバレッジの偏りと課題

  • 弁護士 vs 法的書記:
    • AI に曝されている「弁護士（lawyers）」のタスクは広範にカバーされています。
    • 同様に AI に曝されている「法的書記（legal secretaries）」や「裁判所事務官（court clerks）」の O*NET タスクはほとんどカバーされていません。
  • 小口かつ中所得者のカバレッジ不足:
    • 知識労働者の「長尾部」における網羅不足が目立ちます。
    • モデル能力を経済全体にわたって網羅するにつれ、理解のギャップを浮き彫りにし埋め合わせる必要があります。

方法論の要約

経済をセクター・職業・タスクに分解するために、米国労働省のO*NET 分類体系を利用しました。

  • O*NET は米国の労働力を 923 の職業に区分けし、各職業について包括的な「業務（tasks）」の一覧を提供しています。
  • 全職業を合わせたタスク数は合計18,797。

例：弁護士に関連付けられる 6 つの O*NET タスク

O*NET は弁護士に関連して以下の 6 つの具体的なタスクを定義します。

  1. 法的文書（遺言書、契約書など）の準備・起草・レビュー。
  2. 事業取引や訴訟についてクライアントへの助言。
  3. 法律、判決、規則の解釈。
  4. 法的先例を用いた事件結果の分析。
  5. 訴訟における証拠提示と被告擁護/起訴。
  6. 法的アシスタントの監督。

ベンチマーク選定基準

29 つの厳選されたベンチマークリスト（完全なリストは「ベンチマークインデックス」タブ参照）を用いて測定しました。選定の優先順位は以下の通りです。

  • 公開性: 少なくとも 25 つの公開済みタスクを有すること。Mercor の APEX ベンチマーク（保持プロンプト含む）も O*NET タスクへマッピング可能として取り入れています。
  • 代理的タスク（Agentic Tasks）: モデルへの回答ではなく、代理的なタスクの実行を問うもののみを包含。
  • 経済的リアリズム: 現実世界の企業で人間（またはエージェント）から頻繁に求められるタスクと類似していること。経済的に価値あるタスクを優先。
  • 経済的多様性: ソフトウェアエンジニアリングや研究タスクの過剰代表を防ぐため、職業グループあたりの包含数を制限。
  • バランスの取れた難易度: フロンティアモデルによりまだ飽和していないベンチマークを選定。

検証プロセス (Wang らによる作業)

  1. LLM ジュッジを使用して、各プロンプトに対応する O*NET タスクを tagging（ラベル付け）させます。
  2. Mercor APEX ベンチマークのサブセットについて、人間の専門家によるタグと比較し、LLM の tagging を検証しています。
  3. カバー基準: 「ベンチマーク地図」では、O*NET タスクが 29 のベンチマークからの少なくとも5 つのプロンプトにマッピングされた場合のみ「カバーされている」とみなします。

カバレッジの推計

  • 各 O*NET タスクの労働時間割合（Hatgis-Kessell らによる LLM 由来見積もり）と、当社のカバレッジ見積もりを組み合わせます。
  • より詳細な方法論については「方法論」タブをご参照ください。

カバレッジのパターンと限界点

主要なパターン

既存のインデックスは経済全体に対して**「比較的深く狭いカバレッジ」**しか持っておらず、以下のような偏りが見られます。

  • AI 曝露への過集中:
    • 「曝露（exposed）」と評価されたタスクが、「未曝露（unexposed）」タスクよりもベンチマーク上で約6 倍の頻度で代表されています。
    • 自然な結果として、ベンチマークはソフトウェアエンジニアリングや金融分析で満ち、トラック運転やガスプラント操業では稀です。
  • 給与総額による偏り:
    • AI 曝露をコントロールしても、給与総額が大きい職業からの O*NET タスクが有意に過大代表されています。
  • タスク重要性による偏り:
    • O*NET の「タスクの重要性」は別の予測因子です（専門家の評価 1〜5）。
    • 最も重要と評価されたタスクは、最も重要でないものと比べて約6〜10 倍の頻度でベンチマーク上で代表されています。

結論: リソース配分は合理的ですが、パターンが固定化すると経済的に価値のあるモデル能力に関する「盲点」を生じさせます。

限界点と課題

  • サンプルの代表性:
    • 結果は選定した最初の 29 つのベンチマークに基づいています。広範な未飽和な代理的経済ベンチマークの宇宙に対する完全なサンプルではありません。
    • あらゆる不完全なリストは、経済カバレッジ見積もりを**下方バイアス（低く見積もる）**させます。
  • 多様性と正確性のトレードオフ:
    • 職業グループあたりの包含数を制限することでカバレッジの幅を広げた結果、ソフトウェアエンジニアリングなど「最もベンチマーク化されたグループ」の見積もりが下方バイアスとなっています。
    • しかし、これにより経済全体のベンチマークカバレッジ見積もりをより正確にしようとしました。
  • 飽和したベンチマークのリスク:
    • 未飽和なベンチマークを選定することで過小評価するリスクと、飽和ベンチマークを含めることで過大評価するリスクがあります。
    • 現在の判断：飽和ベンチマーク含めによるバイアスの方が除去しない場合より大きいと考えられますが、両方とも理想ではありません。
  • 主観性:
    • 「経済的リアリズム」などの基準は形式化が難しく、選択に主観が含まれます。

貴殿の仕事において AI がどれほど優れているか？

企業選定や政策立案、キャリア設計のために、職業単位でのモデル能力測定が不可欠ですが、これは解決が難しい問題です。

単純平均の問題

  • 全てのベンチマークプロンプトを等しく平均化すると、「ベンチマーク地図」が示すような偏りを反映します。
  • 頻繁にベンチマーク化されたタスクに対して過大なる重みが付与され、現実の経済パフォーマンスを歪めます。

O*NET による重み付けアプローチ

  • 手法: ONET 分類に基づき、各 ONET タスクを等しく重み付けしてモデルパフォーマンスを平均化します。
  • 目的: 現実の経済パフォーマンスに近い数字を得るため。
  • 実証（Mercor の APEX ベンチマーク）:
    • 対象：投資銀行・法律・会計・ソフトウェアエンジニアリングの 4 職業。
    • 結果：O*NET 重み付けスコアと単純平均スコアは一般的に非常に類似しています（差は数%以内）。

APEX-1 + APEX-Agents · O*NET：金融および投資アナリストの例

モデルスコア（すべてのプロンプトが等しくカウント）スコア（すべての O*NET タスクが等しくカウント）
Claude Fable 5.1 Max69.8%68.5%
Claude Opus 5.5 Max73.3%70.2%
Claude Opus 5 Max65.5%63.0%
GPT-6 Astra Max65.5%61.8%
GPT-5.6 Sol Max66.8%65.6%
Grok 4.7 xHigh58.1%58.7%
Gemini 3.8 Flash High66.9%67.5%
Kimi K3 Max59.4%59.9%
DeepSeek V4.1 Flash Max56.5%58.4%
  • グラフの説明:
    • 濃いバー: プロンプトスコアの単純平均。
    • 薄いバー: ONET タスクごとにソートし、各タスク内のモデルスコアを平均化してから、ONET タスクごとにもっとも重み付けしたスコア。
  • 結論: この場合では ONET による重み付けはほとんど変化をもたらしません。これは対象とする ONET タスク（約 3/1 しか含まれていない）でパフォーマンスが類似しているためです。

今後の課題と障壁

O*NET タスクの約 3 分の 2 は現在のベンチマークセットに含まれておりません。高品質な職業固有スコアを得るためには以下の問題解決が必要です。

  1. 低い統計的パワー（statistical power）
    • O*NET 職業・タスクごとのベンチマークデータが少ないため、見積もりが非力で、少数の低品質項目でスコアが歪められやすい。
  2. タスクの変化する難易度と忠実度
    • ベンチマークには「飽和（古く、単純な環境向け）」と「未解決」のものがあります。
    • 採点方法の不透明さや、Reward Hacking のリスクに対して明確な品質重み付けがない。
  3. 拡張（augmentation）の一般化
    • 現在の evals は AI 自動化を測定しますが、現実には人間との共同作業です。
    • 「AI が人間の生産性をどのように拡大するか」を測定するメソドロジーがまだ確立されていません（elusives）。
  4. 物理的タスクの測定の欠如
    • 約 63% の仕事は物理的な世界要素を含むため、現在のデジタルベンチマークでは計測困難。
    • ロボティクス発展に伴い、物理的タスクベンチマークへの需要が高まると予想されます。

APEX ニュースレター

フロンティア AI のパフォーマンスに関する最新情報、直接あなたのインボックスへ。新しいベンチマーク、リーダーボードの変動、および APEX チームからの研究結果をお届けします。

同じ日のほかのニュース

一覧に戻る →

2026/10/17 4:47

FLUX 3 イメージ・クライン

## Japanese Translation: Black Forest Labs は、テキストから画像への変換、ピクセルレベルの編集、および複数参照（最大 10 件）を用いた生成を実現するために設計された、56 億パラメータを有する画期的なオープンウェイトモデル「FLUX 3 Image Klein」を公開しました。内部評価においてオープンモデルで首位にランク付けされ、Ideogram V4.5 や FLUX.2 よりも少ない 38% パラメータ数ながら、消費ハードウェア上で優れた効率性を発揮し、より大規模なモデルを上回る性能を発揮しています。本モデルは、微調整用のベースモデル（〜11.2 GB VRAM[BF16]または 5.6 GB[FP8]を必要とします）と、低遅延生成に最適化されたステップ蒸留版の 2 つのパッケージを提供します。NVIDIA との提携を活用し、ComfyUI または Diffusers を通じて RTX シリーズの GeForce GPU（VRAM 8GB 以上でも動作可能）上で FP8、INT8、NVFP4 のビルドを実行できるように対応しています。生成速度は印象的で、RTX 5090 では約 4 秒で 1MP の画像を、RTX 4070 では 9 秒未満で生成でき、将来のハードウェアではサブ秒単位の生成が可能になる可能性があります。FLUX Kommunity License の元、年間の収益が 500 万ドル未満の企業には商用利用が無料で許可され、ただし出典表示は必要です。今後の計画として、プロンプトアップサンプリングなど高度なタスク向けの有料 API を提供する予定です。主要ライブラリからの Day-One サポートと、Cinder によるセーフティレッドチームingiの実施により、このリリースは個人クリエイターおよび中小企業にとって高品位の視覚制作ツールの民主化を推進します。

2026/10/17 3:55

Claude が ECDSA 曲線の由来を明らかにする

## Japanese 翻訳： 2026 年 10 月、Anthropic の研究者 John Wood、Henry de Valence、Ava Howell および他が、NIST の素数曲線（FIPS 186-2）に対して長年にわたり専門家を困惑させてきた ECDSA 曲線のシードの起源について調査しました。これらのシードは、NSA が 2000 年に提供したパラメータです。ユーモアに満ちた理論では、Jerry Solinas が「Bob と Jerry に昇給を」といったパスフレーズからこれらを生み出したと提案されていましたが、Claude の高度な手法（LLL ベースの基底削減を含む）による分析により、シードはランダムなハッシュではなく、素数曲線については 1997 年 5 月と 1998 年 4 月の間の Unix タイムスタンプで種付けされた C ライブラリの `lrand48` 関数の出力であり、バイナリ曲線については 1984 年 2 月かその半分としたタイムスタンプ（1998 年 4 月 17 日に対応）からの出力であることが明らかになりました。この手法は各候補あたり 20 バイトをサンプリングし（例：P-256 の場合は 1,842 回反復が必要）、さらに、6 つの曲線の基点 G は FreeLIP の RNG を特定のある整数シード（例：P-192 では 20,000）で使いながら生成されていることが判明しました。ただし、P-224、P-256、P-384、P-521 および一部のバイナリ曲線候補の基点についてはまだ説明されておらず、特に第 5 のバイナリのシード（B-163）は未解決のままです。これらのシードを見出すため、インターネット セキュリティ研究グループへの寄付を含む賞金として 36,864 ドルが設定されており、Jerry Solinas に追悼の称賛を与えるとともに、基礎的な暗号規格への透明性を向上させることを目的としています。

2026/10/17 3:32

ブレイクされたPS5で動作する Llama.cpp：コンソール上で GGUF モデルを任意にネイティブ実行可能

## Japanese Translation: PlayStation 5 は、クラウドサービスや追加のハードウェアを必要とせず、コンソール上で高度なプライベート AI モデルをローカルに動作させるようになり、特にファームウェア 7.00–13.60 を搭載したジャイブされた PS5 コンソールを対象としています。llama.cpp の改変版（Vulkan バックエンドおよび共有メモリを採用）を利用することで、RDNA 2 GPU 上で直接多様な人工知能アプリケーションを動作させるためにメモリおよびキャッシュの使用方法が最適化されています。このセットアップは etaHEN という特定のインストールペイロードを必要とし、既存のジャイブツールである kstuff-lite および ShadowMountPlus（推奨ツールには elfldr と ftpsrv が含まれる）と統合されます。アプリケーションインターフェースはデュアルショックコントローラーによる操作でアクセス可能であり、Home、Models、Console、API、Settings のセクションを含んでいます。ユーザーはすぐに画像分析や Gemma 4 および MiniCPM-V などの中級モデルに対するチャットコンプリートなどの強力な機能をアクセスできます。リアルタイムのパフォーマンス監視は `ps5-exporter` が担当しており、温度、消費電力、GPU、CPU ロードなどのメトリクスを表示します。アプリはロードされた GGUF モデルに対して利用可能なメモリの中で最长的なコンテキストと最適なキャッシュ適合を自動的に選択し、Hugging Face から内部ストレージ（M.2）または USB ドライブへのダウンロードによって管理できます。特に注目すべきは、小さなモデルが PS5 Slim ハードウェア上で最大 207 トークン/秒の驚異的な速度を実現しており、モデルサイズと量化に基づいて ~20～207 トークン/秒のパフォーマンス範囲があることです。今後の更新では、USB ドライブまたは内部ストレージからロードされる新しいファイルに対する自動管理メモリ割り当てが含まれる可能性が高いです。この進歩により、愛好家は専用の API エンドポイント（`/v1/systemone`）および標準チャット API を通じて Ollaya 駆動の Jev 様（Clef、OpenJev など）といった高度な意思決定モデルと直接相互作用できるようになり、ゲームコンソールのローカル AI パフォーマンスにおける大きな飛躍を達成しながらも、完全なプライバシーを保ち外部データ依存性を排除します。インストールには `PPSA99575` フォルダを `/data/homebrew` にコピーし、`http://<console>:8081` でサーバーにアクセスする必要があります。

AI ベンチマークでカバーされていない業務に米国の労働時間の 90％が使われている | そっか～ニュース