人工分析知能指数（Intelligence Index）Ver5.0.1 概要

人工分析知能指数（Artificial Analysis Intelligence Index）は、9 つの異なる評価指標を統合した総合スコアです。Ver5.0.1 には以下のベンチマークが含まれます。

• AA-Briefcase Ver1.1
• AutomationBench-AA
• Terminal-Bench 4.0
• FrontierCode 2.0
• AA-Omniscience Ver1.1
• GDP.pdf
• HLE-Diamond
• CritPt Ver2（ハードサブセット）
• Terminal-Bench-Science 0.1

基本情報とライセンス

• 公開 API の利用可否： 現時点で公開された API は存在しません。
• 詳細な手法： 各評価の構成や実行方法については「知能指数の手法」を参照してください。
• 重み付けデータの提供状況：
  • 「オープンウェイト（Open Weights）」または「固有技術（Proprietary）」です。
  • 商用利用が制限される場合は**「商用利用制限付き（Commercial Use Restricted）」**。
  • 商用利用が禁止されている場合は**「非商用（Non-commercial）」**として表示されます。

---

コストと性能の比較指標

各タスクあたりの加重平均コスト（USD）は、入力トークン、キャッシュヒット/ライト、推論、回答トークンの単価から算出され、それぞれの評価における知能指数の重みで掛け合わせて計算されます。

能力指数（Capability Indexes）

• 概要： モデルの特定の能力や業界でのパフォーマンスを測定します。
• 利用形態： 公開 API は存在しません。

---

個別評価項目の詳細

各評価項目の目的とスコアリング基準は以下の通りです。

評価項目	概要	スコアリング基準・特徴
AA-PersonalityBench	パーソナリティ評価	スコアは 1 から 100 のパーセンタイルランク。
Terminal-Bench	エージェント型科学研究/ソフトウェア開発	ターミナル上でのワークフロー、オープンソースリポジトリにおけるエンジニアリング能力。
GDP.pdf	ドキュメント推論	プロフェッショナルなドキュメントに対する推論能力（全項目パス基準）。
LegalAgentBench	法務業務	ハルシネーションゲート付き、全項目パスレートに基づく評価。
Interactive3D	3D エクスペリエンス	インタラクティブ 3D 環境におけるエージェント機能（Elo スコア）。
VideoGenBench	マルチモーダル生成	コードによる製品・ブランド動画の制作能力（Elo スコア）。
MedQA-Bench	医療推論	医療分野における長文脈推論能力。

品質基準と注意点

• 推奨される表現：
  • 豊富で多様かつ精巧な言語表現。
  • 構造化され可読性が高く、結論優先の構成。
  • 誠実であり、不確実性を認め、迎合的ではない。
• 避けるべき事項：
  • フィラー語（接続詞など）の使用。
  • 一般化された表現。
• 注記： モデルの知能は一般的に跨るユースケースで通用しますが、特定の評価項目は特定のユースケースにおいてより関連性が高い場合があります。

---

スコアリングメトリクス詳細

AA-Briefcase Ver1.1（人工分析社独自）

• 指標： AA-Briefcase Elo
  • rubric パスレート、分析的品質 Elo、プレゼンテーション Elo を統合した複合指標。
  • 数値が高いほど優れた性能を示します。
• 計算方法：
  • 分析的品質 Elo とプレゼンテーション Elo を加算し、rubric のパフォーマンスを対戦マッチ結果に基づきElo スコアに変換して統合。
  • Elo スコアと 95% 信頼区間の上下限は **0 で固定（clamped）**されます。

AA-Omniscience Ver1.1（全知性）

• 指標： AA-Omniscience Net Score
  • 数値が高いほど優れた性能を示します。
  • 知識の信頼性とハルシネーションを検出する指標。
• 計算ロジック：
  • 正解：加点
  • ハルシネーション：減点
  • 回答拒否：ペナルティなし
• スコア範囲： -100 〜 +100

  • 0

    : 正誤数が同数

  • 負の値

    : 誤りの方が多数

---

リソース使用量と計算方法

トークン使用量

• 指標： 知能指数タスクあたりの出力トークン数（加重平均）。
• 計算式： $$ \text{平均出力} = \frac{\sum (\text{各評価項目の出力トークン数} \times \text{知能指数重み})}{\text{タスク数}} $$
  • ※繰り返しは除く。

コスト（USD）

• 指標： 知能指数タスクあたりの加重平均コスト。
• 構成要素： 入力、キャッシュヒット、キャッシュライト、推論、回答トークンの単価。
• 総実行コスト： 全評価項目を実行した際の総額（USD）。
  • モデルの入力・出力トークン単価と使用量を基に算出されます。

プライス設定：キャッシュヒット

• 単価表記： 百万トークンあたりの USD（事前処理済みプロンプト／キャッシュヒット）。
• 割引率： 通常の入力価格に比べて大幅な割引が適用されます。
• 留意点： キャッシュライトおよびストレージ料金は別途課金され、プロバイダーにより異なります。

---

パフォーマンスメトリクス

タスクあたりの所要時間（分）、出力速度（秒間トークン数）、Think Time（最初の回答トークンまでの時間）の 3 要素で測定されます。

1. タスクあたりの所要時間

• 指標： 知能指数タスクあたりの時間（分）（値が低いほど有利）。
• 計算方法： $$ \text{加重平均時間} = \sum (\frac{\text{各タスクの出力トークン数}}{\text{出力速度}} \times \text{重み}) $$
• 更新頻度：
  • ベンチマーク：6 時間に 1 回。
  • 廃止モデルのエンドポイント：18 時間に 1 回。
  • 指標算出：過去 5 日間の各エンドポイントを平均化し、エラーレートはプール化して算出。

2. 出力速度（Throughput）

• 指標： 秒間トークン数（値が高いほど有利）。
• 定義： リクエスト送信から最終トークン受信までの総リクエスト時間で割った出力トークン数。
• 計算ロジック：
  1. 過去 5 日間の各パフォーマンス Ver3 ワークロードを実行。
  2. それぞれのワークロード内で平均化。
  3. 最後に、それらのワークロード自体を再度平均化して表示値とする。

3. レイテンシ（Think Time）

• 指標： 最初の回答トークンまでの時間（秒）。
• 定義： API リクエスト送信後、最初の回答トークンが検知されるまでの時間。
  • 推論モデルでは、回答前の**「思考」**時間も含まれます。
  • ストリーミング対応していないモデルでは、完了結果を受信するまでの時間を表します。