
2026/03/18 20:44
**AGIへの進捗測定:認知的枠組み**
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
要約:
Google DeepMindは論文「Measuring Progress Toward AGI: A Cognitive Taxonomy」を発表し、AIシステムの認知能力を評価するフレームワークを提示しました。この分類法は、知覚・生成・注意・学習・記憶・推論・メタ認知・実行機能・問題解決・社会的認知という10の主要な能力を列挙し、AI のパフォーマンスを人間ベースラインと比較する三段階プロトコルを提案しています。
このフレームワークを具現化するために、DeepMindは「Measuring progress toward AGI: Cognitive abilities」という Kaggle ハッカソンを開催しました。この課題では、学習・メタ認知・注意・実行機能・社会的認知の5つの能力について、Kaggle の Community Benchmarks プラットフォームを用いて具体的な評価手法を開発することが求められます。
賞金総額は 200,000 USD で、各トラック(合計5トラック)の上位2件にそれぞれ10,000 USD が授与され、全体のトップ4件には25,000 USD のグランプリが授与されます。提出期間は3月17日から4月16日までで、結果発表は6月1日に行われます。
成功すれば、これらの評価ツールは研究者や企業により人間らしい AI システム設計を導く手助けとなり、資金配分の優先順位に影響を与え、重要な応用領域での AI 安全性評価にも寄与する可能性があります。
本文
AGIへの進捗を測定する – 認知能力の分類体系
Google DeepMind は、AI システムの認知的機能を評価するための新しい枠組みを公開し、必要な評価手法を構築するための Kaggle ハッカソンを開催します。
主要ポイント
-
フレームワーク概要
- 心理学・神経科学・認知科学における数十年にわたる研究成果を基盤としています。
- 一般知能に不可欠であると考えられる10の重要な認知能力を特定します。
- 知覚(Perception) – 環境から感覚情報を抽出・処理すること
- 生成(Generation) – テキスト、音声、行動などのアウトプットを作成すること
- 注意(Attention) – 重要な事柄に認知資源を集中させること
- 学習(Learning) – 経験や指導によって新しい知識を獲得すること
- 記憶(Memory) – 情報を長期的に保存し、必要時に呼び出すこと
- 推論(Reasoning) – 論理的推論を通じて妥当な結論を導くこと
- メタ認知(Metacognition) – 自らの認知プロセスを意識し、監視すること
- 実行機能(Executive Functions) – 計画・抑制・認知柔軟性などを統括すること
- 問題解決(Problem Solving) – 専門領域の課題に対し有効な解答を見出すこと
- 社会的認知(Social Cognition) – 社会情報を処理・解釈し、適切に反応すること
-
三段階評価プロトコル
- 各能力を網羅した広範なタスク群で AI システムを評価し、テストセットは外部データで保持して汚染を防ぎます。
- 同じタスクに対する人口統計学的に代表性のある成人サンプルから人間ベースラインを収集します。
- 各 AI システムの性能を、各能力における人間性能分布と比較して位置づけます。
-
Kaggle ハッカソン
- タイトル:Measuring Progress Toward AGI: Cognitive Abilities
- 評価ギャップが最も大きい5つの認知能力(学習、メタ認知、注意、実行機能、社会的認知)に焦点を当てます。
- 参加者は Kaggle の新しい Community Benchmarks プラットフォームを利用して、先端モデルと対照した評価を構築・テストできます。
- 賞金総額:$200,000
- 各トラックで上位2件に $10,000 を授与。
- 全体の4件に対し $25,000 のグランプリ。
-
スケジュール
- 提出開始日:3月17日
- 締切:4月16日
- 結果発表:6月1日
参加方法
- Kaggle ウェブサイトへアクセスし、Measuring Progress Toward AGI コミュニティベンチマークに参加します。
- 上記5つのターゲット認知能力のうちのいずれかについて堅牢な評価手法を設計します。
- 4月16日までに評価結果を提出し、賞金対象として選考されます。
皆様のご参加と創意工夫を心よりお待ちしております。人工汎用知能の未来を共に形作りましょう!