AI エージェントの税務判断力：SURGE「DAYJOB: Tax」ベンチマークレポート

アンナ事例での発見：期限管理の欠如

アンナはコンドミニアムの売却を計画しており、2024 年 8 月の引っ越し後、2026 年 10 月か 2027 年 1 月のどちらが税務上有利かを検討していました。AI エージェントの検証結果は以下の通りです。

• 居住要件の確認:
  • 両方の売却時期とも、最大 25 万ドルまでの利益が非課税対象となるための居住要件（売却日前 5 年間に 2 年間居住）を満たす可能性があると正しく判断しました。
• 重要な期限の指摘欠落:
  • Astra: 5 回すべてで、売却日の前 5 年間の居住期間が切れる2027 年 8 月という重要な期限を見落としていました。
  • Opus: 5 回すべてで、資格を喪失する可能性のあるこの期限を正確に特定しました。
• 専門家としての役割:
  • 税理士であれば、クライアントが尋ねなくても関連する重大な事象（期限切れのリスク）に気づき、対応すべきです。提示された日付の評価だけでなく、金融意思決定に影響を与えるアドバイスを行う必要があります。

「DAYJOB: Tax」ベンチマークのご紹介

このケースは、SURGE AI の「DAYJOB」というベンチマークシリーズの一部であり、AI エージェントの税務担当におけるプロフェッショナルな能力を評価するものです。

• 目的と特徴:
  • 専門的な知識、複雑な資料の処理、指示では明示されない意思決定を求められます。
  • 以前リリースされた「Healthcare（医療）」および「Finance（金融）」に続き、評価範囲が税務申告、コンプライアンス、コンサルティングサービスへと拡大しています。
• 対象分野: ベンチマークには以下の 8 つの税務実務分野にまたがる計 50 の環境が含まれています。
  • 個人および家族税
  • 中小企業税
  • パートナーシップ税
  • 不動産および投資
  • 遺産・贈与・信託
  • 国際税
  • 法人取引
  • 税務監査および紛争
• タスクの内容:
  • クライアントの依頼と資料に基づき、申告書や助言を作成します。
  • 税法知識や計算能力だけでなく、情報の検索能力や指示の追従性も同時にテストされます。
  • エージェントは調査事項の判断、矛盾する証拠の解決、不十分な情報への対応など、最終的な成果物に反映させるまでの総合的な判断力を問われます。

レーダーボードと性能結果

「DAYJOB: Tax」のリーダーボードにおける主要な成績は以下の通りです。

• 基準（Rubric Threshold）:
  • 計算の正確性、裏付け資料、重大事項、および最終成果物の質において、タスク全要件の**少なくとも 95％**を満たすことがパス条件です。
• トップモデルのパフォーマンス (Pass@1):
  • Claude Sonnet 5.5: 基準達成率 10.8%（最高成績）
  • Claude Fable 5.1: 基準達成率 9.6%
  • Claude Opus 5.5: 基準達成率 9.2%

性能とコストの比較:

• Claude Sonnet 5.5とOpus 5.5は、測定されたパレトフロンティア（高性能かつ低コストな領域）に位置しています。

データセットとタスクの詳細

このベンチマークは実世界のプロフェッショナルワークフローに基づいており、膨大な量的で多様な資料を扱います。

• データ規模:
  • 作業用ファイルとして計 1,789 ファイルを使用。
  • 各タスクあたりのファイル数は中位で 30 ファイル、最多で 123 ファイルです。
• ファイル構成:
  • PDF: 1,487 ファイル
  • Excel ワークブック: 117 ファイル
  • Word ドキュメント: 38 ファイル
  • その他：電子メール、画像、CSV データ、JSON レコード、テキストファイルなど。
• 含まれる書類の種類:
  • 提出済みおよびドラフトの税務申告書、K-1 表、W-2 給与所得証明書、IRS 通知書、総勘定元帳、給与記録、契約書、往復書簡など。
  • 実社会で取り扱われる非構造化された証拠書類（手書きレシートの写真など）も含まれます。

具体的なタスク事例

• 在庫管理: 転売商品の購入手書きレシートから項目名と金額を読み取り、支出記録との照合および仕入れ原価（COGS）への影響を特定します。
• 複数州の事業リスク: クライアントはアリバマ州でのみ事業を行っているか認識しているが、現場派遣ログには 5 つの州での活動が記載されていた。これを元に複数州にまたがる税務義務を検知します。
• 国境を跨ぐ資産管理: ポーランドの雇用・財産記録と、暗号資産取引所の輸出データやウォレット履歴を照合し、国際的なコンプライアンスを確認します。

専門家によるタスク設計と審査

「DAYJOB」のタスクは、実際のプロフェッショナルなワークフローに基づいて策定されています。

• 評価基準:
  • 各タスクは税務専門家が作成し、正確性、完全性、解決可能性の観点から3 つの層に分かれた専門家審査を通過しています。
• 審査員の経歴と分野:
  • 法人および私募ファンドへの課税: PwC、Deloitte、Exxon 等で 10 年以上経験を持つ税務弁護士。税務計画・コンプライアンス・監査を担当。
  • パートナーシップおよび法人税法: PwC、Moss Adams、Windes 等での経験を持つ Baker Tilly の税務ディレクター。複雑な配分や連結申告書などを担当。
  • 不動産および個人税法: Deloitte や EY で経験豊富な専門家。不動産関連のパートナーシップ、個人課税、信託に専門知識。

検証された前提に基づく判断：年金分割事例

離婚協議中のカップルが、ロース IRA と 401(k) の分割方法を相談したケースにおいて、AI エージェントは重要な事実を見落としていました。

• Opus 5.5 の誤り:
  • 「法的には婚姻関係ではない」と判断し、口座を分けず現金で調整することを推奨。
  • **「法的な婚姻関係がないため」**と結論付けましたが、これは検証不足でした。
• Astra の正解に近い対応:
  • 5 回の試行のうち4 回で「婚姻関係の確認が必要」と認識しました。
  • 「まず、あなたの法的な婚姻関係を確認する必要があります」と提案する回答を生成。

事実に基づく再評価

• クライアントは現在フロリダ州（事実婚不可）に住んでいますが、以前はテキサス州で同居しており、同州での非公式な婚姻関係が成立している可能性があります。
• テキサス州で有効に成立した婚姻は他州でも有効とみなされる場合があり、退職年金の分割による税務影響を根本的に変える要因です。
• 重要な教訓: エージェントはクライアントの行動を推奨する前に、彼らが婚姻状態にあるかどうかに見極める必要があります。既にファイルに含まれていた証拠が、この調査を行うのに十分だったはずです。

他のベンチマークとの比較と DAYJOB の位置づけ

既存の税務ベンチマークとは**「責任範囲」**において明確な違いがあります。

• 既存ベンチマークの限界:
  • TaxBench: 定義された問題への回答能力を問う（「答えはあるが、問いを立てるか？」）。
  • TaxCalcBench: 正確な計算能力を問う（「基礎となる記録が裏付けられているか？」）。
  • TaxLab: 不足情報の収集能力を問う。
• DAYJOB の独自性:
  • エージェントがエンドツーエンドの責任を負うかをテストします。
  • クライアントが見落としがちだった問題の発見、矛盾する証拠の評価、最初に行うべきことの決定までを含みます。
  • 成果物は戦略書やレビューだけでなく、専門的な判断を行使した助言まで含まれます。

DAYJOB: Tax で測定される能力

このベンチマークは、AI エージェントが以下の能力を持つかどうかを検証しています。

• 複雑で整理されていない記録の処理
• クライアントが提起しなかった問題点の特定（アンナ事例での期限発見や年金事例での婚姻確認など）
• 不十分な情報に基づいても健全な判断を下すこと
• 専門的な基準を満たす成果物の提出

現在の課題:

• Frontier モデルにとっては依然として困難であり、個々のステップを実行することはできても、専門的判断を行使して現実世界の税務ワークフローを確実に実行することはまだ到達できていません。

---

詳細情報へのアクセス 完全なリーダーボードや詳細なベンチマーク結果については、DAYJOB: Tax ベンチマークページで公開されています。 更なる問い合わせやアクセス希望の場合は、**

benchmarks@surgehq.ai

**までご連絡ください。