AIは「聞かれていない問題」に気づけるか。税務50課題が示す仕事を任せる条件
AIエージェントに税務の仕事を任せるとき、心配なのは計算ミスだけではない。依頼者が気づいていない期限を見つけ、食い違う書類を確かめ、判断の根拠まで残せるか。米Surge AIが10月27日に公開した「DAYJOB: Tax」は、その一連の仕事を50件の米国税務課題で試した。最も成績の高いモデルでも、厳しい合格基準を満たした試行は10.8％だった。
50件の「依頼」は、答えるべき問いから曖昧
課題は個人・家族、小規模事業、相続、国際税務など8分野にまたがる。作業環境には計1,789ファイルがあり、PDFだけで1,487件。申告書や帳簿のほか、契約書、メール、写真に写った手書きの領収書も含まれる。エージェントは資料を読み、調査すべき論点を選び、申告書や助言文書を仕上げる。
通常の「この税額を計算して」という試験と違い、依頼者の質問そのものが十分とは限らない。発表資料の例では、住宅をいつ売るべきか尋ねられたエージェントが、提示された二つの日付なら控除要件を満たすと正しく答えた。しかし、売却がさらに遅れた場合に資格を失い得る期限は伝えなかった。聞かれたことへの正答と、専門家として必要な助言の間には距離がある。
10.8％が意味するもの、意味しないもの
Surge AIの公表値では、Claude Sonnet 5.5の合格率が10.8％、続くClaude Fable 5.1が9.6％、Claude Opus 5.5が9.2％だった。ここでいう合格は、計算、証拠、見落としてはいけない論点、成果物を評価するルーブリックの95％以上を満たした試行を指す。したがって10.8％は「税務の質問に10回中1回しか答えられない」という数字ではない。複数資料を扱う仕事を、同社の高い完成基準まで通せた割合だ。
この結果は、評価を設計・実施したSurge AI自身の報告であり、対象は米国の税務実務を模した課題だ。日本の税制で同じ率になるとも、実際の税理士業務全体を代替できない割合とも読めない。モデルや道具、採点方法が変われば順位も変わり得る。それでも、単発の正解率では見えない弱点を可視化した点は重要だ。
日本の現場で問うべきは「誰が気づくか」
日本の税務・会計や法務、医療事務でも、依頼の入口は整理された問題文ではない。証憑が足りない、以前の説明と帳簿が違う、期限が近い。AIを導入するなら、入力した問いに流暢に答えるかだけでなく、不足資料を要求できるか、判断を保留できるか、根拠と未解決事項を人に引き継げるかを試す必要がある。
当面の現実的な使い方は、資料の照合や論点候補の洗い出しを速め、重要な判断と最終確認を専門家が担う形だろう。ただし人が確認する範囲を曖昧にしたままでは、「AIが見ているはず」という新しい見落としを生む。仕事を任せる境界線は、答えの速さより、見つけるべき問題を見つけられるかで引くべきだ。
出典：Surge AI「DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work」（2026年10月27日）、同ベンチマークの公開リーダーボード。日本の実務への示唆はLocalLensJapanの分析。