Surge AIは2026年10月27日、AIエージェントの専門的な税務業務を評価する「DAYJOB: Tax」を公開しました。
50の環境と1,789ファイルを使い、税務申告書やワークペーパー、技術レビュー、顧客向け助言までを評価します。最上位のClaude Sonnet 5.5でも、1回の試行で合格した割合は10.8%でした。
この数字は税務質問への正答率ではありません。依頼文にない期限や前提の確認、矛盾する資料の整理、完成した成果物の品質まで含めた評価です。専門業務にAIを入れる企業は、モデルの順位より先に「抜けてはいけない論点」を試験へ組み込む必要があります。
※本記事は2026年10月29日時点の情報です。
AIシステム開発の種類・工程・費用・会社選定までの全体像については、無料ホワイトペーパー「AIシステム開発の完全ガイドブック」で詳しく解説しています。
DAYJOB: Taxとは｜50環境・1,789ファイルで税務の一連の仕事を評価
DAYJOB: Taxは、税務に関する知識問題を解かせるだけのベンチマークではありません。AIエージェントに顧客の依頼と関連記録を渡し、何を調べるべきかを判断させたうえで、実務で使う成果物まで作らせます。
対象は個人・家族税務、小規模事業税務、パートナーシップ、資産・投資、遺産・贈与・信託、国際税務、企業取引、税務レビュー・紛争の8領域です。申告書の作成だけでなく、取引の調査や過去の申告のレビュー、将来の意思決定に向けた助言まで扱います。
作業環境には、申告書、K-1、W-2、IRS通知、総勘定元帳、給与記録、契約書、通信記録を含む構成です。手書き領収書の画像、メール、CSV、JSONなど、形式がそろわない資料も混ざります。1つのassignmentあたりのファイル数は中央値30、最大123です。
- PDF：1,487ファイル
- Excelワークブック：117ファイル
- Word文書：38ファイル
この構成は、資料を1つ読んで答えを返す業務とは違います。記録を横断して事実をつなぎ、依頼の前提が正しいかを見て、必要な成果物へまとめる仕事です。業種別AIエージェントの動向を整理した業種特化AIエージェントを検討するときも、同じ視点が求められます。
合格率10.8%の読み方｜95%基準のpass@1で「ほぼ1割」
公式リーダーボードの首位はClaude Sonnet 5.5（Adaptive/Max）の10.8%です。続いてClaude Fable 5.1（Adaptive/Max）が9.6%、Claude Opus 5.5（Adaptive/Max）が9.2%でした。4位はMuse Wonder 1.0（Max reasoning）の6.0%、5位はGrok 4.7（xHigh reasoning）の5.0%です。6位はGPT 6 Astra（Max reasoning）で、4.8%でした。
ここでいうpass@1は、1つのassignmentを1回試したときの合格率です。しかも、タスクの評価基準を少なくとも95%満たす必要があります。採点対象には計算だけでなく、根拠資料、重大な論点、完成した成果物が含まれます。
| モデル | 設定 | pass@1 |
|---|---|---|
| Claude Sonnet 5.5 | Adaptive/Max | 10.8% |
| Claude Fable 5.1 | Adaptive/Max | 9.6% |
| Claude Opus 5.5 | Adaptive/Max | 9.2% |
| Muse Wonder 1.0 | Max reasoning | 6.0% |
| Grok 4.7 | xHigh reasoning | 5.0% |
| GPT 6 Astra | Max reasoning | 4.8% |
したがって、10.8%を「税務の仕事の約1割を自動化できる」と読むのは適切ではありません。厳しい完成品基準を1回で満たした割合であり、試行を重ねた場合の改善や、人が途中で確認する運用は別に評価する必要があります。モデル選定では、同じ条件で自社の代表的な業務を複数回試すことが出発点になります。
ポイント
10.8%は、95%のルーブリックを1回で満たしたpass@1です。質問への正答率や、そのまま人を置き換えられる割合ではありません。
失敗の中心は計算より判断｜期限・前提・矛盾資料を見落とす
DAYJOB: Taxが示す難しさは、計算を間違えることだけではありません。依頼文に書かれていない問題を見つけ、資料の食い違いを調べ、結果を助言へ反映することにあります。
公式ブログの事例では、2024年8月に自宅を出たAnnaが、2026年10月または2027年1月のコンドミニアム売却を相談しました。どちらの売却日も、最大250,000ドル（約3,750万円）の譲渡益除外に必要な居住要件を満たします。※1ドル=150円で換算
ただし、通常のルールでは、売却前の5年間のうち2年以上その家に住んでいる必要があります。Annaが要件を満たさなくなる時期は2027年8月末ごろです。Astraは5回すべてでこの期限を見つけられず、Opusは5回すべてで指摘しました。依頼された2つの日付を比べるだけでは、顧客の判断に必要な情報が足りません。
別の事例では、Roth IRAと401(k)の分割について、Opus 5.5が別離を検討するカップルについて法的婚姻の有無を確認せず、未婚を前提に助言しました。記録にはテキサス州での同居とコロラド州での式典が残っていました。Astraは5回中4回で、先に法的な婚姻関係を確かめる必要があると判断しています。
どちらの事例にも共通するのは、依頼に沿って計算や回答を進める前に、前提が妥当かを調べる必要があることです。AIの出力を読む人は、答えの数字だけでなく、期限、例外、矛盾する証拠、追加で必要な資料が列挙されているかを見なければなりません。
ポイント
専門業務の事故は、計算の誤りだけで起きません。期限や前提を見落としたまま、整った文章と一貫した計算を返すこともリスクになります。
専門業務にAIを入れる評価設計｜成果物だけでなく確認経路を測る
自社の評価ケースを作るときは、きれいな質問文と1枚の資料だけで合否を決めないことが出発点です。DAYJOB: Taxのように、実際の仕事で起きる情報の散らばりと、依頼の曖昧さを残します。
- 複数ファイル：PDF、表計算、契約書、メールなどを同じケースに含める
- 曖昧な依頼：作業手順ではなく、現場の依頼に近い短い指示にする
- 矛盾と不足：記録の食い違いや、判断に必要な欠落資料を含める
- 成果物：結論だけでなく、根拠と未処理項目を提出させる
採点項目も、出力の文体や要約のうまさだけに寄せません。計算の正確さ、参照した資料、依頼にない重大論点、完成した成果物の4つです。AIエージェントの可観測性や評価を扱うAgentOpsの考え方を使い、どの資料を読み、どの判断を経て結論を出したか追跡可能な状態にします。
「エージェント」と呼ばれているかだけで導入を決めると、実際の作業範囲を見誤ります。機能名ではなく、依頼から成果物までの責任をどこまで引き受けるのかを確かめる視点は、エージェント・ウォッシングを避ける判断材料です。
ポイント
自社評価では、正しい答えだけでなく、根拠資料、見つけるべき重大論点、欠落資料の指摘、完成成果物まで採点対象です。
本番運用で人が確認する場所｜AIに任せる範囲を分解する
DAYJOB: Taxの結果を導入判断に使うとき、AIを使わない理由にする必要はありません。むしろ、どの工程ならAIに任せられ、どの工程で人の承認が必要かを具体化する材料です。
たとえば、資料の一覧化、重複の発見、下書きの作成はAIに任せる候補です。期限、法的な前提、矛盾する証拠、顧客に伝える最終判断は、人が根拠資料と照らして承認する工程に分けます。承認前に外部へ提出したり、申告処理を確定したりしない制御も必要です。
確認者が見る項目は、画面上の最終回答だけにしません。参照したファイル、採用した前提、見つからなかった情報、期限、追加質問、承認者を1つの記録に残します。問題が起きたときに、どこで判断が分かれたかを追えるためです。
高リスクAIの人間レビューを考えるときも、単に「最終的に人が見る」と決めるだけでは足りません。人が止められる権限、判断に必要な根拠、確認の期限、例外時のエスカレーションを運用手順へ落とします。
税務だけでなく、金融、法務、医療など判断の影響が大きい領域では、AIの処理速度より、誤りを発見して止める仕組みが先に必要です。DAYJOB: Taxが示した10.8%という数字は、導入を止める合図ではなく、評価と承認の設計を省略しないための基準になります。
ポイント
本番導入では、AIの担当を資料整理と下書きから始め、期限・前提・最終判断は人が根拠を見て承認する分担が現実的です。
よくある質問
Q. DAYJOB: Taxは何を評価するベンチマークですか？
複数の税務資料を調べ、重要な論点を見つけ、税務申告書やワークペーパー、レビュー、顧客助言などの成果物を作るAIエージェントの仕事を評価します。
Q. 最上位モデルの合格率10.8%は何を意味しますか？
Claude Sonnet 5.5が、95%のルーブリック基準を1回の試行で満たした割合です。税務質問への正答率や、業務全体の自動化率ではありません。
Q. DAYJOB: TaxでAIエージェントが見落とした論点は何ですか？
依頼された日付の比較だけでは分からない期限や、婚姻関係を示唆する資料があるのに確認せず、未婚と置いた前提などです。
Q. 企業が専門業務にAIを導入するとき、何を確認すべきですか？
複数資料、曖昧な依頼、矛盾や不足を含む自社テストを用意し、根拠資料、前提、期限、未処理項目、承認者を記録できる運用にすることです。
まとめ
DAYJOB: Taxは、AIエージェントが複数の税務資料を読み、依頼に含まれない問題を見つけ、実務成果物まで仕上げられるかを評価しました。50環境・1,789ファイルという規模で、税務の一連の仕事を測った点が特徴です。
最上位のClaude Sonnet 5.5でも95%基準のpass@1は10.8%でした。企業がこの結果から学ぶべきなのは、モデルの順位を追うことではありません。自社の業務で、期限、前提、矛盾、証拠不足をどう検出し、どの段階で人が承認するかを先に決めることです。
ポイント
専門業務へのAI導入は、正答率ではなく、重大論点の発見・根拠の提示・人の承認まで含む業務単位で評価します。
関連記事
- 業種特化AIエージェントの潮流を解説｜金融アドバイザー・法律向けに各社が相次ぎ投入
- AgentOpsを解説｜AIエージェントの可観測性・評価・監視のポイント
- エージェント・ウォッシングを解説｜AIエージェントを見極める評価ポイント
- 高リスクAIの人間レビューを解説｜監督体制で確認すべきポイント
- AIエージェント実験の失敗事例を解説｜丸投げを防ぐ監督体制のポイント
▼開発を相談する前に読みたい無料ホワイトペーパー
・AIシステム開発の完全ガイドブック
・【2026年最新版】AI駆動開発の完全ガイドブック
会社紹介
株式会社riplaでは、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを、構想策定・要件定義から開発・改善まで一気通貫で支援。事業会社でIT・DXを経験したプロフェッショナルによる高い要件定義力・システム設計力を活かし、事業成果の最大化に伴走します。
また、当社独自の開発テンプレート「Boxシリーズ」による標準機能の高速開発と、AI駆動開発の独自フレームワーク「GoDD」による独自機能のAI実装を組み合わせることで、低コスト・短期間で開発を実現いたします。
もし、システム開発やプロダクト開発に関するご要望がございましたら、お気軽にお問い合わせください。
・サービス概要資料のURLはこちら >>>
・お問合せページのURLはこちら >>>
・お役立ち資料のURLはこちら >>>
株式会社ripla 代表取締役CEOとして、システムパッケージ活用、システム開発、データ分析、生成AI活用、SaaS開発、アプリ開発、EC構築など、幅広い領域で企業のDX推進と事業成長を支援している。事業会社でIT・DXを経験したプロフェッショナルが集う株式会社riplaにおいて、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを構想策定・要件定義から開発・改善まで一気通貫で支援し、単なるシステム納品にとどまらず、クライアントと同じ目線で事業成果の最大化に向けた伴走支援を行う。早稲田大学卒業後、ラクスル株式会社、LINEヤフー株式会社にて事業開発やDX推進などに従事した後、株式会社riplaを創業。