LAB NOTES #10

税務・労務・金融の法令ベンチ90問 — 正解を機械計算し、仕立ての前後を測る

2026-11-10 公開(2026-11-10 訂正)

訂正: 初版は法人税の軽減税率の正解を19%としていましたが、これは誤りでした。国税庁 No.5759(令和8年4月1日現在)のとおり、資本金1億円以下の普通法人は所得800万円以下の部分が15%(租税特別措置法42条の3の2)、超過部分が23.2%(法人税法66条1項)です。19%は適用除外事業者のみ。正解oracleを15%に修正し、根拠条文をRAGコーパスに追加して再測定した値を下記に反映しました(baseは不変、RAGとローカルは更新)。

AIがすでに実務で使われている業種ほど、「正解が一意に決まる」問題を大量に作れます。税額・割増賃金・上限金利は、法令の率と計算式から機械的に値が決まる。だから生成AIの主観を排して採点できます。

建築ベンチ(LAB NOTES #9)の方式 — 条文取得 → 決定論的タスク生成 → 機械採点 → モデル実測 → 公開 — を、税務会計・労務人事・金融の3業種へ一般化しました。仕立て(Shitate)の前後を、同じ物差しで測るための土台です。

対象と正解の根拠

業種法令(e-Gov)問題種別(各10問)
税務会計消費税法・所得税法・法人税法消費税額 / 所得税額 / 法人税額
労務人事労働基準法・労働契約法割増賃金 / 有給休暇 / 平均賃金
金融利息制限法・出資法上限金利 / 超過利息 / 賠償額上限

コーパスは e-Gov 法令APIから取得した817条(税務651・労務145・金融21)。各問題には法令名・条番号・計算式の監査情報を付与。oracle検証(正解表現が全問正解・誤答が全問不正解・生成の決定性)で採点器の正しさを担保しています(selftest fails=0)。採点はモデルの自己申告に依存せず、数値・率・条番号を正規化して照合します。

APIモデル実測(90問・temperature 0)

モデル条文なし条文を渡す(RAG)差
Gemini 3.5 Flash100.0%100.0%±0.0
Claude Haiku 5.598.9%97.8%-1.1
GPT-4.1 mini91.1%94.4%+3.3
DeepSeek Chat87.8%77.8%-10.0
GPT-4.1 nano74.4%63.3%-11.1

RAGは業種ごとにRetrieverを分離(税務モデルに労基法を渡さない)。上位モデルはRAGなしでも満点近く、下位モデルは条文を渡すと逆に取り違えが増える例(DeepSeekの税率合成ミス)も観測されました。90問・代表1回の値です。

ローカル仕立て(Qwen3-8B / LoRA)前後比較

構成RAG総合税務労務金融
Qwen3-8B 素なし44.4%60.0%43.3%30.0%
Qwen3-8B 素あり57.8%53.3%40.0%80.0%
Qwen3-8B + LoRA仕立てあり47.8%40.0%43.3%60.0%

生徒=Qwen3-8B-4bit、教師=Gemini 3.5 Flash(本ベンチ100%)。学習はテスト問題・正解・質問文を一切使わず(漏洩0)、推論時のRAG文脈もテストと同一形式。MLX LoRA(rank 8・16層・400 iters)。

仕立ての経緯 — 失敗から分かったこと

90問での推移(旧19%oracle基準の記録):素モデル(RAG) 56.7% → テンプレ答え蒸留 31.1% → 計算特化 43.3% → 教師検証済み蒸留 53.3%。正解を15%に訂正して再測定すると素モデルRAGは57.8%、既存LoRAは47.8%でした(既存アダプタは旧oracleで学習済みのため、再学習で改善余地があります)。

最初の蒸留は「答えだけ」を定型文で埋めたため、モデルは形式を真似るだけで計算推論を学ばず、素モデルより大きく悪化しました。次に教師(Gemini)へテストと同じRAG文脈を渡して解法を生成させ、最終値が既知の正解と一致した例だけを学習に採用(検証済み蒸留)。これで推論が戻りました。

残る弱点は所得税の超過累進速算控除です(速算表の税率だけ当てて控除額を引き忘れる)。仕立て後は素モデルRAGに約3問差まで迫りましたが、まだ追い越していません。ここは正直に未達として残します。

生データ

コード・全問題・採点器・生ログ・学習スクリプト: github.com/yukihamada/shitate-bench(public)。コーパスは e-Gov 法令API(lawdata)から817条を取得しています。

開示: この実測はShitate(株式会社イネブラ)が自社ゲートウェイteai.io経由で実施しました。teai.ioは比較対象モデルの一部を再販しています。問題セット・採点コード・生ログは github.com/yukihamada/shitate-bench で公開しています。スコアは2026-11-10時点・API経由の挙動であり、各モデルの能力の恒久的な評価ではありません。本ページは一般的な情報提供であり、個別の税務・労務・法務判断ではありません。モデル名は各社の商標です。未達(仕立てが素モデルを追い越していない点)も含め、そのまま公開します。

← Shitate LAB NOTES