税務・労務・金融の法令ベンチ90問 — 正解を機械計算し、仕立ての前後を測る
2026-11-10 公開(2026-11-10 訂正)
訂正: 初版は法人税の軽減税率の正解を19%としていましたが、これは誤りでした。国税庁 No.5759(令和8年4月1日現在)のとおり、資本金1億円以下の普通法人は所得800万円以下の部分が15%(租税特別措置法42条の3の2)、超過部分が23.2%(法人税法66条1項)です。19%は適用除外事業者のみ。正解oracleを15%に修正し、根拠条文をRAGコーパスに追加して再測定した値を下記に反映しました(baseは不変、RAGとローカルは更新)。
AIがすでに実務で使われている業種ほど、「正解が一意に決まる」問題を大量に作れます。税額・割増賃金・上限金利は、法令の率と計算式から機械的に値が決まる。だから生成AIの主観を排して採点できます。
建築ベンチ(LAB NOTES #9)の方式 — 条文取得 → 決定論的タスク生成 → 機械採点 → モデル実測 → 公開 — を、税務会計・労務人事・金融の3業種へ一般化しました。仕立て(Shitate)の前後を、同じ物差しで測るための土台です。
対象と正解の根拠
| 業種 | 法令(e-Gov) | 問題種別(各10問) |
|---|---|---|
| 税務会計 | 消費税法・所得税法・法人税法 | 消費税額 / 所得税額 / 法人税額 |
| 労務人事 | 労働基準法・労働契約法 | 割増賃金 / 有給休暇 / 平均賃金 |
| 金融 | 利息制限法・出資法 | 上限金利 / 超過利息 / 賠償額上限 |
コーパスは e-Gov 法令APIから取得した817条(税務651・労務145・金融21)。各問題には法令名・条番号・計算式の監査情報を付与。oracle検証(正解表現が全問正解・誤答が全問不正解・生成の決定性)で採点器の正しさを担保しています(selftest fails=0)。採点はモデルの自己申告に依存せず、数値・率・条番号を正規化して照合します。
APIモデル実測(90問・temperature 0)
| モデル | 条文なし | 条文を渡す(RAG) | 差 |
|---|---|---|---|
| Gemini 3.5 Flash | 100.0% | 100.0% | ±0.0 |
| Claude Haiku 5.5 | 98.9% | 97.8% | -1.1 |
| GPT-4.1 mini | 91.1% | 94.4% | +3.3 |
| DeepSeek Chat | 87.8% | 77.8% | -10.0 |
| GPT-4.1 nano | 74.4% | 63.3% | -11.1 |
RAGは業種ごとにRetrieverを分離(税務モデルに労基法を渡さない)。上位モデルはRAGなしでも満点近く、下位モデルは条文を渡すと逆に取り違えが増える例(DeepSeekの税率合成ミス)も観測されました。90問・代表1回の値です。
ローカル仕立て(Qwen3-8B / LoRA)前後比較
| 構成 | RAG | 総合 | 税務 | 労務 | 金融 |
|---|---|---|---|---|---|
| Qwen3-8B 素 | なし | 44.4% | 60.0% | 43.3% | 30.0% |
| Qwen3-8B 素 | あり | 57.8% | 53.3% | 40.0% | 80.0% |
| Qwen3-8B + LoRA仕立て | あり | 47.8% | 40.0% | 43.3% | 60.0% |
生徒=Qwen3-8B-4bit、教師=Gemini 3.5 Flash(本ベンチ100%)。学習はテスト問題・正解・質問文を一切使わず(漏洩0)、推論時のRAG文脈もテストと同一形式。MLX LoRA(rank 8・16層・400 iters)。
仕立ての経緯 — 失敗から分かったこと
90問での推移(旧19%oracle基準の記録):素モデル(RAG) 56.7% → テンプレ答え蒸留 31.1% → 計算特化 43.3% → 教師検証済み蒸留 53.3%。正解を15%に訂正して再測定すると素モデルRAGは57.8%、既存LoRAは47.8%でした(既存アダプタは旧oracleで学習済みのため、再学習で改善余地があります)。
最初の蒸留は「答えだけ」を定型文で埋めたため、モデルは形式を真似るだけで計算推論を学ばず、素モデルより大きく悪化しました。次に教師(Gemini)へテストと同じRAG文脈を渡して解法を生成させ、最終値が既知の正解と一致した例だけを学習に採用(検証済み蒸留)。これで推論が戻りました。
残る弱点は所得税の超過累進速算控除です(速算表の税率だけ当てて控除額を引き忘れる)。仕立て後は素モデルRAGに約3問差まで迫りましたが、まだ追い越していません。ここは正直に未達として残します。
生データ
コード・全問題・採点器・生ログ・学習スクリプト: github.com/yukihamada/shitate-bench(public)。コーパスは e-Gov 法令API(lawdata)から817条を取得しています。