LAB NOTES #11

暗算をやめさせたら、全モデルが満点になった — 条件抽出と決定論計算の分離

2026-11-10 公開

前回(LAB NOTES #10)は、法令の率から機械計算した正解で90問を採点し、モデルごとの差を測りました。上位モデルは満点近く、下位モデルは条文を渡すと逆に取り違える、という結果でした。

そこから一歩進んだ問いを立てます。「モデルに計算させるから間違えるのでは?」。金額をモデルの暗算に任せず、モデルには「どの条文で、どんな条件か」だけをJSONで出させ、金額は決定論的な式で確定する。この分離で、モデルの大小によらず正答率がどう変わるかを実測しました。

構成 — モデルは条件を読む、計算は式がやる

各問題について、モデルには条文とケース文を渡し、次のような抽出だけを求めます。

{
  "kind": "tax_income",          // 使う計算の種類
  "slots": { "taxable": 5000000 } // 式に渡す条件値
}

金額は bench/solve.py の決定論ソルバが、この kind と slots から計算します。所得税なら速算表、割増賃金なら 1.25 / 1.50 / 深夜加算、上限金利なら元本の区分 — すべて条文の率と式をコードに固定しています。モデルが担うのは「ケース文から正しい種類と数値を取り出す」ことだけ。桁や端数の暗算は構造的に発生しません。

ソルバ自体の正しさは、全90問で正解を再現できるか(oracle検証)で担保しています。python3 -m bench.selftest 10 が fails=0 で通ります。モデルの自己申告ではなく、式が正解を再現することを先に確認しています。

APIモデル実測 — RAG単体 vs ツール併用

モデルRAG単体ツール併用差
Gemini 3.5 Flash100.0%100.0%±0.0
Claude Haiku 5.597.8%100.0%+2.2
GPT-4.1 mini94.4%100.0%+5.6
DeepSeek Chat77.8%100.0%+22.2
GPT-4.1 nano63.3%100.0%+36.7

90問・temperature 0・代表1回。法人税の軽減税率の根拠条文(租税特別措置法42条の3の2)をRAGコーパスに追加したうえで再測定した最新値です。ツール併用では、条件抽出を誤った問題だけが失点になり、計算ミスは原理的に起きません。

ローカル8Bモデルでも満点に届く

構成RAG単体ツール併用
Qwen3-8B-4bit + LoRA仕立て47.8%100.0%

注目すべきはここです。手元で動く8Bモデルは、単体では47.8%。ところが「条件をJSONで出す」役割に絞ると、90問すべてで正しい種類と数値を抽出し、計算はソルバが確定して100%に届きました。フロンティアモデルに頼らずとも、役割を分ければ現場の計算は正確になります。

ローカル評価は MLX、LoRA は rank 8・16層・400 iters。学習はテスト問題・正解・質問文を一切使っていません(漏洩0)。JSONのカンマ欠落はパーサ側で補正しています。既存LoRAは旧19%のoracleで学習済みのため、正解を15%に訂正した今回の測定ではRAG単体が下がっています(再学習で改善余地)。

何が起きているのか

RAG単体では、モデルは「条文を読む → 条件を理解する → 金額を計算する → 文章で答える」を一度にやります。誤りの多くは最後の計算段で、桁・端数・速算控除の引き忘れとして現れます。下位モデルほどこの段で崩れ、条文を渡すと情報が増えて取り違えも増える、という逆転も起きました。

ツール併用では、この最後の段をモデルから外します。モデルが間違えうるのは「条件の抽出」だけになり、そこは比較的得意な作業です。残る計算は、条文の率をコードに固定した式が担う。結果として、モデルの大小に関わらず正答率が上限に張り付きます。

モデルに計算させるのをやめ、計算を式に返した。それだけで、8Bローカルがフロンティアと同じ満点に並んだ。

この設計を、そのまま使える形にした

実測で確かめたこの構成を、誰でも触れる計算機として公開しました。仕立て計算 では、消費税・所得税・法人税・割増賃金・有給休暇・平均賃金・上限金利・超過利息・賠償額上限の9種を、同じ決定論エンジンで計算します。入力はブラウザ内だけで処理し、すべての結果に根拠の条文を表示します。

エンジンは Python(ベンチ)と JavaScript(Web)の両方に実装し、ベンチ90問に非丸めの境界ケースを加えた計93件で一致することをテストで固定しています。同じ式・端数処理が同じ答えを返すことを、公開前に機械で確認しています。

制約と、まだ測っていないこと

生データ

コード・全問題・採点器・ソルバ・生ログ・学習スクリプト: github.com/yukihamada/shitate-bench(public)。再現は python3 -m bench.selftest 10(ソルバ検証)と python3 -m bench.run_tool(APIツール併用)。

開示: この実測はShitate(株式会社イネブラ)が自社ゲートウェイteai.io経由で実施しました。teai.ioは比較対象モデルの一部を再販しています。問題セット・採点コード・ソルバ・生ログは github.com/yukihamada/shitate-bench で公開しています。スコアは2026-11-10時点・API経由の挙動であり、各モデルの能力の恒久的な評価ではありません。本ページは一般的な情報提供であり、個別の税務・労務・法務判断ではありません。モデル名は各社の商標です。

← Shitate LAB NOTES