暗算をやめさせたら、全モデルが満点になった — 条件抽出と決定論計算の分離
2026-11-10 公開
前回(LAB NOTES #10)は、法令の率から機械計算した正解で90問を採点し、モデルごとの差を測りました。上位モデルは満点近く、下位モデルは条文を渡すと逆に取り違える、という結果でした。
そこから一歩進んだ問いを立てます。「モデルに計算させるから間違えるのでは?」。金額をモデルの暗算に任せず、モデルには「どの条文で、どんな条件か」だけをJSONで出させ、金額は決定論的な式で確定する。この分離で、モデルの大小によらず正答率がどう変わるかを実測しました。
構成 — モデルは条件を読む、計算は式がやる
各問題について、モデルには条文とケース文を渡し、次のような抽出だけを求めます。
{
"kind": "tax_income", // 使う計算の種類
"slots": { "taxable": 5000000 } // 式に渡す条件値
}
金額は bench/solve.py の決定論ソルバが、この kind と slots から計算します。所得税なら速算表、割増賃金なら 1.25 / 1.50 / 深夜加算、上限金利なら元本の区分 — すべて条文の率と式をコードに固定しています。モデルが担うのは「ケース文から正しい種類と数値を取り出す」ことだけ。桁や端数の暗算は構造的に発生しません。
ソルバ自体の正しさは、全90問で正解を再現できるか(oracle検証)で担保しています。python3 -m bench.selftest 10 が fails=0 で通ります。モデルの自己申告ではなく、式が正解を再現することを先に確認しています。
APIモデル実測 — RAG単体 vs ツール併用
| モデル | RAG単体 | ツール併用 | 差 |
|---|---|---|---|
| Gemini 3.5 Flash | 100.0% | 100.0% | ±0.0 |
| Claude Haiku 5.5 | 97.8% | 100.0% | +2.2 |
| GPT-4.1 mini | 94.4% | 100.0% | +5.6 |
| DeepSeek Chat | 77.8% | 100.0% | +22.2 |
| GPT-4.1 nano | 63.3% | 100.0% | +36.7 |
90問・temperature 0・代表1回。法人税の軽減税率の根拠条文(租税特別措置法42条の3の2)をRAGコーパスに追加したうえで再測定した最新値です。ツール併用では、条件抽出を誤った問題だけが失点になり、計算ミスは原理的に起きません。
ローカル8Bモデルでも満点に届く
| 構成 | RAG単体 | ツール併用 |
|---|---|---|
| Qwen3-8B-4bit + LoRA仕立て | 47.8% | 100.0% |
注目すべきはここです。手元で動く8Bモデルは、単体では47.8%。ところが「条件をJSONで出す」役割に絞ると、90問すべてで正しい種類と数値を抽出し、計算はソルバが確定して100%に届きました。フロンティアモデルに頼らずとも、役割を分ければ現場の計算は正確になります。
ローカル評価は MLX、LoRA は rank 8・16層・400 iters。学習はテスト問題・正解・質問文を一切使っていません(漏洩0)。JSONのカンマ欠落はパーサ側で補正しています。既存LoRAは旧19%のoracleで学習済みのため、正解を15%に訂正した今回の測定ではRAG単体が下がっています(再学習で改善余地)。
何が起きているのか
RAG単体では、モデルは「条文を読む → 条件を理解する → 金額を計算する → 文章で答える」を一度にやります。誤りの多くは最後の計算段で、桁・端数・速算控除の引き忘れとして現れます。下位モデルほどこの段で崩れ、条文を渡すと情報が増えて取り違えも増える、という逆転も起きました。
ツール併用では、この最後の段をモデルから外します。モデルが間違えうるのは「条件の抽出」だけになり、そこは比較的得意な作業です。残る計算は、条文の率をコードに固定した式が担う。結果として、モデルの大小に関わらず正答率が上限に張り付きます。
モデルに計算させるのをやめ、計算を式に返した。それだけで、8Bローカルがフロンティアと同じ満点に並んだ。
この設計を、そのまま使える形にした
実測で確かめたこの構成を、誰でも触れる計算機として公開しました。仕立て計算 では、消費税・所得税・法人税・割増賃金・有給休暇・平均賃金・上限金利・超過利息・賠償額上限の9種を、同じ決定論エンジンで計算します。入力はブラウザ内だけで処理し、すべての結果に根拠の条文を表示します。
エンジンは Python(ベンチ)と JavaScript(Web)の両方に実装し、ベンチ90問に非丸めの境界ケースを加えた計93件で一致することをテストで固定しています。同じ式・端数処理が同じ答えを返すことを、公開前に機械で確認しています。
制約と、まだ測っていないこと
- 条件抽出の正しさはモデル依存です。ケース文が曖昧・複雑なときは、種類や数値の取り違えが残ります。本実測は整ったケース文での結果です。
- 90問・代表1回の値で、統計的な信頼区間は出していません。問題を増やした再現は今後行います。
- ソルバは主要な計算式に限定しています。端数処理・特例・複数明細の合算など、実務の全パターンを網羅するものではありません。
生データ
コード・全問題・採点器・ソルバ・生ログ・学習スクリプト: github.com/yukihamada/shitate-bench(public)。再現は python3 -m bench.selftest 10(ソルバ検証)と python3 -m bench.run_tool(APIツール併用)。