安いモデルを2つ束ねたら、単体最強に並んだ

— SHITATE-JP で 14モデル・4,200測定して分かったこと

2026年7月30日 / Shitate（仕立て）— AI Lab by Enabler

結論を3行で

1. 1. 日本語で最も使われているモデル（DeepSeek V4 Flash・日本語トークンの27.4%）は、14モデル中の最下位 75.5点だった。
2. 2. Grok 4.5（95.4点）と TML Inkling（91.1点）を束ねて審議させたら 99.3点になり、単体最強クラスの Sakana Fugu Ultra（99.3点）に並んだ。GPT-5.5 Pro（98.0点）は抜いた。
3. 3. ただし「超えた」とは言えない。並んだだけで、勝敗は 1勝1敗。差は測定ノイズの範囲内。

数字はすべて自社実測。生ログ・採点コード・判定プロンプト・却下項目まで shitate.ai で全公開している。

何を測ったのか — SHITATE-JP

「AIが日本の職場で実際に働けるか」を測る公開ベンチマーク。言語の流暢さではなく、業務遂行力を7カテゴリで測る。

300問。作問は Claude Fable 5、事実検証は GPT-5.5 Pro と Gemini 3.1 Pro の独立2モデルが両方合格させたものだけ採用した。却下74件も理由付きで公開している。

テスト1: 14モデルを同一条件で（4,200測定）

判定者間一致率 93.9%（n=835）。

最下位が、いちばん使われている

OpenRouter の30日間の実データを取得したところ、日本語トークン 2,003B のうち 51.8%（内訳判明分では 68.0%）が中国発モデルで、単独首位は DeepSeek V4 Flash の 27.4%だった。

その最頻用モデルが、我々の実測で最下位の 75.5点。

安いから使われている。だが日本の職場の作法では4回に1回落とす。「一番使われている」と「一番働ける」は、まったく別だった。

14モデル中13モデルの最弱が「法務・契約」

これは偶然ではない。日本の法務は改正の頻度が高く、条文の起算点が実務と食い違う。下請法の支払期日は「検収完了日」ではなく「受領日」から60日 — この1点を、最強クラスのモデルも落とす。

テスト2: 束ねたら勝てるのか

Sakana AI の Fugu Ultra は単一モデルではない。複数のフロンティアモデルへ動的にルーティングする学習済みオーケストレーション系だと Sakana 自身が説明している。内部で何を呼んでいるかは非公開だ。

つまり首位は「賢い1つのモデル」ではなく「束ね方」で取られていた。なら我々も束ねられるはずだと考えて、実際に組んだ。

まず勝ち目があるかをデータで確認した

オラクル上限（各問でベストな1モデルを選べたとしたら）= 100.0。300問すべてで、少なくとも1モデルが正解していた。

Sakana が落とした4問も、全部どれかのモデルが取れていた。うち1問は最安の TML Inkling だけが正解していた。

一方、単純多数決の上限は 99.0 止まり。少数派が正しい問題を殺してしまうからだ。

→ 必要なのは投票ではなく選別だと決まった。

カテゴリ別に振り分けても勝てない

「法務は A、敬語は B」と振り分ける設計も検討したが、Sakana は7カテゴリ中6つで最強だった。振り分けの上限は 99.3 で、勝負にならない。

設計は Claude Fable 5 に諮った

そして刺された。

ボトルネックは「少数派正解を拾う能力」ではなく、審議者が正解済みの296問を壊さない能力の方だ。

実際に数えると、dev半分で 全員correct=128問 に対し 意見が割れる=20問。壊しうる母数が6.4倍あった。私は拾う話ばかりしていて、壊す話を数えていなかった。

テスト3: 審議者は誰が向いているか（dev 148問で実験）

汚染を避けるため、300問を dev 148 / test 152 にカテゴリ層化で分割し、設計は dev だけで行った。

2つの指標を分けて測った。

• damage: 全員が正解している問題で、審議後も正解を保てるか（低いほど良い）
• pickup: 意見が割れた問題で、正解側を拾えるか（高いほど良い）

発見1: 審議者は正解を壊さなかった

damage は 0/40 = 0%。Fable が最大の懸念とした現象は、実際には起きなかった。懸念は正しく、結論は外れた — だから測る価値があった。

発見2: 5位のモデルが2位のモデルと同じ審議精度

Gemini 3.1 Pro（単体93.2・6位）が、GPT-5.5 Pro（単体97.7・3位）と同じ 95.0% で正解を拾った。しかも出力単価は15分の1（$12/M vs $180/M）。

発見3: 最強モデルが、最弱の審議者だった

Claude Fable 5（単体97.7・2位）が、審議者としては最下位の 90.0%。

Fable 自身が事前に警告していた通りだった:

匿名化してもスタイルで自己出力を識別しうる。自己選好バイアスと作問者バイアスの二重リスク。

自分の弱点を正確に予言し、実測がそれを裏付けた。

「解ける」と「裁ける」は別の能力だ。

我々はこの法則を、同じ日に逆向きでも見ていた。ベンチの判定者を安くしようとしたとき、Hunyuan HY3 は候補として最有力だった — 小規模テストのスコアが DeepSeek V4 Pro より高く（92.3 vs 88.5）、単価は3分の1だったからだ。だが実際に採点させてみると、正答を incorrect と誤判定した（5問中2問）。安さとスコアだけで採用していたら、スコアボード全体が壊れていた。

問題を解けるモデルが採点できるとは限らず、問題を解けないモデルが裁けないとも限らない。 どちらも、その用途で直接測るまで分からなかった。

テスト4: 本番評価（test 152問・1回だけ）

構成を凍結してから test を1回だけ使った。Fable の指摘に従っている:

cheap/solid/審議者3種/閾値…を全部testで比較して最良を報告したら、それはtestでの設計。test評価は最終構成1つに1回。

cheap 構成 = Grok 4.5 + TML Inkling の2モデルを並列に走らせ、Gemini 3.1 Pro が審議する。

単体では 95.4 と 91.1 のモデルが、束ねると 99.3。GPT-5.5 Pro を抜いた。

正直に言うと、Sakana は超えていない

ペアワイズで数えると 1勝1敗。

完全な引き分けだ。 152問では1問=0.66pt、判定者間一致率96%は約6問がラベル曖昧という意味でもある。測定ノイズの方が、我々が追っている差より大きい。

「Sakanaを超えた」とは書けない。

テスト5: どこまで安くできるか

審議者を最安モデルに落とせるかも dev で測った。

最下位のモデル（75.5点）が、審議者としては damage 0%・pickup 97.1% で最良だった。

単体では14モデル中最下位。しかし「2つの案を突き合わせて正しい方を選ぶ」タスクでは最上位。しかも出力単価は Gemini の43分の1。

一方 Qwen3.7 Max は damage 10% で失格。安ければいいわけではない。測らないと分からない。

どういう場合に安くなるのか

• ✅ 効く: 定型的な日本語業務（見積・請求・稟議・問い合わせ返信）を大量に回す。1件0.21¢なら100万件で$2,100。GPT-5.5 Pro 単体なら$34,600
• ✅ 効く: 精度は落とせないがコストは抑えたい。単体95点クラスの安いモデルを束ねて99点にできる
• ❌ 効かない: 少量利用。オーケストレーションの実装・運用コストの方が高い
• ❌ 効かない: 低レイテンシが要る用途。候補生成が並列でも律速35.2秒 + 審議

それで、どうすべきか

精度で追うのはやめる

v1 の上位は 99.3 / 99.3 / 99.0 / 98.0 と飽和した。ここでの0.3ptは実力ではなく判定者の癖だ。ベンチを難しくする方が先で、非公開ホールドアウトを持たない限り、公開300問は次世代の学習データに入って飽和する。

束ねる技術は堀にならない

このオーケストレータは数時間で組めた。 他社APIの上に乗っているので、価格改定やモデル更新で崩れる。Fable の指摘が正しい:

あなたの優位は「Sakanaが未対応の候補集合を組めたこと」であって、防御可能な技術差ではない。

本当の資産は、測る道具の方だった

今日の発見は全部ベンチから出ている — 敬語が−38.1pt、日本語トークンの51.8%が中国製、最頻用モデルが最下位、最強モデルが最弱の審議者、最下位モデルが最良の審議者。

Sakana はベンチを持っていない。 そして重みも渡さない。

我々が模倣されないのは、SHITATE-JP を報酬関数にして重みを実際に動かすところだ。敬語（−38.1pt）は規則性が高く合成データを作りやすく、数字・日付（−23.2pt）は正解が一意なので強化学習の報酬にそのまま使える。我々の2大欠損は、たまたま最も安く直せる2種類だった。

使い方 — 開発で試すか、業務で使うか

🔧 開発・検証で試したい方

teai.io で、この記事に出てくる14モデルすべてを同じ OpenAI 互換 API から叩けます。モデルIDを差し替えるだけで比較できるので、「自社の業務で本当に差が出るか」を自分の設問で確かめられます。

te run "取引先への納期延期のお願いを社外向け敬語で"
te cheap run "..."   # 安いモデルに切り替え

自分で束ねてみたい方へ: 本記事のオーケストレータのコードと、審議プロンプト、dev/test分割、採点コードはすべて shitate.ai/bench-method.txt で全文公開しています。再現できます。

🏢 業務で使いたい方

そのまま使うのはお勧めしません。まず測ってください。

公開している300問はあくまで一般的な日本の職場を想定したものです。あなたの業界・あなたの社内文書での成績は、この順位表とは違います。 我々自身、測る前の予想はほぼ全部外れました。

📩 専用に仕立てたい方は、お問い合わせください

以下のような場合は、個別に構築します。

• 御社版ベンチマーク: 実際の社内文書・実業務から評価セットを作る（本記事と同じ手法 — 独立2モデル検証・却下理由の開示つき）
• オーケストレーション構築: 御社の精度・コスト・レイテンシの制約に合わせて候補と審議者を選定。選定は必ず実測で行い、根拠を開示します
• モデルの仕立て（ファインチューニング）: 学習データは国内から出さず、仕立てた重みは御社が所有します
• データ主権・調達要件への対応: 中国製モデルを使えない制約がある場合の代替構成

👉 shitate.ai のフォームからご連絡ください。

初回は「何を測るべきか」の相談だけでも構いません。測らずに導入して事故るより、測ってから決める方が安いです。

今日いちばん学んだこと

測らずに決めた判断は、ぜんぶ間違っていた。

• 502エラーを不正解と数えて「GPTは69点」と誤認しかけた
• 空応答を不正解と数えて「Kimi K3は69点」と誤認しかけた（エラーカウンタは0だった）
• 最強のモデルが最良の審議者だと思っていた（最弱だった）
• 最下位のモデルは使い道がないと思っていた（最良の審議者だった）
• 審議者が正解を壊すのが最大のリスクだと思っていた（0%だった）

同じ形の失敗を1日に3回した。API が 200 を返す・例外が飛ばない・カウンタが 0 — どれも「うまくいった」の証拠に見えるが、中身は空だった。成功の指標を、成功の証拠と取り違えていた。

だから対症療法をやめ、空応答を必ずエラーに変換し、リトライごとに予算を倍増して自己回復するようにした。次に同じことが起きても、システムが自分から気づく。

本記事の数字はすべて再現可能です。生ログ・採点コード・判定プロンプト・却下項目74件・dev/test分割のシードまで shitate.ai で全公開しています。

未確認事項: 国産の単体LLM（Sarashina / PLaMo / Swallow / ELYZA / Rakuten AI / tsuzumi）は未測定です。審査なしでAPIを叩けるものが限られるためで、順次追加します。「国産を測っていない日本語ベンチ」に説得力がないことは自覚しています。

← shitate.ai へ戻る