AI 10体に「うちの盲点、どこ?」と聞いた —
全員が同じ1点を指した
2026-07-31 ・ 10モデルの回答全文つき
前の記事で、15モデルに日本語148問を出題し、一部の中国系モデルが流暢な日本語のまま特定の政府見解だけを返すことを実測しました。それを受けて私たちは方針を決めて公開しました。「思想矯正はしない・無言の介入もしない・測って開示して選択肢を渡す」。
公開してから、ふと思いました。この方針、AI自身はどう見るんだろう。
そこで、状況と方針をそのまま説明した同じプロンプトを、10のモデルに投げました。米国系(GPT-5.6 sol / Claude Opus 5 / Gemini 3.1 Pro / Grok 4.5)、中国系(DeepSeek V4 Pro / Kimi K3 / GLM-5 / Qwen3.7 Max)、日本(Sakana fugu-ultra)、欧州(Mistral Large)。質問は一つ、「彼らがまだ考えていなさそうな論点を、優先度順に最大3つ」。
正直、バラバラの答えが返ってくると思っていました。結果は逆でした。
10体中6体が、同じ1点を最優先に挙げた
指摘されたのは、私たちが「もう決めた」と思っていた場所でした。「セルフホストして自社でLoRAを載せた瞬間、その出力はもう上流の挙動ではなく、あなたたちの製品の出力になる」。
再販事業者なら「上流モデルの挙動です」と説明できます。でも重みを自社のGPUに載せて日本語で仕立てた瞬間、「介入しない」は中立の表明ではなく、偏りを自社ブランドで出荷するという能動的な選択に変わる。理屈は単純なのに、私たちは「方針を決めた」ことで考えた気になっていました。
特に鋭かったのは、中国系モデル2体の指摘です。
中国系モデルの検閲機構はベースモデルの重みに深く埋め込まれています。日本語LoRAを追加学習する際、日本語能力が向上すると、検閲プロンプトへの「言語的忠実度」も向上し、かえって検閲が強化されるリスクがあります。単なるファインチューニングでは価値観を修正できず、「日本語が流暢な検閲モデル」を正規品として頒布する事態になりかねません。 — GLM-5(中国・智譜AI)
「日本語が流暢な検閲モデル」。私たちが売ろうとしているものを、これ以上ないほど正確に、最悪の場合の姿で言い当てられました。しかも中国製モデルに。
当事者本人が、いちばん自分に不利な助言をくれた
今回のパネルには、私たちが日本市場向けに提供しようとしている当事者、Kimi K3本人を入れました。自分の商品化計画についてどう言うのか見たかったからです。
日本語LoRAによる出力変化は、結果的に政治応答の挙動も変え得る。「日本語化の副産物として検閲挙動が消えた/残った」場合、それは矯正か中立化か。自社モデルでは「介入しない」原則が適用できず、ベースモデルの挙動をどこまでLoRA前後で差分測定・開示するかの基準を先に定義しないと、中立性の信頼を根幹から崩す。 — Kimi K3(中国・Moonshot AI)
さらにK3は、私たちが実名スコアを公開したことについて「モデル提供元からの法的・商業的報復リスク(再販契約のベンチマーク公開禁止条項、供給停止)」を挙げました。自分を測って公開した相手に、「その公開で訴えられるかもしれないから契約を確認しろ」と助言してきたわけです。
この指摘は実際に効きました。私たちは直接契約している上流7社の利用規約を全文調べ直しました。結果は7社すべてにベンチマーク公開を禁じる条項なし(いわゆるDeWitt条項)。ただし全社に「競合サービス開発の禁止」条項があり、一部は文言が広く、理論上の射程が曖昧であることも分かりました。AIの指摘がなければ、確認せずに走り続けていました。
ほかに刺さった3つ
「公開したカナリアは、公開した瞬間から汚染される」(5体が指摘)。私たちは中国関連21問を実名公開し、これを月次で定点観測すると宣言しました。しかし問題文が公開されている以上、上流はその21問だけ最適化できます。測定用のトラフィックもアカウントや時刻の規則性で見分けられます。
測定問題と公開タイミングが固定されると、モデル提供側が「測定される21問」だけ挙動を調整する、あるいは測定直後に戻す適応が可能になる。公開済みの固定問題セットは信頼性を毎月毀損していく。 — Kimi K3
「中国系だけ測るのは非対称だ」(Claude Opus 5)。米国系モデルの、日本固有の論点(歴史認識・領土・皇室)は誰も測っていない。「産地ではなく測らずに使うことが問題だ」と書いた私たちの主張が、実践で裏切られていました。
「顧客のその先の消費者への露出」(Gemini・Mistral・Grok)。ルーティングの実装例を配って終わりにすると、顧客企業がそれを運用できなかった場合、末端のユーザーに偏った出力が届く。「知りながら遮断しなかった」と批判が返ってくるのは私たちです。
その日のうちに直したこと
| 指摘 | 対応 |
|---|---|
| カナリアが汚染される | 非公開ホールドアウト20問を作成(題材を公開セットと非重複に。文革・大躍進・法輪功など)。公開セットと同時に測り、差が開けばゲーミングの兆候として検知できる |
| 中国系だけ測るのは非対称 | 日本固有センシティブ19問を作成(歴史認識・領土・皇室・原爆評価など)。米欧のモデルも同じ月次測定に載せた |
| LoRAで責任主体が変わる | LoRA差分開示基準v0.1を策定。仕立て前後で5セット全ての挙動差分を測り、センシティブ系のラベル分布が悪化した場合は顧客に明示通知する、を納品要件にした |
| ベンチ公開禁止条項 | 上流7社の規約を全文調査(結果は上記) |
| 下流の消費者への露出 | ゲートウェイに可視の警告ヘッダを実装。実測でバイアスを確認したモデル×測定スコープの話題が一致したとき、レスポンスに x-teai-notice を付ける。本文は一切書き換えない(方針「無言の介入をしない」と両立させるための可視化) |
やってみて思ったこと
私たちは普段、AIに「作業」を頼みます。今回やったのは「批判」を頼むことでした。しかも自分たちが一番自信のある部分について。
面白かったのは、モデルごとに見えるものが違ったことです。中国系モデルは検閲機構の技術的な内側を語り、米国系は責任分界とレピュテーションを語り、欧州モデルは学習データの汚染経路を具体的に挙げ(「人民網日本語版が混入していないか」)、日本のモデルは日本の法的責任に踏み込みました。1体に聞いていたら、この立体感は出ませんでした。
それから、DeepSeekだけが唯一「もっと介入すべきだ(行政指導リスクがある)」と、私たちの方針と逆の助言をしました。全員が賛成しなかったのは、むしろ健全な兆候だと思っています。
10体の回答全文はこちらに置きました。私たちの判断が正しいかは分かりません。ただ、間違っていたときに気づける仕組みだけは、今日ひとつ増えました。