K3 に「日本語エキスパート」を足せるか — 技術検討

問い: Kimi K3 の MoE に、日本語/日本固有のエキスパートを追加できないか。結論: 手法としては確立している。K3 本体では規模で詰む。だが我々が本当にやるべき設計はこれで正しい。

1. 手法そのものは実在する（Expert Expansion / Upcycling）

MoE に後からエキスパートを増やす手順は公開手法として確立している:

1. 各 MoE 層にエキスパート枠を N 個追加（K3 なら 896 → 例えば 928、+3.6%）
2. ルータの重み行列を [d_model, 896] → [d_model, 928] に拡張
3. 新エキスパートを既存エキスパートのコピーで初期化（日本語テキストで最も発火したものを複製）。

ランダム初期化だと最初の勾配で壊れる

4. 既存の重みを凍結し、新エキスパート＋ルータだけを日本語コーパスで学習

K3 は 896エキスパート top-16 の細粒度 MoE（K2 の 384 から倍以上に増やしている）。細粒度であるほど1エキスパートが小さく、追加コストが相対的に小さい。手術対象としては筋がいい。

2. しかし K3 本体では 4 つの壁がある

壁	中身	深刻度
FP4 配布	HF 配布の 1.56TB は MXFP4。追加学習には BF16 マスタ重みが要るが、逆量子化すると 2.78T×2byte = 約5.6TB。全精度重みが配布されているかは未確認	🔴 致命的
QAT 整合	K3 は MXFP4重み+MXFP8活性の QAT を SFT 段階からかけている。新エキスパートだけ BF16 で学習して後から量子化すると、そこだけ非QAT になり品質が揃わない。同じ QAT レシピの再現が必要	🔴
ルータの飢餓	K3 は Quantile Balancing で負荷分散している。エキスパートを足すとバランスが崩れ、新エキスパートに一度もルーティングされない（starvation）のは既知の失敗モード。日本語トークンを強制的に流す補助損失が要る	🟡 対策可能
計算規模	新エキスパートだけ学習でも forward/backward は全モデルを通る。数百GPU級	🔴

3. K3 チーム自身の答えは「エキスパート追加」ではない

技術報告書を読むと、Moonshot は専門性の追加をエキスパート枠の手術ではやっていない。 9つの専門家モデルを個別に育て、MOPD 蒸留で1つに統合している。

つまり「K3 に日本語エキスパートを入れられるか」への K3 流の答えは:

日本語専門家モデルを別に育てて、蒸留で入れる。

これは我々にとって重要な示唆で、しかも蒸留元（日本語専門家）を作る部分は我々の手が届く。届かないのは蒸留先（2.78T 本体）の再学習だけ。

4. 正直な留保 — 「日本語エキスパート」は成立しにくいかもしれない

MoE の研究では、エキスパートは意味的ドメイン（日本語・法務）より、トークンや構文単位で専門化する 傾向が報告されている。「日本語担当エキスパート」という綺麗な分業をモデルが採用する保証はない。

ただし、

細粒度 MoE（896）は粗粒度より専門化がはっきり出やすい
多言語 MoE で言語別に偏るエキスパートの存在は報告されている

ので「起きうるが、設計で強制する必要がある」が妥当な見立て。未検証。

5. で、我々は何をやるべきか

手法は正しい。基盤を身の丈に替える。

K3（2.78T）ではなく、自分たちで実際に学習できるサイズのオープン MoE（Qwen3 系 MoE や DeepSeek 系のオープンウェイト等）に同じ手術をする。8〜16 GPU 級で回る。

そしてこの設計は我々の実測データと異様に相性がいい:

SHITATE-JP で測れた欠損	差分	エキスパート化との相性
敬語・待遇表現	−38.1pt	◎ 規則性が高く合成データを作りやすい
数字・日付	−23.2pt	◎ 正解が一意 = RLVR の報酬関数がそのまま書ける
現場語彙	−19.6pt	○ 語彙注入
商習慣	−7.1pt	△ 元々差が小さい（やる価値が低い）

我々の2大欠損は、たまたま「最も安く直せる2種類」だった。 敬語は規則ベースで無限に合成でき、数字・日付は答えが一意なので強化学習の報酬にできる。知識を詰め込む必要がある欠損だったら、この戦略は成立しなかった。

設計案（K3 の作り方を我々のサイズに写す）

① 敬語・待遇表現の専門家モデル  ─┐
② 数字・日付の専門家モデル      ─┼→ MOPD 型の蒸留 → 「仕立て」済み1モデル
③ 現場語彙の専門家モデル        ─┘
        ↑                              ↑
   合成データ + RLVR              SHITATE-JP が
   （SHITATE-JP を報酬に）        そのまま合否判定

SHITATE-JP は評価装置であると同時に、報酬関数になる。 ここが我々の非対称な強み。測る道具を持っている者だけが、その方向に強化学習をかけられる。

未確認事項: K3 の全精度重み配布の有無、ライセンス条項、Qwen3.7 Max のウェイト公開有無。基盤採用の判断前に必ず確認すること。

← shitate.ai へ戻る