講演情報
[B-16-07]通信遅延を考慮した MoE 推論のエキスパート選択に関する一検討
〇祝 大翔1、横山 慧人1、青山 和馬1、井上 翔太1、大崎 博之1 (1. 関西学院大)
キーワード：
大規模言語モデル、MoE、エキスパート、ルーティング
本稿では、Mixture-of-Experts 型大規模言語モデルの推論において、エキスパート選択時に通信遅延を考慮する選択規則 LARK を提案する。従来の top-$K$ ルーティングは、ゲート確率の高いエキスパートを選択する一方で、選択されたエキスパートが配置されたノードまでの通信遅延を考慮しない。本稿では、ゲート確率から正規化した仮想通信遅延に基づくペナルティを減算し、その合成スコアによりエキスパートを再選択する。これにより、追加学習を行わずに、推論品質と通信コストのトレードオフを制御する。公開 MoE モデルを用いた GSM8K による評価では、ペナルティ係数を大きくするにつれて平均最大仮想遅延が低下する一方、正答率も低下する傾向を確認した。以上より、LARK は通信遅延を考慮した MoE 推論の評価枠組みとして有効であり、品質低下を許容できる範囲で通信コストを抑えるルーティングの検討に利用できる。