講演情報
[B-16-08]分散大規模言語モデル推論サービスにおける
需要追従型資源配置方式に関する一検討
〇岡本 凜玖1、道圓 英隆1、大崎 博之1 (1. 関西学院大学)
キーワード：
大規模言語モデル、分散推論
近年、大規模言語モデル（LLM）の分散推論サービスでは、モデルを複数ノードへ分割配置することにより大規模モデルを実行する方式が広く用いられている。このような環境では、部分モデル間の通信遅延と、ノードへの要求集中による待ち行列遅延が応答性能を大きく左右する。本研究では、部分モデルの参照頻度が偏在することに着目し、人気度を考慮した需要追従型資源配置方式を提案する。提案方式では、部分モデルの人気度をZipf分布でモデル化し、人気度と入口ノードからの近さに基づく評価値を用いて複製配置先を決定する。さらに、複製が特定ノードへ集中することを防ぐため、既配置複製数に応じた抑制項を導入し、通信遅延と負荷分散を両立する。評価では、100ノードのBAモデルに基づくスケールフリー網を用いたシミュレーションにより、一様配置、ランダム配置および中心性に基づく貪欲配置と比較した。各要求が人気度に従って一部の部分モデルのみを参照する疎な参照モデルでは、提案方式は人気度の高い部分モデルを適切に配置することでp99テール遅延を低減し、比較方式より優れた応答性能を示した。一方、すべての部分モデルを参照する密な参照モデルでは、人気度の違いを利用できないため性能改善は限定的であった。以上より、提案方式は部分モデルの参照頻度に偏りが存在する分散LLM推論環境において有効であることを示した。