講演情報
[B-15-22]動的なミリ波ネットワーク上でのスループット予測に基づくリンク選択を活用した分散LLM推論のサービス品質評価
◎太田 翔己1、景山 知哉1、永田 尚志1、山田 貴之1 (1. NTT株式会社)
キーワード：
ミリ波通信、分散推論、大規模言語モデル、通信品質予測、LLM
分散LLM（Large Language Model）推論では，LLMを分割して複数端末に配置して協調させることで，メモリ容量が限られたフィジカルAIロボットやモバイル端末でも大規模モデルの推論が可能となる．ミリ波ネットワークは，協調端末間に必要となる広帯域通信を提供できるが，動的な環境では遮蔽や端末の移動によってリンク品質が不安定になり，テキスト生成速度（TPS：Token Per Second）が低下しやすい．本稿では，提案する物理空間情報を活用してミリ波リンクのスループット値を予測し，予測値に基づいてアクセスポイント（AP）をプロアクティブに選択する分散LLM推論システムにおいて，AP切替時間を考慮したサービス品質指標による追加評価を行った．実験評価の結果，推論速度低下・停止時間をもとに算出したSLO（Service Level Objective）違反率を指標の観点にて提案システムの有効性を示した．