Presentation Information
[B-15-22]SLO Evaluation of Throughput Prediction-Based mmWave Link Selection for Distributed LLM Inference
◎Shoki Ohta1, Tomoya Kageyama1, Hisashi Nagata1, Takayuki Yamada1 (1. NTT, Inc.)
Keywords:
millimeter-wave communications,distributed inference,large language model,link quality prediction,LLM
分散LLM（Large Language Model）推論では，LLMを分割して複数端末に配置して協調させることで，メモリ容量が限られたフィジカルAIロボットやモバイル端末でも大規模モデルの推論が可能となる．ミリ波ネットワークは，協調端末間に必要となる広帯域通信を提供できるが，動的な環境では遮蔽や端末の移動によってリンク品質が不安定になり，テキスト生成速度（TPS：Token Per Second）が低下しやすい．本稿では，提案する物理空間情報を活用してミリ波リンクのスループット値を予測し，予測値に基づいてアクセスポイント（AP）をプロアクティブに選択する分散LLM推論システムにおいて，AP切替時間を考慮したサービス品質指標による追加評価を行った．実験評価の結果，推論速度低下・停止時間をもとに算出したSLO（Service Level Objective）違反率を指標の観点にて提案システムの有効性を示した．