講演情報
[B-6-54]クラウドGPUを用いたLLM分散推論におけるノード構成のコスト効率評価
◎△河野 尊1、神野 敦哉2、那須 渚2、田口 開智2、小板 隆浩2、小比賀 亮仁1 (1. 同志社大学、2. 同志社大学大学院)
キーワード：
メッシュLLM、アマゾンウェブサービス、大規模言語モデル、分散推論、EC2インスタンス
近年，大規模言語モデル（LLM）の推論処理にはGPUが不可欠である一方，高性能GPUサーバの自前購入には高額な初期投資が必要となる．そのため，AWS EC2などのクラウドGPUを用い，必要時にのみ計算資源を確保する運用が有効な選択肢となっている．本研究では，同一の総GPU数を単体大型インスタンスで確保する構成と，複数小型インスタンスで確保する構成を対象に，分散LLM推論フレームワークであるメッシュLLMを用いて，推論性能およびコスト効率を実測比較する．評価では，AWS EC2上でGPU世代をA10Gに統一し，QWEN2.5-14BのGGUF Q4量子化モデルを用いて，AIME 2025の推論タスクを実行する．処理時間，スループット，総コストを評価指標とし，ノード間通信による性能低下とインスタンス単価差の関係を分析することで，クラウドGPU環境におけるLLM分散推論の費用対効果に優れたノード構成を明らかにする．