講演情報
[B-7-23]分散GPU環境における投機的デコーディングを用いたLLM推論高速化
〇林 健太朗1、和田 健史郎1、君島 直樹1、奥田 兼三1、馬場 宏基1 (1. NTT株式会社)
キーワード：
LLM、ネットワーク、コンピューティング
LLMの推論においては，自己回帰的なデコード処理がトークンスループット (TPS) 劣化の主要因となる．投機的デコーディング (SD: Speculative Decoding) は，小型のdraft LLMが将来の複数トークンを予測し，大型のtarget LLMが予測を検証することで，品質を維持しつつ推論を高速化する手法である．低性能や遊休GPUにdraft LLMを配置し，高性能GPUをtargetの検証に集中させる分散型のSDも検討されている．本稿では，NW状態に基づく分散SD構成の最適化を検討する．