講演情報
[B-7-25]AI-DC間PD分離型LLM推論におけるリンク帯域の影響評価
◎杉山 真規1、樋口 俊介1、植田 一暁1、猪原 涼1 (1. KDDI総合研究所)
キーワード：
AI Data Center、LLM推論、PD分離
本稿では，AIデータセンター間でPrefill/Decode分離型LLM推論を行う構成を想定し，DC間リンク帯域が推論性能に与える影響を評価する． LLMServingSimを用いてQwen3-14Bを対象に評価した結果，10 GbpsではKV Cache転送遅延によりTTFTおよびE2E Latencyが悪化する一方，100 Gbps以上では性能劣化を大きく抑制できることを確認した． また，PD分離はTPOT改善に寄与し，十分なリンク帯域を確保することでE2E Latency改善につながる可能性を示す．