Presentation Information
[B-7-24]A Study on Mobility-aware KV Cache Placement Control for Edge LLM
◎Shunsuke Higuchi1, Kazuaki Ueda1, Ryo Inohara1 (1. KDDI Research, Inc.)
Keywords:
Edge LLM,KV cache
Physical AI など低遅延な推論が求められるアプリケーションの需要増加に伴い，基地局近傍のエッジ GPU サーバ（エッジ）と AI データセンター（中央）を組み合わせて LLM を展開する Edge LLM の検討が進んでいる．エッジで Decode を実行することで往復遅延を削減しインタートークンレイテンシ（ITL）を低減できる一方，モバイルユーザがハンドオーバー（HO）すると旧エッジから新エッジへの KV キャッシュ転送が必要となる. KV キャッシュはコンテキスト長に比例して大きくなり, 多数のユーザが帯域を共有する環境では転送遅延が ITL を悪化させエッジ Decoding の優位性が失われ得る．本稿では，NEF（Network Exposure Function）から取得される HO イベントに基づき，移動性の低いユーザはエッジで，高いユーザは中央で Decode を実行するよう切り替える方式を検討し，ユーザ数増加時の ITL 特性を評価する．