講演情報
[B-7-24]ユーザ移動性を考慮したEdge LLMにおけるKVキャッシュ配置制御に関する一考察
◎樋口 俊介1、植田 一暁1、猪原 涼1 (1. KDDI総合研究所)
キーワード：
Edge LLM、KVキャッシュ
Physical AI など低遅延な推論が求められるアプリケーションの需要増加に伴い，基地局近傍のエッジ GPU サーバ（エッジ）と AI データセンター（中央）を組み合わせて LLM を展開する Edge LLM の検討が進んでいる．エッジで Decode を実行することで往復遅延を削減しインタートークンレイテンシ（ITL）を低減できる一方，モバイルユーザがハンドオーバー（HO）すると旧エッジから新エッジへの KV キャッシュ転送が必要となる. KV キャッシュはコンテキスト長に比例して大きくなり, 多数のユーザが帯域を共有する環境では転送遅延が ITL を悪化させエッジ Decoding の優位性が失われ得る．本稿では，NEF（Network Exposure Function）から取得される HO イベントに基づき，移動性の低いユーザはエッジで，高いユーザは中央で Decode を実行するよう切り替える方式を検討し，ユーザ数増加時の ITL 特性を評価する．