Presentation Information
[B-14-16]Operator-Simulating Agent for Evaluating AI Systems for Network Operation
〇Minato Sakuraba1, Takuya Miyasaka1 (1. KDDI Research, Inc.)
Keywords:
Generative AI,Large Language Model,Operator Simulation,AI System,Network Operation Support
大規模言語モデル(LLM)を用いてオペレータの自然
言語入力を受け付け，ネットワーク（NW）運用を支援
する運用AIシステムが検討されている．このようなシ
ステムには，実運用におけるオペレータの挙動を踏まえ
た評価が求められる．実際のオペレータは，習熟度に応
じてNWデータの取得方法や理解の粒度が異なる．ま
た，システムの応答を参考に次の確認や要求を行う．し
かし既存研究の多くは，事前に準備したテストケースや
入力に基づいて評価しており，システムの応答に応じて
NWデータ取得や要求が変化する過程を十分に扱ってい
ない．そのため，オペレータの挙動を反映した評価
手法の構築が課題となる．
本稿では，必要に応じてNWデータを取得し，習熟
度に応じた知識表現に基づいて発言を模擬するオペレー
タエージェントを提案する．
言語入力を受け付け，ネットワーク（NW）運用を支援
する運用AIシステムが検討されている．このようなシ
ステムには，実運用におけるオペレータの挙動を踏まえ
た評価が求められる．実際のオペレータは，習熟度に応
じてNWデータの取得方法や理解の粒度が異なる．ま
た，システムの応答を参考に次の確認や要求を行う．し
かし既存研究の多くは，事前に準備したテストケースや
入力に基づいて評価しており，システムの応答に応じて
NWデータ取得や要求が変化する過程を十分に扱ってい
ない．そのため，オペレータの挙動を反映した評価
手法の構築が課題となる．
本稿では，必要に応じてNWデータを取得し，習熟
度に応じた知識表現に基づいて発言を模擬するオペレー
タエージェントを提案する．