講演情報
[B-14-16]Operator Agentを用いたAIシステムの性能評価手法の一検討
〇桜庭 皆人1、宮坂 拓也1 (1. 株式会社KDDI総合研究所)
キーワード：
生成AI、大規模言語モデル、オペレータ模擬、AIシステム、運用支援
大規模言語モデル(LLM)を用いてオペレータの自然
言語入力を受け付け，ネットワーク（NW）運用を支援
する運用AIシステムが検討されている．このようなシ
ステムには，実運用におけるオペレータの挙動を踏まえ
た評価が求められる．実際のオペレータは，習熟度に応
じてNWデータの取得方法や理解の粒度が異なる．ま
た，システムの応答を参考に次の確認や要求を行う．し
かし既存研究の多くは，事前に準備したテストケースや
入力に基づいて評価しており，システムの応答に応じて
NWデータ取得や要求が変化する過程を十分に扱ってい
ない．そのため，オペレータの挙動を反映した評価
手法の構築が課題となる．
本稿では，必要に応じてNWデータを取得し，習熟
度に応じた知識表現に基づいて発言を模擬するオペレー
タエージェントを提案する．
言語入力を受け付け，ネットワーク（NW）運用を支援
する運用AIシステムが検討されている．このようなシ
ステムには，実運用におけるオペレータの挙動を踏まえ
た評価が求められる．実際のオペレータは，習熟度に応
じてNWデータの取得方法や理解の粒度が異なる．ま
た，システムの応答を参考に次の確認や要求を行う．し
かし既存研究の多くは，事前に準備したテストケースや
入力に基づいて評価しており，システムの応答に応じて
NWデータ取得や要求が変化する過程を十分に扱ってい
ない．そのため，オペレータの挙動を反映した評価
手法の構築が課題となる．
本稿では，必要に応じてNWデータを取得し，習熟
度に応じた知識表現に基づいて発言を模擬するオペレー
タエージェントを提案する．