Presentation Information
[4Yin-A-67]Development of LLM-based Agents in Japanese Murder Mystery Games and Quantitative Analysis of Dialogue Logs
〇Ryusei Nishio1, Yunoka Yamamoto1, Soka Matsugaki1, Joji Suzuki1, Ayuki Kuroko1, Reon Ohashi1, Kazuya Tsubokura1, Kunikazu Kobayashi1 (1. Aichi Prefectural University)
Keywords:
Large Language Model,Incomplete Information Game,Game AI,LLM-based Agent
近年，大規模言語モデル (LLM) の発展に伴い，自然言語処理における対話技術は大きく進展している ．しかし，LLMで構築したエージェントが対立や協調を行う複雑なシナリオでは高品質なベンチマークが不足している．そのような環境として，他者との議論や情報交換を通じて事件の真相に迫るマーダーミステリーというボードゲームが注目されている．しかし，日本語のマーダーミステリーにおけるLLMエージェントの研究事例は少ない ．そこで，本研究ではその初期実装としてLLMエージェントを構築し，実際にマーダーミステリーのシナリオをプレイさせる実験を行った ．まず，プレイ中のエージェントと人間の会話ログを記録し，それぞれにLLMを用いて対話行為タグを付与した．さらに，人間のプレイヤーとLLMエージェントによる会話ログの比較分析を実施し，LLMエージェントが日本語でマーダーミステリーをプレイする際の対話における人間との差異を検証した ．本研究は，大人数でのLLMの推論・対話能力を客観的に評価し，中長期的で複雑な対話文脈を扱う能力の向上を目指すものである．