Presentation Information
[2Yin-B-07]Evaluating LLMs' Agent-Patient Extraction and Limitations of Contextual Understanding in Japanese Narratives
〇Atsuhiro Ihara1, Rafal Rzepka1 (1. Hokkaido University)
Keywords:
Semantic Role Assignment,Narrative Comprehension
大規模言語モデル（LLM）の性能向上に伴い，物語のような文脈依存性の高い文章理解が求められている．特にマルチエージェント環境での倫理的判断や危険検知には，「誰が誰に何をしたか」という動作主体・対象の関係把握が重要である．しかし，既存研究では物語の動的な関係変化をLLMがどの程度捉えているかについての体系的な検証は限定的である．本研究では，日本語物語データセットDanStoを用い，動作主体・対象を特定する意味役割付与タスクを定義し，GPT-5.1およびQwen3シリーズのLLMの文脈理解能力を分析した．実験の結果，全モデルで対象の抽出精度は主体より一貫して低く，最良モデルでもF1スコアで約20ポイントの差が確認された．また，人物関係が変化する文脈では，正解人物が切り替わっているにもかかわらず，直前文の人物を予測として保持する誤りが頻発する傾向が観測された．本研究ではこの現象を役割慣性バイアスと呼び，LLMが文脈変化よりも局所的な出現パターンに依存している可能性を指摘する．本研究の知見は，物語理解を前提とする応用システム設計における構造的課題を明らかにするものである．