[5Yin-A] Poster 8

[5Yin-A-45] Self-Generated QA Problems for Unlearned Knowledge in LLMs

〇Waka Ito¹, Karin Yamashita¹, Haruka Tsuchida¹, Yuha Nishigata¹, Kimio Kuramitsu¹ (1. Japan Women's University)

Keywords:

LLM,Unlearned Knowledge,Evaluation Dataset

大規模言語モデル（LLM）を基盤としたAIシステムでは，LLMが未学習の知識に対してハルシネーションを引き起こすリスクがある．社内データや最新の技術仕様など，LLMが学習していない知識の領域でこのリスクは特に高い．本研究では，LLMが自身の未学習知識に対して適切なQA問題を作成できるかを検証する．Knowledge Injectionを活用した仕様書駆動の評価データ自動作成手法を提案し，未学習知識を含む3種類のドキュメントからQA問題を作成した．未学習知識の評価可能性とドキュメントとの整合性の2つの観点から評価した結果，LLMは未学習知識に対しても適切にQA問題を作成可能であることが示された．