講演情報
[5Yin-A-45]LLMは自身の未学習知識に対して問題作成できるか？
〇伊東 和香1、山下 果凛1、土田 悠佳1、西潟 優羽1、倉光 君郎1 (1. 日本女子大学)
キーワード：
大規模言語モデル、未学習知識、評価データセット
大規模言語モデル（LLM）を基盤としたAIシステムでは，LLMが未学習の知識に対してハルシネーションを引き起こすリスクがある．社内データや最新の技術仕様など，LLMが学習していない知識の領域でこのリスクは特に高い．本研究では，LLMが自身の未学習知識に対して適切なQA問題を作成できるかを検証する．Knowledge Injectionを活用した仕様書駆動の評価データ自動作成手法を提案し，未学習知識を含む3種類のドキュメントからQA問題を作成した．未学習知識の評価可能性とドキュメントとの整合性の2つの観点から評価した結果，LLMは未学習知識に対しても適切にQA問題を作成可能であることが示された．