講演情報
[5Yin-A-56]文法構造に着目した空欄補充問題生成：日本語プログラミング言語「なでしこ」におけるLLMの生成能力の検証
〇西井 一貴1、安藤 一秋1 (1. 香川大学)
キーワード：
日本語プログラミング言語、穴埋め問題生成、大規模言語モデル
本研究では，日本語プログラミング言語「なでしこ」を対象に，LLMを用いて空欄補充問題を自動生成することを目的とする．「なでしこ」は日本語プログラミング言語を代表する言語であるが，通常のプログラミング言語と比較して学習に利用できるデータは乏しい．そのため，LLMを用いて空欄補充問題を生成する際，他言語の構文が混入するという課題があった．そこで本稿では，文法カテゴリ（演算や制御構造など）に基づいて空欄位置を意図的に設計したデータセットを構築し，これをFew-shot の例示として提示する手法について検討する．実験の結果，本手法はZero-shotと比較して生成性能を改善し，さらに提示する例示数（Shot数）に比例して性能の向上が確認された．一方，異なる日本語プログラミング言語「プロデル」への転用実験では，生成性能の向上は見られず，言語特性を踏まえた空欄設計の必要性が明らかとなった．