Presentation Information
[5Yin-A-56]Generating Fill-in-the-Blank Questions Focused on Grammatical Structure: Verifying the Generative Capabilities of LLMs in the Japanese Programming Language “Nadeshiko”
〇Kazuki Nishii1, Kazuaki Ando1 (1. Kagawa University)
Keywords:
Japanese Programming Language,Fill-in-the-blank question generation,Large Language Model
本研究では，日本語プログラミング言語「なでしこ」を対象に，LLMを用いて空欄補充問題を自動生成することを目的とする．「なでしこ」は日本語プログラミング言語を代表する言語であるが，通常のプログラミング言語と比較して学習に利用できるデータは乏しい．そのため，LLMを用いて空欄補充問題を生成する際，他言語の構文が混入するという課題があった．そこで本稿では，文法カテゴリ（演算や制御構造など）に基づいて空欄位置を意図的に設計したデータセットを構築し，これをFew-shot の例示として提示する手法について検討する．実験の結果，本手法はZero-shotと比較して生成性能を改善し，さらに提示する例示数（Shot数）に比例して性能の向上が確認された．一方，異なる日本語プログラミング言語「プロデル」への転用実験では，生成性能の向上は見られず，言語特性を踏まえた空欄設計の必要性が明らかとなった．