[5F2-GS-10m] AI application

12:30 PM - 12:45 PM JST(3:30 AM - 3:45 AM UTC)

[5F2-GS-10m-03] Supervised Fine-Tuning Large Language Models with Survey Data

〇Yuya Nozawa¹, Masataka Ushiku¹, Koki Konishi¹, Toshiya Tanaka¹, Chengbai Huang¹, Yusuke Kumagae¹ (1. Hakuhodo DY holdings)

Keywords:

Large Language Models,Survey Data,Supervised Fine-Tuning

指定したペルソナからLLMを用いて仮想個人を構築する方法は，社会シミュレーションや標本調査代替，半構造化インタビューなど広範な応用がある． 多くの既存研究は，プロンプトのみによって仮想個人を構築しているが，再現精度の低下や，多様性の消失などの限界も知られている． 本研究では，個人ごとのアンケート回答データを用いて，LLMに教師ありファインチューニング（Supervised Fine-Tuning，SFT）を適用し，個人ごとのアンケート回答の予測タスクを解かせることで，より高精度な仮想個人の構築を試みる． 実データを用いた実験の結果，SFTによって学習したモデルは，学習前のモデルや，クローズドなLLMより高い回答予測精度を発揮し，回答分布の予測精度も改善した．更に，学習に用いていない設問に対する予測精度も大きく改善した．