講演情報
[5F2-GS-10m-03]意識調査データを用いた大規模言語モデルの教師ありファインチューニング
〇野沢 悠哉1、牛久 雅崇1、小西 宏樹1、田中 稔也1、黄 橙白1、熊谷 雄介1 (1. 株式会社博報堂DYホールディングス)
キーワード：
大規模言語モデル、意識調査データ、教師ありファインチューニング
指定したペルソナからLLMを用いて仮想個人を構築する方法は，社会シミュレーションや標本調査代替，半構造化インタビューなど広範な応用がある． 多くの既存研究は，プロンプトのみによって仮想個人を構築しているが，再現精度の低下や，多様性の消失などの限界も知られている． 本研究では，個人ごとのアンケート回答データを用いて，LLMに教師ありファインチューニング（Supervised Fine-Tuning，SFT）を適用し，個人ごとのアンケート回答の予測タスクを解かせることで，より高精度な仮想個人の構築を試みる． 実データを用いた実験の結果，SFTによって学習したモデルは，学習前のモデルや，クローズドなLLMより高い回答予測精度を発揮し，回答分布の予測精度も改善した．更に，学習に用いていない設問に対する予測精度も大きく改善した．
コメント
コメントの閲覧・投稿にはログインが必要です。ログイン