[5F2-GS-10m] AI application

12:00 PM - 12:15 PM JST(3:00 AM - 3:15 AM UTC)

[5F2-GS-10m-01] Evaluating LLM-Simulated Agents via Individualization and Distribution Coverage

〇Yusuke Kumagae¹ (1. Hakuhodo DY holdings Inc.)

Keywords:

Large Language Model,Persona,Virtual Person,Silicon Sampling

LLM に人格や属性などのペルソナを設定して構築する仮想個人は社会シミュレーションや半構造化インタビューなどの様々な応用を持つ．本研究では，これまで既存研究が取り組んできた「仮想個人が特定のペルソナを模倣しているか」だけではなく，「実際の人間の多様性を仮想個人はカバーできているか」の観点で定量評価を行う．実データを用いた実験の結果，（1）LLM に対するペルソナの設定は，同属性の人間の回答に近づける効果が限定的である，（2）仮想個人の回答集合は人間が持つ多様な回答をカバーしきれない，の2つが明らかになった．