[1G4-OS-13b] OS-13

3:55 PM - 4:10 PM JST(6:55 AM - 7:10 AM UTC)

[1G4-OS-13b-02] Quantifying the Values of Large Language Models

〇Ruito Adachi¹, Tomoki Hoshino², Kota Ishizuka², Kosuke Kawakami², Ryutaro Ichise¹ (1. Science Tokyo, 2. HAKUHODO Technologies)

Keywords:

Value,Marketing,LLM

大規模言語モデル（LLM）は，コーディングをはじめとする高度な知的タスクにおいて高い性能を示し，近年では実社会への応用が急速に広がっている．しかしながら，LLM が人間の価値観をどのように内部的に反映しているのかについては，依然として十分に解明されていない．特に，日本の現実の人間集団が有する価値観を，LLM がどの程度反映できているのかは明らかではない．本研究では，従来主に用いられてきた国際的な概念的価値観調査データセットではなく，人々が日常生活の中で直面しうる意思決定場面を想定した「具体的な問い」から構成されるデータセットを用いる．このデータセットに基づき，LLM の生成する回答から推定される価値観と，日本の実際の人間集団における価値観との対応関係を定量的に評価することを目的とする．分析の結果，LLM は人間の価値観を一部の側面では捉えているものの，日本の人間集団における価値観分布全体を十分に反映できていない可能性が示唆された．本研究は，LLM を人間の代理として用いる際の限界を定量的に明らかにするとともに，今後の LLM に内在する価値観の検証研究に対して新たな示唆を与えるものである．