[4E5-GS-11b] AI and Society

3:45 PM - 4:00 PM JST(6:45 AM - 7:00 AM UTC)

[4E5-GS-11b-02] Evaluating the Consistency of Beliefs in Large Language Models

〇Tomoki Tsujimura¹, Matīss Rikters¹, Shusaku Egami¹, Masaki Asada¹, Tatsuya Ishigaki¹, Ken Yano¹, Hiroya Takamura¹ (1. National Institute of Advanced Industrial Science and Technology)

Keywords:

Large Language Model,Consistency,Logical Reasoning

本研究では大規模言語モデル（LLM）が人間のような一貫した信念を内部に持つか，またどのような要素が信念の一貫性へ影響を与えるかを明らかにするため，LLMの信念の一貫性を定量的に評価する手法を提案する．
提案手法はLLMに多肢選択質問応答タスクを課した状態で対話を行い，回答の傾向が対話の前後でどの程度変動するか比較することで一貫性スコアを計測する．
選択肢中に唯一の正解が存在するなどによって生じる回答傾向のバイアスを回避するため，20の質問ゲームにインスパイアされた，いずれの選択肢も適正となるタスク設定を構成する．
実験結果からモデルサイズのスケーリングのみではより一貫した信念は獲得されない一方，数学・コードテキストでの継続事前学習に一貫性が大幅に向上することが明らかとなった．