[4E5-GS-11b] AIと社会：AI安全性と信頼性評価

15:45 〜 16:00

[4E5-GS-11b-02] 大規模言語モデルが内に抱える信念の一貫性の検証

〇辻村 有輝¹、Rikters Matīss¹、江上 周作¹、浅田 真生¹、石垣 達也¹、矢野 憲¹、高村 大也¹ (1. 産業技術総合研究所)

キーワード：

大規模言語モデル、一貫性、論理的推論

本研究では大規模言語モデル（LLM）が人間のような一貫した信念を内部に持つか，またどのような要素が信念の一貫性へ影響を与えるかを明らかにするため，LLMの信念の一貫性を定量的に評価する手法を提案する．
提案手法はLLMに多肢選択質問応答タスクを課した状態で対話を行い，回答の傾向が対話の前後でどの程度変動するか比較することで一貫性スコアを計測する．
選択肢中に唯一の正解が存在するなどによって生じる回答傾向のバイアスを回避するため，20の質問ゲームにインスパイアされた，いずれの選択肢も適正となるタスク設定を構成する．
実験結果からモデルサイズのスケーリングのみではより一貫した信念は獲得されない一方，数学・コードテキストでの継続事前学習に一貫性が大幅に向上することが明らかとなった．