講演情報
[1Yin-A-57]大規模言語モデルにおける数列理解の挙動分析: 最大値に着目した内部状態ベクトルの解析
〇新井 深月1,2、石垣 達也2、宮尾 祐介3,2、高村 大也2、小林 一郎1,2 (1. お茶の水女子大学、2. 産業技術総合研究所、3. 東京大学)
キーワード：
解釈可能性、大規模言語モデル、数列
大規模言語モデル(LLM) は，数値を含む多様なタスクにおいて高い性能を示している一方で，数列をどのように内部で理解，処理しているかについては未解明な点が多い．本研究では，LLMにおける数列理解の挙動を明らかにすることを目的とし，与えられた数値系列内における「最大値」に着目して，LLMが内部表現として最大値をどのように扱っているかを分析した．具体的には，整数列を入力としTransformerのエンコーダに与え，注意機構におけるKeyベクトル, Queryベクトル, およびValueベクトルのトークン位置ごとの変化量を調査した．その結果，数列中で最大値が更新される位置において，これらのベクトル表現が大きく変化する傾向が観測された．この挙動は，最大値探索を明示的に指示しない場合にも確認され，さらに最大値を求める指示を与えることで，変化がより顕著になることが分かった．以上の結果からLLMは明示的な指示がなくとも，数列中の最大値を内部的に保持・更新しようとする挙動を示す可能性が示唆される．