講演情報
[4Yin-A-40]大規模言語モデルにおける Intruder Dimension の発生傾向と分布に関する分析
〇豊井 美雪1、陳 薄文1、韓 南琦1、宮尾 祐介1,2 (1. 東京大学、2. 国立情報学研究所大規模言語モデル研究開発センター)
キーワード：
intruder dimension、低ランク適応、大規模言語モデル、特異値分解
言語モデルにおいて、特定の下流タスクを低ランク適応により学習した際、ベースモデルのものと大きく異なる特異ベクトルが観測されることがあり、これらは intruder dimension と呼ばれる。先行研究では、intruder dimensionが言語モデルの継続的なファインチューニングに悪影響を及ぼす可能性が指摘されているが、その出現傾向や構造的性質は十分に明らかにされていない。本研究では、LLaMA2-7B-hf および Qwen2-7B を対象として複数の下流タスクに対する低ランク適応を行い、重み行列の特異値分解に基づいて intruder dimension の出現傾向および層方向の分布を分析した。その結果、データセットサイズとintruder dimensionの数の間には正の Spearman 順位相関が見られた。また、モデルの上～中位層や意味表現を担う重みに集中することが明らかとなった。