[4Yin-A] Poster 6

[4Yin-A-40] Analysis of Emergence Trends and Distribution of Intruder Dimensions in Large Language Models

〇Miyuki Toyoi¹, Bowen Chen¹, Namgi Han¹, Miyao Yusuke^1,2 (1. The University of Tokyo, 2. Research and Development Center for Large Language Models, National Institute of Informatics)

Keywords:

intruder dimension,LoRA,LLM,SVD

言語モデルにおいて、特定の下流タスクを低ランク適応により学習した際、ベースモデルのものと大きく異なる特異ベクトルが観測されることがあり、これらは intruder dimension と呼ばれる。先行研究では、intruder dimensionが言語モデルの継続的なファインチューニングに悪影響を及ぼす可能性が指摘されているが、その出現傾向や構造的性質は十分に明らかにされていない。
本研究では、LLaMA2-7B-hf および Qwen2-7B を対象として複数の下流タスクに対する低ランク適応を行い、重み行列の特異値分解に基づいて intruder dimension の出現傾向および層方向の分布を分析した。その結果、データセットサイズとintruder dimensionの数の間には正の Spearman 順位相関が見られた。また、モデルの上～中位層や意味表現を担う重みに集中することが明らかとなった。