講演情報
[A-11-12]LoRA Rank Growing における既存Rank 固定の妥当性分析
◎△金谷 一輝1、近藤 大輔2、小板 隆浩2、小比賀 亮仁1 (1. 同志社大、2. 同志社大学大学院)
キーワード：
深層学習、ファインチューニング、LoRA、Rank Growing
LoRAは，モデルに低ランク行列で表される少数のパラメータを追加し，そのパラメータのみを学習するparameter-efficient fine-tuning手法である．LoRAのrankは表現力を左右する重要な要素であり，学習途中でrankを段階的に追加するrank growing型の手法が提案されている．一方で，既存rankを固定し，追加rankのみを学習する設計では，追加rankの更新が既存rankの勾配に影響を与える場合，既存rank固定の妥当性が明らかでない．本研究では，rankを1つ追加して学習する区間をstageとし，追加rankの更新が既存rankの勾配に与える一次近似的な影響をHVP interaction，stage前後における既存rankの勾配変化をgradient driftと定義する．SST-2を用いた分類実験では，RoBERTaに対してrankを1から5まで段階的に増加させ，固定型と再調整型を比較した．その結果，固定型ではHVP interactionとgradient driftの間に正の相関が見られ，追加rankの学習が固定された既存rankの勾配に影響を与えることが示唆された．一方，再調整型では明確な相関は見られず，既存rankの再調整により勾配変化が吸収された可能性がある．また，最終stage後のTest Accは固定型で93.6±0.4%，再調整型で94.0±0.4%となり，再調整型が小さいながら高い平均性能を示した．以上より，rank growingではrank間の相互作用を考慮した学習設計が重要であると考えられる．