Presentation Information
[5Yin-A-41]Joint Optimization of Merge Parameters and Quantization Bit-Width in Model Merging
〇Tomoya Ozone1, Rio Akizuki1, Kento Uchida1, Shinichi Shirakawa1 (1. Yokohama National University)
Keywords:
Large Language Models,Model Merging,Quantization,Evolutionary Algorithm
モデルマージは，複数の学習済みモデルの重みを統合することで追加の学習なくモデル性能を向上させる技術である．その発展的な研究である進化的モデルマージは，統合の設定であるマージパラメータを最適化することで自動設定と性能向上を実現した．実用上は計算コストを削減するため，マージ後のモデルを量子化して利用することが一般的である．性能劣化を抑えるには，量子化の設定である量子化ビット幅も最適化することが合理的だと考えられる．しかし，マージパラメータと量子化ビット幅を逐次的に最適化する手法では両者の相互関係を考慮できない．本研究では，マージパラメータと層ごとに設定する量子化ビット幅を同時に最適化することで，より小型で高性能なモデルの獲得を目指す．提案手法の有効性を制約付き最適化と多目的最適化の2種類の問題設定で評価した．目標とする平均ビット幅のもとで性能を最大化する制約付き最適化においては，逐次最適化法よりも高性能なモデルの獲得に成功した．また，性能と量子化ビット幅の2目的最適化においては，逐次最適化法よりも優れた非劣解集合の獲得に成功し，提案手法の有効性が示された．