講演情報
[9B-05]LoRAと事前学習拡散モデルによるニューラルネットワーク重み生成
*王 墻1、宮森 恒1 (1. 京都産業大学大学院 先端情報学研究科 宮森研究室)
発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり
論文種別：ロングペーパー
インタラクティブ発表：あり
キーワード：
拡散モデル、重み生成、LoRA、事前学習、ニューラルネットワーク
拡散モデルは画像生成の分野で目覚ましい成功を収めており、高品質で多様な画像を生み出している。最近の取り組みでは、ニューラルネットワークの重みを生成するように拡張されており、拡散モデルの汎用性の高さが示されている。ただし、これらのモデルは通常、特定のタスクとデータセット用にトレーニングされるため、学習の計算量がかなり多い。また、複数データセットで学習されたモデルを学習せず融合するが困難である。一方、拡散モデルは、通常、特定タスクとそのデータセットに対して訓練されるため、学習に必要な計算量はかなり大きい。また、異なるデータセットでそれぞれ訓練された複数モデルを学習せずに融合することは困難である。本稿では、ニューラルネットワーク重みを生成する新しい拡散モデルを提案する。LoRA(Low-Rank Adaptation)を活用し、汎用的な重み生成用拡散モデルを構築することで、データセットとタスクを拡散モデルから分離して重みを生成する。本手法により、汎用モデルを再利用でき、新しいデータセットで訓練するのに必要な計算量も削減できることが期待される。また、異なるデータセットに対するモデルを融合することが可能になると期待される。実験では、複数のタスクと各々に対応するデータセットからニューラルネットワークを訓練して訓練データセットを取得し、提案手法のモデルから生成される重みと従来手法から生成される重みを用いた性能評価から、提案手法の有効性を検証する。