講演情報
[A-10-02]勾配ノルム分布の尖度を状態指標とした学習率制御による画像分類学習の効率化
△日原 将希1、石川 真之介1 (1. 立教大学)
キーワード：
深層学習、学習率スケジューリング、転移学習、尖度、勾配統計量
深層学習における学習率スケジューリングは収束効率に大きく影響するが、既存手法はエポック数や検証損失に依存しており、学習中の勾配分布の状態を直接観察しない。先行研究では確率的勾配ノイズが重裾性を持ち、その分布特性が学習ダイナミクスと関係することが示されている。この知見に着想を得て、本研究ではlossやaccuracyとは独立した指標として勾配ノルム分布の超過尖度に着目し、尖度の正常範囲からの逸脱に応じてコサインスケジューラのベース学習率を連続的に減衰させるコントローラ（CTRL）を提案する。CIFAR-100におけるResNet18のスクラッチ学習では、目標精度75%到達をCTRLが138.7epochで達成し、コサイン単体（150.3epoch）より有意に早く（p<0.05）、最終テスト精度でも最高値（77.9%）を記録した。転移学習では、200epoch内にコサイン単体が全モデル（ResNet18/50/101）で未到達であったのに対し、CTRLは全モデルで到達を実現し、テスト精度をBL比+1.9〜+2.9pt向上させた。