講演情報
[N-1-18]Polyak-Ruppert Averagingを用いた勾配分散低減勾配法
◎△浅井 傑1、山富 龍1、二宮 洋1 (1. 湘南工科大学)
キーワード：
確率的勾配降下法、確率的分散低減勾配法、Polyak-Ruppert Averaging、勾配分散低減、深層学習の最適化
近年，深層学習の最適化手法として確率的勾配降下法（SGD）が広く用いられているが，ミニバッチによる勾配計算には大きな分散が含まれるため，学習が不安定になる場合がある．この問題を改善するため，フル勾配を利用して勾配分散を低減する Stochastic Variance Reduced Gradient（SVRG）が提案されている．さらに，フル勾配の計算コストを削減するため，1エポック前の平均勾配を用いてフル勾配を近似する No Full Grad SVRG が提案されている．しかし，同手法では前エポックの最終パラメータを基準点とするため，基準点におけるフル勾配と平均勾配との間に乖離が生じ，学習が不安定化する場合がある．そこで本研究では，Polyak-Ruppert Averaging に基づき，前エポックの平均パラメータを基準点として用いる Polyak-Ruppert Averaging No Full Grad SVRG（Polyak-SVRG）を提案する．平均パラメータを利用することで，個々の更新による変動を平滑化し，平均勾配によるフル勾配近似の精度向上を図る．CIFAR-10 を用いた画像分類実験の結果，提案手法は既存手法と比較して精度推移の振動が小さく，安定した学習が可能であることを確認した．