講演情報
[4L4-GS-1a-06]補助損失による勾配干渉緩和のための勾配操作に関する研究
〇大橋 海斗1、長谷川 達人1 (1. 福井大学大学院工学研究科)
キーワード：
勾配干渉、深層学習、補助分類器、画像認識
深層学習において，中間層へ補助分類器を接続する手法は，勾配消失の緩和や正則化効果をもたらし，学習の安定化と精度向上に寄与する．しかし，補助分類器と最終層の分類器では要求される特徴表現の抽象度が異なり，勾配方向が必ずしも一致しない場合がある．本研究では，主勾配のノルムに基づき補助勾配を利用するチャネルを適応的に選択し，使用するチャネルでは干渉成分を除去する手法を提案する．CIFAR-100を用いた実験では，チャネル選択によりベースラインと比較して1.2%の精度向上が確認された．一方で，干渉除去の効果は限定的であり，適用するチャネルの割合を増やすと精度が悪化することが示された．