2022年度 人工知能学会全国大会（第36回）
2022年6月14日〜7月8日京都国際会館＋オンライン
2022年度 人工知能学会全国大会（第36回）
2022年6月14日〜7月8日京都国際会館＋オンライン
[1D1-GS-2-02]自然勾配学習法における Damping 項のスケジューリング
〇長沼 大樹1,2、藤森 岳3、武内 茉莉4、長瀬 准平5(1. モントリオール大学、2. モントリオール学習アルゴリズム研究所、3. 東京理科大学、4. ユニバーシティ・カレッジ・ロンドン、5. 芝浦工業大学)
[[オンライン]]
キーワード：
深層学習、二次最適化、Damping
自然勾配学習法の高速な近似手法の開発により、高い収束性を持つ二次最適化が深層学習においても用いられている。二次最適化においては、情報行列の逆行列計算が必要となるが、一般に深層学習の問題設定では情報行列は退化する。そのため、ヒューリスティックスとして、定数倍された単位行列を足し込む dampingと呼ばれる手法が用いられている。本研究では、Levenberg-Marquardt法による damping決定方法から着想を得て、dampingをスケジューリングする手法を提案し、その効果を検証した。