[1Yin-A] Poster 1

[1Yin-A-19] Analysis of Learning Behavior in Epoch-wise Double Descent for Regression Problems

〇Haruma Murakami¹, Ryuken Uda¹, Yusuke Iida¹ (1. Niigata University)

Keywords:

Deep Learning,Double Descent,Benign Overfitting,Regression Problem,Multi Layer Perceptron

Epoch-wise Double Descent (二重降下) は，テスト誤差が過学習による上昇後に再降下する現象であり，学習ダイナミクス理解の鍵となると考えられ活発に研究されている．これまでに，深層モデルを用いた分類問題で，特にラベルノイズを加えた場合などに顕著に発生することが知られている．一方で回帰問題では，線形モデルのみの報告に止まっており，深層モデルを用いた場合は系統的に研究されていない．本研究では，さらなる理解を目指して，多層パーセプトロンを用いた回帰問題において二重降下が発生するかを検証し，予測の変化挙動を解析した．まず，Feynman Symbolic Regression Databaseの様々な物理方程式に対し，目的変数にガウシアンノイズを加えて二重降下が起こるかを検証した．その結果，回帰問題でも二重降下が生じうることが確認された．さらに，入力の特定の一変数以外を固定して，モデル予測の学習に伴う変化を可視化した．過学習期は過剰適合により真の関数から大きく乖離するが，二重降下期は訓練データに適合しつつ真の関数へ再接近する挙動が確認された．