Presentation Information
[N-1-05]探索方向の類似度を用いた適応的慣性付3次正則化ニュートン法
◎Kotomu Tsuchiya1, Shahrzad Mahboubi1, Hiroshi Ninomiya1 (1. Shonan Institute of Technology)
Keywords:
Cubic Regularization Newton Method,Adaptive Momentum Coefficient
3次正則化ニュートン法（CN）の高速化手法である慣性付CN（ICN）は，非線形問題に対して安定した最適化を実現する．ICNの慣性係数µkは収束速度に大きく影響するが，その最適値は問題依存であり事前調整が困難である．先行研究では目的関数値の増減に基づいてµkを自動調節する適応的ICN（Ada-ICN）を提案したが，探索方向の変化に対する制御が間接的であるという課題があった． 本研究では，各反復における探索方向のコサイン類似度を用いてµkを直接制御する手法AMoC-ICNを提案する．ICNの探索方向をdk = −(H+λkI)⁻¹∇f(wk+µkvk)と定義し，連続する探索方向dkとdk−1のコサイン類似度ckを計算する．ckが正（探索方向が類似）のときはµkを抑制して安定した探索を行い，負またはゼロのときはµk=µmaxとして高速な探索を促す．これにより，3次正則化項を含むヘッセ行列情報を活用した即時的かつ精細な慣性係数制御を実現する． 関数近似問題を用いた数値実験により，AMoC-ICNは事前のパラメータ調整なしに，最適なICNと同等の収束性能を示すことを確認した．