Presentation Information
[N-1-42]Extended dynamic mode decomposition for optical circuit implementation of neural networks
〇Seiya Yamamoto1, Jun Ohkubo1 (1. Saitama Univ.)
Keywords:
Neural Network Linearization,Koopman Matrix,Extended Dynamic Mode Decomposition,Optical Circuit Implementation,Low-rank Approximation
近年，ニューラルネットワークは画像認識や自然言語処理をはじめとする多様な分野で高い性能を示している．一方で，活性化関数に起因する非線形演算は計算コストや消費電力の増大を招くため，効率的な実装手法が求められている．特に，光回路は高速かつ低消費電力で線形演算を実現できるが，非線形演算の実装や大規模行列の保持には制約がある．本研究では，光回路への実装を見据え，学習済みニューラルネットワークの中間層に含まれる非線形写像を，Koopman作用素および拡張動的モード分解（EDMD）により有限次元のKoopman行列として近似し，線形演算へ置換する手法を検討した．実験ではMNIST手書き数字データセットを用い，入力層が784次元，出力層が10次元，中間層が10次元の5層からなる全結合ニューラルネットワークを対象とした．まず，中間層の第一層目のノード値を時間発展前の状態，中間層の最終層のノード値を時間発展後の状態とみなし，スナップショットペアを生成した．また，活性化関数を適用する前後のノードの値の組み合わせが分類精度に与える影響を比較した．その結果，両層とも活性化関数適用後の値を用いた場合に最も高い精度が得られた．さらに，高次の単項式辞書を用いる際の数値的不安定性を抑えるため，入力側ノード値の絶対値が1以下となるように正規化を導入した．4次辞書を用いた場合，正規化なしでは分類精度が9.42%であったのに対し，正規化により92.90%まで向上し，前処理の重要性が確認された．加えて，得られたKoopman行列に特異値分解（SVD）を適用し，低ランク近似による圧縮を行った結果，分類性能をほぼ維持したまま保存容量を約59%削減できた．以上より，提案手法は光回路実装に向けて，非線形演算の削減と行列規模の抑制を両立する有効なアプローチであることが示された．