講演情報
[4G4-OS-26a-05]AIモデル軽量化に向けたMonarch行列近似手法の改良
〇中村 亮裕1、河野 圭祐1、林 直輝1、松森 唯益1、沓名 拓郎1 (1. 株式会社豊田中央研究所)
キーワード：
モデル軽量化、Monarch行列、構造化行列、線形層
ディープラーニングモデルの大規模化に伴い、計算資源の使用量削減の重要性が高まっている。本研究では、GPU上で効率的に計算できる構造化行列である Monarch 行列に着目し、ディープラーニングモデルにおいて広く用いられる線形層を近似する際の目的関数を見直す。従来の射影法は重み行列との差を最小化する一方で、出力再現の観点では最適とは限らない。そこで、重みではなく出力（行列と入力の積）を直接近似する定式化を導入し、交互最小二乗法により解く手法を提案する。ランダムに生成した行列と入力を用いた数値実験において、提案手法が従来の射影法と比べて出力誤差を低減できることを確認した。