講演情報
[2K6-GS-7d-04]FasTARFlow：Transformerベース自己回帰フローから高速な逆自己回帰モデルへの蒸留
〇山下 佳威1、谷口 尚平1、鈴木 雅大1、松尾 豊1 (1. 東京大学)
キーワード：
生成モデル、正規化フロー、蒸留
TARFlowは、正規化フロー（Normalizing Flows: NFs）における表現力や学習の課題を克服する、Transformerベースの自己回帰フローを導入し、最先端の尤度性能と高品質なサンプル生成を実現した。しかし、その自己回帰的な性質によりサンプリングが遅く、実用面での制約が残されている。本研究では、学習済みのTARFlowモデル（教師）から、高速で並列化可能な逆自己回帰フロー（Inverse Autoregressive Flow: IAF）モデル（生徒）へ知識を転移する蒸留フレームワークであるFasTARFlowを提案する。蒸留後のモデルは、競争力のあるサンプル品質を維持しつつ、推論を大幅に高速化する。標準的な画像ベンチマークにおける実験により、FasTARFlowはサンプル品質においてTARFlowと同等でありながら、サンプリング速度を大きく向上させ、NFベースの生成モデルの実用性をさらに前進させることを示す