講演情報

[2K6-GS-7d-05]スケジューリング可変な周波数逐次自己回帰型画像生成モデル

〇三宅 大貴1、鈴木 雅大1、松尾 豊1 (1. 東京大学)

キーワード:

画像生成、自己回帰モデル

近年のLLMやVLMの成功を背景に,画像をパッチ列して離散化し,次トークン予測に基づく自己回帰的に画像生成を行う研究が活発化している.そうした自己回帰型画像生成モデルでは,パッチ化された画像を左上から右下へ走査する順序で一列化して言語と同様に扱うよりも,低解像度から高解像度への順序で生成することで生成品質が向上することが報告されている.一方で,そうした自己回帰型画像生成モデルでは,生成する解像度を固定長のスケジュールとして事前に決める必要があり,学習前に最適なスケジューリングを決定することが難しいという課題がある.そこで本研究では,周波数逐次自己回帰型画像生成モデルを連続時間に拡張し,生成時に周波数スケジューリングを柔軟に設計できるモデルを提案する.加えて,誤差の蓄積を防ぐために,過去の時刻での推論情報を利用するサンプリングアルゴリズムを提案する.CIFAR-10での実験を通じて,適切なスケジューリングを設定することで,提案手法が周波数スケジュール固定の既存モデルを上回り,FIDが50%以上改善することを示す.