[3Yin-A] Poster 5

[3Yin-A-51] Exploring Few-Step Predictive Generation in Diffusion World Models

〇Keito Sei¹, Jouei Okada², Kotaro Aoki³ (1. Tokyo City University, 2. Tokyo University of Science , 3. Nagoya University)

Keywords:

Diffusion,World Model,Model-based Reinforcement Learning

近年, 強化学習・ロボティクス・シミュレーションを中⼼に, 環境の将来を予測して計画や意思決定を⽀える「世界モデル」が幅広いタスクで⽤いられている. 従来の世界モデルは離散的な潜在表現に圧縮して環境ダイナミクスを学習することが多いが, この圧縮は強化学習に重要な視覚的細部を落とし得る. DIAMONDはこの課題を背景に, 画像空間で拡散モデルを世界モデルとして⽤い, 過去の観測と⾏動に条件付けて次の観測画像を⽣成し, ⽐較的少ないデノイズステップでも⻑い想像ロールアウトを扱う設計を検討した. しかしステップ数は推論コストに直結し, 反復ロールアウトやオンライン利⽤では速度がボトルネックになり得る. ⼀般に拡散モデルは, ステップ数を減らすと品質が劣化し, 増やすと計算が重くなるというトレードオフを抱える. そこで本研究は, サンプリングと条件付けを⼯夫し, 蒸留などの少ステップ⽣成を組み合わせて, 1ステップで⾼速かつ⾼品質な予測⽣成を⽬指す.