Presentation Information
[2G4-OS-47a-03]Automated Video Refinement in World Models for Policy Evaluation
〇Atsuya Ishizu1, Makoto Kawano1, Sunil Kumar Maurya1, BumJun KIM1, Yutaka Matsuo1 (1. Univ. of Tokyo)
Keywords:
World Model,Policy evaluation,Automatic model evaluation
物理環境において動作する視覚言語行動モデルに代表される汎用方策の開発が急速に進展している．
実世界での評価は高コストかつ安全上の制約を伴う一方，物理シミュレータによる評価は環境構築コストが高く，汎用方策の網羅的な評価が課題となっている．
こうした課題に対し，世界モデルは言語指示と画像コンテキストを入力として多種多様なシナリオを柔軟に生成でき，汎用方策の評価基盤として期待されている．
方策の評価は世界モデルの出力動画の質に依存し，その出力動画は世界モデルに入力する言語指示に影響を受ける．
手動による言語指示の調節は多大な労力を要し，検証シナリオが増加するにつれ人手で設計することは困難である．
これに対処するため，本研究では評価フィードバックに基づいて言語指示を洗練させる自動化フレームワークを提案する．
本研究は，言語指示生成プロンプト自体を最適化することで評価者の意図に沿った多様な評価シナリオの出力動画の自動改善を実現し，人的労力を削減する．
実世界での評価は高コストかつ安全上の制約を伴う一方，物理シミュレータによる評価は環境構築コストが高く，汎用方策の網羅的な評価が課題となっている．
こうした課題に対し，世界モデルは言語指示と画像コンテキストを入力として多種多様なシナリオを柔軟に生成でき，汎用方策の評価基盤として期待されている．
方策の評価は世界モデルの出力動画の質に依存し，その出力動画は世界モデルに入力する言語指示に影響を受ける．
手動による言語指示の調節は多大な労力を要し，検証シナリオが増加するにつれ人手で設計することは困難である．
これに対処するため，本研究では評価フィードバックに基づいて言語指示を洗練させる自動化フレームワークを提案する．
本研究は，言語指示生成プロンプト自体を最適化することで評価者の意図に沿った多様な評価シナリオの出力動画の自動改善を実現し，人的労力を削減する．
Comment
To browse or post comments, you must log in.Log in