講演情報
[2Yin-B-37]マルチモーダル生成のための追加データ不要な自律エージェント型自己進化学習
〇米倉 晴紀1,2、佐藤 文彬1、関井 大気1 (1. 株式会社サイバーエージェント、2. 大阪大学)
キーワード：
自律エージェント型学習、視覚・言語基盤モデル
生成モデルは多様なコンテンツ制作のワークフローに組み込まれつつある一方で，属性の取り違え，数の誤り，禁止要素の混入，関係性やスタイルの破綻など，ユーザーの指示を遵守しない生成を依然として行いうる．本稿では，ユーザーから与えられる情報が最終的な生成指示のみであり，参照入力，追加の学習データ，タスク・ドメイン固有の評価器や報酬モデルといった事前準備を仮定できない実用的条件に着目する．この条件下で推論時に自己適応を行い，指示遵守性を向上させる自律エージェント型学習フレームワークを提案する．提案手法はManager，Generator，Tool，Verifierの4要素から構成され，最終指示のみから（1）自己適応タスク，（2）学習サンプル，（3）評価基準（自然言語チェックリスト）を自律的に構成する．その上で，生成と評価を反復して得られた履歴を蓄積・要約し，本番生成へ転用することで指示遵守性を高める．実験では，ベクター画像生成および2D画像生成の2タスクを通じて，提案手法による自己適応の有効性を検証する．