講演情報
[2K4-GS-7b-04]仮想試着における幾何学的な対応を用いたクロス注意の誘導
〇武本 孝輔1、越仲 孝文1 (1. 横浜市立大学)
キーワード：
仮想試着、拡散モデル、SIFTキーポイントマッチング、クロス注意、画像生成
拡散モデルを用いた近年の仮想試着の手法は，注意機構を通じて衣服の特徴を取り込むことで与えられた衣服を再構成している．しかし注意機構による衣服の条件付き拡散モデルでは，テキストやロゴ，イラストといった衣服の細部の再現が不十分であることが多い．本研究では空間的対応を明示的にクロス注意に学習させることで再現性の向上を目指す．キーポイントマッチングを用いてペアデータから抽出された幾何学的対応に対し，仮想試着固有の制約に基づくフィルタリングを適用することで信頼性の高いクロス注意の教師信号を得る．抽出した対応と注意重みを比較する損失項を導入し，クロス注意が空間的に正確な対応関係を学習するよう誘導する．VITON-HDデータセットを用いた実験において，提案手法は定量的及び定性的評価の両面で改善を示し，衣服の細部の再現性が向上した．また注意マップの可視化を通じて，提案手法によって対応する衣服領域に注意重みが集中することが確認され，生成画像における衣服の忠実な再現への寄与が示された．