講演情報
[N-1-38]Prompt-to-Prompt 色属性編集における対象外領域変化と内部特徴更新の解析
◎△石田 悠斗1、神野 健哉1 (1. 東京都市大学)
キーワード：
画像生成、画像編集、拡散モデル、Prompt-to-Prompt、Cross-Attention
本研究では、Prompt-to-Prompt（P2P）による色属性編集において、編集対象外領域に生じる変化を定量化し、U-Net内部のcross-attention blockにおける特徴更新との関係を解析した。5種類の2物体prompt pairを用い、一方の物体の色属性のみを変更し、編集対象領域をFG、対象外領域をBGとして評価した。BGChangeはsource imageとedited imageのBGにおける正規化RGB値のL1平均差分として定義した。self/cross replacement stepを変化させた結果、attention injectionの適用期間を短縮するとBGChangeが増加する傾向が確認された。さらに、baselineとsource cross-attention mapを注入しないcross_0.0を比較したところ、cross_0.0では全prompt pairでBGChangeが約22–62%増加した。cross-attention blockの入力特徴と出力特徴の差からupdate norm mapを算出し、FG内の平均RGB変化方向に沿った画像変化成分とのSpearman相関を評価した結果、baselineではFG内の相関が高く、BG内の相関が低い傾向を示した。以上より、source cross-attention injectionは内部特徴更新と編集対象領域の色変化成分との対応をFG側で相対的に高め、対象外領域変化の抑制に寄与する可能性が示唆された。