講演情報
[1Yin-A-14]パレットクエリに基づくファッション画像のマルチモーダル検索
〇雨宮 佳音1、八島 大地1、勝又 圭1、杉浦 孔明1 (1. 慶應義塾大学)
キーワード：
マルチモーダル検索、マルチモーダル基盤モデル、ネイルデザイン
本研究では、自然言語記述およびパレットクエリに基づき、ファッション画像を検索するタスクを扱う。パレットクエリとは、ユーザがカラーピッカーを用いて任意の数の色を指定する入力であり、連続値により微妙な色味のニュアンスを表現できる。ファッション領域ではこのような色味の差異が重要であるにも関わらず、連続的な色入力を検索に組み込む試みはこれまで十分に検討されてこなかった。そこで本研究では、 自然言語に加えてパレットクエリの双方に包括的に適合するファッション画像を検索するマルチモーダル検索手法を提案する。本手法は、自然言語に含まれるユーザの意図、およびパレットクエリで表現される色嗜好との関係性をモデル化する。実験の結果、標準的な情報検索の評価指標において、提案手法は既存のベースライン手法を上回った。