[2E5-GS-10o] AI application

4:00 PM - 4:15 PM JST(7:00 AM - 7:15 AM UTC)

[2E5-GS-10o-03] Improving Interpretability of Pairwise Comparison Deep Learning Models for Image Data by Integrating Visual Features and Linguistic Information

〇Shunki Matsui¹, Zixuan Tong¹, Haruki Nagami¹, Ayako Yamagiwa¹, Masayuki Goto¹ (1. Waseda University)

Keywords:

Deep Learning,Sensory Evaluation,Interpretability,Image Data,Pairwise Comparison

消費者のニーズを捉えた商品開発のためには，商品に対する感性の定量的な分析だけでなく，解釈可能な形で要件に落とし込むことが必要である．近年市場が拡大するECサイトでは，特に商品画像が消費者の購買意思決定に強い影響を与えるため，画像に対する主観的評価の分析が重要である．しかし，従来手法において，その解釈は評価に寄与した画像の局所領域の可視化に留まっている．これらを商品開発へ活用するためには，人間が理解できる形での評価基準の解明が求められている．そこで本研究では，商品画像に対する感性評価の基準を人間が理解可能な形で説明可能な一対比較深層学習モデルの開発を目的とする．その達成に向け，評価基準のテキストによる意味的な解釈を可能にする「解釈可能なベースモデル」と，その分析の信頼性を支える「残差補完モデル」からなる二段階の手法を提案する．これにより，高い判定精度に基づく分析の信頼性と，テキスト化された視覚的特徴による評価基準の解明が両立可能となる．本研究では，生花商品画像の実データを用いた評価実験を通じて，予測精度および評価基準に関する解釈の妥当性の両観点から有効性を示す．