講演情報
[1K-01]SNS投稿における画像ーテキスト間の関連性分析
*鍋岡 琢渡1、段 逸均2、馬 強2 (1. 京都大学大学院情報学研究科、2. 京都工芸繊維大学大学院工芸科学研究科)
発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり
論文種別：ロングペーパー
インタラクティブ発表：あり
キーワード：
SNS、マルチモーダル、クラスタリング、GNN、関連性分析
SNSには画像付き投稿が多数存在し，画像とテキスト相互の関連性をふまえた情報提供や理解が大切である．そのため，我々は SNS上の画像とテキストのペアの関連性分析についての研究を行っている．先行研究では類似関係以外の関係の判別が不十分である課題があり，本研究では，画像ーテキスト対のペア内・外の関係を考慮することで類似関係と補足関係を処理する手法として，グラフベースのモデルを用いて分類と分析を行う．具体的には，ペアデータの各画像とテキストをCLIPを用いてエンべディングした後，別々にクラスタリングして各クラスターを一つのノードとして集約した擬似グラフのエッジとノードを入れ替えたITRC-Line Graphを構築し，GCNを用いてエッジとノードの表現を学習する．更に，ITRC-Line Graphのノードと元のペアデータを融合したベクトルを利用して関連性を分類する．公開データセットを用いて実験を行い，有用性について検証を行う．