講演情報
[5Yin-A-60]Transformerに基づく逐次推薦モデルにおける自己注意重みの再考
〇神崎 恵土1、櫻井 慶悟2、藤後 廉3、小川 貴弘3、長谷山 美紀3 (1. 北海道大学 工学部、2. 北海道大学 総合イノベーション創発機構 データ駆動型融合研究創発拠点、3. 北海道大学 大学院情報科学研究院)
キーワード：
推薦システム、逐次推薦、Transformer
SASRecに代表される自己注意モデルは逐次推薦において広く用いられており，非一様な注意重みが高い推薦性能が達成可能な主要な要因であると考えられている．
しかしながら，そのような重み付けが必要であるかどうかは依然として明らかではない．
本研究は次の三つの研究課題に取り組む：
(RQ1) 非一様な注意重み付けの学習は，高い性能に本当に必要であるか．
(RQ2) 学習済みモデルは，表現レベルでどの程度位置間情報を混合しているか．
(RQ3) 混合の度合いと非一様な重み付けの学習の寄与との関係は，データセット間でどのように異なるか．
RQ1に答えるために，本研究では，アーキテクチャおよび学習目標を維持したまま，非一様な重み付けを除去する一様注意による介入を導入する．
RQ2については，ノルムに基づく解析を適用し，注意ブロック内の自己保持成分および位置間混合成分を定量化する．
RQ3に対しては，混合度合いと非一様な重み付けの寄与を統合的に分析し，データセット依存的な三つのレジームを明らかにする．
これらの結果は，位置間混合と非一様重み付けへの依存が分離可能であり，かつデータセット依存的であることを示唆している．
しかしながら，そのような重み付けが必要であるかどうかは依然として明らかではない．
本研究は次の三つの研究課題に取り組む：
(RQ1) 非一様な注意重み付けの学習は，高い性能に本当に必要であるか．
(RQ2) 学習済みモデルは，表現レベルでどの程度位置間情報を混合しているか．
(RQ3) 混合の度合いと非一様な重み付けの学習の寄与との関係は，データセット間でどのように異なるか．
RQ1に答えるために，本研究では，アーキテクチャおよび学習目標を維持したまま，非一様な重み付けを除去する一様注意による介入を導入する．
RQ2については，ノルムに基づく解析を適用し，注意ブロック内の自己保持成分および位置間混合成分を定量化する．
RQ3に対しては，混合度合いと非一様な重み付けの寄与を統合的に分析し，データセット依存的な三つのレジームを明らかにする．
これらの結果は，位置間混合と非一様重み付けへの依存が分離可能であり，かつデータセット依存的であることを示唆している．