Presentation Information
[4Yin-A-34]Differentiable Dynamic Top-k with Convex Optimization
〇Tomoya Uekita1, Kyohei Atarashi1, Koh Takeuchi1, Hisashi Kashima1 (1. Kyoto University)
Keywords:
Top-k,Differentiable,Dynamic
ある候補の集合の中から上位 k 個を選択する Top-k 操作は推薦システムや情報検索など様々なタスクで幅広く用いられている。しかし Top-k 操作は微分可能ではないため、そのままではニューラルネットワークに直接組み込んで誤差逆伝播法で学習させることができない。そこで先行研究では Top-k 操作を微分可能なものに置き換える試みが様々に行われてきた。また、従来の Top-k 操作における選択個数は事前に固定された定数であり、これに対して選択個数を動的に決定するという試みも行われている。しかし、この微分可能性と選択個数の動的決定を両立した研究はまだ十分でない。そこで、本研究では先行研究の凸最適化を用いた Top-k 手法を拡張することで微分可能かつ選択個数を動的に決定可能な Top-k 操作を提案する。特に、選択個数に上限と下限をそれぞれ設定し、その中で決定されるようにする。そして、提案手法の効率的な計算方法と理論的な解釈について示す。さらに提案手法の有効性の検証のため推薦システムの実験を行い、一部の実験では個数を動的に決定することによる性能向上が見られた。