[9D]機械学習・深層学習

16:00 〜 16:25

[9D-01] 知識統合と信頼度推定を活用した複数GNNからMLPへの知識蒸留フレームワーク

*中山 樹¹、鬼塚 真¹ (1. 大阪大学大学院情報科学研究科)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

知識蒸留、グラフデータ、グラフニューラルネットワーク

グラフニューラルネットワーク（GNN）は多様なグラフ機械学習タスクで高い性能を示す一方，推論に時間がかかるという課題がある．近年，推論速度の向上を目的として，GNNモデルから多層パーセプトロン（MLP）への知識蒸留を行う手法（GNN-to-MLP）が注目されている．しかし，既存の手法は単一の教師モデルまたは単一種類の知識のみを利用しており，教師GNNモデルが持つ暗黙知を十分に活用できていない．そこで本研究では，複数の教師モデルと複数の種類の知識を組み合わせるフレームワークKARE（Knowledge Amalgamation and Reliability Estimation Framework）を提案する．本手法では，異なる集約関数を採用する教師モデルから得られる多様な知識を統合するとともに，ノードごとの信頼度を推定して損失関数の重みを動的に調整することで，より良い知識蒸留を実現する．さらに，KAREは既存のGNN-to-MLP手法との組み合わせが可能であり，5つのベンチマークデータセットと2つの設定における実験で既存手法を上回る精度を達成した．