講演情報
[5Yin-A-53]Neural Tangent Kernelを導入したData Shapley型疑似ラベル法に関する基礎検討
〇三苫 凌1、迎田 隆幸1,2、島 圭介1 (1. 横浜国立大学、2. 神奈川県立産業技術総合研究所)
キーワード：
疑似ラベル法、Neural Tangent Kernel、Data Shapley、半教師あり学習
疑似ラベル法は半教師あり学習の主要なアプローチであるものの，初期ラベル数が極端に少ない場合，誤った疑似ラベルの混入により学習を阻害する問題がある．これに対し我々は『ランダム初期化されたニューラルネットについて，データの学習貢献度を示すData Shapley値の高さが擬似ラベルの正しさに関連する』という知見に基づいた，学習不要の疑似ラベル法を提案してきた．この手法において，分散を低減させラベル精度を上げるために複数のモデルをアンサンブルしているものの，理論的背景は未解明であった．本稿では，提案手法におけるアンサンブル平均が，無限幅極限においてNeural Tangent Kernel (NTK) に確率収束することを理論的かつ実験的に示す．具体的には，Data Shapley値の算出プロセスを経験的NTKによって定式化し，またアンサンブルサイズの増加が解析的NTKによる決定論的な値へ収束することを実験的に確認した．これにより，提案法に理論的保証を与えるとともに，精度を重視する場合は解析的NTKの，計算効率を重視する場合は小規模のアンサンブル平均の計算を行うべきというトレードオフが示された．