講演情報
[5Yin-A-36]意味的類似性を用いた新規概念の埋め込み初期化
〇三浦 東子1、谷口 雅弥2,1、平岡 達也3,2,4、坂口 慶祐1,2、乾 健太郎3,1,2 (1. 東北大学、2. 理化学研究所、3. ムハンマド・ビン・ザイード人工知能大学、4. 奈良先端科学技術大学院大学)
キーワード：
新規概念学習、埋め込み初期化、知識獲得、知識表現
学習データが限られた新規概念のトークンを埋め込み層に追加して学習させる場合、その埋め込みをランダムに初期化すると、その意味表現の獲得は難しい。本研究では、新規埋め込みをランダム初期化する代わりに、外部埋め込み空間で意味的に類似した既存トークンの埋め込みを初期値として再利用する手法を提案する。Wikipedia 由来の特徴文を用いた評価の結果、類似埋め込みによる初期化はランダム初期化より推論性能を向上させ、新規概念が意味表現として獲得されることを示した。