[5Yin-A] Poster 8

[5Yin-A-36] Semantic Similarity–Based Initialization of Embeddings for Novel Concepts

〇Toko Miura¹, Masaya Taniguchi^2,1, Tatsuya Hiraoka^3,2,4, Keisuke Sakaguchi^1,2, Kentaro Inui^3,1,2 (1. Tohoku University, 2. RIKEN, 3. Mohamed bin Zayed University of Artificial Intelligence, 4. Nara Institute of Science and Technology)

Keywords:

Novel Concept Learning,Embedding Initialization,Knowledge Acquisition,Knowledge Representation

学習データが限られた新規概念のトークンを埋め込み層に追加して学習させる場合、その埋め込みをランダムに初期化すると、その意味表現の獲得は難しい。本研究では、新規埋め込みをランダム初期化する代わりに、外部埋め込み空間で意味的に類似した既存トークンの埋め込みを初期値として再利用する手法を提案する。Wikipedia 由来の特徴文を用いた評価の結果、類似埋め込みによる初期化はランダム初期化より推論性能を向上させ、新規概念が意味表現として獲得されることを示した。