講演情報
[1Yin-A-52]双曲空間上でのword2vec単語の共起関係と意味の階層構造
〇海老沢 達輝1、杉山 麿人1 (1. 国立情報学研究所(総合研究大学院大学))
キーワード：
機械学習、自然言語処理、多様体
双曲空間は体積が指数関数的な広がりを持つため、階層構造を連続空間に埋め込むことに適していることが知られている。本研究では、単語の意味における階層構造を埋め込み空間上の構造へと対応付けるため、双曲空間の一つであるポアンカレ球上で word2vec の実装を行ない、ユークリッド空間上で実装を行なった場合と比較した。テキストデータの情報のみを用い、外部の構造化された情報は用いずに学習を行なった。評価指標として、各埋め込み表現のノルムと、単語の意味の抽象度において下位となる単語群の埋め込み表現から得られる平均ベクトルと抽象度において上位語の埋め込み表現との間の距離を用いることで、提案手法の有効性を検証した。また、単語の出現頻度の値を変化させて学習を行なった。その結果、出現頻度が同程度の単語同士は、その意味の抽象度に関わらずポアンカレ球上でのノルムが小さくなった。この結果から、意味の抽象度と出現頻度に相関がある場合、抽象度が高い単語の埋め込み表現が原点近くに配置される傾向にあることが示唆される。