講演情報
[5B-03]デコーダベースの言語モデルにおける体系性の分析
*井上 綾介1、宮森 恒1 (1. 京都産業大学 情報理工学部)
発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり
論文種別：ロングペーパー
インタラクティブ発表：あり
キーワード：
言語モデル、体系性、汎化能力、エキスパートユニット、推論
近年の言語モデルは人間のような流暢な言語生成能力を示している一方で, 言語モデルによる体系的な推論に関しては不明な点が多い. 体系的な推論とは, 既知の知識を組み合わせて未知の問題を解けるという人間の性質である体系性に基づく推論で, 言語モデルが学習した知識を汎用的に活用する上で重要とされる. 本研究では, 言語モデルの汎化能力を高める鍵となる体系性に着目し, 記号推論と意味解析の二つのデータセットを用いて言語モデルの内部挙動を分析する. そのために, 特定の概念を担うエキスパートユニットに基づくニューロン操作から言語モデルの体系性を担っていると考えられる箇所を特定する手法を提案し, 記号推論と意味解析タスクにおいて共通する特徴を特定する. 実験では, デコーダモデルであるGPT-2を分析対象とし, その内部状態を明らかにする. 本研究により, 言語モデルにおいてタスクの種類に依らない体系性を担っている箇所が特定され, 分布外汎化を実現するための知見が得られることが期待される.