2020年度 人工知能学会全国大会（第34回）
2020年6月9日〜6月12日オンライン開催
2020年度 人工知能学会全国大会（第34回）
2020年6月9日〜6月12日オンライン開催
[1E3-GS-9-02]Fine-Tuning による領域に特化した DistilBERT モデルの構築
〇新納 浩幸1、白 静1、曹 鋭1、馬 雯1(1. 茨城大学)
キーワード：
バート、ファインチューニング、領域依存
本論文では BERT の領域依存の問題を指摘し、Fine-Tuning を利用することで領域に特化した事前学習モデルを構築する。具体的には既存 BERT モデルのパラメータを DistilBERT のパラメータの初期値とし、領域毎のコーパスを利用して DistilBERT モデルの学習を行う。これによって領域に特化した DistilBERT モデルの構築が効率的に行える。実験では、領域毎に空所単語の推定問題を作成し、問題の領域に特化して構築したモデルと既存 BERT モデルを比較することで、構築したモデルの有益性を示す。