人工知能学会

本研究では，近年の自然言語処理領域で一般的になっている汎用的な事前学習モデル「BERT」を用いて，日本語ニュース記事の抽象型要約に取り組む．具体的には，3種類のBERTを用いて、BERTを拡張した要約手法「BertSum」のモデルを構築した。実験を通じて、多言語モデルよりも日本語モデルの方が優れた性能を発揮すると分かった。事前学習のコーパスとして日本語のニュース記事を用いたモデルと日本語のWikipediaを用いたモデルでは、性能に有意な差は確認できなかった。日本語のニュース記事を扱う上で重要なトークナイザーや未知語についても議論した。