講演情報
[5Yin-A-37]モデル構成に頑健な剰余加算の学習
〇菊地 英翔1、川本 一彦1、計良 宥志1,2 (1. 千葉大学、2. 国立情報学研究所)
キーワード：
トランスフォーマー、剰余加算、頑健性
深層学習モデルにおいて，パリティ問題(より一般的に剰余加算)の学習が困難であると長らく知られている．近年の研究では，データセットに含まれる0の個数の分布の操作によって問題の難易度を調整することで，従来よりも大規模な剰余加算の学習に成功した．しかし，本研究の予備実験により，その学習の成否がモデル構成に強く依存することが明らかになった．本研究では，異なる法による剰余加算を同時学習することで問題の難易度を調整する手法を提案する．先行研究と比較して，提案手法がモデル構成の変更に対して安定した学習を実現することを実験的に確認した．