[5Yin-A] Poster 8

[5Yin-A-37] Model Robust Learning of Modular Addition

〇Hanato Kikuchi¹, Kazuhiko Kawamoto¹, Hiroshi Kera^1,2 (1. chiba university, 2. National Institute of Informatics)

Keywords:

Transformer,modular addition,Robust

深層学習モデルにおいて，パリティ問題(より一般的に剰余加算)の学習が困難であると長らく知られている．近年の研究では，データセットに含まれる0の個数の分布の操作によって問題の難易度を調整することで，従来よりも大規模な剰余加算の学習に成功した．しかし，本研究の予備実験により，その学習の成否がモデル構成に強く依存することが明らかになった．本研究では，異なる法による剰余加算を同時学習することで問題の難易度を調整する手法を提案する．先行研究と比較して，提案手法がモデル構成の変更に対して安定した学習を実現することを実験的に確認した．