講演情報
[4Yin-A-49]転移学習を用いたクラス増分学習におけるBatch Normalization再学習の有効性
〇小端 ちか1、外川 宙1、神野 健哉1 (1. 東京都市大学)
キーワード：
継続学習、Batch Normalization、破壊的忘却
大規模データセットで事前学習された深層モデルは高い転移性能を示すが，クラスが逐次追加される継続学習環境では破壊的忘却が生じる．本研究では，ImageNet事前学習済みResNet-18を特徴抽出器として用いるクラス増分学習を対象とし，Batch Normalization（BN）の再学習と分類器更新に着目する．本研究の主眼は，ImageNetからCIFAR-10へのドメイン適応ではなく，同一データセット内でのクラス追加に伴う特徴分布の変化への適応である．分類器のみ更新するHead-only，BN層のaffineパラメータγ,βと分類器を更新するBN+Head，全パラメータを更新するFull FTの三条件を比較した．CIFAR-10における実験の結果，BN+HeadはFull FTと同等以上の性能を示し，Head-onlyおよびFull FTと比較して忘却を抑制する傾向が確認された．これは，BN更新が固定された旧分類器との整合性を保ちながら最小限の分布操作で新クラスに適応している可能性を示唆する．