Presentation Information
[N-2-10]Cross-layer Gradient Attribution in U-Net Skip Connections
◎△Rikuto Shirai1, Mizuki Dai1, Kenya Jinno1 (1. Tokyo City Univ)
Keywords:
U-Net,skip connection
医療画像セグメンテーションでは，撮像装置の違いによるドメインシフトのため，未学習の装置で精度が低下する．U-Net の skip connections は浅層特徴を decoderへ直接伝えるため，ドメイン依存情報の伝播経路となりうる．先行研究は浅層 skip の除去が汎化を改善しうることを示したが，どの層の skipにどのように介入すべきかという原理は確立していない．我々はこれまで，ResNet18 encoder の layer2 に対応する enc.2 においてのみ，skip経由の勾配ノルムがより深い層を経由する成分を上回ることを観測してきた．本稿では，層の総パラメータ勾配を各 skip・bottleneckを供給源とする成分にベクトル・ヤコビアン積で分解し，各供給源の総勾配方向への符号付き射影割合を定量化する．心臓 MRI データセット M&Msで学習した既学習モデルを解析した結果，収束時の enc.1 のパラメータ更新方向に対し，enc.2 skip が 54%（自層 skip を上回る最大の供給源）を占め，enc.0に対しても約 55% であった．この層間依存は学習を通じて形成され（ImageNet 初期化で 0.01→0.54），ランダム初期化でも 0.39と無視できなかった．以上より，enc.2 skip は少なくとも浅層 enc.1 の学習信号の主要な供給源であり，その介入は単一 skipの変更にとどまらない非局所的操作となりうる．