講演情報
[N-1-34]Island Class Structureのモデル構造依存性に関する解析
△代 美月1、神野 健哉1 (1. 東京都市大学大学院)
キーワード：
CNN、クラス分類、Neural Collapse、幾何学構造、Islandクラス構造
本研究では，深層分類器におけるIsland Class Structureのモデル構造依存性を検証した．Island Class Structureとは，クラス数に対して特徴次元が不足するdimension-deficient settingにおいて，2次元特徴空間上のあるクラスの決定領域が外周に接せず，他クラスの決定領域に囲まれて孤立する幾何構造である．先行研究では，CNNベースのResNet20においてこの構造が確認されていたが，特定のモデル構造に依存する現象かどうかは明らかでなかった．
そこで本研究では，ResNet20に加えてVision TransformerベースのLite-ViTを構築し，CIFAR-10を用いて比較実験を行った．両モデルとも最終分類層直前に2次元ボトルネック層を導入し，biasを含む線形分類層により10クラス分類を行った．各モデルについてseedを0〜99まで変更した100試行を実施し，最終的な幾何構造を評価した．
実験の結果，ResNet20とLite-ViTの両モデルにおいて，100回すべての試行で少なくとも1つ以上のIsland Classが観測された．この結果から，Island Class StructureはCNN特有の現象ではなく，ViTベースモデルにおいても発生しうることが確認された．一方で，Island Class数の分布にはモデル間で違いが見られた．
以上より，Island Class Structureはモデル構造を超えて現れる一般的な現象である可能性が示唆された．一方で，Island Class数の違いが特徴抽出器の構造に起因するかについては未解明であり，形成メカニズムの詳細な解析が今後の課題である．
そこで本研究では，ResNet20に加えてVision TransformerベースのLite-ViTを構築し，CIFAR-10を用いて比較実験を行った．両モデルとも最終分類層直前に2次元ボトルネック層を導入し，biasを含む線形分類層により10クラス分類を行った．各モデルについてseedを0〜99まで変更した100試行を実施し，最終的な幾何構造を評価した．
実験の結果，ResNet20とLite-ViTの両モデルにおいて，100回すべての試行で少なくとも1つ以上のIsland Classが観測された．この結果から，Island Class StructureはCNN特有の現象ではなく，ViTベースモデルにおいても発生しうることが確認された．一方で，Island Class数の分布にはモデル間で違いが見られた．
以上より，Island Class Structureはモデル構造を超えて現れる一般的な現象である可能性が示唆された．一方で，Island Class数の違いが特徴抽出器の構造に起因するかについては未解明であり，形成メカニズムの詳細な解析が今後の課題である．