講演情報
[1Yin-B-32]クラス平均からのピクセル空間サンプリングに基づく簡易データセット蒸留
〇白田 咲樹1、神野 健哉1 (1. 東京都市大学)
キーワード：
データセット蒸留、k-means、画像分類、合成データ、コサイン類似度
深層学習の性能向上には大規模データセットが寄与する一方、大規模データには冗長な情報が多く、すべてのデータが同等に学習へ寄与するとは限らない。したがって学習に本質的に必要な情報を少数データで表現できる可能性がある。本研究は、情報凝縮に基づくデータセット蒸留に着目する。本研究の目的は、大規模最適化を用いずに少数画像で学習性能を維持可能な軽量データセット蒸留手法を構築することである。既存のデータセット蒸留は、蒸留データを最適化するために学習過程を内外ループで反復するなど計算負荷が大きい場合がある。そこで本研究では、複雑な内外ループ最適化を用いず、平均計算とクラスタリングのみで蒸留画像を生成する軽量手法を提案する。各クラス平均を基点とし、差分ベクトルを正規化して角度情報を抽出し、k-meansで代表方向を求め、平均から一定距離rだけ進めた点を蒸留画像とする。差分正規化によりノルム依存の偏りを抑え、異方的分布における方向多様性の確保を狙う。実験の結果、MNISTおよびFashion-MNISTにおいてランダム選択法を上回り、既存の簡易蒸留法と同等以上の分類精度を短時間で達成できることを確認した。