[4M4-GS-2e] Machine learning

1:45 PM - 2:00 PM JST(4:45 AM - 5:00 AM UTC)

[4M4-GS-2e-02] Neural Classifiers with Embedded Statistical Clustering and Dynamic Feature Selection

〇Hiroshi Uehara^1,3, Daichi Mochihashi^2,3 (1. Kyoai Gakuen University, 2. The Institute of Statistical Mathematics, 3. SOKENDAI)

Keywords:

Stochastic Neural Models,Embedded Clustering,Dynamic Feature Selection,Mixture Models

本研究では，クラスタが混在する2値ラベル付き高次元データに対し，分類とクラスタリングを同時に行うとともに，各クラスタ中で固有なスパース重要特徴量を検出するEnd-to-Endモデル を提案する．近年，ニューラルネットワークに離散な混合分布モデルや潜在変数モデルを導入し，分類・生成タスクの性能向上を図る研究が進められている．例えば，入力特徴に応じてスパースな サブセットネットワーク(experts)にルーティングするモデル，変分オートエンコーダにおいて，連続緩和したカテゴリ分布で潜在変数層を推定するモデルなどが代表例である．これらのモデルでは，訓練過程において入力特徴に応じた潜在クラスタ構造が形成されると考えられるが，クラスタリング性能を明示的に評価した例は少なく，また特徴量のスパース化も正則化項に基づくものが主であり，クラスタ中の重要特徴次元との対応は明確でない．本研究では，分類器内部に離散な混合モデルによるクラスタ推定機構を組み込み，正則化によらず，クラスタ割当と直接対応づいた重要特徴次元の選択を同時 に実現する．人工データにより，分類性能を維持しつつ，クラスタ構造と重要特徴量を安定的に推定 できることを示す．