Presentation Information
[B-15-14]A Study on Unsupervised Consensus Embedding Method for Cooperative Inference
◎Yui Hashimoto1, Takayuki Nishio1, Yuichi Kitagawa2, Takahito Tanimura2 (1. Science Tokyo, 2. Hitachi Ltd.)
Keywords:
Federated Inference,Distributed Inference,Unsupervised Learning,Contrastive Learning
複数の環境に独立して配置された機械学習モデルを協調的に利用し，推論性能を向上させる協調推論への関心が高まっている．しかし，実環境では入力データやモデルパラメータがプライバシや知的財産の観点から共有できない場合が多く，さらに各モデルが異なる構造や学習データに基づいて構築されるため，共通の特徴空間を仮定することも困難である．本稿では，このような制約下で協調推論を実現するため，教師なし合意埋め込みに基づく協調推論手法を提案する．提案手法では，各デバイスの中間特徴を共通の合意埋め込み空間へ写像する合意層と，合意埋め込みから予測結果を出力する協調出力層を導入し，ラベルなし共有データのみを用いて学習する．推論時には，入力を持つデバイスが生成した合意埋め込みを他デバイスへ共有し，各デバイスの出力を信頼度に基づいて統合する．CIFAR-100を用いたnon-IID画像分類評価により，提案手法が全てのラベル分布条件において単独推論を上回る分類精度を達成し，入力データおよびモデルパラメータを共有せずに複数モデルの知識を補完できることを示した．