講演情報
[3Yin-A-06]大規模基盤モデルを用いた知識蒸留による軽量画像分類モデルの精度向上と効率化の検証
〇和田 悠暉1、小池 由能1、林田 将明1、岩田 泰士1 (1. 日鉄ソリューションズ株式会社)
キーワード：
マルチモーダルLLM、ゼロショット・フューショット、知識蒸留
大規模基盤モデルは事前学習によって大量の知識を蓄積している一方で，モデルサイズが大きく，その運用には膨大な計算資源およびメモリを必要とするため，運用コストの増大が課題となる．一方，特定ドメインに特化したタスクにおいては，知識蒸留を用いることで，軽量なモデルでも精度が向上することが知られている．本稿では，画像分類問題を対象として，大規模基盤モデルから軽量モデルへの知識蒸留により，分類精度を維持しつつ推論効率が実際に改善可能かどうかを検証した．具体的には，パラメータ数2B/4B/8B/32BのマルチモーダルLLMを教師モデル，パラメータ数約150Mの画像・言語対応を対照学習で獲得したCLIPを生徒モデルとし，正解ラベルの付与されていない画像データに対し，教師モデルが生成したソフトターゲットを用いて蒸留を行い，その有効性を評価した．その結果，教師モデルが生徒モデルの精度を明確に上回るデータ群においては，知識蒸留によって生徒モデルの精度が実際に向上することを確認した．以上より，ドメイン特化タスクにおいては，知識蒸留により軽量かつ高精度なモデルを構築できることが示された．