[9B]高速化・効率化

17:05 〜 17:30

[9B-04] エネルギー効率の良いセンサモデルのための蒸留

*鍵山 雅治¹、大北 剛¹ (1. 九州工業大学知能情報工学研究系)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

知識蒸留、レザーバー、トランスフォーマー

本論文では, 1次元トランスフォーマーを基盤としたエネルギー効率の高いモデルを構築するため, レザーバネットワークを活用したモデルと蒸留手法を提案する. このモデルを, センサーデータを用いた人間の行動認識タスクに適用した. 実験結果は, 1次元トランスフォーマーと比較して推論速度が3.8倍に向上した一方で, 精度は31.6\%低下した. エッジで加速度センサ信号が入力された際に, この信号を中央演算装置に送ら
ずにエッジで行動認識処理をする場合, この提案する機構がどのような形で使用可能かを考察した. 蒸留を行う教師はエッジに送る必要がなく, 生徒であるPatchEchoLLMを送り込む形を考慮する. 実験では, (1)PatchEchoClassifier が送り込まれた場合にメモリ使用量やライブラリのメモリ量を計算し, (2) 行動認識のクラスが増減することを考慮して, このための処理を行うために必要な計算量を測定した.