[6B]時系列分析・学習手法

16:50 〜 17:15

[6B-03] 多次元センサデータ処理のためのTransformerを用いた自己教師あり学習手法

*甲斐 陽喜¹、大北 剛¹ (1. 九州工業大学知能情報工学研究系)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

トランスフォーマー、事前学習言語モデル、センサデータ、人間行動認識

センサ信号を入力として, 人間行動認識を行う深層学習アルゴリズムを開発したい. ここでは自然言語で用いられる Transformerに基づいた事前学習言語モデルを構築して, その事前学習言語モデルを用いて, 下流タスクである人間行動認識タスクを解く形を追求する. VanillaのTransformerでもこれは可能であるが, ここでは, 線形層による n 次元数値データの埋め込み、ビン化処理、出力層の線形処理層という３つの要素を特色とするｎ次元数値処理トランスフォーマーを提案する。5種類のデータセットに対して、このモデルの効果を確かめた. VanillaのTransformerと比較して, 精度で10\%〜15\%程度, 向上させることができた.