Presentation Information
[A-14-03]骨格点の時空間特徴を用いたSign Language Transformerモデルの改良
◎Junjie Wu1, Satoshi Yonemoto1 (1. Kyusan Univ.)
Keywords:
sign language recognition,skeletal keypoint features,transformer
現在，世界いる約5億人の聴覚障害者のうち，手話を用いてコミュニケーションをとる人は約7000万人に達する．ろう者が他者と効果的なコミュニケーションをとれるようにすることが必要な課題である．本研究は，内部にTransformerを持ち，連続手話認識と翻訳を同時に学習することができるSign Language Transformer (SLT) のモデルに基づいている．SLTモデルは，同時学習を実現するために，手話認識タスクを担当するエンコーダ(SLRT)と，手話翻訳タスクを担当するデコーダ(SLTT)の2つから構成されている．この同時学習により，動画における文脈を捉えることができる．実際，オフライン環境下のドイツ語手話動画データセットPHOENIX14Tに対し，良好な認識および翻訳性能が示されいる．本研究では，CNN特徴データの代わりに骨格点特徴データを用いることでデータを軽量化し，リアルタイム環境での実現を目指している．データ量削減による精度低下の影響を抑えるため，空間的・時間的に統合した特徴を用いる．この統合は，データがモデルに入力される前に通過する埋め込み層を改良することにより実現する．本研究ではMediaPipeを用いて骨格点すなわち空間的特徴の抽出を行う．1つの完全な手話動作を効果的に表現するためには，前後フレーム間の時間的情報が必要となる．そこで本研究では，時間的な差分特徴を統合して用いる．最終的に，手話動画内の前後動作の関連特徴を抽出するため，空間的特徴と差分特徴を2層の畳み込み層(1D-CNN)を通過させ統合する．これにより，前後フレーム間の特徴データの関連性を強化する．この統合した特徴データを，1層の全結合層を経てTransformerモジュールに入力する．実験では，PHOENIX14Tデータセットを用いてWER及び評価指標BLEW-4に対する評価を行い，骨格点特徴のみを用いる場合に比べ，時間的差分特徴と結合した時空間特徴を用いる方が改善することを確認した．