講演情報
[1Yin-B-15]学習テキストの多様化と詳細化による骨格動作分類モデルGAPのゼロショット分類性能向上
〇山田 晴貴1、笠間 健太郎1、井上 円2、田口 亮1 (1. 名古屋工業大学、2. アイホン株式会社)
キーワード：
骨格動作認識、ゼロショット分類、マルチモーダル
Xiangらにより提案された骨格動作分類モデルGAPは，テキストと動作の対照学習により分類精度の向上を実現しているが，そのゼロショット分類能力については議論されていない．我々の実験の結果，先行研究で示された学習用テキストでは，未知データへの汎化が困難であることが確認された．先行研究ではLLMを用いて部位ごとの動きを説明するテキストを生成しているが，従来のプロンプトでは多様性が低く表現力も乏しいテキストしか生成できないという問題がある．そこで本研究では，階層的骨格構造，相対位置，ラバン理論の3点に基づく記述をLLMに行わせることにより，動作表現の質を高めることを試みる．また，テキストエンコーダの過学習を抑制するため，テキストエンコーダの学習期間を動作エンコーダよりも短く設定する．実験のデータセットにはNTURGB+D 60を用いる．データセットには動作クラスが60含まれるが，実験ではそのうちの59クラスを学習に用い，残り1クラスを評価に用いる．実験の結果，提案手法によりゼロショット分類性能が向上することが確認された．