Presentation Information
[O2-11]Influence of depth camera presence on accuracy of ingestion, mastication,and swallowing motion discrimination using markerless motion capture
*Ayaka Murashima1, Yousuke Manda1, Naoki Kodama2, Kentaro Akiyama1 (1. Department of Occlusal and Oral Functional Rehabilitation, Okayama University Graduate School of Medicine, Dentistry, and Pharmaceutical Sciences, 2. Department of Prosthodontics, Division of Dentistry, Okayama University Hospital)
【目的】
マーカーレスモーションキャプチャ技術の発展により，歯科領域においても動作解析に関する研究が行われてきた．しかし，依然として機器などの導入コストが高く，臨床現場での応用には至っていない．そこで，低侵襲かつ簡便なモーションキャプチャシステムの構築を目指し，深度カメラの有無がマーカーレスモーションキャプチャの精度に及ぼす影響について検討した．
【方法】
健常若年者9名（男性８名，女性1名，平均年齢31.3±4.9歳）を対象に，米飯50gを自由に摂食させた際の摂取・咀嚼・嚥下動作を記録した．深度カメラにより米飯摂食時のRGB動画と深度情報を記録し，同時に左側咬筋・オトガイ下部の筋電図，咽喉マイクによる咽喉部の音声記録を行った．動画から，マーカーレスモーションキャプチャシステムであるMediapipe（Google Inc., USA）により下顎および両手の座標情報を取得し（図1），筋電図，咽喉マイクの音声，および顔面と手の距離をもとに摂食動作を「摂取・咀嚼・嚥下」に分類した．それぞれの動作における下顎の上下運動から抽出した特徴量をもとに，サポートベクタマシンを用いて「摂取・咀嚼・嚥下」動作を判別する機械学習モデルを「深度情報あり」と「深度情報なし」の2パターンで構築し，それぞれの判別精度を比較した．
【結果と考察】
初期モデルの正解率は深度カメラありで91.1%、深度カメラなしで88.9%であったが，「嚥下」の再現率はそれぞれ57%，43%と低く，課題が残った．ハイパーパラメータ調整後，最適なパラメータを用いたモデルでは，深度情報ありの正解率が88.9%と若干低下し，「嚥下」の再現率も29%へと低下したが，適合率は向上した（図2）．一方，深度情報なしのモデルは，正解率が91.1%と向上し，「嚥下」の再現率も57%に改善した．初期モデルでは深度カメラを用いたモデルがわずかに優位であることが示唆されたが，適切なハイパーパラメータ調整により，深度カメラなしでも深度カメラありと同等の性能を達成できることが判明した．しかし，クロスバリデーションの平均精度の低さから，過学習やデータセットの偏りによる影響が懸念され，両モデルともに改善の余地を残した．今後はさらなる性能向上を目指し，データセットの拡大，各特徴量の重要度分析，データセットの偏り解消，他のモデルの試用を検討する．
マーカーレスモーションキャプチャ技術の発展により，歯科領域においても動作解析に関する研究が行われてきた．しかし，依然として機器などの導入コストが高く，臨床現場での応用には至っていない．そこで，低侵襲かつ簡便なモーションキャプチャシステムの構築を目指し，深度カメラの有無がマーカーレスモーションキャプチャの精度に及ぼす影響について検討した．
【方法】
健常若年者9名（男性８名，女性1名，平均年齢31.3±4.9歳）を対象に，米飯50gを自由に摂食させた際の摂取・咀嚼・嚥下動作を記録した．深度カメラにより米飯摂食時のRGB動画と深度情報を記録し，同時に左側咬筋・オトガイ下部の筋電図，咽喉マイクによる咽喉部の音声記録を行った．動画から，マーカーレスモーションキャプチャシステムであるMediapipe（Google Inc., USA）により下顎および両手の座標情報を取得し（図1），筋電図，咽喉マイクの音声，および顔面と手の距離をもとに摂食動作を「摂取・咀嚼・嚥下」に分類した．それぞれの動作における下顎の上下運動から抽出した特徴量をもとに，サポートベクタマシンを用いて「摂取・咀嚼・嚥下」動作を判別する機械学習モデルを「深度情報あり」と「深度情報なし」の2パターンで構築し，それぞれの判別精度を比較した．
【結果と考察】
初期モデルの正解率は深度カメラありで91.1%、深度カメラなしで88.9%であったが，「嚥下」の再現率はそれぞれ57%，43%と低く，課題が残った．ハイパーパラメータ調整後，最適なパラメータを用いたモデルでは，深度情報ありの正解率が88.9%と若干低下し，「嚥下」の再現率も29%へと低下したが，適合率は向上した（図2）．一方，深度情報なしのモデルは，正解率が91.1%と向上し，「嚥下」の再現率も57%に改善した．初期モデルでは深度カメラを用いたモデルがわずかに優位であることが示唆されたが，適切なハイパーパラメータ調整により，深度カメラなしでも深度カメラありと同等の性能を達成できることが判明した．しかし，クロスバリデーションの平均精度の低さから，過学習やデータセットの偏りによる影響が懸念され，両モデルともに改善の余地を残した．今後はさらなる性能向上を目指し，データセットの拡大，各特徴量の重要度分析，データセットの偏り解消，他のモデルの試用を検討する．
