講演情報
[2Yin-A-52]Omniverseを用いた動物姿勢推定のための合成データ生成とSim-to-Realの検証
〇平賀 翔己1 (1. 岡山理科大学)
キーワード：
仮想空間、合成データ、3次元姿勢推定
動物の行動認識や異常検知において、自由なカメラワーク（ハンドヘルド動画）に頑健な3次元骨格推定が求められている。しかし、動物を対象とした姿勢推定データセットは希少であり、多様な環境や姿勢を含むデータを手動で作成することは高いコストが伴う。そこで本研究では、将来的な3次元解析への拡張を見据え、NVIDIA Omniverseを用いた合成データセット生成手法を提案する。具体的には、仮想空間上で犬モデルの動作、照明、背景に加え、手持ち撮影を模したカメラワークをランダムに変化させることで合成画像を作成し、画像と対応する2Dおよび3D骨格座標を自動生成するパイプラインを構築した。実験では、生成データのみを用いて2次元姿勢推定モデル（DeepLabCut）を学習し、実写データセットに対する定量評価を行った。その結果、PCK指標において実写学習モデルに匹敵する精度を達成した。さらに、実写では収集困難な稀な姿勢（仰向けや急旋回）やオクルージョンを含むシーンに対しても高いロバスト性を示した。本研究は、合成データが実写のバイアスを補完し、未知の環境や動作に対する汎化性能を向上させる有効なアプローチであることを実証した。