講演情報
[4Yin-A-47]手順動画における暗黙知候補区間抽出と質問ベース検証
加茂 司1、〇吉田 圭吾1、久保谷 篤1、鮎澤 雄治1、山本 達也1、山科 勇輔2、ピンエイロ ジ モウラ カイオ2、新見 佳祐2、塩見 和真2 (1. SCSK株式会社、2. 株式会社 Insight Edge)
キーワード：
視覚言語モデル、暗黙知、手順動画理解、視覚的質問応答
本研究は，手順作業動画から暗黙知が関与しやすい判断点を抽出し，暗黙知候補区間として提示することを目的とする．手順作業では，わずかな状態差に応じた微調整や例外処理が品質を左右するが，判断根拠は映像から直接観測できない場合が多い．提案手法は，候補抽出と視覚言語モデル（VLM）による検証を分離した二段構成をとる．手領域の外観差分と動き差分に基づく活動度をスコアリングして重要度の高い区間を候補として抽出する．各候補には根拠となる映像箇所を付与し，VLM を用いて固定質問に回答し，質問応答結果に基づいて候補の採択可否を判定する．これにより，暗黙知が潜在しやすい区間を根拠と質問付きで絞り込み，教育・標準化・品質監査における確認作業を支援する．評価では，提示可能な候補が得られる割合を中心とした運用指標により枠組みの妥当性を評価する．