講演情報
[6]複合現実デバイスを用いた医療現場向けハンズフリー情報支援システムの開発
田井 裕也1, 遠藤 未耶1, 田淵 陽介1, 光家 努1, 中川 隆文2 (1.香川大学医学部附属病, 2.徳島文理大学)
【目的】医療現場では，医療機器操作や保守管理に関する知識共有が課題となっている．従来は紙媒体マニュアルや動画による参照が主であり，作業中に必要な情報を即時に取得することは困難であった．本研究では，複合現実（MixReality，以下MR）技術と生成AI を活用し，実空間に情報を重畳表示することで，業務中でもハンズフリーで情報参照ができる情報支援システムを開発する．従来，MR を用いた教育や生成AI による文書支援は報告されているが，医療現場における情報支援として両者を融合した実装および実環境での動作確認は限定的である．
【方法】本システムは，MR デバイス（HoloLens 2），Web アプリケーション，AI 処理用サーバPCで構成される．処理用サーバPC は院内ネットワークから分離した外部ネットワークに設置し，セキュリティに配慮した．音声入力および回答表示はMR デバイスのWeb ブラウザ上でおこない，音声認識，文書検索，回答生成はサーバPC で実行することで，デバイスに依存しない構成とした．MR デバイスから送信された音声はサーバ側でテキスト化し，意味内容を保持したまま誤認識語を補正した後，文書検索に用いる．医療機器は呼吸器に限定し，マニュアルを事前にデータベース化した．参照文書に明確な記載が存在しない場合は回答をおこなわない設計とし，実作業中の利用を想定した単発問い合わせ型モデルで構築した．病院内の実環境下で，無線回線（WiMAX）を用いて動作確認をおこない，臨床工学技士による使用後評価を実施した．
【結果とまとめ】外部サーバ処理および無線通信の影響を受けるものの，病院内の実環境下において安定した接続が維持され，MR デバイスを装着した状態での音声入力および情報提示が可能であることを確認した．以上より，本システム構成は医療現場での利用を想定した基本的な動作要件を満たすことを確認した．
【方法】本システムは，MR デバイス（HoloLens 2），Web アプリケーション，AI 処理用サーバPCで構成される．処理用サーバPC は院内ネットワークから分離した外部ネットワークに設置し，セキュリティに配慮した．音声入力および回答表示はMR デバイスのWeb ブラウザ上でおこない，音声認識，文書検索，回答生成はサーバPC で実行することで，デバイスに依存しない構成とした．MR デバイスから送信された音声はサーバ側でテキスト化し，意味内容を保持したまま誤認識語を補正した後，文書検索に用いる．医療機器は呼吸器に限定し，マニュアルを事前にデータベース化した．参照文書に明確な記載が存在しない場合は回答をおこなわない設計とし，実作業中の利用を想定した単発問い合わせ型モデルで構築した．病院内の実環境下で，無線回線（WiMAX）を用いて動作確認をおこない，臨床工学技士による使用後評価を実施した．
【結果とまとめ】外部サーバ処理および無線通信の影響を受けるものの，病院内の実環境下において安定した接続が維持され，MR デバイスを装着した状態での音声入力および情報提示が可能であることを確認した．以上より，本システム構成は医療現場での利用を想定した基本的な動作要件を満たすことを確認した．