Presentation Information
[WS1-8]Visualizing the emotions of patients after lower gastrointestinal surgery using facial expression analysis AI
Naoko Inanobe1, 小川 久貴子1, 谷 公孝2, 前田 文2, 腰野 蔵人2, 二木 了2, 金子 由香2, 番場 嘉子2, 小川 真平2, 山口 茂樹2 (1.Tokyo Women’s Medical University, 2.東京女子医科大学消化器,一般外科, 3.マクセル株式会社, 4.早稲田大学理工学術院, 5.東京ネクスト南砂内科・透析クリニック, 6.立正大学)
目的:患者の感情の把握は患者満足度やQOL向上に寄与する。感情は非言語的に表出されることが多く医療者はリアルタイムでの把握に限界がある。ストーマ造設者は身体的変化や将来への不安を感じやすくQOL低下に繋がる。そこで表情解析AIを用いて下部消化管術後患者の感情を可視化しストーマ造設による感情の違いを検出できるかを検討した。
方法：術後2日以内に看護師の検温、ストーマ指導場面等をビデオ録画し静止画に変換後、表情解析AIを用いて解析した。解析コードは対象者のランドマーク特徴点から、顔、ポーズを検出した。特徴量抽出はEkmanらが提唱したFacial Action Coding System理論に基づくAction Unit解析を用いた。さらにConvolutional Neural Networkを活用し7つの基本感情(anger,disgust,fear,happiness,sadness,surprise,neutral)の定量的評価を行った。東京女子医科大学倫理委員会の承認を得た。
対象と結果:患者50例(男性29例,女性21例)であり、うちストーマ造設は10例、非造設は40例であった。表情解析AIを使用し静止画を1秒間隔で7感情要素の比率に分析し、観察時間中の平均比率を求め分類し最も高い割合を示した感情を、その代表的感情とした。7感情は性質に応じ、次の4群に分類した。Happinessは造設群5%,非造設群13%、Neutral(surprise,neutral)は造設群36%,非造設群22%、Negative(anger,disgust,fear)は造設群13%,非造設群22%、Sadnessは共に29%であった。2群間の感情表出の差異を比較した結果、非造設群でHappiness(p=0.032),Negative(p=0.042)で、造設群Neutral(p=0.01)で有意に高く、Sadnessは有意差が検出されなかった。
考察と今後の課題:ストーマ造設の有無による感情の差を検出する程度には，AIにより表情解析ができた。ストーマ造設群は相対的にNeutral,Sadnessが多く、Sadnessは気分の落ち込みを反映するとされ精神的ケアの重要性が示唆された。また、表情解析AIは時間分解能に優れ会話中の感情変動をリアルタイムに捉える手段として有用な可能性がある。ただ本研究で捉えた感情は患者の主観的感情ではなく、今後はAIによる可視化と主観的感情の一致性を検証し、解析精度を向上する必要がある。
方法：術後2日以内に看護師の検温、ストーマ指導場面等をビデオ録画し静止画に変換後、表情解析AIを用いて解析した。解析コードは対象者のランドマーク特徴点から、顔、ポーズを検出した。特徴量抽出はEkmanらが提唱したFacial Action Coding System理論に基づくAction Unit解析を用いた。さらにConvolutional Neural Networkを活用し7つの基本感情(anger,disgust,fear,happiness,sadness,surprise,neutral)の定量的評価を行った。東京女子医科大学倫理委員会の承認を得た。
対象と結果:患者50例(男性29例,女性21例)であり、うちストーマ造設は10例、非造設は40例であった。表情解析AIを使用し静止画を1秒間隔で7感情要素の比率に分析し、観察時間中の平均比率を求め分類し最も高い割合を示した感情を、その代表的感情とした。7感情は性質に応じ、次の4群に分類した。Happinessは造設群5%,非造設群13%、Neutral(surprise,neutral)は造設群36%,非造設群22%、Negative(anger,disgust,fear)は造設群13%,非造設群22%、Sadnessは共に29%であった。2群間の感情表出の差異を比較した結果、非造設群でHappiness(p=0.032),Negative(p=0.042)で、造設群Neutral(p=0.01)で有意に高く、Sadnessは有意差が検出されなかった。
考察と今後の課題:ストーマ造設の有無による感情の差を検出する程度には，AIにより表情解析ができた。ストーマ造設群は相対的にNeutral,Sadnessが多く、Sadnessは気分の落ち込みを反映するとされ精神的ケアの重要性が示唆された。また、表情解析AIは時間分解能に優れ会話中の感情変動をリアルタイムに捉える手段として有用な可能性がある。ただ本研究で捉えた感情は患者の主観的感情ではなく、今後はAIによる可視化と主観的感情の一致性を検証し、解析精度を向上する必要がある。