Presentation Information
[B-19-12]Dynamic Presentation of Healthcare AI Prediction Results Based on Prediction Uncertainty
◎Hirotaka Wakao1, Tomohiro Mimura1, Takafumi Yamauchi1 (1. X-Tech Development Department, NTT DOCOMO, INC.)
Keywords:
Healthcare Software,Prediction Uncertainty,Dynamic Result Presentation,Quantile Regression,Smartphone Logs
NTTドコモでは，スマートフォンログを用いて健康状態を推定するヘルスケアAIを開発している．しかし，利用開始直後は利用可能なログが限られるため，早期に推定結果を提示すると誤判定リスクが高まり，一方で提示を遅らせるとユーザ離脱につながる可能性がある．従来のコールドスタート対策では，補助情報の利用やモデル改良により予測性能を高める手法が主に検討されてきた．これに対し本研究では，予測性能そのものの改善ではなく，既存モデルの出力に後付け可能な結果提示制御の枠組みとして，予測不確実性に基づきユーザごとの提示可否を動的に判断する手法を提案する．具体的には，各日の予測確率が最大観測期間の予測確率からどの程度変動し得るかを誤差幅として捉え，LightGBMによる分位点回帰を用いて90%分位点を推定した．この誤差幅に基づいて予測区間を構成し，Youden's Indexに基づく分類閾値との位置関係から判定の安定性を評価した．予測区間が閾値を跨がない場合には，その後のログ蓄積によっても分類結果が変化しにくいとみなし，推定結果を早期に提示する．一方，区間が閾値を跨ぐ場合には判定を保留し，翌日以降のログ蓄積を待つ．血圧上昇リスク推定モデルを対象とした評価では，最大観測期間を待たずに提示可能な事例がDBPで95.7%，SBPで80.5%確認され，平均待機日数はDBPで3.1日，SBPで8.3日となり，現運用の9日間より短縮された．また，AUC-ROCの低下は認められず，最大観測期間の判定結果との差も有意ではなかった．以上より，提案手法は，実データを用いた評価により，識別性能を維持しつつ待機日数を短縮できる結果提示制御手法として有効性を示した．