講演情報
[2J1-GS-10a-01]CDSS as an AI Agent v2: 予測AIの不確実性の定量化(UQ)によるLLMのメタ認知実装と鑑別診断支援
〇宮地 康彦2、石井 修2、鳥越 恵治郎1,2 (1. 医療法人恵真会 鳥越医院、2. 臨床推論実用化研究会)
キーワード：
診断支援システム、大規模言語モデル、人工知能におけるメタ認知、不確実性の定量化、コンフォーマル予測
予測AIによる診断支援システム(Clinical decision support system; CDSS)は、分布外症例への頑健性が低い。一方、LLMは不適切なContextに追従する傾向がある。
本研究では、LLMのメタ認知を実装した"CDSS as an AI Agent"を提案する。本システムは、CDSSの予測データをLLMのContextとして利用する際、Conformal Predictionによりその不確実性を定量化し、メタ情報として与える。これにより、LLMに批判的吟味(Critical appraisal)とSelf-reflectionを強制する。
診断困難例を用いた評価の結果、不確実性が高い場合、LLMはContextを盲信せず、独自の医学知識で推論を補正することを確認した。その結果、従来手法と比較して診断精度および臨床的妥当性が向上した。
本研究は、AIに擬似的なメタ認知(Metacognition)を実装することで確証バイアスを抑制し、医療従事者と協働可能な信頼性の高いシステムを実現した。
本研究では、LLMのメタ認知を実装した"CDSS as an AI Agent"を提案する。本システムは、CDSSの予測データをLLMのContextとして利用する際、Conformal Predictionによりその不確実性を定量化し、メタ情報として与える。これにより、LLMに批判的吟味(Critical appraisal)とSelf-reflectionを強制する。
診断困難例を用いた評価の結果、不確実性が高い場合、LLMはContextを盲信せず、独自の医学知識で推論を補正することを確認した。その結果、従来手法と比較して診断精度および臨床的妥当性が向上した。
本研究は、AIに擬似的なメタ認知(Metacognition)を実装することで確証バイアスを抑制し、医療従事者と協働可能な信頼性の高いシステムを実現した。