[AP] 優秀演題候補セッション（ポスター）・研究発表部門

[AP-02-B] AI支援メタ解析の再現性に関する検証―睡眠薬使用と認知症リスクの関連を例とした検討―

箙 祐司 (（株）南山堂　学術研究委員会)

【目的】生成AIを用いたメタ解析支援は試みられているが、同一条件下で複数の生成AIが同様の統合結果を示すかは十分に検証されていない。著者らは2024年末、医療現場で抱く臨床疑問への応用可能性の検証として睡眠薬使用と認知症リスクの関連についてAI支援メタ解析を実施しOR 1.35を得た。当時は再現性の検討に至らなかったことから、本研究では生成AIを用いたメタ解析の再現性をあらためて検討した。
【方法】既存メタ解析5報から個別研究を抽出し、重複除外後16研究を同定した。効果量と信頼区間が確認できた8研究について、対象論文・使用数値をステップごとに記録しプロトコルを参照しながらメタ解析を実施した。効果量はORに統一し、DerSimonian-Laird法によるランダム効果モデルを用いた。GPT、Gemini、Claudeの3モデルに同一データおよびプロトコルを提示し再解析を行った。
【結果】3モデルの統合効果量はほぼ一致した（GPT: OR 1.13、Gemini・Claude: OR 1.109）。過去解析のOR 1.35との差については、感度分析により特定研究の採否が統合効果量に影響することが確認された。
【考察】本研究では、過去解析の再現困難性と条件固定後の統計計算結果の再現性を区別して検討した。解析内容の全記録により計算結果の再現性は担保された一方、統合効果量は研究選択条件によって変動した。過去解析ではAI内部処理に依存していたため、使用論文・使用数値・研究選択過程を十分に復元できず、結果の根拠を事後的に検証することが困難であった。その結果として、解析焦点の変化や採用研究の違いが解析結果に影響した可能性が示唆された。したがって、AI支援メタ解析を応用する際には、結果のみではなく根拠となる使用論文・使用数値・研究選択過程を追跡可能な形で提示させる運用が重要である。