講演情報
[2I5-OS-7a-06]臨床試験の成否予測：LLMを用いた試験結果の成否判定タスクの検討
〇三井 和麻1、西本 優美1、岩井 俊樹1 (1. 中外製薬株式会社)
キーワード：
大規模言語モデル、臨床試験
医薬品の臨床開発に要する費用は年々増加しており、開発コストの削減が求められている。臨床試験における評価項目の成功確率を精緻に推定することは、効率的かつ戦略的な開発計画の立案に資するものと期待される。近年、文脈を踏まえた高度な推論が可能な大規模言語モデル（LLM）の登場により、従来の自然言語処理では困難であったタスクへの応用が進んでいる。本研究では、臨床試験の成功確率を評価するための学習データセット構築を目的とし、clinicaltrials.govに登録され、PubMedに論文がある試験を対象に、試験情報から評価項目を、論文のアブストラクトを抽出し、LLMによる成否アノテーションタスクを実施した。先行研究における専門家判定を正解データとした評価でF1スコア0.78を得た。さらに、複数のアノテーション結果からエントロピーを算出し、判定のばらつき要因をクラスタリングで分析した。その結果、LLMは主要評価項目から逸脱した記述（spin）に影響されやすく、アノテーションが不安定になる傾向が確認された。spinを除外する前処理をLLMで実施することにより、精度向上が期待されることが示唆された。