講演情報
[103]ファインチューニングによる医療機器添付文書用LLM の開発
山内 康司1, 大畠 直人2, 鈴木 涼2 (1.東洋大学大学院生命科学研究科生体医工学専攻, 2.東洋大学理工学部生体医工学科)
【背景と目的】医療機器の再生処理に関する不適切記載のように，添付文書の適切な記述が課題となっている．医療特化型LLM（大規模言語モデル）の社会実装は，医療機関や医療機器企業の業務効率化やサービス向上に役立てられることが期待されている．我々は医療機器の添付文書で汎用LLMをファインチューニングし，添付文書に特化したLLMの開発を試みている．【方法】開発はオンプレミスでおこなう．rinna㈱の日本語LLMであるRinna-3.6b-instruction-ppo（36億パラメータ）を使用し，Python3.10.12で開発した．GPUはNVIDIA GeForce RTX3070（12GB）である．手法はインストラクション・チューニングを採用した．PMDAから取得した医療機器添付文書をCSVファイルに要約し，ファインチューニング用データセットを作成した．対象機器は汎用輸液ポンプ，注射筒輸液ポンプ，汎用人工呼吸器であり，各20, 15, 15の機器のデータセットを作成した．各データセット内のデータ数は約1,000である．ファインチューニングの所要時間はデータ量によるが最大で１時間程度であった．【結果】ファインチューニングしたモデルを用いて，24個のテキストを生成させ，元の添付文書のテキストとの一致度によって３段階評価した．データセット数が増えるほど精度が向上した．また，単体の医療機器（例えば汎用輸液ポンプのみ）よりも複数の医療機器を組み合わせるほうが，さらには類似の医療機器同士（汎用輸液ポンプと注射筒輸液ポンプ）よりも異種医療機器同士（汎用輸液ポンプと汎用人工呼吸器）を組み合わせたほうが精度は高かった．一方，データセット数が多くなると一部の項目で生成テキストが画一的になるほか，存在しない用語などハルシネーションが観察された．今後は複数の汎用LLMの比較や生成方法の最適化を探る．