講演情報
[67]臨床工学技士国家試験の知識注入をおこなったローカルVLM の精度評価
石田 開 (湘南工科大学工学部人間環境学科)
【目的】生成AI の技術進展が進み，ローカル環境でも動作可能なVLM（ローカルVLM）が登場している．これらの中には，医療知識系国家試験に合格可能な実力を有しているものもある．
一方で，パラメータ数の大きいクラウド型の大規模言語モデル（LLM）と比較すると，その精度には発展の余地があると考えられる．本研究では臨床工学技士国家試験（CE 試験）を対象として，教師あり学習による知識注入（SFT）をおこなった際の，モデルの解答精度を評価することを目的とした．
【方法】最初に， 高精度なクラウドLLM であるGemini-2.5 Pro に，第28 回～ 37 回CE 試験の問題文・選択肢・図表（ある場合）・正答を入力し，解答根拠を生成させた．これらの情報を用いて，既存のVLM の中で比較的解答精度が高かったQwen3-VL-8B-Thinking に，SFTを実施した．最後に，SFT 後のモデルによる第38 回CE 試験の解答精度を評価した．すべての処理はPython 環境にて実施し，言語モデル用の高速化ライブラリであるUnsloth を用いた．
【結果】SFT 後の正答率は，78％（140/180）となり，SFT 前よりも６％精度が向上した．分野別に見ると，医用治療機器学，医療機器安全管理学，血液浄化学などは正答率が向上した．一方で，SFT により図表を含む問題や計算の必要な問題は，わずかに精度が低下した．
【考察】SFT を施すことにより，VLM は問題文と選択肢から回答を生成する際に，追加の思考過程を得ることが可能になる．例として医療機器安全管理学では，回答に際し日本産業規格の知識が必要となる問題が出題される．SFT 前ではこれらの問題はすべて不正解であったが，解答根拠を学習したことで，僅かではあるが精度が向上できた．一方で，SFT 後に精度が悪くなった分野もあり，過学習を起こした可能性が考えられる．
【結語】臨床工学技士国家試験の知識注入をおこなったVLM は，注入前よりも高い正答率を得ることが可能になった．
一方で，パラメータ数の大きいクラウド型の大規模言語モデル（LLM）と比較すると，その精度には発展の余地があると考えられる．本研究では臨床工学技士国家試験（CE 試験）を対象として，教師あり学習による知識注入（SFT）をおこなった際の，モデルの解答精度を評価することを目的とした．
【方法】最初に， 高精度なクラウドLLM であるGemini-2.5 Pro に，第28 回～ 37 回CE 試験の問題文・選択肢・図表（ある場合）・正答を入力し，解答根拠を生成させた．これらの情報を用いて，既存のVLM の中で比較的解答精度が高かったQwen3-VL-8B-Thinking に，SFTを実施した．最後に，SFT 後のモデルによる第38 回CE 試験の解答精度を評価した．すべての処理はPython 環境にて実施し，言語モデル用の高速化ライブラリであるUnsloth を用いた．
【結果】SFT 後の正答率は，78％（140/180）となり，SFT 前よりも６％精度が向上した．分野別に見ると，医用治療機器学，医療機器安全管理学，血液浄化学などは正答率が向上した．一方で，SFT により図表を含む問題や計算の必要な問題は，わずかに精度が低下した．
【考察】SFT を施すことにより，VLM は問題文と選択肢から回答を生成する際に，追加の思考過程を得ることが可能になる．例として医療機器安全管理学では，回答に際し日本産業規格の知識が必要となる問題が出題される．SFT 前ではこれらの問題はすべて不正解であったが，解答根拠を学習したことで，僅かではあるが精度が向上できた．一方で，SFT 後に精度が悪くなった分野もあり，過学習を起こした可能性が考えられる．
【結語】臨床工学技士国家試験の知識注入をおこなったVLM は，注入前よりも高い正答率を得ることが可能になった．