講演情報
[B-19-10]臨床工学技士国家試験に対するローカルLLMの解答精度評価
〇石田 開1 (1. 湘南工科大学)
キーワード：
ローカルLLM、臨床工学技士国家試験
【背景・目的】
大規模言語モデル（LLM）の発展により，クラウド環境に加えてローカル環境での利用が進んでいる．ローカルLLMは，コスト，セキュリティ，ネットワーク依存性の観点で医療教育への応用が期待される．一方，モデルごとに性能差がある．本研究では，複数のローカルLLMを対象に，臨床工学技士国家試験（CE試験）の解答精度を評価した．
【方法】
開発元およびパラメータ数の異なる20種のローカルLLMを用い，第35回～39回CE試験を対象とした．各LLMはUnslothを用いて4 bit量子化でGPUへロードし，Few shotプロンプトにより正答番号と根拠を出力させた．問題文，選択肢，図表はすべて画像入力とした．また，比較対象としてクラウド型VLMであるGemini-3-Proでも同様の評価を実施した．
【結果】
最も高い性能を示したローカルLLMはQwen3.5-27Bであり，全体正答率は79%であった．分野別では医学概論，臨床医学，生体物性で高い正答率を示した一方，安全管理および電気工学では60%未満であった．Qwenシリーズではパラメータ数の増加に伴い精度向上が認められた．一方，一部のローカルLLMでは同一選択肢の連続出力や文章反復など，推論過程の不安定性が観察された．Gemini-3-Proでは93%の正答率を示し，ローカルLLMを上回った．
【まとめ】
従来のLLM評価はテキスト入力が中心であるが，本研究では画像入力環境における性能を評価した．多くのLLMで画像内テキストの認識は可能であったが，適切な推論には一定以上のモデル規模が必要であることが示唆された．ローカルLLMは医療教育支援への応用可能性を有する一方，性能安定性やモデル選択が重要である．
大規模言語モデル（LLM）の発展により，クラウド環境に加えてローカル環境での利用が進んでいる．ローカルLLMは，コスト，セキュリティ，ネットワーク依存性の観点で医療教育への応用が期待される．一方，モデルごとに性能差がある．本研究では，複数のローカルLLMを対象に，臨床工学技士国家試験（CE試験）の解答精度を評価した．
【方法】
開発元およびパラメータ数の異なる20種のローカルLLMを用い，第35回～39回CE試験を対象とした．各LLMはUnslothを用いて4 bit量子化でGPUへロードし，Few shotプロンプトにより正答番号と根拠を出力させた．問題文，選択肢，図表はすべて画像入力とした．また，比較対象としてクラウド型VLMであるGemini-3-Proでも同様の評価を実施した．
【結果】
最も高い性能を示したローカルLLMはQwen3.5-27Bであり，全体正答率は79%であった．分野別では医学概論，臨床医学，生体物性で高い正答率を示した一方，安全管理および電気工学では60%未満であった．Qwenシリーズではパラメータ数の増加に伴い精度向上が認められた．一方，一部のローカルLLMでは同一選択肢の連続出力や文章反復など，推論過程の不安定性が観察された．Gemini-3-Proでは93%の正答率を示し，ローカルLLMを上回った．
【まとめ】
従来のLLM評価はテキスト入力が中心であるが，本研究では画像入力環境における性能を評価した．多くのLLMで画像内テキストの認識は可能であったが，適切な推論には一定以上のモデル規模が必要であることが示唆された．ローカルLLMは医療教育支援への応用可能性を有する一方，性能安定性やモデル選択が重要である．