[5L2-OS-6a] OS-6

12:15 PM - 12:30 PM JST(3:15 AM - 3:30 AM UTC)

[5L2-OS-6a-02] An Investigation of Nursing-Related Diagram Evaluation with Consistency-Enhanced LLM as a Judge via Ontology

〇Ryoji Sugiyama¹, Munehiko Sasajima¹ (1. University of Hyogo)

Keywords:

LLM as a Judge

近年，LLM as a Judge は，人手評価を代替・補完する手法として注目されている．本研究では，看護教育で用いられる看護関連図を対象に，LLM as a Judge による自動採点手法を提案する．看護関連図の評価では，概念間の因果関係や看護過程としての妥当性といった専門的判断が求められるが，LLM単体では評価基準の一貫性に課題が残る．先行研究では，構造的特徴に基づいて看護関連図の重要度を機械的に算出し，評価を支援する手法が提案されてきた．一方で，近年のLLMの高度化を踏まえ，専門知識に基づく判断を評価過程に統合する枠組みは十分に検討されていない．そこで，本研究では看護領域の知識を形式化したオントロジーを導入し，評価観点および推論制約として組み込む自動採点枠組みを設計する．本研究の新規性は，LLMによる主観的評価を，看護オントロジーに基づく知識制約付き推論として定式化した評価枠組みを提案する点にある．今後，専門家評価との比較実験を通じて，本手法の有効性を検証する予定である．