[4M4-GS-2e] Machine learning

2:15 PM - 2:30 PM JST(5:15 AM - 5:30 AM UTC)

[4M4-GS-2e-04] Multi-Task Deep-IRT Simultaneously Predicting Correct/Incorrect Responses and Time Required Using Text Features as Auxiliary Information

〇Soichiro Ishiyama¹, Kazuma Fuchimoto², Maomi Ueno¹ (1. The University of Electro Communications, 2. National Center for University Entrance Examinations)

Keywords:

AI,Machine Learning,Large Language Model

e-testingは，IRTに基づき異なる項目から成るテストでも受検者の潜在能力を同一精度で測定できるコンピュータテストである。時間制約下の公平性には正誤反応に加え所要時間の予測が重要で，不正検知や時間制約付きCAT設計などに応用される。所要時間を高精度に予測するLNIRTは潜在変数の正規分布仮定により実データで精度が制限され得る。石川らのMTDIRTはMMoEに受検者・項目ネットワークを組み込み解釈性を保って精度を改善したが，問題テキスト情報を扱わない。問題文の長さや文・数式の複雑さは正誤と時間の双方に影響しうるため，本論文では問題テキスト特徴量（例：MathBERT埋め込みと単語数等の古典的特徴量）を入力するテキストエキスパートを追加し，ゲートを拡張して受検者特徴量とテキスト特徴量の利用割合を学習する拡張MTDIRTを提案する。数値実験の結果、提案手法は従来手法より正誤反応、所要時間の予測において優れた結果を示した。実験で正誤・時間の予測精度を比較し，ゲート重み分析でテキスト特徴量の寄与を評価する。