講演情報
[4M4-GS-2e-04]問題テキストの特徴量を補助情報として正誤反応と所要時間を同時に予測するMulti-Task Deep-IRT
〇石山 創一郎1、渕本 壱真2、植野 真臣1 (1. 電気通信大学、2. 大学入試センター)
キーワード：
人工知能、機械学習、大規模言語モデル
e-testingは，IRTに基づき異なる項目から成るテストでも受検者の潜在能力を同一精度で測定できるコンピュータテストである。時間制約下の公平性には正誤反応に加え所要時間の予測が重要で，不正検知や時間制約付きCAT設計などに応用される。所要時間を高精度に予測するLNIRTは潜在変数の正規分布仮定により実データで精度が制限され得る。石川らのMTDIRTはMMoEに受検者・項目ネットワークを組み込み解釈性を保って精度を改善したが，問題テキスト情報を扱わない。問題文の長さや文・数式の複雑さは正誤と時間の双方に影響しうるため，本論文では問題テキスト特徴量（例：MathBERT埋め込みと単語数等の古典的特徴量）を入力するテキストエキスパートを追加し，ゲートを拡張して受検者特徴量とテキスト特徴量の利用割合を学習する拡張MTDIRTを提案する。数値実験の結果、提案手法は従来手法より正誤反応、所要時間の予測において優れた結果を示した。実験で正誤・時間の予測精度を比較し，ゲート重み分析でテキスト特徴量の寄与を評価する。