講演情報
[4K5-GS-6c-01]一対比較結果の学習に基づくエッセイ自動評価手法の提案
〇山極 綾子1、Gayed John1、後藤 正幸1 (1. 早稲田大学)
キーワード：
一対比較、自動エッセイ採点、埋め込み表現、大規模自然言語モデル、Few-shot Learning
学生が執筆したエッセイの採点は人的コストが高く，自動エッセイ採点（Automated Essay Scoring, AES）の研究が進められている．従来手法では，エッセイ本文と絶対的な評価点の組を教師データとして機械学習モデルを学習する方法が主流であったが，エッセイ評価は自由度が高く，主観的な評価が行われるため，評価者間のばらつきやノイズを含みやすいという課題がある．近年，大規模言語モデル（LLM）を用いたゼロショットAESにおいて，エッセイ同士の一対比較結果をLLMに出力させ，その結果から評価値を推定する手法（LCES）が提案され，相対評価の有効性が示されている．本研究では，一対比較を用いた推定手法を拡張し，エッセイ間の一対比較結果を推定するモデルを学習することで、各エッセイの評価値を推定する枠組みを提案する．一対比較を用いることで，評価ノイズの影響を低減し，安定した評価値推定が可能となる．提案手法の有効性を検証するため，公開データセットであるASAP 2.0を用いた実験を行う．