講演情報
[2Yin-B-15]評価観点の自律的選択可能な汎用的テキスト評価モデルの構築に向けて
〇田中 杏1、小林 一郎1 (1. お茶の水女子大学)
キーワード：
大規模言語モデル、自動評価
大規模言語モデルによる自動評価は，固定された評価基準を用いる手法が主流であり，多様なタスクへの柔軟な適応性と評価根拠の説明性に課題が残る．本研究では，評価対象テキストに応じて適切な評価観点を自律的に選択し，根拠とスコアを出力する汎用評価モデル構築を目的とする．提案手法では，人評価に近い結果を導く推論過程のみを選抜して学習する枠組みを導入し，評価精度の向上を図る．評価実験では，学習に含まれないノイズ観点の混入や正解観点の言い換えを行った擬似未知タスクで観点選択頑健性を検証した．結果として，観点提示順序や観点集合変化に対しても安定した観点選択が可能で，汎用評価モデル構築に向けた有効性が示唆された．