講演情報
[1F4-OS-10b-04]なぜ一部の新世代 LLM は評価が偏るのか?― 行動変容メッセージ評価における Positive Bias の分析 ―
〇和久田 真帆1、瀧本 祥章2,3、倉島 健2,3、戸田 浩之1 (1. 横浜市立大学、2. NTT株式会社、3. NTT 人間情報研究所)
キーワード：
大規模言語モデル、機械学習、行動変容
大規模言語モデル（LLM）を評価モデルとして活用することが広く用いられつつあるが，新しいモデルが必ずしも従来モデルを上回る性能を示さないタスクが存在する．事前分析では，positive予測に偏り，真陰性率が著しく低下する傾向が示された．本研究ではその要因として，評価基準の曖昧性，偽陽性コストの未定義，好意的補完推論を想定する．再学習を行わずにこの問題を緩和するため，rubricに基づく基準の分解，偽陽性の明示的抑制，根拠のない推論の禁止といったプロンプト設計を導入した．複数のLLMによる実験では，positive偏重の低減と判定境界の調整が可能であることが示唆された．