[1F4-OS-10b] OS-10

4:25 PM - 4:40 PM JST(7:25 AM - 7:40 AM UTC)

[1F4-OS-10b-04] Why Do Some Advanced LLMs Exhibit Positive Bias in Evaluating Behavior Change Messages?- Investigating Positive Bias in Evaluating Behavior Change Messages -

〇Shiho Wakuda¹, Yoshiaki Takimoto^2,3, Takeshi Kurashima^2,3, Hiroyuki Toda¹ (1. Yokohama City University, 2. NTT, Inc., 3. NTT Human Informatics Laboratories)

Keywords:

LLM,machine learning,Behavior Change

大規模言語モデル（LLM）を評価モデルとして活用することが広く用いられつつあるが，新しいモデルが必ずしも従来モデルを上回る性能を示さないタスクが存在する．事前分析では，positive予測に偏り，真陰性率が著しく低下する傾向が示された．本研究ではその要因として，評価基準の曖昧性，偽陽性コストの未定義，好意的補完推論を想定する．再学習を行わずにこの問題を緩和するため，rubricに基づく基準の分解，偽陽性の明示的抑制，根拠のない推論の禁止といったプロンプト設計を導入した．複数のLLMによる実験では，positive偏重の低減と判定境界の調整が可能であることが示唆された．