講演情報
[5Yin-A-05]pointwiseリランキングにおける非関連度スコアを用いた不確実性指標の検討と分析
〇勝野 晃弘1、奥川 雄一郎1、田中 憲光1、長尾 友美1、河田 博昭1 (1. NTT株式会社)
キーワード：
大規模言語モデル、情報検索、リランキング
大規模言語モデル(LLM)を用いたpointwiseリランキング手法は，絶対評価による性能の限界が指摘されてきた一方，そのスコアの信頼性や不確実性についての十分な議論は行われていない．本研究はpointwiseのスコアに対して，次の2つの指標を設定し，スコアと正解ラベル間の誤差との関連性を分析した．1つ目の指標は，複数の関連度スコア間の不安定性に基づく指標であり，2つ目の指標は，関連度スコアと非関連度スコアの不一致に基づく指標である．検証の結果，特に2つ目の指標について，スコア誤差との間に統計的に有意な相互情報量が確認された．これにより，非関連度スコアがpointwiseリランキングにおける不確実性指標となり得る可能性が示された．