Presentation Information
[5Yin-A-05]An Investigation and Analysis of an Uncertainty Indicator Based on Non-Relevance Score for Pointwise Re-ranking
〇Akihiro Katsuno1, Yuichiro Okugawa1, Toshimitsu Tanaka1, Tomomi Nagao1, Hiroaki Kawata1 (1. NTT, Inc.)
Keywords:
LLM,information retrieval,reranking
大規模言語モデル(LLM)を用いたpointwiseリランキング手法は，絶対評価による性能の限界が指摘されてきた一方，そのスコアの信頼性や不確実性についての十分な議論は行われていない．本研究はpointwiseのスコアに対して，次の2つの指標を設定し，スコアと正解ラベル間の誤差との関連性を分析した．1つ目の指標は，複数の関連度スコア間の不安定性に基づく指標であり，2つ目の指標は，関連度スコアと非関連度スコアの不一致に基づく指標である．検証の結果，特に2つ目の指標について，スコア誤差との間に統計的に有意な相互情報量が確認された．これにより，非関連度スコアがpointwiseリランキングにおける不確実性指標となり得る可能性が示された．