講演情報
[5L2-OS-6a-03]LLM を利用したペアワイズ比較に基づく推薦アイテム決定戦略の提案
〇谷 知拓1、柴田 祐樹1、高間 康史1 (1. 東京都立大学)
キーワード：
情報推薦、大規模言語モデル、ランキング
本発表では，LLMを用いたゼロショット・スケーラブルな推薦リスト生成手段として，ペアワイズ比較を集約してアイテムのランキングを決定する手法を提案する．LLMの持つ多様な知識や高度なテキスト理解能力を推薦システムに活用する研究が進められているが，候補アイテム数が多数存在する場合には，全アイテムを一括してLLMに評価させることが困難である．その解決策として，提案手法では，複数回に分けてプロンプトを与え，その結果を集約する方法を採用する．具体的には，アイテムペア単位でLLMに選好関係を評価させ，BTL (Bradley-Terry-Luce) 集約により推薦リストを生成する．２アイテム以上を同時に評価させる場合も含めて評価実験を行い，提案手法の有効性を示す．提案手法では複数回に分けてLLMに評価をさせるため，評価に矛盾が発生し，推薦精度に影響を与えることが考えられる．実験結果を分析して矛盾の発生状況を調査した結果，ペア数が増加すると矛盾の発生割合は増加するが推薦性能には大きな影響を与えないことを示す．