講演情報
[1Yin-A-06]MLLM-as-a-Judgeにおける自己選好バイアスの軽減
〇小山 修生1、和田 唯我1、八島 大地1、杉浦 孔明1 (1. 慶應義塾大学)
キーワード：
MLLM-as-a-Judge、自己選好バイアス、画像キャプション生成
本研究では，画像キャプション生成において，マルチモーダル大規模言語モデル(MLLM) が自身の生成文を不当に高く評価する傾向(自己選好バイアス) を扱う．テキストのみを入力とするLLM を対象とする自己選好バイアスについての既存研究においては，自己選好の定量化が不十分であるため，自己選好バイアスの度合いが不明である. そこで本研究では，MLLM の組に互いにキャプションの生成と評価を行わせ，評価値を標準化することでバイアスの程度を定量化し，MLLM の自己選好バイアスの度合いの検証を行った．検証の結果，画像キャプション生成において，検証対象の各MLLM は，自己選好バイアスを有する可能性が高いことが明らかになった．さらに，複数のMLLMを混合することで特定のモデルを選好しない自動評価尺度を提案する．実験の結果，提案手法は性能を維持しつつ特定のモデルへの選好の影響を軽減した．