講演情報
[4Yin-A-28]Lookback Ratio特徴量を用いた線形分類器によるContextual Hallucinations分類の要因分析
〇佐々木 優斗1、神野 健哉1 (1. 東京都市大学)
キーワード：
Contextual Hallcinations、Lookback Ratio、Attention Head、ヘッドプルーニング、要約評価
大規模言語モデル（LLM）による要約では，入力文書に根拠のない内容を含むContextual Hallucinations（CH）が問題となる。先行研究は，Attention mapから算出できるLookback Ratio（LR）特徴量により，線形分類器でCHを検出できることを示した。本研究は，LRに基づく分類が成立する要因を注意ヘッド単位の寄与として分析する。具体的には，学習したロジスティック回帰の回帰係数を層・ヘッドに対応付けて可視化し，寄与が特定層に偏らず複数層へ分散する傾向を確認した。さらに，係数絶対値に基づくtop/median/bottomのヘッド選択でヘッドを段階的にプルーニングし，CH発生率の変化を比較したところ，少数ヘッドの無効化でCHが低下する局面がある一方，プルーニング数が大きい条件ではCHが増加し，生成結果の変質が混入する可能性が示唆された。CH判定にはLLM-as-a-judgeを用い，以上の観測からLR分類と内部注意挙動の関係を整理する。