講演情報
[N-2-02]Lookback Ratio特徴量の低次元潜在成分に基づくContextual Hallucination分類分析
〇佐々木 優斗1、神野 健哉1 (1. 東京都市大学)
キーワード：
Contextual Hallcination、Lookback Ratio、大規模言語モデル
大規模言語モデルによる要約タスクなどでは，入力文脈に支持されない内容を生成するContextual Hallucination（CH）が重要な課題である．先行研究Lookback Lensは，全層・全ヘッドのAttention mapから算出したLookback Ratio（LR）を用いてCHを検出した．本研究では，CH分類に有効な情報が1024次元のLR特徴量に独立に分散するのではなく，複数ヘッドにまたがる低次元的な共変動構造として表れるという仮説のもと，LR特徴量の潜在成分を分析した．具体的には，Phi-3-miniを用いてCNN/DailyMailの記事から要約文を生成し，gpt-ossによるLLM判定器でCH有無の2値ラベルを付与した．各生成要約について，全出力時刻で平均した長さ正規化LRを1024次元特徴量として抽出し，訓練データ上で標準化したうえでヘッド間相関および相関行列の固有値を分析した．その結果，平均絶対相関は0.285，全ヘッドペアの55.6%が|r|>0.2となり，上位8成分で全分散の67.5%，上位32成分で80.2%を説明した．さらに，LR-1024，PCA-32，PLS-8を用いてL2正則化Logistic RegressionによるCH/nonCH分類を行った．評価データにおけるAUROC/AUPRCは，LR-1024で0.704/0.344，PCA-32で0.714/0.341，PLS-8で0.722/0.338であった．PCA-32およびPLS-8は少数次元ながら1024次元LRと概ね同等の分類性能を示した．以上より，CH分類に有効な情報は単一ヘッドに局所化するのではなく，複数ヘッドにまたがる低次元的なLRパターンとして含まれる可能性が示唆された．