[5Yin-A] Poster 8

[5Yin-A-64] Layer-wise Analysis of Emotion Representations in Large Language Models

〇Maho Hanaoka¹ (1. *)

Keywords:

Large Language Models,Layer-wise Probing Analysis,Emotion Analysis,Japanese Continual Pre-training,WRIME

大規模言語モデル（LLM）の発展により自然言語処理が進展したが，内部の感情理解メカニズム，特に層別処理は十分に解明されていない．また，書き手の主観感情と読み手の客観感情の乖離は，感情コミュニケーションにおける本質的問題である．本研究では，WRIME Ver.2を用い，Transformerモデルの各層における感情情報を層別のプローブ分析により検証した．Llama 3.1 8BとSwallow 8Bを対象に，全33層に対し線形および非線形プローブを適用した．検証の結果，(1)客観感情ラベルは主観感情ラベルよりも予測性能が高いこと，(2)日本語継続学習モデルはベースモデルと比較してピーク層の深層化とともに全体的な性能向上が認められること，(3)感情表現は全体として線形的に符号化されており，線形・非線形プローブの差がわずかであることが確認された．本研究は，LLMにおける感情の層別処理特性を明らかにし，視点の違いを考慮した感情理解メカニズムの解明に向けた基盤的知見を提供する．