講演情報
[3Yin-A-29]大規模言語モデルにおける予測状態表現に基づく解析LLMに対する力学系的解釈の可能性
〇水野 晋之介1、小橋 洋平1 (1. 東京大学)
キーワード：
大規模言語モデル、人格、単語グラフ
あなた:大規模言語モデル（LLM）は，同一の問いに対してもプロンプトに応じて多様なpersonaを帯びた応答を示すが，personaを精緻に制御する手法は未だ開発されていない.本研究はpersonaを入力分布に対する条件付き次トークン分布の低次元の偏りと定義し，Predictive State Representation（PSR）の考え方に基づき同定・比較する枠組みを提案する．固定した概念ノード集合と関係ラベル集合に対し，各有向ノード対の関係ラベル確率をteacher-forcingで推定し，それを辺属性とするpersonaグラフを構成する．複数のLLMと生成条件を変えた実験により，persona入力がモデル間で一貫した再現性のあるグラフ構造差を誘発すること、条件依存性の小さい安定エッジを用いてpersona空間の可視化、および目標personaへの連続遷移ができる可能性を示唆した. 今後は手法の精緻化を通じ、任意のペルソナへのsteeringを厳密にコントロールできる技術を開発する。