[3Yin-A] Poster 5

[3Yin-A-27] Evaluation and Analysis of Language-Model Pretraining Configurations for Brain-State Prediction

〇Ai Hamada¹, Yuki Taya¹, Ichiro Kobayashi¹ (1. Ochanomizu University)

Keywords:

Representation learning,Encoding models,Multimodal learning,fMRI

近年，非侵襲的脳機能計測の発展と深層学習の高度化により，言語刺激に対する脳内状態表現を定量的に捉える研究が進んでいる。とりわけ，大規模言語モデルが生成する埋め込み表現は，符号化モデルを用いた脳活動予測に広く利用されている。本研究では，言語刺激とfMRIによって計測された脳活動データの対応関係を学習した言語モデルを構築し，得られた特徴量を用いて符号化モデルで脳内状態の予測を行う．特に本研究では言語モデルの学習設定の違いが表現空間と予測性能に及ぼす要因を明確化することに焦点を当てる．具体的には，言語モデルから得られたテキスト表現の、条件間での変化を捉えるため，表現類似度に基づくベクトル解析を行い，予測性能差の原因を分析した．さらに，Masked Language Modelにおけるマスク率を系統的に変更し，各条件で得られる埋め込み表現を用いてボクセルごとのリッジ回帰により脳応答を予測した．