[2Yin-A] Poster 3

[2Yin-A-13] Acoustic Condition-Invariant Speech Intelligibility Decoding from Functional Magnetic Resonance Imaging

〇Shuntaro Suzuki¹, Ching-Chih Sung^2,3, Francis Pingfan Chien^2,3, Yu Tsao², Komei Sugiura¹ (1. Keio University, 2. Academia Sinica, 3. National Taiwan University)

Keywords:

Functional Magnetic Resonance Imaging,Speech Intelligibility,Deep-SSM

音声明瞭度の神経基盤を解明することは，計算論的神経科学において本質的な課題である．これまで，音声明瞭度は単なる音響物理的特性にとどまらず皮質活動を変調し，特に上側頭回および下前頭回において顕著な影響を及ぼすことが示されてきた．しかし，既存研究の多くは明瞭音声のみを対象としており，多様な聴取条件下において脳が条件不変な神経表現を用いて音声明瞭度を符号化しているかについては未解明である．そこで本研究では，異なる音響条件下での音声聴取時に計測された機能的磁気共鳴画像（fMRI）からの音声明瞭度デコーディングを扱う．また，深層状態空間モデルを拡張し，fMRIが有する高次元かつ長時系列データを効率的にモデリング可能な新たなアーキテクチャを提案する．音響的に異なる複数条件を跨いで脳活動から音声明瞭度を復号する試みは本研究が初であり，提案手法は従来のベースライン手法を有意に上回る性能を示した．また，音響条件間転移の結果から音声明瞭度を担う条件不変な神経符号の存在が示唆された．これらの結果は，脳内における抽象的な言語表現の理解を一層深化させるものである．