Presentation Information
[5Yin-A-50]Decoding Words with Different Pitch Accent Patterns from Brain Activity based on EEG Analysis
〇Hikari Nomura1, Kazuya Tsubokura1, Yurie Iribe1 (1. Aichi Prefectural University)
Keywords:
Brain decoding,prosody,Electroencephalography (EEG)
脳信号から人間の思考を言語へ変換するBrain to Textは，発話が困難な人々の意思伝達支援として注目されている．従来研究の多くは大規模言語モデルを用いているが，人間の思考は文字列ではなく音声を伴う可能性があり，Brain to Textには音響モデルも有効だと考えられる．本研究では音響情報の中でも，音の高さ，強さ，長さを示す韻律に着目する．しかし，人間の脳内における韻律情報の処理方法は未だ不明な点が多いため，韻律処理に関する脳活動を観測する．そして，得られた特徴から単語識別の精度を検証する．実験では韻律変化に伴う脳波の賦活を捉えるため，単語のアクセント型に着目し，平板型と頭高型の2種類を採用した．電極は言語中枢（ブローカ野とウェルニッケ野）と左右の聴覚野に配置した．被験者からは，アクセント型の異なる16単語に対して，聴取時と発話時の脳波を採取した．連続ウェーブレット変換の結果から，聴取条件時のブローカ野にアクセント間で顕著な差が認められ，特定の周波数帯で賦活の強弱と継続時間に差が生じた．また，発話条件において，聴覚野とブローカ野の脳波は韻律の異なる単語を識別する上で有効であることが分かった．