講演情報
[5Yin-A-49]大規模言語モデルの内部表現における専門分野の分離性を検証するためのデータセット構築
〇矢野 大地1、平 博順1 (1. 大阪工業大学大学院)
キーワード：
大規模言語モデル、内部表現、分野分離性、データセット構築
近年，大規模言語モデル（LLM）は一般的な言語処理タスクにとどまらず，金融・法律・医学などの専門分野においても高い性能を示している．一方で，その内部表現がどのような情報を保持・処理しているかについては，十分には解明されていない．特に，入力されたプロンプトがどの専門分野に属するかを，LLMが内部表現レベルで識別・分離しているかどうかは未解明である．本研究では，LLMの内部表現における専門分野分離性を検証することを目的とし，金融・法律・医学・コンピュータ科学の4分野を対象としたデータセットの構築を行う．具体的には，各分野のプロンプトを入力した際に得られる隠れ状態を用い，分野識別を行う分類器の学習が可能なデータセットを整備する．これにより，LLM内部表現に専門分野に対応した構造が存在するかを定量的に評価するための基盤を構築する．