講演情報

14:45 〜 15:10

[2B-04]正答傾向に基づくLLMの構成要素の役割の分析

*宮本優希¹、湯本高行¹ (1. 兵庫県立大学)

PDFダウンロード

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

自然言語処理、Transformer、LLM、Attention

本研究ではLLMを用いたQAタスクにおいてどの層とアテンションヘッドが重要なのかを調査する．層の分析では，(1)各層を削除した時の推論結果を比較することと(2)QAタスクのクラスタリングによる層と質問内容の関係の調査を行う．具体的には，QAタスクで得た推論の正解/不正解データを基にクラスタリングを行う．形成されたクラスタから，各層が持つ役割と重要性について考察する．アテンションヘッドの分析でも同様に，(1)各ヘッドを削除した時の生成結果を比較することと(2)QAタスクのクラスタリングによるヘッドと質問内容の関係の調査を行う．１つのヘッドの重みを変更してもQAタスクの正解率にほとんど影響がないことが確認されたため，各ヘッドのアテンション重みに注目した分析を行った．具体的には，ヘッド間のアテンション重みの類似性を評価するため，JSDを用いて距離行列を計算し，クラスタリングを実施した．同クラスタに属したものを類似ヘッドと定義し，それらのヘッドが持つ役割と重要性について考察を行う．

セッション詳細へ戻る