講演情報
[2Yin-B-55]言語モデルの抽象推論におけるボトルネックの同定
〇清野 輝風1、青木 洋一1,2、斉藤 いつみ1,2,3、坂口 慶祐1,2 (1. 東北大学、2. 理化学研究所、3. 東京科学大学)
キーワード：
大規模言語モデル、文脈内学習、抽象推論
大規模言語モデル（LLM）の少数例から未知のタスクへ適応する抽象推論能力には依然として課題があり，例えば入出力例から抽象的な変換規則を推論する能力は最先端のLLMを用いても精度が低いことがわかっている．本研究では，この精度の低さがどの要因に起因するのかを検証するため，要因を特徴量抽出と出力形式の二つの要素に分け，合成データを用いてこれらの評価を行った．特徴量および出力形式に関する情報を付与した結果，抽出すべき特徴量をテキストで明示した場合に正答率が向上し，LLMは特徴量抽出能力を有するものの，例示形式からどの特徴量を取り出せば良いかに関する推論を行えていない可能性が示唆された．