[2Yin-B] Poster 4

[2Yin-B-55] Identifying Bottlenecks in Language Models’ Abstract Reasoning

〇Terukaze Seino¹, Youichi Aoki^1,2, Istumi Saito^1,2,3, Keisuke Sakaguchi^1,2 (1. Tohoku University, 2. Institute of Physical and Chemical Research, 3. Institute of Science Tokyo)

Keywords:

LLM,In Context Learning,Abstract Reasoning

大規模言語モデル（LLM）の少数例から未知のタスクへ適応する抽象推論能力には依然として課題があり，例えば入出力例から抽象的な変換規則を推論する能力は最先端のLLMを用いても精度が低いことがわかっている．本研究では，この精度の低さがどの要因に起因するのかを検証するため，要因を特徴量抽出と出力形式の二つの要素に分け，合成データを用いてこれらの評価を行った．特徴量および出力形式に関する情報を付与した結果，抽出すべき特徴量をテキストで明示した場合に正答率が向上し，LLMは特徴量抽出能力を有するものの，例示形式からどの特徴量を取り出せば良いかに関する推論を行えていない可能性が示唆された．