講演情報
[5E1-GS-6d-04]LMCR-TE: トークン化効率とトークン予測能力を利用した大規模言語モデル性能推定指標の提案
〇佐藤 哲1、五十幡 直洋1 (1. パーソルキャリア株式会社)
キーワード：
大規模言語モデル、LMCR
大規模言語モデル（LLM）のトークン予測能力を利用し，そのLLMのタスク遂行能力を推定する手法が提案されており，その一つがLMCRである．しかし，日本語を対象としたタスクに対し推定がうまくいかないモデルが存在することから，推定手法の改良が進められている．本研究では，評価対象のLLMで採用されているトークナイザによるトークン化効率を利用してLMCRの値を補正する手法を提案する．