[5E1-GS-6d] Language media processing

9:45 AM - 10:00 AM JST(12:45 AM - 1:00 AM UTC)

[5E1-GS-6d-04] LMCR-TE: A Performance Estimation Metric for Large Language Models Based on Tokenization Efficiency and Token Prediction Ability

〇Tetsu R Sato¹, Naonori Ikahata¹ (1. PERSOL CAREER, CO., LTD.)

Keywords:

LLM,LMCR

大規模言語モデル（LLM）のトークン予測能力を利用し，そのLLMのタスク遂行能力を推定する手法が提案されており，その一つがLMCRである．しかし，日本語を対象としたタスクに対し推定がうまくいかないモデルが存在することから，推定手法の改良が進められている．本研究では，評価対象のLLMで採用されているトークナイザによるトークン化効率を利用してLMCRの値を補正する手法を提案する．