[1Yin-B] Poster 2

[1Yin-B-54] Performance Evaluation of Contextual Learning in Small Code LLMs via Knowledge Transfer from New Languages

〇Yuha Nishigata¹, Haruka Tuchida¹, Nanami Moribe¹, Noriko Nakano¹, Kimio Kuramitsu¹ (1. Japan Women's University)

Keywords:

LLM,Code Generation,Knowledge Transfer,Small Language Model

近年，大規模言語モデル（LLM）は高いコード生成性能を示しており，ソフトウェア開発への応用が急速に進んでいる．しかし，計算資源やデータプライバシーの観点から，ローカル環境で運用可能な小規模コードLLMへの需要が高まっている．一方，小規模モデルではコード生成性能が限定的であり，性能向上手法の検討が求められている．その一つとして，追加学習を必要としない文脈内学習が注目されている．我々の先行研究では，クローズドモデルが文脈内学習によって事前学習に含まれない新規プログラミング言語へのコード生成が可能であることを示したが，小規模コードLLMにおける同様の検証は十分に行われていない．本研究では，新規プログラミング言語Yuiを用いて，小規模コードLLMに対する文脈内学習の効果を評価した．その結果，文脈内学習の効果はモデル規模や文脈情報の種類によって大きく異なり，一定規模以上のモデルで未知言語へのコード生成が確認された．さらに，小規模コードLLMにおける未知言語コード生成では，モデル規模や与える文脈情報の設計が重要な要因となることを示した．