講演情報
[1Yin-B-54]新言語の知識転移による小規模なコードLLMの文脈内学習の性能評価
〇西潟 優羽1、土田 悠佳1、森部 七海1、中野 乃梨子1、倉光 君郎1 (1. 日本女子大学)
キーワード：
大規模言語モデル、コード生成、知識転移、小規模LLM
近年，大規模言語モデル（LLM）は高いコード生成性能を示しており，ソフトウェア開発への応用が急速に進んでいる．しかし，計算資源やデータプライバシーの観点から，ローカル環境で運用可能な小規模コードLLMへの需要が高まっている．一方，小規模モデルではコード生成性能が限定的であり，性能向上手法の検討が求められている．その一つとして，追加学習を必要としない文脈内学習が注目されている．我々の先行研究では，クローズドモデルが文脈内学習によって事前学習に含まれない新規プログラミング言語へのコード生成が可能であることを示したが，小規模コードLLMにおける同様の検証は十分に行われていない．本研究では，新規プログラミング言語Yuiを用いて，小規模コードLLMに対する文脈内学習の効果を評価した．その結果，文脈内学習の効果はモデル規模や文脈情報の種類によって大きく異なり，一定規模以上のモデルで未知言語へのコード生成が確認された．さらに，小規模コードLLMにおける未知言語コード生成では，モデル規模や与える文脈情報の設計が重要な要因となることを示した．