[5L3-OS-6b] 大規模言語モデルとデータサイエンス

14:30 〜 14:45

[5L3-OS-6b-03] SLMにおける日本語チューニング手法の効果とその適用条件

〇仲 強¹、伊東 豪大¹、土肥 謙仁¹、青島 弘和¹ (1. 株式会社日立ハイシステム２１)

キーワード：

小規模言語モデル、ファインチューニング、強化学習

計算機資源が限られたデバイスなどでの生成AI処理の実装では、LLM(Large Language Model)ではなく、SLM(Small Language Model)が適しているが、目的にあう言語処理能力を持つよう、ファインチューニング(FT)を要する場合がある。しかし、ベースとするSLMと、FT手法の組み合わせに対する期待効果は明らかでない。 本研究では、2つのSLM(Llama-3.2-3B、Qwen2.5-3B)にSFT、GRPO、SFT+GRPOの3手法で日本語処理FTし、日本語処理評価ベンチマーク llm-jp-eval によるFT手法別の改善効果を評価した。 その結果、(1) SFTでは両モデルで同程度の改善(+5.6%, +6.1%)を示し、(2) GRPOではLlamaで+3.6%、Qwenで+0.6%と差があり、(3) SFT+GRPOではSFT単体と比較して、Llamaではやや改善(+5.6%⇒+5.9％)、Qwenでは悪化(+6.1%⇒+5.3％)と、傾向差が生じた。ベースモデルの特性とFT手法の効果の相互関係と、それに基づく選択手段を示唆するものと考える。