講演情報
[4K1-GS-6a-05]⼩規模言語モデルの論理的推論能⼒の向上
木村 悠誠1、駒谷 和範2、〇沼尾 正行1 (1. 京都橘大学、2. 大阪大学)
キーワード：
大規模言語モデル、小規模言語モデル、算数⽂章問題
⼤規模⾔語モデル（LLM）は⾼い性能を⽰す⼀⽅で，計算資源や運⽤コスト，外部サーバー利⽤に伴うセキュリティ上の懸念がある．これに対しローカル環境で動作するような⼩規模言語モデル(SLM)は扱いやすいが，推論能⼒が不⾜しやすく，算数⽂章題などの論理タスクでは正答率が低いという課題がある．本研究では，このような⼩規模言語モデルの推論性能を改善するために，問題解決を複数段階に分けて進める段階的プロセス設計を提案し，GSM8Kを⽤いて評価した．具体的には，まず解法⽅針（何を計算すべきか）を短く⽣成し，その後に計算をして最終回答を考えさせる構成とした．評価の結果，段階分けを⾏った場合と⾏わない場合で最終的な正答率は僅かに上昇したが⼤きな差は⾒られなかった．しかし，段階分けした場合の中間出⼒を観察すると，不正解となった問題でも解法⽅針⾃体は正しい例が多く確認された．また段階分けありでは不正解が減少する代わりに未回答が増加した．これは，⼿順を⽰されたことで下⼿な回答がしづらくなったのではないかと考察した．