[4K1-GS-6a] 言語メディア処理：大規模言語モデル基盤

9:15 〜 9:30

[4K1-GS-6a-02] 大規模言語モデルの応答履歴からの動的 few-shot 事例選択による小規模言語モデルへの段階的サロゲート技術

〇岩田 聡¹、Haderbache Amir¹、大山 洋介¹ (1. 富士通株式会社)

キーワード：

大規模言語モデル、小規模言語モデル、Few-shot prompting

本論文では、few-shot prompting技術を利用して、対象の大規模言語モデル（LLM）を、より軽量な小規模言語モデル（SLM）で代替（サロゲート）する技術を提案する。提案手法は、LLM利用時に収集した質問と回答の組み合わせから適切な事例を自動で選択しfew-shot promptingとして付与することで、SLMを利用して、可能な限りLLMと同程度の高い回答精度を達成する。実験では、RAGを使用した応答システムを用いて評価し、SLMとfew-shot promptingの組み合わせでLLMよりも応答時間を19～59%削減しつつ、LLMと同程度の正答率を得られることを確認した。