[4K1-GS-6a] Language media processing

9:15 AM - 9:30 AM JST(12:15 AM - 12:30 AM UTC)

[4K1-GS-6a-02] A Stepwise Surrogate Technique for Small Language Models via Dynamic Few-Shot Case Selection from Large Language Model Response Histories

〇Satoshi Iwata¹, Amir Haderbache¹, Yosuke Oyama¹ (1. Fujitsu Limited)

Keywords:

Large Language Model,Small Language Model,Few-shot prompting

本論文では、few-shot prompting技術を利用して、対象の大規模言語モデル（LLM）を、より軽量な小規模言語モデル（SLM）で代替（サロゲート）する技術を提案する。提案手法は、LLM利用時に収集した質問と回答の組み合わせから適切な事例を自動で選択しfew-shot promptingとして付与することで、SLMを利用して、可能な限りLLMと同程度の高い回答精度を達成する。実験では、RAGを使用した応答システムを用いて評価し、SLMとfew-shot promptingの組み合わせでLLMよりも応答時間を19～59%削減しつつ、LLMと同程度の正答率を得られることを確認した。