講演情報
[4K1-GS-6a-03]日本語タスクにおけるLLMモデルルーティングの性能評価
〇海老原 樹1、山本 智幸1、吉田 茂人 (1. シャープ株式会社)
キーワード：
大規模言語モデル、モデルルーティング
複数の性能・コスト特性を持つLLMを入力クエリに応じて切り替えるモデルルーティングは、品質-コストのトレードオフに優れた応答システムの構築に対する有望なアプローチであるが、日本語タスクを対象とした実証的評価は限定的である。本研究では、日本語のオープンエンドなテキスト生成タスクを対象に、LLMモデルルーティングの性能評価を行う。強モデルと弱モデルの二値ルーティング設定を考え、過去の類似クエリをベクトル検索で参照するkNNベースのルーターを構築した。ラベル設計として、ペアワイズ比較ラベルと弱モデルの応答品質に基づく疑似ラベルの2手法を比較した。複数の日本語ベンチマークによる実験の結果、簡易な疑似ラベルであっても条件によっては実用的なルーティングが可能であることが示された。また、ベンチマーク特性やモデル間の性能差が、ルーティングの有効性に大きく影響することが実験的に明らかになった。一方で、ペアワイズ比較ラベルを用いた場合、いずれのベンチマークでも性能向上が見られず、ペアワイズ比較に基づくラベル設計やその自動生成手法については、今後さらなる検討が必要であることが示唆された。