[2E1-GS-5b] エージェント：LLMエージェントと自律システム

9:15 〜 9:30

[2E1-GS-5b-02] MCP ツール呼び出し最適化におけるモデル強度の影響分析

〇曽田 俊明¹、中山 光浩²、山口 武彦²、河津 宏美²、立堀 道昭² (1. 日本IBMシステムズエンジニアリング、2. 日本IBM)

キーワード：

LLMエージェント、小型LLM、Model Context Protocol (MCP)、ツール利用

Model Context Protocol (MCP) に基づくツール呼び出しにおいて、小規模LLM の性能を向上させるツールコンテ キスト最適化手法を6 種のモデルで評価した。合成テストに基づく自動設定選択（Proposed）の効果はモデル能力に強 く依存し、弱いモデル（Gemma 3 4B, Granite 3.3 8B）では最大+0.50 の実改善を達成する一方、中～強のモデル（Phi 4 14B, Qwen 3 8B 等）ではベースラインを下回るケースがあり（Spearman ρ=−0.73）、モデル強度との逆相関を明 らかにした。また記述バリアント（原文・簡潔・詳細）の効果はドメイン固有であり、一律の戦略は最適でないことを示 した。て、Granite 3.3 8Bモデルに本手法を適用した結果、BrowserドメインでPass@1が0.00から0.50へ、File Systemドメインで0.22から0.54へと向上した。また、最適な構成はドメインごとに異なり、一律の戦略では不十分であることを明らかにした。