講演情報
[1M4-GS-5x-03]マルチエージェント型推論へのプロンプト最適化
〇吉本 匠1、磯沼 大1,2,3、森 純一郎1,3、坂田 一郎1 (1. 東京大学、2. 国立情報学研究所、3. 理研AIP)
[[オンライン]]
キーワード：
言語モデル、連続トークン、プロンプト最適化
本研究では、大規模言語モデル間で連続トークンを伝達するマルチエージェントにおいて、各言語モデルへ推論タスクとともに入力されるプロンプトを、勾配降下法により同時最適化することに取り組む。文章を生成する際、言語モデルはまずトークンの確率分布（連続トークン）を計算し、そこから離散トークンをサンプルする。通常のマルチエージェントでは、離散トークン列を別の言語モデルに入力することで情報伝達が行われるが、連続トークンを言語モデル間の入出力に用いることもできる。その結果、各トークンの確率に関する情報がサンプル時に失われず、推論タスクにおける正解率が向上することが報告されている。しかし正解率は、マルチエージェントの構成だけでなく、推論タスクとともに入力されるプロンプトにも依存する。そこで、連続トークンを伝達するマルチエージェントに対して、各言語モデルへ入力するプロンプトの埋め込みベクトル列を勾配降下法により最適化することで、推論性能が向上するか検証する。