講演情報
[5Yin-A-15]ユーザー単位の固定配分ABテストへの応用を見据えた、フィードバックに基づくテキスト最適化手法の検討
〇上野 雅史1、佐藤 哲1、五十幡 直洋1 (1. パーソルキャリア)
キーワード：
LLM、テキスト最適化
ユーザー単位の固定配分のABテストは、全期間を通じてユーザーを特定のグループに割り振り、それぞれのパフォーマンスを比較検証する手法である。固定配分ABテストを逐次的に繰り返すことで、テキストを評価に沿って最適化する試みは従来人間の試行錯誤によって行われており、人間の工数がかかってしまうことが課題だった。そこで本研究では、逐次的なABテストの自動化を目的に、テキストの評価が数値のみで与えられる条件下において、逐次的なABテストによって、テキストを評価に沿って最適化する手法について研究する。プロンプト最適化などの分野で使われるTextGradと遺伝的アルゴリズムを組み合わせた手法を提案する。論題に対するさまざまな視点からの意見を集めたperspectrumデータセットから抽出した各意見を最適化対象として、LLM as a judgeによる評価信号をもとに提案手法によるテキストの最適化を行い、その性能を評価した。その結果、提案手法は後半の世代においてベースライン手法を上回ることがわかった。