Presentation Information
[3Yin-A-19]Autoformulation Benchmark Suite of Black-Box Optimization Problems Described in Natural Language
〇Yutaro Yamada1, Kei Hiroshima1, Nozomu Yoshinari1, Kento Uchida1, Shinnichi Shirakawa1 (1. Yokohama National University)
Keywords:
Black-box Optimization,Large Language Model,Autoformulation
最適化問題の定式化は最適化結果に大きな影響を与える重要なプロセスであり，適切な定式化は専門的な知識を持たない場合には困難である．この課題に対し，自然言語で与えられた問題説明文から最適化問題の定式化を自動で行う研究が進められている．既存研究の多くは線形計画問題など目的関数や制約条件が数式として明に表現可能な問題を対象としているが，機械学習のハイパーパラメータ最適化をはじめとする重要な問題には，目的関数の出力値のみが得られ，関数式は明示的に記述できないブラックボックス最適化に属する問題が多く存在する．そこで本研究では，自然言語で記述された問題説明文からブラックボックス最適化問題の定式化とアルゴリズム選択を自動で行うタスクを提案する．ブラックボックス最適化の定式化は探索空間の設計として定義され，問題説明文，目的関数，およびベースラインとなる定式化から構成されるベンチマークセットを構築した．また，構築したベンチマークを用いて複数の大規模言語モデルを評価し，LLMが生成した定式化をベースラインと比較するとともに，実際に最適化を実行した結果の分析を行った．