[5F2-GS-10m] AI application

1:00 PM - 1:15 PM JST(4:00 AM - 4:15 AM UTC)

[5F2-GS-10m-05] Evaluating the Reproducibility of LLM-Based Data Analysis Agents

〇Taiga Yamamoto², Kumiko Isu¹, Hiroko Kobori¹, Toshiyuki Hatta¹, Katsumi Okuda¹ (1. Mitsubishi Electric Corporation, 2. Toyohashi University of Technology)

Keywords:

Agent,data analysis,LLM

LLMエージェントはデータ分析等の複雑なタスクに有望である．しかし，同一プロンプトに対する出力値の再現性と分析ワークフローの安定性の欠如は産業応用における障壁となる．そこで，本研究では，ゴールのみを提示するWhat型プロンプトと，ゴールに加えて分析プロセスを手順として指示するHow型プロンプトの違いがエージェントの挙動に与える影響を定量的に比較検証した．NASAのMilling Wear予測タスクを用いた実験の結果，What型プロンプトでは回帰モデルの選択が一貫せず，予測精度が大きくばらつくことを確認した．一方，How型プロンプトではワークフローやモデル選択が安定化し，予測精度のばらつきが抑制されることを確認した．また，特徴量エンジニアリングなどの探索的工程がプロンプト形式のみでは制御が困難であることを明らかにした．