講演情報
[15p-S2_204-9]材料分野図含有ベンチマークを用いたマルチモーダルLLMの評価
〇吉武 道子1、鈴木 雄太2、五十嵐 亮1、牛久 祥孝1、長藤 圭介3 (1.オムロンサイニックエックス、2.阪大、3.東大)
キーワード：
マルチモーダル自然言語処理、状態図、アレニウスプロット
マルチモーダル化に対応した材料科学分野用に、教科書から、図を使用しない と解答できない問題をベンチマークとして137個作成し昨春に発表した．今回、このベンチマークを 用いてGPTのいくつかのバージョンの評価を行った結果を報告する．バージョンアップとともに正答率が上がっている が，応答を詳しく解析すると，問題の分野・種類による得意・不得意がはっきりしており，事前 学習の効果やバー ジョンの特徴など が明らかになった．