[18a-PA1-1~23] 23.1 合同セッションN「インフォマティクス応用」

[18a-PA1-21] 化学・材料科学分野におけるLLMペアワイズ比較の特性評価

〇前澤 俊哉¹、植野 剛¹ (1.関西学院大)

キーワード：

大規模言語モデル、ペアワイズ比較

ペアワイズ比較と選好学習を利用して、LLMの化学・材料科学の知識から実験条件・目的変数間の関係を定量的に表現する数理モデルを構築することを目指し、化学・材料科学データセットを用いてLLMにおけるペアワイズ比較の正解率・位置バイアスの評価を行うとともに、回答棄権の有効性を検証した。