Presentation Information
[18a-PA1-21]Characterizing LLM Pairwise Comparisons in Chemistry and Materials Science
〇Shunya Maezawa1, Tsuyoshi Ueno1 (1.Kwansei Gakuin Univ.)
Keywords:
large language models,pairwise comparison
ペアワイズ比較と選好学習を利用して、LLMの化学・材料科学の知識から実験条件・目的変数間の関係を定量的に表現する数理モデルを構築することを目指し、化学・材料科学データセットを用いてLLMにおけるペアワイズ比較の正解率・位置バイアスの評価を行うとともに、回答棄権の有効性を検証した。