Presentation Information
[4L5-GS-1b-04]Construction of Large Language Model-Based System to Replicate Human Cognitive Processes in Buzzer Quizzes
〇Yuto Yoshida1, Masaru Shirasuna1, Yoshinobu Kano1 (1. Shizuoka University)
Keywords:
large language model,Comparison of Humans and LLMs,Buzzer Quizzes
本研究は、早押しクイズにおける人間の決定タイミングとその認知過程を、大規模言語モデル（LLM）に再現させる手法を提案する。
早押しクイズでは、問題文が提示される中で解答者が答えを認識したタイミングで解答ボタンを押す。
実験では、実際の日本の早押しクイズ大会で得られた行動データを使用し、問題文を1文字ずつ入力しながら次単語を予測する人間の過程に近づくよう、LLMにも次単語を確定させつつ予測させる手法を提案した。
結果として、LLMは早押しクイズのプロ並みの正答率を達成したうえ、LLMは人間の決定タイミングと有意な差がなく正しい答えを出すことが確認され、LLMが人間の認知過程を再現できる可能性が示唆された。
さらに、専門家の役割を宣言するプロンプトの有無による違いについても検討したが、結果は一貫しており、モデル本来の推論能力で説明できることが示された。
本研究は、逐次的に情報が提示される状況におけるLLMと人間の決定タイミングの比較に新たな枠組みを提供するものである。
早押しクイズでは、問題文が提示される中で解答者が答えを認識したタイミングで解答ボタンを押す。
実験では、実際の日本の早押しクイズ大会で得られた行動データを使用し、問題文を1文字ずつ入力しながら次単語を予測する人間の過程に近づくよう、LLMにも次単語を確定させつつ予測させる手法を提案した。
結果として、LLMは早押しクイズのプロ並みの正答率を達成したうえ、LLMは人間の決定タイミングと有意な差がなく正しい答えを出すことが確認され、LLMが人間の認知過程を再現できる可能性が示唆された。
さらに、専門家の役割を宣言するプロンプトの有無による違いについても検討したが、結果は一貫しており、モデル本来の推論能力で説明できることが示された。
本研究は、逐次的に情報が提示される状況におけるLLMと人間の決定タイミングの比較に新たな枠組みを提供するものである。