講演情報
[B-12-05]SD法における大規模言語モデルの弁別的評定能力の検証Silicon SamplingによるSD法デザイン評価への適用可能性
*内山 俊朗1 (1. 筑波大学 芸術系)
キーワード:
Semantic Differential Method、Large Language Model、Design Evaluation
SD法はデザイン評価において広く用いられるが、十分な被験者数の確保にはコストと時間を要する。近年、LLMにペルソナを付与して調査回答をシミュレートするSilicon Samplingが提案されているが、SD法によるデザイン評価への適用は検証されていない。本研究では、3種のLLM(GPT-4o、Claude Sonnet 4、Gemini 2.5 Flash)を仮想評定者パネルとして運用し、書体デザイン2カテゴリ(日本語フォント4書体・欧文書体6書体)を対象に体系的な実験を行った。50名のペルソナ付与(条件B)とtemperature調整による反復評定(条件C)の2つの多様性生成手法を含む3条件×2種の刺激提示方法×2カテゴリ=12実験条件で計84,838データポイントを取得した。条件Bにおける弁別率(一元配置分散分析、p<0.05)は87.5〜100%、モデル間のプロファイル相関はr=0.84〜0.89であった。条件BとCの集約プロファイル相関はr>0.989と極めて高く、多様性生成手法によらず評定構造が安定していた。3モデルは質的に異なる応答バイアスを示したが、平均プロファイルの構造的類似性は保たれていた。
コメント
コメントの閲覧・投稿にはログインが必要です。ログイン
