講演情報
[A-12-10]LLMを用いたクラウドソーシング依頼文の曖昧性評価に関する検討
◎△牧村 胡桃1、能勢山 凌大2、馬場 元岐2、小比賀 亮仁1、小板 隆浩2 (1. 同志社大、2. 同志社大学大学院)
キーワード：
クラウドソーシング
近年，クラウドソーシングは多様な業務を効率的に実施できる手法として広く利用されている。しかし，依頼文に曖昧な表現が含まれる場合，ワーカーが作業内容や成果物の条件を誤解し，品質低下や手戻りの発生につながる。このような問題を防ぐためには，依頼文の曖昧性を事前に評価し，改善を支援することが重要である。本研究では，依頼文の曖昧性改善支援の前段として，大規模言語モデル（LLM）を用いた曖昧性評価手法を検討する。
具体的には，Nouriらが提案したClarityFlawの8評価軸に基づき，GPT-5.5を用いてクラウドソーシング依頼文の曖昧性を5段階で評価した。評価対象には，先行研究で収集された依頼文の内の100件およびクラウドワーカーによる評価データを用いた。LLMが出力した評価値と，人間評価をMACEにより統合した評価値を比較し，Spearman順位相関係数，Pearson相関係数，MAEを用いて一致度を分析した。その結果，各評価軸におけるSpearman順位相関係数は0.140～0.337，Pearson相関係数は0.127～0.356であった。また，依頼文全体の曖昧性を表す指標として8評価軸の平均値から算出したOverall scoreのSpearman順位相関係数は0.336であった。これらの結果から，LLM評価と人間評価の間には弱い正の相関が確認された。一方で，評価軸によって一致度に差が見られ，人間の曖昧性判断を十分に再現するには至らなかった。以上より，LLMはクラウドソーシング依頼文の曖昧性評価を支援する可能性を有する一方，人間評価の代替には課題が残ることが示された。
具体的には，Nouriらが提案したClarityFlawの8評価軸に基づき，GPT-5.5を用いてクラウドソーシング依頼文の曖昧性を5段階で評価した。評価対象には，先行研究で収集された依頼文の内の100件およびクラウドワーカーによる評価データを用いた。LLMが出力した評価値と，人間評価をMACEにより統合した評価値を比較し，Spearman順位相関係数，Pearson相関係数，MAEを用いて一致度を分析した。その結果，各評価軸におけるSpearman順位相関係数は0.140～0.337，Pearson相関係数は0.127～0.356であった。また，依頼文全体の曖昧性を表す指標として8評価軸の平均値から算出したOverall scoreのSpearman順位相関係数は0.336であった。これらの結果から，LLM評価と人間評価の間には弱い正の相関が確認された。一方で，評価軸によって一致度に差が見られ，人間の曖昧性判断を十分に再現するには至らなかった。以上より，LLMはクラウドソーシング依頼文の曖昧性評価を支援する可能性を有する一方，人間評価の代替には課題が残ることが示された。