[4L]情報の質

11:40 〜 12:05

[4L-05] タスク指示文の評価と作成を交互に繰り返すことによるLLMを利用した指示文の作成

*田中 涼¹、鈴木 優¹ (1. 岐阜大学工学部電気・電子情報工学科情報コース鈴木研究室)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

LLM、クラウドソーシング、データセット作成、タスク指示文、フィードバック

クラウドソーシングでは，依頼者がタスク指示文を作成し，ワーカがその指示文に従いタスクを行うことでデータセットが作成される．我々はLLMを利用し，ワーカが依頼者の想定通りタスクを遂行できる指示文を作成することを目指した．提案手法では，評価用LLMと作成用LLMを使い，指示文とその評価を作成用LLMにフィードバックさせ続けることで，目的の指示文を取得する．評価用LLMは指示文を使って文章へのラベル付与を行い，付与されたラベルと正解ラベルとの一致率によって指示文を評価する．作成用LLMは正解ラベル，および指示文とその評価を元にして，新しい指示文を作成する．実験の結果，提案手法による指示文が，依頼者による指示文よりも高い正答率を出す場合があることを確認できた．