[4D1-OS-1] OS-1

9:00 AM - 9:15 AM JST(12:00 AM - 12:15 AM UTC)

[4D1-OS-1-01] (OS invited talk) On Solving Text Generation as Optimization Problem

〇Yuu Jinnai¹ (1. CyberAgent)

Keywords:

Large Language Model,Graph Search,Planning

大規模言語モデルは自然言語の生成確率を模すことを目的関数として学習を行うことで、さまざまな自然言語処理タスクにおいて汎用的に高い性能が得られることが知られている。一方、学習時に用いられる目的関数は各自然言語処理タスクにおいて求められる目的関数とは必ずしも一致しないため、ハルシネーションなどのさまざまな問題が生じることが知られている。本発表では、大規模言語モデルを用いた推論時に明示的に目的関数を用い、テキスト生成をその最適化問題として解く手法であるMinimum Bayes Risk Decodingについて紹介する。