[2Yin-B] Poster 4

[2Yin-B-28] Controlling LLM Generation Length via Soft Labels Constructed from Multiple Candidate Sequences

〇Hiroki Kawakami¹, Masato Uchida¹ (1. Waseda University)

Keywords:

LLM,Green AI,Soft Label

大規模言語モデルにおける推論時の計算量は生成トークン数に強く依存する。本研究は、要約や対話生成など出力文自体が評価対象となるタスクに対し、生成トークン数を制御して計算量を削減する学習手法を提案する。従来研究では、単一の生成結果に基づく二値的な評価に依存しており、短縮の度合いや候補間の差異を十分に活用できなかった。これに対し提案手法では、同一入力に対する複数の生成候補を比較し、短縮効果に基づく相対的な優劣をソフトラベルとして反映することで、出力トークン確率分布を調整する。実験の結果、回答精度を維持しつつ、ハードラベルに基づく従来手法より高いトークン削減率を確認した。