[4K1-GS-6a] Language media processing

9:00 AM - 9:15 AM JST(12:00 AM - 12:15 AM UTC)

[4K1-GS-6a-01] Development of Discrete Diffusion Language Models Introducing Continuous Diffusion

〇Maria Takei¹, Ichiro Kobayashi¹ (1. Ochanomizu University)

Keywords:

Diffusion Models,Discrete,Continous

拡散言語モデルには， 状態を連続値で表現する連続型拡散言語モデル，及び，状態をトークンとして扱う離散型拡散言語モデルの二つがある． しかし，連続型には丸め込む際の誤差に，離散型には大域的意味構造の表現にそれぞれの課題を持つ．一方で，連続型には状態の微量かつ滑らかな変化を捉えることが可能であり，離散型には言語モデルの回帰的な性質を表現しやすいなどの利点が存在する．そこで本研究では、離散型拡散言語モデルの性能向上を目指し、アニリーングのように連続型の拡散機能を導入する新しい拡散言語モデルを開発する。 実験の結果より、連続型の拡散情報はアニーリングとしての一定の効果があることが確認された。