[2E6-GS-10n] AI応用：生成モデルと科学応用

17:30 〜 17:45

[2E6-GS-10n-01] Boltzmann-GPT: 世界モデルを用いた条件付き言語生成によるペルソナベースのレビュー生成

〇新美 潤一郎¹ (1. 名城大学)

キーワード：

大規模言語モデル、世界モデル、表現学習、エネルギーモデル、マーケティング

大規模言語モデル (LLM) は多様なタスクで活用される一方、世界の構造を明示的に表現しているかについては議論が続いている。そこで本研究では、ドメイン構造を教師なし学習で理解する世界モデルと、それに基づいてテキストを生成する言語モデルを分離するアーキテクチャを提案する。世界モデルとしてDeep Boltzmann Machine（DBM）を用い、消費者の購買行動や評価といった変数間の共起構造を学習する。DBMの隠れ層から得られる信念ベクトルをアダプター経由でsoft promptに変換し、凍結したGPT-2に投入することで、世界モデルの保持する隠れ層の状態に基づき言語モデルがレビューを条件付き生成する。Amazonレビューデータを用いた実験の結果、提案モデルでは i.) DBM単体で市場構造やブランドと価格等の関係性を内在化していること、ii.) レビュー生成において顧客の評価や嗜好が整合的に反映される一方、ベースラインでは情報の欠落や意図しない内容の混入が確認されたことを示した。この結果は、小規模な言語モデルであっても、適切な世界モデルとの接続により生成内容の制御が可能であることを示唆する。