講演情報
[2Yin-B-33]時系列データ解釈のためのマルチモーダルLLM開発に向けた車両走行データセット構築
〇関 孝一1、松坂 修吾1、樗澤 英明1、新立 拓也2、尤 書恒2、曹 永鵬2、薛 曦2、吉田 聖2、鈴木 都生2 (1. トヨタ自動車株式会社、2. NABLAS株式会社)
キーワード：
大規模言語モデル、マルチモーダルLLM、時系列データ、キャプション生成、データセット構築
近年、自然言語に加え、画像・動画・音声などの多様なデータセットを活用した大規模言語モデル（LLM）のマルチモーダル化が精力的に研究されている。しかし、時系列データを解釈可能なマルチモーダルLLMの開発は十分には進んでいない。その要因の一つとして、時系列データと説明文が対応付けられた大規模データセットの不足が挙げられる。本研究では、時系列データの中でも車両走行データに着目し、走行状況の説明文を生成するとともに、大規模データセットの構築を目的とする。具体的には、車両走行データをグラフ化し、視覚言語モデル（VLM）で処理するパイプラインを提案する。特徴的な工夫は、「急加速」や「緩やかな右カーブ」など車両走行データから読み取りたいイベントを定義し、それらをプロンプトに組み込むことで、意図した説明文が生成可能なように設計している。妥当性を検証した結果、車両走行データに対して概要および詳細説明文が生成できることを確認した。最終的には、10秒または1分間の走行データを対象とした約2万件のデータセットを構築した。本成果は、車両走行データに限らず、各種の時系列データに対してデータセットが構築可能であると期待される。