講演情報
[5M1-GS-2b-04]GNNによる潜在空間を利用した空調制御のためのモデルベース強化学習
〇長谷川 輝彰1、許 子微1、市瀬 龍太郎1 (1. 東京科学大学)
キーワード：
HVAC制御、モデルベース強化学習、潜在表現、グラフニューラルネットワーク
近年では快適性や省エネルギー性など, 柔軟な空調制御が求められており, 強化学習による制御手法が注目されている. 特に, モデルベース強化学習による手法が増えてきたが, 高精度な予測モデルの獲得が方策学習の安定化に寄与する一方で，サンプル効率の改善には直結しにくいという課題がある. また, 複雑な環境をモデルで再現しきれない場合もあり, モデル学習の改善だけでは方策学習を促進することは難しい. そこで本研究は, 建物構造に関する知識を観測状態に付与することで, 方策最適化に適した潜在表現空間を構築することを提案する. この潜在表現空間は, 建物構造の組み込みと潜在表現空間の整理から成り, 前者では建物のレイアウトやシステム的な結合関係に基づきグラフを構築することで, 環境内の依存関係を明示的に表現する．後者では，対照学習を用いて潜在表現空間の距離構造を整え，制御に有用な状態差が反映されるように空間を正則化する．実験では, 提案手法によって構築された潜在表現を状態として方策学習を行うことで, 観測を直接方策に入力して学習する場合と比較して, 安定的に改善するだけでなくサンプル効率が向上することを確認した.