[5I1-OS-3] OS-3

10:15 AM - 10:30 AM JST(1:15 AM - 1:30 AM UTC)

[5I1-OS-3-06] Reinforcement Learning for Process Start-up Operation with a PID-structured Policy

〇Kosuke Muramatsu¹, Junya Ikemoto¹, Kazumune Hashimoto¹ (1. The University of Osaka)

Keywords:

Deep Reinforcement Learning,Process Control,PID Control

本稿では，Proportional-Integral-Derivative (PID) 制御の構造を内包する方策モデルを用いた，プロセスの始動運転のための深層強化学習法を提案する．近年，強い非線形性を有する非定常プロセスに対する制御器設計法として深層強化学習が注目されている．そのアプローチの一つとして，PID制御の構造を方策モデルに組み込んだ学習法が提案されており，学習効率，学習後の制御性能，および外乱に対するロバスト性の向上が報告されている．一方，プロセスの始動運転のような初期状態と目標状態が大きく乖離している状況下では，この学習法により目標状態へ到達可能な方策を学習することが困難な場合がある．この問題の対処法として，本研究では，方策に内包されたPID 制御部分に最終的な目標状態を与えるのではなく，中間的なサブ目標状態を与えることで段階的に目標状態に近づけていく方法を検討する．この方法を実現するため，プロセスの状態に合わせてサブ目標状態を自動的に生成する構造を追加した方策モデルを提案し，連続漕型反応器の始動運転を例題として，数値実験によりその有用性を示す．