[4N5-GS-10g] AI application

4:30 PM - 4:45 PM JST(7:30 AM - 7:45 AM UTC)

[4N5-GS-10g-05] Traffic flow optimization and congestion mitigation using reinforcement learning with a traffic simulator

〇Rikuto Ito¹, Hiroyasu Inoue^1,2 (1. University of Hyogo, Graduate School of Information Science, 2. RIKEN Center for Computational Science)

Keywords:

signal control,reinforcement learning,traffic simulation

交通信号制御における強化学習では、エージェントが観測する状態表現が学習性能に大き な影響を与える。 しかし、従来の研究は単一交差点や理想化されたグリッド形状のネットワ ークにおける検証が中心であり、実環境を模した不均一な道路構造や複数交差点が相互に 影響し合う環境において、状態表現が制御性能や協調学習に与える影響は十分に解明され ていない。本研究では、神戸市三宮地区の複雑な道路網を対象に、マルチエージェント （MA2C）および独立型（IA2C）の 2 つのモデルを用いて、占有率（Occ）と行列長（QL）の状態表現が学習挙動と交通制御性能に与える影響を比較・検証した。実験の結果、状態表 現の有効性は学習手法に依存することが明らかとなった。 各エージェントが独立に学習する IA2C では局所的な混雑を反映する QL が有効であったのに対し、協調学習を行う MA2C で は交差点間距離を考慮した Occ を用いることで平均待ち時間が低減した。これは、広域的 な交通状況を表現できる状態表現が、エージェント間の協調的な方策更新に有利に働く可 能性を示唆している。本知見は、実環境への強化学習適用における最適な状態設計への指針を与えるものである。