講演情報
[B-17-02]遺伝的アルゴリズム誘導を用いたマルチエージェント強化学習によるUAV 中継配置：MADDPG と MAPPO の比較研究
◎徐 文博1、中里 仁1、宗 秀哉2、長谷川 幹雄1 (1. 東京理科大学、2. 工学院大学)
キーワード：
UAV、マルチエージェント強化学習、自律制御、遺伝的アルゴリズム
地上通信インフラが損壊する大規模災害時では，複数の無
人航空機（UAV:Unmanned Aerial Vehicle）が空中中継局と
して動作し，基地局（BS:Base Station）と地上端末間の通信
リンクを一時的に復旧することができる．複数の空中中継
局の移動制御として，UAV の協調制御にはマルチエージェ
ント強化学習（MARL:Multi-Agent Reinforcement Learning）
が用いられることが検討されているが [1]，UAV 数が増加す
ると探索空間が拡大し，従来の MARL では局所最適に陥り，
被災者の集積地点を表すランドマークを同時にカバーする
ことができない課題がある．本課題に対して，学習前に遺伝
的アルゴリズム（GA:Genetic Algorithm）[2] で初期配置を
探索し，ハンガリアン法（HA:Hungarian Algorithm）で UAV
と目標位置を割り当てて学習を「誘導」する手法が有効であ
る [3]．しかし既存研究は主に on-policy の MAPPO（Multi-
Agent Proximal Policy Optimization）との組合せに限られ，off-
policy の MADDPG（Multi-Agent Deep Deterministic Policy
Gradient）への有効性は示されていない．本稿では，統一的
な GA 誘導フレームワークで両者を比較し，GA 誘導が収束
の必要条件である一方，優良な配置には MAPPO との組合
せが不可欠であることを示す．
人航空機（UAV:Unmanned Aerial Vehicle）が空中中継局と
して動作し，基地局（BS:Base Station）と地上端末間の通信
リンクを一時的に復旧することができる．複数の空中中継
局の移動制御として，UAV の協調制御にはマルチエージェ
ント強化学習（MARL:Multi-Agent Reinforcement Learning）
が用いられることが検討されているが [1]，UAV 数が増加す
ると探索空間が拡大し，従来の MARL では局所最適に陥り，
被災者の集積地点を表すランドマークを同時にカバーする
ことができない課題がある．本課題に対して，学習前に遺伝
的アルゴリズム（GA:Genetic Algorithm）[2] で初期配置を
探索し，ハンガリアン法（HA:Hungarian Algorithm）で UAV
と目標位置を割り当てて学習を「誘導」する手法が有効であ
る [3]．しかし既存研究は主に on-policy の MAPPO（Multi-
Agent Proximal Policy Optimization）との組合せに限られ，off-
policy の MADDPG（Multi-Agent Deep Deterministic Policy
Gradient）への有効性は示されていない．本稿では，統一的
な GA 誘導フレームワークで両者を比較し，GA 誘導が収束
の必要条件である一方，優良な配置には MAPPO との組合
せが不可欠であることを示す．