講演情報
[1M4-GS-5x-04]ゲーム理論にもとづくアメリカンフットボールにおけるチーム戦略構築
〇蕗田 雄大1、眞坂 航宙1、岩﨑 岩﨑敦1 (1. 電気通信大学)
[[オンライン]]
キーワード：
マルチエージェント強化学習、ゲーム理論、状態抽象化、二人零和マルコフゲーム、アメリカンフットボール
アメリカンフットボールにおける戦略的なプレイコールは、攻守が不確実な結果の下で同時に行動し、パフォーマンスが相手の最適応答に依存するため、本質的にゲーム理論的な性質を持つ。本研究では、NFLの対戦データから確率的な結果を学習し、ダウン数、ポジション、攻撃権、得点などのルールに基づく更新を組み合わせた、データ駆動型の二人零和マルコフゲームとしてアメリカンフットボールを定式化する。有限期間の試合終盤の設定（特定の初期状態から最後の4プレイ）において、動的計画法を用いて厳密な最適反応とExploitabilityを計算することで、均衡評価が可能となる。構築した環境を用い、3種類の状態抽象化の下で深層強化学習（Nash DQN）を吟味する。実験の結果、適度な抽象化は、非抽象化および過度な抽象化よりも、安定した学習と低いExploitabilityをもたらす一方、その性能は動的計画法による均衡解には及ばないことが明らかになった。さらに対戦シミュレーションを通じて、攻守の役割における強い非対称性を示し、NFLの統計的ベースラインには大幅な改善の余地があることを示した。