[5F3-GS-10s] AI application

3:00 PM - 3:15 PM JST(6:00 AM - 6:15 AM UTC)

[5F3-GS-10s-05] Construction and Evaluation of Interference-Resilient Puzzle Game AI Using Reinforcement Learning

〇Hiiro Okada¹, Koichi Moriyama¹, Tohgoroh Matsui², Kosuke Shima¹, Atsuko Mutoh¹, Nobuhiro Inuzuka¹ (1. Nagoya Institute of Technology, 2. Chubu University)

Keywords:

Reinforcement Learning,puyopuyo,Falling block puzzle,AlphaGo Zero,nuisance puyo

対戦型パズルゲームにおいては，妨害要素を含む環境下での盤面安定性と連鎖構築能力の両立が求められる．一方で，深層強化学習手法をこのようなゲームに適用した際の性能特性や限界については，十分に整理されていない．本研究では，ぷよぷよを対象とし，AlphaGo Zeroの枠組みを応用した強化学習型ゲームAIを構築した．妨害ぷよが降下する1人プレイ環境において自己対戦学習を行い，平均獲得スコア，連鎖数，生存手数などの指標を用いて性能評価を行った．実験の結果，提案手法は，対象環境に特化していないこともあり，実験では環境に特化した既存AI手法に比べて劣る結果となったが，無連鎖行動の発生率が低く，盤面の安定性を重視した行動特性が確認され，強化学習による戦略獲得の可能性が示唆された．これらの結果から，妨害を含むパズルゲーム環境における強化学習手法の適用可能性と課題について考察する．