講演情報
[P1-27]バンディット問題におけるSoftmax型満足化モデルのパラメータリカバリーとモデル比較
*大用 庫智1、神谷 匠3、高橋 達二2 (1. 関西学院大学、2. 東京電機大学、3. 東京音楽大学)
キーワード：
バンディット問題、強化学習、満足化、意思決定
本研究はSoftmax行動選択に基づく満足化モデルのNoisySatisficing (NS) を提案する。確率的選択の導入により、従来困難であったQ学習系モデルとの尤度ベース比較やパラメータ推定を可能にする。シミュレーションと行動実験データを用いた検証により、モデル比較の結論が最適化手法の選択に依存することを示した。また、MAP推定がパラメータの回復性を改善し、NSのパラメータ間のトレードオフを明らかにし、改善の手がかりを得た。さらに、定常環境においてNSはQ学習系モデルでは捉えにくい行動パターンを説明する可能性を示した。