Presentation Information
[A-2-08]Discounted UCB Algorithm for Non-Stationary Sleeping Bandits
〇Daichi Fushihara1, Yuka Hashimoto1, Yoichi Matsuo1 (1. NTT, Inc.)
Keywords:
Bandits,Non-stationary bandits,Sleeping bandits,Sequential decision-making
通信ネットワーク (NW) の安定運用のためには適切な制御を実施し，遅延や帯域幅などの通信品質を最適化することが求められる．
しかし，その制御結果は事前には未知であるため，実際に制御を実施して得られる通信品質を観測しながら，より良い制御を逐次的に選択していく必要がある．
このような逐次意思決定の技術として，確率的多腕バンディット (MAB) アルゴリズムが広く用いられている．例えば，パケットルーティングの経路選択では各経路を腕 (行動)，遅延の逆数を報酬とみなすことで，MAB 問題として定式化できる．
実際の NW では，トラヒック変動やユーザ移動に起因する報酬の非定常性と，故障やメンテナンスなどで一時的に腕が使用不可となる睡眠制約が同時に発生し得る．
しかし，既存の確率的 MAB では，非定常性と睡眠制約は独立に扱われており，両者を同時に考慮した設定は十分に検討さ
れていない．
そこで本稿では，非定常 MAB で広く用いられている割引 UCB アルゴリズムを睡眠 MAB に適用し，非定常性と睡眠制約を同時に扱う確率的 MAB の手法を提案する．
しかし，その制御結果は事前には未知であるため，実際に制御を実施して得られる通信品質を観測しながら，より良い制御を逐次的に選択していく必要がある．
このような逐次意思決定の技術として，確率的多腕バンディット (MAB) アルゴリズムが広く用いられている．例えば，パケットルーティングの経路選択では各経路を腕 (行動)，遅延の逆数を報酬とみなすことで，MAB 問題として定式化できる．
実際の NW では，トラヒック変動やユーザ移動に起因する報酬の非定常性と，故障やメンテナンスなどで一時的に腕が使用不可となる睡眠制約が同時に発生し得る．
しかし，既存の確率的 MAB では，非定常性と睡眠制約は独立に扱われており，両者を同時に考慮した設定は十分に検討さ
れていない．
そこで本稿では，非定常 MAB で広く用いられている割引 UCB アルゴリズムを睡眠 MAB に適用し，非定常性と睡眠制約を同時に扱う確率的 MAB の手法を提案する．