Presentation Information
[24p-31A-4]Performance Improvement of Deep Reinforcement Learning in Computation-in-Memory by Quantization-Aware & Write Variation-Aware Training
〇(B)Ryugo Sato1, Kenshin Yamauchi1, Chihiro Matsui1, Ken Takeuchi1 (1.Univ. Tokyo)
Keywords:
Computation-in-Memory,deep reinforcement learning
不揮発性メモリを用いたComputation-in-Memory (CiM)は，書き込みばらつきによる性能低下が課題である．本研究では，深層強化学習による倒立振子制御をCiMで実行する際，書き込みばらつきが制御性能に与える影響をシミュレーションした．制御性能の低下に対してQuantization-Aware & Variation-Aware Training (QAVAT)を導入することで制御性能を大きく改善し，制御ステップ数を２倍にできることを示した．また，ばらつきに対する振子制御の振る舞いを観察し，評価関数を変更することで更なる性能改善に成功し，ばらつきがない場合と同程度の制御性能を達成した．