講演情報
[O12-P55]強化学習による恐竜の自律的歩行周期の獲得と多元的行動シミュレーションの構築
*田中 宏征1 (1. 静岡県立浜松北高等学校)
キーワード：
恐竜、機能形態学、コンピューターシミュレーション
1.研究の背景
体化石を用いた恐竜の行動分析は足跡化石を用いた手法に比べて信頼性に劣るとされ、歩容のシミュレーション復元はほとんど行われていないものの、先行事例として、北見工業大学の成瀬らによる研究が存在する。この研究では、CPG（Central Patern Generator）によって事前に用意された二足歩行周期を、ANN（Artificial Neural Network）とGA（Genetic Algorithm）で常に調整させることで足の出し方の制御を試みている。しかし、簡略化された3Dモデルが恐竜の特徴的な姿勢である趾行性を持たないことや、関節を直接制御させることができないシステムであることは、シミュレーションの生物学的妥当性を追求する上でこのアプローチに内在する課題である。
2.研究の目的
先述した課題を解決するため、本研究では強化学習を用いた、人間が特徴量を設計しないEnd-to-End(E2E)の運動制御シミュレーションを提案する。
エージェントは体化石に基づく生体パラメータを設定した恐竜の3Dモデルを用いて、それぞれの関節を独立して制御しながら報酬を最大化できる行動を探索し、安定した姿勢と歩容を実現する関節の制御パターンを習得する。学習結果を分析し、この手法の機能形態学的観点における手法としての有用性と、導き出された歩容の妥当性について考察する。
3.データ
本研究では、後期白亜紀の北米に生息していたパラサウロロフスの3Dモデルを使用する。本研究ではパラサウロロフスの2足歩行の獲得を目指す。
パラサウロロフスの全長と体重には様々な学説がある。本研究では先行研究を参考に全長を9.45m、体重を3tとした。
可動関節はそれぞれ独立して制御可能で、首に3箇所、胴体に1箇所、脚部に左右それぞれ4箇所、尾に3箇所の計15箇所を設定した。
環境構築にはUnity、PyTorch、ML-Agentsを使用した。
4.手法
学習アルゴリズムにはPPO（Proximal Policy Optimization）を使用する。エージェントは50m四方のフィールド上にスポーンし、7〜15m先のターゲットへ脚部の制御で到達することを目標とする。足の接地面と尾の先端以外がフィールドに触れた場合は転倒としペナルティを与える。報酬・ペナルティの強さを4段階で弱から本番へ移行させるブートストラップを用い、学習の効率化と方策の安定化を図る。操作関節は脚部と尾の上下方向に限定し、首関節は剛体固定とする。
5.結果
エージェントはターゲットに安定して到達する歩行動作を獲得した。最終的な歩容は片足をやや引きずる傾向があったものの、頭部の振動は少なく適切な歩幅と移動速度を保っていた。累積報酬はフェーズ切替直後に一時低下するが継続的に上昇した。到達時の平均生存時間は4.8秒で、時速約1.58km/hに相当する。
6.考察
エージェントが自律的にスムーズな歩容と安定した姿勢を獲得したこと、ブートストラップで強調した歩幅や移動速度の目標が該当フェーズで顕著にあらわれ、特に目標移動速度1.5km/hに近い結果を得たことから、本システムは安定した歩容の獲得に有効であり、得られた歩容には生物学的妥当性が認められる可能性が高いと考えられる。今後は方向転換や連続到達の実装、現生動物モデルでの検証、足跡形成シミュレーションへの応用を目指す。
7.謝辞
本研究を行うにあたって、静岡大学が実施する未来の科学者養成スクール［FSS］のご支援のも
と、静岡大学情報学部情報工学科電子工学研究所青木・加瀬研究室の青木 徹 教授と加瀬 裕貴 助
教にご協力いただきました。ここに御礼申し上げます。
8.参考文献
成瀬 幸史 他 3 名,”三次元物理空間における恐竜の歩行行動の獲得”,ロボティクス・メカトロニクス講演会公演概要集,1P1-M05(2013)
Lull, R. S., & Wright, N. E. , Hadrosaurian Dinosaurs of North America. Geological Society of America Special Papers 40.(1942)
Gregory S. Paul, The Princeton Field Guide to Dinosaurs: Second Edition. Princeton University Press.(2016)
Arthur Juliani 他 10 名, “Unity: AGeneral Platform for IntelligentAgents”, arXiv:1809.02627v2 (2020)
体化石を用いた恐竜の行動分析は足跡化石を用いた手法に比べて信頼性に劣るとされ、歩容のシミュレーション復元はほとんど行われていないものの、先行事例として、北見工業大学の成瀬らによる研究が存在する。この研究では、CPG（Central Patern Generator）によって事前に用意された二足歩行周期を、ANN（Artificial Neural Network）とGA（Genetic Algorithm）で常に調整させることで足の出し方の制御を試みている。しかし、簡略化された3Dモデルが恐竜の特徴的な姿勢である趾行性を持たないことや、関節を直接制御させることができないシステムであることは、シミュレーションの生物学的妥当性を追求する上でこのアプローチに内在する課題である。
2.研究の目的
先述した課題を解決するため、本研究では強化学習を用いた、人間が特徴量を設計しないEnd-to-End(E2E)の運動制御シミュレーションを提案する。
エージェントは体化石に基づく生体パラメータを設定した恐竜の3Dモデルを用いて、それぞれの関節を独立して制御しながら報酬を最大化できる行動を探索し、安定した姿勢と歩容を実現する関節の制御パターンを習得する。学習結果を分析し、この手法の機能形態学的観点における手法としての有用性と、導き出された歩容の妥当性について考察する。
3.データ
本研究では、後期白亜紀の北米に生息していたパラサウロロフスの3Dモデルを使用する。本研究ではパラサウロロフスの2足歩行の獲得を目指す。
パラサウロロフスの全長と体重には様々な学説がある。本研究では先行研究を参考に全長を9.45m、体重を3tとした。
可動関節はそれぞれ独立して制御可能で、首に3箇所、胴体に1箇所、脚部に左右それぞれ4箇所、尾に3箇所の計15箇所を設定した。
環境構築にはUnity、PyTorch、ML-Agentsを使用した。
4.手法
学習アルゴリズムにはPPO（Proximal Policy Optimization）を使用する。エージェントは50m四方のフィールド上にスポーンし、7〜15m先のターゲットへ脚部の制御で到達することを目標とする。足の接地面と尾の先端以外がフィールドに触れた場合は転倒としペナルティを与える。報酬・ペナルティの強さを4段階で弱から本番へ移行させるブートストラップを用い、学習の効率化と方策の安定化を図る。操作関節は脚部と尾の上下方向に限定し、首関節は剛体固定とする。
5.結果
エージェントはターゲットに安定して到達する歩行動作を獲得した。最終的な歩容は片足をやや引きずる傾向があったものの、頭部の振動は少なく適切な歩幅と移動速度を保っていた。累積報酬はフェーズ切替直後に一時低下するが継続的に上昇した。到達時の平均生存時間は4.8秒で、時速約1.58km/hに相当する。
6.考察
エージェントが自律的にスムーズな歩容と安定した姿勢を獲得したこと、ブートストラップで強調した歩幅や移動速度の目標が該当フェーズで顕著にあらわれ、特に目標移動速度1.5km/hに近い結果を得たことから、本システムは安定した歩容の獲得に有効であり、得られた歩容には生物学的妥当性が認められる可能性が高いと考えられる。今後は方向転換や連続到達の実装、現生動物モデルでの検証、足跡形成シミュレーションへの応用を目指す。
7.謝辞
本研究を行うにあたって、静岡大学が実施する未来の科学者養成スクール［FSS］のご支援のも
と、静岡大学情報学部情報工学科電子工学研究所青木・加瀬研究室の青木 徹 教授と加瀬 裕貴 助
教にご協力いただきました。ここに御礼申し上げます。
8.参考文献
成瀬 幸史 他 3 名,”三次元物理空間における恐竜の歩行行動の獲得”,ロボティクス・メカトロニクス講演会公演概要集,1P1-M05(2013)
Lull, R. S., & Wright, N. E. , Hadrosaurian Dinosaurs of North America. Geological Society of America Special Papers 40.(1942)
Gregory S. Paul, The Princeton Field Guide to Dinosaurs: Second Edition. Princeton University Press.(2016)
Arthur Juliani 他 10 名, “Unity: AGeneral Platform for IntelligentAgents”, arXiv:1809.02627v2 (2020)