講演情報
[4M4-GS-2e-06]アルゴリズム的系列学習におけるメモリ拡張ニューラルネットワーク設計の体系的検証
〇海野 智行1、瀧川 一学1 (1. 東京大学)
キーワード：
機械学習、深層学習、メモリ拡張ネットワーク
再帰ニューラルネットワークや Transformer は系列予測において高い性能を示す一方，明確な生成規則をもつ系列データから背後のアルゴリズムを学習するプログラム帰納の問題においては，依然として本質的な困難が指摘されている。特に階層性や再帰構造を含む系列に対しては，モデル設計の際に適切に帰納バイアスを与えることが必要であるとされている。この文脈においてニューラルネットワークに外部メモリを付与する試みは重要な知見を提供する。本研究では，そのようなMemory-Augmented Neural Networks（MANNs）について、その中でも構造化メモリに着目し、その設計戦略をコントローラの選択やメモリ操作の連続緩和方策をはじめとした複数の設計次元に分解した上で，既存研究では試されてこなかった組み合わせを含めて横断的に実装および比較実験を行う。その結果をもとに、それらの組合せが学習挙動に与える影響を体系的に分析する。