講演情報
[5H2-OS-18a-01]ニューラル組み合わせ最適化におけるMulti-Head Attentionの機能解析各Headの役割と協調メカニズムの解明
〇遠藤 彬史1、村田 昇1 (1. 早稲田大学)
キーワード：
ニューラル組み合わせ最適化、説明可能AI、トランスフォーマー、マルチヘッドアテンション
ニューラル組み合わせ最適化（NCO）は高い性能を示す一方で、そのブラックボックス性が実社会適用への障壁となっている。特にTransformerベースのモデルにおいて、中核となるMulti-Head Attention (MHA) の各Headが担う具体的役割の詳細な機能分析は十分に行われてこなかった。 そこで本研究では、NCOの意思決定プロセスをHead単位で解明する分析フレームワークを提案する。各タイムステップの選択確率に対するHeadごとの寄与度の定量化、アブレーションスタディ、およびヒューリスティクスとの整合性検証を行った。 解析の結果、Attention Modelの各Headはそれぞれ異なる特徴を抽出しているが、単体での意思決定能力は限定的であることが判明した。これは、NCOが高い性能を発揮するためには、個別の視点を持つ複数のHeadが協調し、アンサンブル的に次点を選択するメカニズムが不可欠であることを示唆している。