[4Yin-B] Poster 7

[4Yin-B-29] Hyperspectral Image Reconstruction from RGB Images by Fusing Spectral Self-Attention and Convolution

〇Yi Xu¹, Zhaolu Chen¹, Xian-Hua Han¹ (1. Rikkyo University)

Keywords:

Hyperspectral Image Reconstruction,Self-Attention,Convolutional Neural Network

RGB画像からハイパースペクトル画像（HSI）を推定するスペクトル再構成技術は、特殊な撮像機器を用いることなく高次元な分光情報を取得でき、リモートセンシングや医用画像解析をはじめとする幅広い分野において重要な研究課題となっている。HSIは豊富な分光情報を有する一方で、隣接波長間に極めて強い相関（スペクトル相関）が存在するため、再構成においては空間・スペクトル両領域に内在する構造的特性をいかに効率的にモデル化するかが精度向上に繋がる。本研究では、空間特徴およびエッジ情報を抽出する畳み込みニューラルネットワーク（CNN）を融合した、新たなRGB–HSI再構成ネットワークを提案する。提案手法はUNet構造を基盤とし、エンコーダ・デコーダの各階層において自己注意機構と畳み込み演算を相補的に統合することで、広域的なスペクトル相関と局所的な幾何学的構造を同時に最適化する。標準的なベンチマークであるNTIRE 2022 HSI Datasetを用いた評価実験の結果、提案手法は既存手法と同等の再構成精度を達成しつつ、演算量を約4G FLOPs削減できることを確認した。