Presentation Information
[B-15-27]A Study on CSI-Understanding Foundation Models for Zero-Shot CSI Sensing
◎Daichi Sakai1, Kahoko Takahashi2, Hisashi Nagata2, Takahiro Yamazaki2, Takayuki Yamada2, Takayuki Nishio1 (1. Institute of Science Tokyo, 2. Network Innovation Laboratories, NTT, Inc.)
Keywords:
WiFI sensing,CSI sensing,Zero-shot sensing,Vision-Language Model
WiFi Channel State Information（CSI）は，人体の位置や動作を反映する無線センシング情報であり，カメラを用いない環境理解手段として期待されている．一方で，CSIは送受信機配置や周辺環境に強く依存するため，未知環境でのゼロショット利用は容易ではない．本稿では，学習済みVision-Language Model（VLM）の推論能力をCSIセンシングへ転用し，画像を用いずに人物行動を自然言語で記述するCSI-LLMを検討する．提案手法では，CSIを凍結VLMが解釈可能な視覚トークン列へ写像し，テキストプロンプトとともにVLMへ入力することで，画像入力なしに行動説明文を生成する．この写像の学習時には，画像から得られるVLMの視覚トークン列を教師信号とし，Autoencoderにより画像トークンを低次元の圧縮表現へ変換する．次に，対照学習によりCSI Encoderの出力を画像トークンEncoderの出力と整合させ，CSIから推定した圧縮表現を学習済みDecoderに入力することで，画像由来の視覚トークン列に近いCSI復元トークン列を得る．MM-FiデータセットおよびMobileVLM v2を用いた予備評価では，復元トークンのMSE・コサイン類似度と，VLM出力のROUGE-L・SBERT類似度を比較した．その結果，CSI復元トークンは一定のトークン類似度を示し，人物の存在など一部の状況情報を反映できる可能性が確認された．一方で，行動記述の精度は十分ではなく，出力が「sitting」や「working」など一般的な室内作業表現へ偏る傾向が見られた．以上より，CSIをVLMの視覚トークン空間へ写像する方針の実現可能性を示すとともに，行動識別に必要な詳細情報を保持したトークン復元が今後の課題であることを明らかにした．