講演情報
[2K6-GS-7d-03]視覚言語モデルにおける視覚アクセス境界の存在の実証
〇大坂 洋豊1、谷口 尚平1、峰岸 剛基1、山下 佳威1、鈴木 雅大1、松尾 豊1 (1. 東京大学)
キーワード：
視覚言語モデル、Chain-of-Thought、知覚・推論分解、動的視覚ゲーティング、因果的介入
Chain-of-Thought（CoT）プロンプティングは，視覚言語モデル（VLM）における有力なテスト時スケーリング手法として注目されている．しかし，長い推論が視覚特徴抽出を拡張するのか，それとも言語側計算を増幅するのみなのかは不明である．本研究では，層深度と生成時間の両軸で画像トークンへの注意を遮断する因果的介入に基づきVisual Access Boundary（VAB）を定義する．その結果，CoTは生成長を大幅に増加させる一方で，VABを一貫して深い層へとシフトさせることを確認した．この深度シフトはトークン増加に比して限定的であり，CoTの主効果は知覚により接地された記号に基づく言語空間内推論の拡張にあることを示す．以上より，本研究はVLMにおける知覚と推論の相互作用を機構的に説明する枠組みを提示する．