[4B]マルチモダリティ

11:35 〜 12:00

[4B-05] Large Vision-Language Modelに対するノイズ補正による事前訓練画像検知

*宮本 遼人¹、Fan Xin²、木戸 冬子³、松本 恒雄⁴、山名 早人⁵ (1. 早稲田大学 基幹理工学部 情報理工学科、2. 早稲田大学 基幹理工学研究科、3. 情報・システム研究機構、4. 国民生活センター、5. 早稲田大学 理工学術院)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

VLM、メンバーシップ推論、マルチモーダル、事前訓練画像検知

Large Vision-Language Model(LVLM)は，画像と言語を同時に扱いその性能を飛躍的に高めている．学習には多くのデータを必要とする一方，プライバシーや権利保護の観点から，学習に用いられた事前学習画像を特定するメンバーシップ推論攻撃(MIA)が注目を集める．しかし，既存のLVLMに対するMIA手法は言語モデル向けのMIA指標を画像に単純適用するのみで，モーダル特化の処理が不十分である．言語のみからの検知ではデータの持つ情報を十分に利用できていない．本研究では，画像にノイズ付加前後のMIA指標の変化を計算することで，対象の言語化難易度を補正するNCPID(Noise Correction based Pretrained Image Detection)フレームワークを提案し，事前学習画像の検知精度向上を図る．さらに従来手法との比較実験により，本手法のがWeb上のクロール画像に対して有効であることを示す．