[24p-31A-1~14] FS.1 フォーカストセッション「AIエレクトロニクス」

15:45 〜 16:00

[24p-31A-10] Vision Transformerの小型化に向けたComputation-in-Memoryへの量子化手法および量子化認識トレーニング

〇三澤 奈央子¹、山口 竜平¹、山田 歩¹、松井 千尋¹、竹内 健¹ (1.東大工)

キーワード：

Vision Transformer,量子化手法,量子化認識トレーニング

Vision Transformer（ViT）は，畳み込み処理を行わず，大規模なデータセットで事前学習したモデルをタスクに応じてFine-tuningし，高い精度を達成することで注目されている．一方，モデルのサイズが大きく，計算量が多い．そこで，ViTで多く用いられる行列演算を不揮発性メモリを用いたComputation-in-Memory（CiM）へマッピングし，従来のViTのメモリサイズを10分の１に小型化する．