[15a-M_123-1~13] FS.1 フォーカストセッション「AIエレクトロニクス」

10:00 〜 10:15

[15a-M_123-5] 反復エラー注入とLoRAを用いたFine-tuningにより小型でエラーに堅牢なVision Transformer Computation-in-Memory

〇三澤 奈央子¹、張 睿騏¹、王 韬¹、松井 千尋¹、竹内 健¹ (1.東大工)

キーワード：

Vision Transformer、ReRAM、LoRA

本研究では、反復エラーを注入してFine-tuningを行い、Vision Transformerに向けたComputation-in-Memory（ViT CiM）をReRAMデバイスエラーと量子化に堅牢にする。また、Low Rank Adaptation（LoRA）を適用して、学習時のパラメータ数を減らす。