[15a-M_123-1~13] FS.1 Focused Session "AI Electronics"

10:00 AM - 10:15 AM JST(1:00 AM - 1:15 AM UTC)

[15a-M_123-5] Tiny and Error-robust Edge Vision Transformer Computation-in-Memory with Fine-tuning using Iterative Error Injection and LoRA

〇Naoko Misawa¹, Ruiqi Zhang¹, Tao Wang¹, Chihiro Matsui¹, Ken Takeuchi¹ (1.Univ. Tokyo)

Keywords:

Vision Transformer,ReRAM,LoRA

本研究では、反復エラーを注入してFine-tuningを行い、Vision Transformerに向けたComputation-in-Memory（ViT CiM）をReRAMデバイスエラーと量子化に堅牢にする。また、Low Rank Adaptation（LoRA）を適用して、学習時のパラメータ数を減らす。