[15a-M_123-1~13] FS.1 Focused Session "AI Electronics"

11:15 AM - 11:30 AM JST(2:15 AM - 2:30 AM UTC)Presentation by Applicant for JSAP Young Scientists Presentation Award

[15a-M_123-9] ReRAM Mapping Method Based on Bit-Level Error Robustness of Quantized KV Cache

〇Shota Suzuki¹, Naoko Misawa¹, Chihiro Matsui¹, Ken Takeuchi¹ (1.Univ. Tokyo)

Keywords:

LLM,KV cache,ReRAM

LLMの推論におけるメモリ面積を削減するため，量子化されたKVキャッシュをReRAMへ最適に配置する手法を提案する．MLC ReRAMは高い面積密度を持つが，電流値のゆらぎによる読み出しエラーが推論精度に悪影響を及ぼす．本研究では，量子化データのビット要素のエラー耐性を解析し，耐性の低いビットをSLC ReRAM，耐性の高いビットをMLC ReRAMに格納するマッピング手法を提案する．