[A1] LLMの内部特性と評価

9:30 〜 9:55

[A1-01] 大規模言語モデルの層間注意スコア分散を用いた動的なトークン選択層決定手法

*谷口 令¹、肖 川^1,2、董 于洋³、小山田 昌史⁴、鬼塚 真¹ (1. 大阪大学、2. 名古屋大学、3. SB Intuitions、4. NEC)

キーワード：

Transformer、Attention、高速化、Prefill