#transformer 記憶體

Oxford／Technion／AITHYRA／NVIDIA 提出 KV-CAT：訓練期遮罩 KV 槽，讓事後壓縮效率從根提升

2026 年 6 月 14 日，Oxford、Technion、AITHYRA 與 NVIDIA 的研究團隊公開論文，提出 KV-Compression Aware Training（KV-CAT），一套在持續預訓練（continued pretraining）階段就強迫 Transformer 學會「以稀疏記憶運作」的訓練方法。