#RoPE

长推理与 long-horizon agent 的上下文越来越长，KV cache 随之成为显存瓶颈。 现有压缩方法多用最近若干 post-RoPE query 的注意力分数估计 key 的重要性；但 query 经 RoPE 后随位置旋转，只有最近一小段仍保持当前朝向，可用样本有限，估计精度受限，

第一章：为什么位置编码如此重要？ 在人工智能浪潮席卷全球的今天，大型语言模型（LLM）无疑是那朵最璀璨的浪花。从能够对答如流、撰写代码的ChatGPT，到在各个领域展现出惊人创造力的Llama、Qwen、ChatGLM等模型，我们正亲眼见证一个由算法和数据驱动的智能新纪元的到来。 这些模型似乎拥有了