滑动窗口注意力：为什么一个「局部窗口」能看完全局信息？

2023年9月，Mistral AI发布了一款仅有73亿参数的模型，却在几乎所有基准测试上超越了拥有130亿参数的LLaMA 2。这个令人意外的结果背后，一个关键技术就是滑动窗口注意力（Sliding Window Attention，SWA）。

这听起来有些反直觉：如果每个token只能「看到」固定窗口内的邻居，模型如何捕捉长距离依赖？一个4096大小的窗口，怎么可能处理8K甚至更长的上下文？

答案藏在Transformer的层级结构中——但这个答案远比想象中复杂。

标准注意力的二次方困境

在深入滑动窗口之前，先理解为什么需要它。

标准自注意力机制允许序列中的每个token与所有其他token计算相似度分数。对于长度为n的序列，需要计算n×n个注意力分数。存储这些分数需要O(n²)的内存，计算它们需要O(n²)的时间。

graph LR
    subgraph "标准自注意力矩阵 n×n"
        A["Token 0"] --> B["计算所有相似度"]
        C["Token 1"] --> B
        D["Token 2"] --> B
        E["..."] --> B
        F["Token n-1"] --> B
        B --> G["n×n 分数矩阵<br/>O(n²) 内存与计算"]
    end

这个二次方增长意味着什么？考虑一些实际数字：

当序列长度翻倍，内存和计算需求翻四倍。到16K token——这在现代模型中并不罕见——单层注意力就需要处理数亿个分数。乘以32层，数字变得相当可观。

gantt
    title 不同注意力机制的计算时间对比（相对值）
    dateFormat X
    axisFormat %s
    
    section 标准注意力
    1K tokens           :a1, 0, 1
    4K tokens           :a2, 0, 16
    8K tokens           :a3, 0, 64
    16K tokens          :a4, 0, 256
    
    section 滑动窗口
    1K tokens           :b1, 0, 1
    4K tokens           :b2, 0, 4
    8K tokens           :b3, 0, 8
    16K tokens          :b4, 0, 16

这不是理论问题。它是限制模型处理长文档、长对话、长代码库的根本瓶颈。

滑动窗口的核心思想

滑动窗口注意力提出了一个简单的问题：每个token真的需要关注所有其他token吗？

在自然语言中，大多数依赖关系是局部的。一个词最强烈地受到附近词的影响——同一个短语中的词、同一个句子中的主谓关系、同一个段落中的指代。长距离依赖存在，但相对稀少。

滑动窗口注意力利用这个观察，将每个token的关注范围限制在一个固定大小的局部窗口内。形式化地说，对于窗口大小W，位置t的token只能关注位置[t-W+1, t]范围内的token（考虑因果性，只看向过去）。

graph TB
    subgraph "标准注意力：每个token看所有位置"
        S1["Token 0"] --> S2["Token 1"]
        S1 --> S3["Token 2"]
        S1 --> S4["..."]
        S1 --> S5["Token n"]
        S2 --> S1
        S2 --> S3
        S2 --> S4
        S2 --> S5
        S3 --> S1
        S3 --> S2
        S3 --> S4
        S3 --> S5
        S4 --> S1
        S4 --> S2
        S4 --> S3
        S4 --> S5
        S5 --> S1
        S5 --> S2
        S5 --> S3
        S5 --> S4
    end
    
    subgraph "滑动窗口：每个token只看W个邻居"
        W1["Token 0"] --> W2["Token 1"]
        W2 --> W1
        W2 --> W3["Token 2"]
        W3 --> W2
        W3 --> W4["Token W"]
        W4 --> W3
        W4 -.->|窗口外| W5["Token n"]
    end

这个简单的限制带来了巨大的复杂度改善。当W是常数（比如4096）时，复杂度从O(n²)变成了O(n×W)=O(n)。对于32K token的序列：

• 标准注意力：约10亿次分数计算
• 滑动窗口（W=4096）：约1.3亿次分数计算

减少了近8倍，而且随着序列增长，差距继续扩大。

信息如何「穿透」窗口？

但这里有个关键问题：如果每个token只能看到W个邻居，那位置8000的token怎么能知道位置100发生的事？

直觉上的答案是：通过层层传播。

层级传播机制

考虑一个具体的例子。假设窗口大小W=4096，总共有32层：

graph LR
    subgraph "信息传播示意图"
        L1["第1层<br/>Token 8000 看到位置 3905-8000"]
        L2["第2层<br/>位置 3905 的表示已包含 0-3905 的信息"]
        L3["第3层<br/>信息继续向后传播"]
        L4["..."]
        
        L1 --> L2
        L2 --> L3
        L3 --> L4
    end
    
    subgraph "窗口覆盖范围"
        W1["Layer 1: 窗口 4096"]
        W2["Layer 2: 有效范围 ~8192"]
        W3["Layer L: 有效范围 L×W"]
    end

• 第1层：位置8000的token可以直接关注位置3905到8000。它看不到位置100。
• 但位置3905在第1层能看到什么？ 它能看到位置0到3905。
• 第2层：当位置8000在第2层关注位置3905时，它实际上在关注一个已经「看到过」位置0-3905的表示。

信息就这样一层层地「传递」下去。形式化地，经过L层后，理论感受野为：

对于Mistral（L=32, W=4096），理论感受野为：

这远超其实际支持的8K上下文长度。

理论vs现实：有效感受野的真相

然而，这个计算有一个致命缺陷：它假设信息在传播过程中不会「稀释」。

MIT的Guangxuan Xiao在2025年的一篇深入分析中指出，这个理论感受野是误导性的。真正重要的是有效感受野——信息在实际中能多大程度地影响最终输出。

graph TD
    subgraph "感受野概念对比"
        A["理论感受野<br/>R = L × W<br/>随层数线性增长"]
        B["有效感受野<br/>Deff ≈ 1.5 × W<br/>与层数无关"]
        C["差距来源"]
        
        A --> C
        B --> C
        C --> D["信息稀释"]
        C --> E["残差连接"]
        C --> F["注意力混合"]
    end

问题的根源在于：当信息通过多层传播时，它会被反复平均、混合、稀释。就像一场传话游戏，第一个人说的信息，传到第十个人时已经面目全非。

更关键的是，Transformer中普遍使用的残差连接（Residual Connection）创造了另一种障碍。

残差连接的双面性

现代Transformer使用残差连接来帮助梯度流动、稳定训练：

可以重新理解为加权平均：

其中α接近1（通常在0.9-0.99之间），意味着90-99%的信息直接通过残差路径，只有1-10%通过注意力机制。

这创造了两条信息通道：

• 直通路径（权重α）：信息直接传递，位置不变
• 注意力路径（权重1-α）：信息通过注意力窗口流动

指数衰减障碍

关键洞察是：要让信息从距离d的位置传播过来，它必须通过注意力窗口「跳跃」至少$\lceil d/W \rceil$次。每次跳跃都乘以(1-α)。

这导致了指数衰减：

graph LR
    subgraph "信息传播衰减示意"
        P0["原始信息<br/>100%"]
        P1["第1次跳跃<br/>×5% = 5%"]
        P2["第2次跳跃<br/>×5% = 0.25%"]
        P3["第3次跳跃<br/>×5% = 0.0125%"]
        
        P0 --> P1
        P1 --> P2
        P2 --> P3
    end

代入实际数字：假设α=0.95，W=4096

• 距离1个窗口宽度（d=4096）：$(1-0.95)^1 = 0.05$（5%保留）
• 距离2个窗口宽度（d=8192）：$(1-0.95)^2 = 0.0025$（0.25%保留）
• 距离3个窗口宽度（d=12288）：$(1-0.95)^3 = 0.000125$（0.0125%保留）

深度无济于事。无论模型有10层还是1000层，有效感受野都被这个指数衰减锁死。Xiao的推导给出了有效感受野的公式：

其中ε是认为信息「可忽略」的阈值（比如1%）。对于α=0.95：

这就是残酷的真相：一个窗口大小4096的模型，有效感受野大约只有6000-7000个token，与层数无关。

Mistral 7B的架构创新

理解了这个理论基础，再来看Mistral 7B的具体设计就显得格外精巧。

核心参数配置

三个关键创新构成了Mistral的效率基础。

滑动窗口注意力的实际应用

Mistral的滑动窗口设计经过精心校准。窗口大小4096配合32层，使得理论感受野（131K）远超实际上下文长度（8K）。更重要的是，在有效感受野（约6000-7000）的范围内，模型能充分利用上下文。

但Mistral并没有把所有层都设为滑动窗口。根据HuggingFace的issue讨论，Qwen系列采用了类似的策略：底层使用滑动窗口，顶层使用全注意力。这种混合设计让底层高效处理局部模式，顶层精准捕捉长距离依赖。

滚动缓冲KV Cache

滑动窗口注意力带来了一个自然推论：既然token只关注最近W个位置，那么超出窗口的KV缓存就可以安全丢弃。

Mistral实现了滚动缓冲（Rolling Buffer）KV Cache：使用固定大小的循环缓冲区，通过模运算覆盖旧条目。缓存大小固定为：

对于Mistral 7B（L=32, W=4096, H_kv=8, D_head=128, fp16精度）：

无论生成长度如何增长，缓存永远固定在512MB。

分组查询注意力的协同

滑动窗口和滚动缓冲之外，Mistral还采用了分组查询注意力（GQA）：32个查询头共享8组KV头。这带来了额外的4倍KV缓存压缩。

三者结合产生了惊人的效率：与标准MHA+全注意力的LLaMA 2相比，Mistral在8K上下文时的KV缓存减少了16倍（4倍来自GQA，4倍来自窗口vs全上下文）。

graph TD
    subgraph "Mistral效率三支柱"
        A["滑动窗口注意力<br/>O(n×W) 复杂度"]
        B["滚动缓冲KV Cache<br/>固定内存占用"]
        C["分组查询注意力<br/>4倍KV压缩"]
    end
    
    A --> D["协同效果"]
    B --> D
    C --> D
    
    D --> E["16倍内存节省<br/>相同性能，更少参数"]

与其他稀疏注意力的对比

滑动窗口不是唯一的稀疏注意力方案。理解它与其他方法的权衡，才能做出明智的架构选择。

Longformer：三重注意力模式

Longformer（Beltagy et al., 2020）采用混合策略，结合三种注意力模式：

1. 滑动窗口注意力：每个位置关注局部邻域（类似于Mistral）
2. 膨胀滑动窗口：每隔d个位置取一个，在不增加复杂度的情况下扩大感受野
3. 全局注意力：特定位置（如[CLS] token或问题token）可以关注所有位置

graph LR
    subgraph "Longformer三重注意力"
        L1["滑动窗口<br/>局部上下文"]
        L2["膨胀窗口<br/>中等距离"]
        L3["全局注意力<br/>特定位置"]
    end
    
    L1 --> M["组合应用"]
    L2 --> M
    L3 --> M
    
    M --> O["覆盖所有依赖范围"]

这种设计的优势在于：局部窗口处理短语和句子级别的依赖，膨胀窗口捕捉中等距离关系，全局token处理任务特定的长距离连接。

代价是实现的复杂性——三种模式需要在同一层中协调，增加了内存访问的不规则性。

BigBird：随机+块+全局

BigBird（Zaheer et al., 2020）从图论角度重新审视稀疏注意力，证明了特定的稀疏模式可以近似全注意力的表达能力。其模式包括：

1. 随机注意力：每个位置随机选择若干远距离位置关注
2. 块注意力：将序列分成块，块内全连接
3. 全局注意力：若干全局token连接所有位置

理论上，BigBird可以证明其近似误差有界。实践中，随机性带来的不规则内存访问可能影响GPU效率。

线性注意力：完全不同的范式

滑动窗口、Longformer、BigBird都属于稀疏注意力——通过选择性地跳过计算来降低复杂度。另一条路线是线性注意力：用数学变换完全重构注意力计算。

代表性工作包括：

• Performer：用随机特征近似softmax核，实现O(n)复杂度
• Mamba：状态空间模型，用循环结构处理序列
• Linear Transformer：用核函数重写注意力公式

线性注意力的优势在于真正的线性复杂度（不是O(n×W)），且通常具有固定的推理状态。代价是可能损失注意力机制的某些表达能力，且训练动态与标准Transformer不同。

方法对比总结

W=窗口大小，d=膨胀间隔，r=随机采样数，k=全局token数，d=特征维度

graph TD
    subgraph "稀疏注意力方法对比"
        SW["滑动窗口<br/>简单高效<br/>局部依赖"]
        LF["Longformer<br/>三重模式<br/>任务适配"]
        BB["BigBird<br/>理论保证<br/>随机访问"]
        LA["线性注意力<br/>真正O(n)<br/>表达限制"]
    end
    
    subgraph "选择维度"
        D1["序列长度"]
        D2["任务类型"]
        D3["资源约束"]
    end
    
    D1 --> SW
    D2 --> LF
    D3 --> SW

实现细节：掩码与数值稳定性

滑动窗口注意力的实现核心在于注意力掩码的构造。这个掩码决定了哪些位置对被允许计算注意力。

掩码的数学表达

对于因果语言模型，位置t只能关注位置≤t的token。滑动窗口进一步限制为位置[t-W+1, t]。掩码函数为：

其中q是查询位置，k是键位置。0表示允许关注，-∞表示完全阻断。

掩码在注意力计算中的位置：

加上-∞后，softmax会将这些位置的概率权重压到0。

数值稳定的实现

实际实现中，使用一个大的负数（如-1e9）代替-∞：

def sliding_window_attention(q, k, v, window_size):
    batch_size, num_heads, seq_len, head_dim = q.shape
    
    # 计算原始注意力分数
    scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(head_dim)
    
    # 构建滑动窗口掩码
    mask = torch.ones(seq_len, seq_len, device=q.device) * float('-inf')
    for i in range(seq_len):
        start = max(0, i - window_size + 1)
        mask[i, start:i+1] = 0  # 允许窗口内的位置
    
    # 应用掩码并计算softmax
    scores = scores + mask.unsqueeze(0).unsqueeze(0)
    weights = F.softmax(scores, dim=-1)
    
    return torch.matmul(weights, v)

Flash Attention的优化

标准实现仍然会计算完整的n×n分数矩阵，然后再掩码。Flash Attention通过分块计算和在线softmax，避免了存储完整的注意力矩阵，显著降低了内存占用。

对于滑动窗口，Flash Attention可以进一步优化：只计算窗口内的分数，完全跳过窗口外的位置。这需要修改内核来处理不规则的记忆体访问模式。

实际性能表现

Mistral 7B在发布时的基准测试结果令人印象深刻。在大多数任务上，它超越了参数量几乎两倍的LLaMA 2 13B。

关键基准结果

graph LR
    subgraph "Mistral 7B vs LLaMA 2 13B"
        M["Mistral 7B<br/>7.3B 参数"]
        L["LLaMA 2 13B<br/>13B 参数"]
        
        M --> R1["相同性能"]
        L --> R1
        M --> R2["更少内存"]
        M --> R3["更快推理"]
    end

这些结果表明，滑动窗口注意力并没有损害模型的推理能力。相反，通过释放计算资源（更小的KV缓存、更快的注意力计算），模型可以在其他方面投入更多——Mistral的FFN中间维度（14336）比LLaMA 2 7B（11008）更大。

推理吞吐量

KV缓存的减少直接转化为吞吐量的提升。在8K上下文时：

• LLaMA 2 7B（全注意力+MHA）：KV缓存约2GB
• Mistral 7B（滑动窗口+GQA）：KV缓存约512MB

4倍的内存节省意味着同样的GPU可以处理4倍的batch size，或者处理更长的序列。

局限性与权衡

滑动窗口注意力不是万能药。它带来了效率，也带来了限制。

精确检索的困境

当一个任务要求从序列开头精确检索一个特定事实时，滑动窗口可能表现不佳。信息经过多层的间接传播，会经历稀释和混合。

StreamingLLM论文的实验清晰地展示了这一点：当查询的信息超出滑动窗口缓存范围时，模型的准确率急剧下降。即使理论上信息应该通过层级传播到达，实际上它已经变得太「模糊」了。

窗口大小的选择难题

窗口大小的选择是一个重要的超参数：

• 太小：局部依赖可能不足，信息传播路径太长
• 太大：效率优势减弱，可能引入不必要的噪声

对于8K上下文的模型，4096的窗口意味着每个token最多看到序列的一半。这是一个经过验证的选择，但最优值可能因任务而异。

与全注意力的能力差距

在某些需要全局信息聚合的任务上，滑动窗口可能无法完全匹配全注意力的表现。比如：

• 长文档问答：需要从文档不同部分综合信息
• 代码理解：变量定义和使用可能相距很远
• 数学证明：需要追踪跨越多个步骤的逻辑链条

这解释了为什么混合架构（部分层滑动窗口，部分层全注意力）在实践中表现更好。

未来演进：混合与融合

滑动窗口注意力的成功催生了更复杂的混合设计。

分层注意力策略

Qwen系列采用的策略是：底层使用滑动窗口，顶层使用全注意力。这背后的直觉是：

• 底层主要学习局部特征（词法、短语结构）
• 顶层负责全局推理和长距离依赖

这种设计在保持效率的同时，为顶层保留了完整的全局视野。

与其他技术的融合

滑动窗口并不是孤立的优化：

• 与GQA结合：Mistral同时使用两者，分别从序列长度和头数两个维度压缩
• 与Flash Attention结合：在GPU上高效实现滑动窗口
• 与投机解码结合：小窗口的草稿模型可以快速生成候选

graph TD
    subgraph "技术融合生态"
        SWA["滑动窗口<br/>序列长度压缩"]
        GQA["GQA<br/>头数压缩"]
        FA["Flash Attention<br/>GPU优化"]
        SD["投机解码<br/>生成加速"]
    end
    
    SWA --> C["综合优化"]
    GQA --> C
    FA --> C
    SD --> C
    
    C --> R["高效长上下文推理"]

趋向更长上下文

Qwen 2.5已经支持1M token的上下文长度。在这种规模下，纯滑动窗口或纯全注意力都不再可行。下一代架构很可能采用更复杂的混合策略：

• 分层窗口：不同层使用不同大小的窗口
• 动态窗口：根据内容重要性调整关注范围
• 稀疏-密集混合：大部分位置使用稀疏模式，关键位置使用密集连接

设计决策框架

当你需要为自己的应用选择注意力机制时，考虑以下维度：

序列长度

• < 4K token：全注意力通常足够，滑动窗口收益有限
• 4K-32K token：滑动窗口或Longformer风格合适
• > 32K token：需要更激进的稀疏化或线性注意力

任务类型

• 局部依赖为主（对话、短文本生成）：滑动窗口足够
• 需要全局聚合（文档问答、摘要）：考虑混合架构或全局token
• 需要精确检索：全注意力或全局注意力更可靠

资源约束

• 内存受限：滑动窗口+GQA+滚动缓存是黄金组合
• 延迟敏感：线性注意力可能提供更好的解码速度
• 吞吐量优先：所有压缩技术都值得考虑

graph TD
    subgraph "注意力机制选择决策树"
        Q1{"序列长度?"}
        Q2{"任务类型?"}
        Q3{"资源约束?"}
        
        Q1 -->|"< 4K"| FA["全注意力"]
        Q1 -->|"4K-32K"| Q2
        Q1 -->|"> 32K"| LA["线性注意力"]
        
        Q2 -->|"局部依赖"| SWA["滑动窗口"]
        Q2 -->|"全局聚合"| LF["Longformer"]
        Q2 -->|"精确检索"| FA2["全注意力+全局"]
        
        Q3 -->|"内存受限"| OPT["SWA+GQA+滚动缓存"]
        Q3 -->|"延迟敏感"| LA2["线性注意力"]
        Q3 -->|"吞吐优先"| HYB["混合架构"]
    end

结语

滑动窗口注意力揭示了一个深刻的设计哲学：在深度学习中，限制反而可能带来更好的效率-能力平衡。

通过限制每个token的视野，我们获得了线性复杂度的注意力计算。通过承认信息传播的物理限制，我们理解了理论感受野和有效感受野的差距。通过精心设计的混合架构，我们在保持效率的同时弥补了长距离依赖的不足。

Mistral 7B的成功证明了这一点：一个73亿参数的模型，通过架构创新，可以匹配甚至超越130亿参数的模型。这不是魔法，而是对Transformer信息流动本质的深刻理解。

当你下次看到一个支持超长上下文的模型时，不要被理论感受野的数字迷惑。真正的问题永远是：信息在实际中能传播多远？滑动窗口给出了它的答案——大约1.5倍窗口大小，无论你堆多少层。

但这也许就够了。因为大多数语言的依赖关系，恰好就是局部的。

参考文献

1. Jiang, A. Q., et al. (2023). Mistral 7B. arXiv:2310.06825
2. Beltagy, I., Peters, M. E., & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv:2004.05150
3. Zaheer, M., et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS 2020
4. Xiao, G., et al. (2024). Efficient Streaming Language Models with Attention Sinks. ICLR 2024
5. Xiao, G. (2025). Why Stacking Sliding Windows Can’t See Very Far. https://guangxuanx.com/blog/stacking-swa.html
6. Child, R., et al. (2019). Generating Long Sequences with Sparse Transformers. arXiv:1904.10509
7. Chen, L., et al. (2025). PowerAttention: Exponentially Scaling of Receptive Fields. arXiv:2503.03588
8. Luo, W., et al. (2017). Understanding the Effective Receptive Field in Deep Convolutional Neural Networks. arXiv:1701.04128