https://answer.freetools.me/tags/%E7%BA%BF%E6%80%A7%E6%B3%A8%E6%84%8F%E5%8A%9B/ Recent content in 线性注意力 on Answer Hugo -- 0.152.2 zh-cn Sun, 08 Mar 2026 13:20:50 +0800 https://answer.freetools.me/%E5%BD%93%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%88%90%E4%B8%BA%E7%93%B6%E9%A2%88%E4%BB%8Eon%E5%9B%B0%E5%A2%83%E5%88%B0%E7%BA%BF%E6%80%A7%E5%A4%8D%E6%9D%82%E5%BA%A6%E7%9A%84%E6%8A%80%E6%9C%AF%E7%AA%81%E5%9B%B4/ Sun, 08 Mar 2026 13:20:50 +0800 https://answer.freetools.me/%E5%BD%93%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%88%90%E4%B8%BA%E7%93%B6%E9%A2%88%E4%BB%8Eon%E5%9B%B0%E5%A2%83%E5%88%B0%E7%BA%BF%E6%80%A7%E5%A4%8D%E6%9D%82%E5%BA%A6%E7%9A%84%E6%8A%80%E6%9C%AF%E7%AA%81%E5%9B%B4/ 深入解析Transformer注意力机制的计算复杂度瓶颈及其优化方案。从2017年原始Transformer的O(n²)复杂度，到Flash Attention的IO感知优化、Performer的线性注意力、Ring Attention的分布式方案，系统阐述各技术路径的原理、权衡与实际应用。涵盖GPU内存层次结构、稀疏注意力、MQA/GQA等关键优化策略，以及长上下文扩展的技术演进。