隐藏层维度：为什么这个数字决定了大模型的能力边界
打开任何一个大模型的配置文件，你总能看到一些神秘的数字：BERT的768，GPT-2的1024，LLaMA-7B的4096，GPT-3的12288。这些数字从何而来？为什么不是769或4095？为什么LLaMA选择4096而GPT-3选择12288？更关键的是，这个被称为"隐藏层维度"或"隐藏尺寸"的参数，究竟如何影响模型的能力边界？ ...
GPU优化
一个请求先结束为何整批都要等从静态批处理到连续批处理的LLM推理革命
2023年，一个令人震惊的数据在AI基础设施领域引发了震动：现有的大模型推理系统正在浪费60-80%的GPU计算资源。这些昂贵的计算硬件并非因模型不够先进而闲置，而是被一种看不见的"幽灵"吞噬——批处理策略的低效。 ...
为什么PagedAttention能让大模型推理吞吐量提升数倍——从KV Cache内存碎片到分页管理的系统级优化
2023年，加州大学伯克利分校的研究团队发表了一篇论文，揭示了一个令人震惊的数据：现有的大模型推理系统正在浪费60-80%的GPU显存。这些昂贵的计算资源并非用于实际的模型计算，而是被一种看不见的"幽灵"吞噬——内存碎片。 ...
当注意力成为瓶颈：从O(n²)困境到线性复杂度的技术突围
2017年，Google Research发表了题为《Attention Is All You Need》的论文，Transformer架构从此横空出世。但论文标题中的"All You Need"隐含了一个不言自明的假设：你能够负担得起注意力的代价。 ...
大模型推理为何这么慢？从内存带宽瓶颈到KV Cache优化的技术突围
title: “大模型推理为何这么慢？从内存带宽瓶颈到KV Cache优化的技术突围” date: “2026-03-06T12:41:49+08:00” description: “深入解析大语言模型推理的性能瓶颈，从内存带宽限制到KV Cache优化的完整技术演进路线。涵盖FlashAttention、PagedAttention、GQA、连续批处理等核心技术，以及vLLM与TensorRT-LLM框架的选型建议。” draft: false categories: [“人工智能”, “性能优化”, “分布式系统”] tags: [“LLM推理”, “KV Cache”, “内存优化”, “Transformer”, “GPU优化”, “FlashAttention”, “PagedAttention”, “vLLM”] 2022年11月，ChatGPT的发布让大语言模型（LLM）走入公众视野。当你向模型发送一个简单问题时，可能需要等待几秒钟才能看到第一个字出现——这不是模型在"思考"，而是在等待数据从GPU内存搬运到计算单元。 ...