千亿参数模型如何拆分到多张GPU上训练：从数据并行到3D并行的技术突围
2020年，OpenAI发布了拥有1750亿参数的GPT-3模型。按照FP16精度计算，仅存储模型权重就需要350GB显存——而当时最先进的NVIDIA A100 GPU只有80GB显存。这意味着，即使不考虑训练过程中额外的梯度、优化器状态和激活值，单张GPU连加载模型都做不到。 ...
人工智能
一个请求先结束为何整批都要等从静态批处理到连续批处理的LLM推理革命
2023年，一个令人震惊的数据在AI基础设施领域引发了震动：现有的大模型推理系统正在浪费60-80%的GPU计算资源。这些昂贵的计算硬件并非因模型不够先进而闲置，而是被一种看不见的"幽灵"吞噬——批处理策略的低效。 ...
为什么让大模型一步步思考就能提升推理能力——从思维链到涌现能力的认知科学解释
2022年1月，Google Research的Jason Wei团队发表了一篇论文，展示了一组令人困惑的数据：在GSM8K数学推理基准测试上，一个540B参数的语言模型，仅仅通过在提示词中加入8个带推理步骤的示例，准确率就从约18%飙升至超过55%——这个结果甚至超过了经过微调的GPT-3。 ...
为什么PagedAttention能让大模型推理吞吐量提升数倍——从KV Cache内存碎片到分页管理的系统级优化
2023年，加州大学伯克利分校的研究团队发表了一篇论文，揭示了一个令人震惊的数据：现有的大模型推理系统正在浪费60-80%的GPU显存。这些昂贵的计算资源并非用于实际的模型计算，而是被一种看不见的"幽灵"吞噬——内存碎片。 ...
为什么Flash Attention能将注意力计算提速数倍而不损失精度——从GPU内存墙到IO感知算法的技术突围
2023年，当大模型的上下文窗口从4K扩展到128K甚至更长时，一个看似不可逾越的技术障碍横亘在研究者和工程师面前：注意力机制的计算复杂度随序列长度呈二次方增长。处理一个16K token的序列，光是注意力矩阵就要占用近1GB显存；64K序列的注意力矩阵更是超过16GB，直接撑爆了当时最顶级GPU的内存容量。 ...
投机解码如何让大模型推理提速两倍而不损失精度
一个拥有1750亿参数的语言模型，每次生成一个token都需要从内存读取超过700GB的权重数据——但实际执行的计算量却让GPU大部分时间处于空闲状态。这种"内存等待计算"的倒挂现象，是大模型推理速度的根本瓶颈。 ...
软标签的秘密：为什么知识蒸馏能让小模型拥有大智慧
2015年3月，Geoffrey Hinton在arXiv上发表了一篇看似不起眼的论文。标题是《Distilling the Knowledge in a Neural Network》，核心观点简洁得令人惊讶：大模型学到的"软"概率分布，比"硬"的分类标签包含更多信息。 ...