RDMA如何让网络传输绕过CPU：从内核旁路到零拷贝的四十年技术演进
1999年，当InfiniBand Trade Association成立时，很少有人预料到这项技术会在二十年后成为人工智能训练网络的核心基础设施。RDMA（Remote Direct Memory Access，远程直接内存访问）从一个旨在替代PCI总线的技术愿景，演变成了现代数据中心不可或缺的性能加速器。 ...
高性能计算
千亿参数模型如何塞进有限显卡ZeRO如何用分片消除数据并行的内存冗余
2020年2月，微软研究院发布了一个名为DeepSpeed的深度学习优化库，其中最引人注目的组件是ZeRO（Zero Redundancy Optimizer）。这项技术声称可以在1024块GPU上训练万亿参数模型。当时最大的语言模型GPT-2仅有15亿参数，Megatron-LM也不过83亿参数。ZeRO究竟做了什么，能让模型规模提升百倍以上？ ...
Ring Attention如何让大模型突破百万Token上下文从环形通信到计算重叠的技术突围
2023年10月，伯克利大学的研究团队提交了一篇论文，声称可以让Transformer处理"接近无限"长度的上下文。实验数据令人咋舌：在512块TPU v4上，7B模型可以训练超过800万Token的序列；在1024块TPU v4上，这个数字飙升到1600万。 ...
BF16为何正在取代FP16成为大模型训练的标准格式从动态范围陷阱到损失缩放的技术突围
2017年，NVIDIA和百度研究院联合发表了一篇题为《Mixed Precision Training》的论文，展示了如何用16位浮点数训练深度神经网络。论文中有一个不起眼的细节：训练某些网络时，需要将损失值放大8到32768倍，否则梯度会变成零。 ...