GPU的SIMT执行模型：为什么32个线程必须执行同一条指令
在AI浪潮席卷全球的今天，GPU已经成为最关键的硬件基础设施。训练一个千亿参数的大语言模型需要数万张GPU协同工作，而每一张GPU内部又同时运行着数百万个线程。这种前所未有的并行能力从何而来？答案藏在GPU最核心的执行模型中——SIMT（Single Instruction Multiple Threads）。 ...
GPU
GPU渲染管线如何将3D世界变成屏幕像素从固定功能到可编程着色器的三十年演进
当你打开一款3A游戏，看到屏幕上那些令人惊叹的画面时，你是否想过：这些虚拟的3D世界是如何变成你眼前那几百万个像素的？ 这个问题的答案藏在一个被称为"渲染管线"的技术架构中。它不是魔法，而是一套精密设计的并行计算系统。从1999年NVIDIA推出GeForce 256——第一款被正式称为GPU的图形处理器——至今，这套系统经历了从固定功能到完全可编程的革命性演进。 ...
Seed参数：为什么这个整数能决定大模型的输出轨迹
一个看似简单的参数 当你第一次在API文档中看到seed参数时，可能会觉得它只是一个普通的整数。但这个看似简单的参数，却隐藏着大语言模型推理过程中最深层的随机性控制机制。 ...
为什么一张显卡能干翻整个CPU集群：GPU并行计算如何成为深度学习的基石
2012年9月30日，ImageNet图像识别挑战赛的结果震惊了整个计算机视觉领域。一个名为AlexNet的卷积神经网络以15.3%的错误率夺冠，比第二名整整低了十个百分点。这个数字本身已经足够惊人，但更关键的是AlexNet的训练方式：它使用了两个GTX 580显卡并行训练，耗时仅五到六天。如果用当时的CPU完成同样的训练，需要数十年。 ...
为什么Flash Attention能将注意力计算提速数倍而不损失精度——从GPU内存墙到IO感知算法的技术突围
2023年，当大模型的上下文窗口从4K扩展到128K甚至更长时，一个看似不可逾越的技术障碍横亘在研究者和工程师面前：注意力机制的计算复杂度随序列长度呈二次方增长。处理一个16K token的序列，光是注意力矩阵就要占用近1GB显存；64K序列的注意力矩阵更是超过16GB，直接撑爆了当时最顶级GPU的内存容量。 ...
WebGPU不是WebGL的升级版：从全局状态机到现代GPU架构的二十年重构
2025年11月，WebGPU在所有主流浏览器中正式落地。Chrome、Firefox、Safari、Edge——四个浏览器引擎全部默认启用这项技术。这不是一次常规的API迭代，而是Web图形能力的根本性重构。 ...
GPU显存为何总是不够用：从内存墙到KV Cache碎片化的技术突围
当你满怀信心地启动一个 70B 参数的大模型推理任务，看着进度条稳步前进，突然——屏幕一闪，一行冰冷的红字弹出：CUDA out of memory。你检查显存，明明还剩 20GB 空间，为什么还是 OOM？ ...