Self-Attention计算全解：从矩阵乘法到梯度流动的完整技术解析
2017年，Vaswani等人在论文《Attention Is All You Need》中提出了Transformer架构。这个标题本身就是一个宣言：注意力机制不再需要循环神经网络或卷积神经网络的辅助，它足以独立承担序列建模的全部任务。 ...
大模型
置信度校准：当大模型说"我有80%把握"时，它真的知道自己在说什么吗？
引言：当AI说出"我有80%把握"时，它真的知道自己在说什么吗？ 2017年，斯坦福大学的研究生Chuan Guo发表了一篇论文，揭示了一个令人不安的现象：现代深度神经网络在预测准确率上远超早期模型，但它们对自己预测的置信度估计却变得更不可靠。一个可能达到99%分类准确率的模型，当它声称有99%的置信度时，实际正确率可能只有80%。 ...
Temperature=0为什么不等于确定性输出：大模型推理非确定性的完整技术解析
一个被广泛接受的观点是：只要将大模型的Temperature参数设为0，就能获得确定性的输出。这个直觉看起来很合理——Temperature=0意味着贪婪采样，模型总是选择概率最高的那个token，没有随机性，结果应该可复现。 ...
模型权重文件的存储格式：从Pickle的安全漏洞到Safetensors的演进
当你在Hugging Face上下载一个预训练模型时，你有没有想过这个文件里究竟包含了什么？当你用torch.load()加载一个.pt文件时，你的计算机正在执行什么操作？为什么Hugging Face现在强烈推荐使用.safetensors格式而不是传统的PyTorch格式？这些看似简单的文件格式问题，实际上牵涉到深度学习领域最核心的安全与技术权衡。 ...
序列长度增加一倍，推理时间翻四倍？Transformer注意力复杂度的技术真相
把一篇2000字的文章喂给大模型，它能在毫秒级返回摘要。但当你把一篇20000字的长文档扔进去，等待第一个输出的时间可能从几百毫秒延长到几秒甚至更久。更诡异的是，生成后续内容的速度却没有明显下降。 ...
隐藏层维度：为什么这个数字决定了大模型的能力边界
打开任何一个大模型的配置文件，你总能看到一些神秘的数字：BERT的768，GPT-2的1024，LLaMA-7B的4096，GPT-3的12288。这些数字从何而来？为什么不是769或4095？为什么LLaMA选择4096而GPT-3选择12288？更关键的是，这个被称为"隐藏层维度"或"隐藏尺寸"的参数，究竟如何影响模型的能力边界？ ...
浮点数的深渊：深度学习数值稳定性的完整解析
2019年某天凌晨三点，一位研究生的模型训练在运行72小时后突然输出全NaN。损失函数从平稳下降变成无穷大，权重变成NaN，一切归零。这是深度学习开发者的噩梦——数值不稳定。这不是偶然，而是浮点数表示固有的物理限制在特定条件下的必然爆发。 ...