自回归生成：为什么大模型必须逐词输出
当你向大语言模型提问时，可能注意过一个现象：模型的回答是逐字逐句流式出现的，而不是瞬间生成整段文本。这并非产品设计的"打字机效果"，而是大模型生成机制的本质特性。 ...
Embedding层：从离散符号到语义空间的第一步
计算机无法直接理解文字。当一个语言模型接收到输入"苹果"时，它看到的不是水果的形象，而是一个冰冷的数字——Token ID。Embedding层的工作，就是把这个离散的整数转换成连续的高维向量，让模型能够开始"理解"语言的语义。 ...
Encoder-Only、Decoder-Only和Encoder-Decoder：为什么这三种架构统治了Transformer的七年演变
从一个问题说起 如果你问一位NLP研究者：“为什么GPT选择了Decoder-only架构，而BERT选择了Encoder-only？“答案可能涉及双向注意力、因果掩码、预训练目标……但如果你追问：“那为什么现在的千亿参数大模型几乎清一色是Decoder-only？“很多人可能就说不清楚了。 ...
Dropout机制：为什么随机丢弃神经元反而能提升泛化能力
2012年，多伦多大学的Hinton团队在论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了一个反直觉的想法：在训练神经网络时，随机丢弃一部分神经元，反而能让模型表现更好。这个被称为Dropout的技术，随后成为深度学习领域最广泛使用的正则化方法之一，几乎所有的现代神经网络都在使用它。 ...
因果语言模型与掩码语言模型：两种预训练范式的本质差异
2017年，《Attention Is All You Need》论文提出了Transformer架构，彻底改变了自然语言处理的范式。然而，这个架构很快分化为两条截然不同的发展路径：一条以BERT为代表的编码器路线，通过掩码语言模型(Masked Language Modeling, MLM)学习双向上下文表示；另一条以GPT为代表的解码器路线，通过因果语言模型(Causal Language Modeling, CLM)实现自回归文本生成。 ...
困惑度如何成为语言模型评估的黄金标准：从信息论到现代大模型的五十年演进
一个语言模型的好坏，究竟该如何衡量？ 假设你训练了两个语言模型。模型A对句子"猫坐在垫子上"给出了0.01的概率，模型B给出了0.001的概率。哪个模型更好？直觉告诉我们模型A更好——它对真实存在的句子赋予了更高的概率。但如果模型A对所有句子都赋予高概率呢？包括那些毫无意义的句子组合？ ...
Softmax函数：为什么这个公式统治了神经网络的概率输出
在神经网络的输出层，我们经常看到这样一个公式： $$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$它看起来如此简单——指数、求和、归一化。但为什么是这个特定的形式？为什么不直接除以总和？为什么要有指数？为什么这个函数能统治从图像分类到大语言模型的几乎所有概率输出？ ...