Transformer参数量计算：从Embedding到FFN的完整公式推导
引言：1750亿参数从何而来？ 当你看到"GPT-3有1750亿参数"、“LLaMA 7B”、“Claude 100K上下文"这样的描述时，你是否想过：这1750亿参数到底是怎么算出来的？它们分别存储在模型的哪些部分？ ...
Posts
序列到序列学习的二十年演进：从统计方法到Transformer的革命
2016年9月，Google宣布将生产环境的翻译系统从基于短语的统计机器翻译全面切换到神经机器翻译。这个决定背后，是近二十年序列建模技术的积累与突破。从IBM的统计翻译模型，到Sutskever等人的LSTM Seq2Seq，再到Bahdanau的注意力机制，最终汇聚成Transformer这一改变NLP格局的架构。理解这段演进历程，不仅能帮助我们把握技术脉络，更能看清现代大语言模型处理序列任务的设计哲学。 ...
Softmax的数值稳定性：为什么一行简单的代码能让训练崩溃
你花了数天清洗数据，精心调参，终于启动了训练。Loss曲线漂亮地下降，一切似乎都很顺利。突然，屏幕上跳出一个刺眼的 nan——整个训练过程在瞬间崩溃。 ...
Self-Attention计算全解：从矩阵乘法到梯度流动的完整技术解析
2017年，Vaswani等人在论文《Attention Is All You Need》中提出了Transformer架构。这个标题本身就是一个宣言：注意力机制不再需要循环神经网络或卷积神经网络的辅助，它足以独立承担序列建模的全部任务。 ...
对比学习如何用"比较"重构神经网络的表示能力
2018年，OpenAI的研究员Alec Radford正在思考一个问题：如何让神经网络理解图像和文本之间的关系，而不需要人工标注的百万级训练数据？传统的监督学习范式需要告诉模型"这是一只猫"、“那是一辆车”，但人类学习概念的方式似乎并非如此。我们通过比较和对比来理解世界——知道什么相似，什么不同，什么属于同一类别，什么截然相反。 ...
位置编码外推性：为什么Transformer无法处理比训练时更长的序列
一个被忽视的基本问题 2017年，当Vaswani等人在论文《Attention is All You Need》中提出Transformer架构时，他们做出了一个看似合理的假设：模型应该能够外推到比训练时更长的序列。原论文中写道：“我们推测它可能外推到比训练时遇到的序列更长的序列。” ...
模型训练调试：从损失不下降到梯度爆炸的完整诊断指南
你花了三天时间设计了一个"完美"的神经网络架构，数据集准备好了，训练脚本也写好了。点击运行，满怀期待地盯着终端输出… ...