https://answer.freetools.me/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%BC%98%E5%8C%96/ Recent content in 深度学习优化 on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 20:51:25 +0800 https://answer.freetools.me/layer-normalization%E7%9A%84%E5%8F%AF%E5%AD%A6%E4%B9%A0%E5%8F%82%E6%95%B0%E4%B8%BA%E4%BB%80%E4%B9%88gamma%E5%92%8Cbeta%E6%AD%A3%E5%9C%A8%E4%BB%8E%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B8%AD%E6%B6%88%E5%A4%B1/ Thu, 12 Mar 2026 20:51:25 +0800 https://answer.freetools.me/layer-normalization%E7%9A%84%E5%8F%AF%E5%AD%A6%E4%B9%A0%E5%8F%82%E6%95%B0%E4%B8%BA%E4%BB%80%E4%B9%88gamma%E5%92%8Cbeta%E6%AD%A3%E5%9C%A8%E4%BB%8E%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B8%AD%E6%B6%88%E5%A4%B1/ 从LayerNorm的原始设计到现代大模型的简化趋势，深入解析gamma和beta参数的技术原理、作用机制与演进历程。涵盖T5移除beta、RMSNorm的兴起、Pre-LN与Post-LN的差异，以及Dynamic Tanh替代归一化层的最新突破。 https://answer.freetools.me/%E6%B7%B7%E5%90%88%E7%B2%BE%E5%BA%A6%E8%AE%AD%E7%BB%83%E4%B8%BA%E4%BB%80%E4%B9%88%E7%94%A8%E4%B8%80%E5%8D%8A%E7%B2%BE%E5%BA%A6%E5%8F%8D%E8%80%8C%E8%83%BD%E8%AE%AD%E7%BB%83%E6%9B%B4%E5%A5%BD%E7%9A%84%E6%A8%A1%E5%9E%8B/ Thu, 12 Mar 2026 05:55:48 +0800 https://answer.freetools.me/%E6%B7%B7%E5%90%88%E7%B2%BE%E5%BA%A6%E8%AE%AD%E7%BB%83%E4%B8%BA%E4%BB%80%E4%B9%88%E7%94%A8%E4%B8%80%E5%8D%8A%E7%B2%BE%E5%BA%A6%E5%8F%8D%E8%80%8C%E8%83%BD%E8%AE%AD%E7%BB%83%E6%9B%B4%E5%A5%BD%E7%9A%84%E6%A8%A1%E5%9E%8B/ 从FP32到FP16/BF16的技术演进，深入解析混合精度训练的核心原理：为什么需要FP32主权重副本？Loss Scaling如何解决梯度下溢？BF16为何不需要损失缩放？涵盖IEEE 754浮点数格式、动态范围与精度的权衡、PyTorch AMP实现细节、以及从Volta到Hopper架构的硬件演进。 https://answer.freetools.me/softmax%E7%9A%84%E6%95%B0%E5%80%BC%E7%A8%B3%E5%AE%9A%E6%80%A7%E9%97%AE%E9%A2%98%E4%BB%8E%E6%BA%A2%E5%87%BA%E4%B8%8B%E6%BA%A2%E5%88%B0log-sum-exp%E6%8A%80%E5%B7%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E6%9E%90/ Wed, 11 Mar 2026 18:33:11 +0800 https://answer.freetools.me/softmax%E7%9A%84%E6%95%B0%E5%80%BC%E7%A8%B3%E5%AE%9A%E6%80%A7%E9%97%AE%E9%A2%98%E4%BB%8E%E6%BA%A2%E5%87%BA%E4%B8%8B%E6%BA%A2%E5%88%B0log-sum-exp%E6%8A%80%E5%B7%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E6%9E%90/ 深入解析Softmax函数的数值稳定性问题，从IEEE 754浮点数表示的物理限制，到Log-Sum-Exp技巧的数学原理，再到混合精度训练中的Loss Scaling策略。涵盖Transformer注意力机制、Flash Attention在线Softmax算法，以及大模型训练中的数值问题诊断与解决方案。