https://answer.freetools.me/tags/%E6%B5%AE%E7%82%B9%E6%95%B0/ Recent content in 浮点数 on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 14:29:39 +0800 https://answer.freetools.me/temperature0%E4%B8%BA%E4%BB%80%E4%B9%88%E4%B8%8D%E7%AD%89%E4%BA%8E%E7%A1%AE%E5%AE%9A%E6%80%A7%E8%BE%93%E5%87%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E9%9D%9E%E7%A1%AE%E5%AE%9A%E6%80%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Thu, 12 Mar 2026 14:29:39 +0800 https://answer.freetools.me/temperature0%E4%B8%BA%E4%BB%80%E4%B9%88%E4%B8%8D%E7%AD%89%E4%BA%8E%E7%A1%AE%E5%AE%9A%E6%80%A7%E8%BE%93%E5%87%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E9%9D%9E%E7%A1%AE%E5%AE%9A%E6%80%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ 深入解析大模型推理非确定性的根本原因：从浮点数非结合性到批量大小变化，从"并发+浮点数"假说的谬误到批量不变性解决方案，全面揭示为什么设置Temperature=0仍然无法获得可复现输出。 https://answer.freetools.me/%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%AF%8F%E6%AC%A1%E5%9B%9E%E7%AD%94%E9%83%BD%E4%B8%8D%E4%B8%80%E6%A0%B7%E4%BB%8E%E6%B8%A9%E5%BA%A6%E5%8F%82%E6%95%B0%E5%88%B0%E6%89%B9%E6%AC%A1%E4%B8%8D%E5%8F%98%E6%80%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ Thu, 12 Mar 2026 14:00:43 +0800 https://answer.freetools.me/%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%AF%8F%E6%AC%A1%E5%9B%9E%E7%AD%94%E9%83%BD%E4%B8%8D%E4%B8%80%E6%A0%B7%E4%BB%8E%E6%B8%A9%E5%BA%A6%E5%8F%82%E6%95%B0%E5%88%B0%E6%89%B9%E6%AC%A1%E4%B8%8D%E5%8F%98%E6%80%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8A%80%E6%9C%AF%E8%A7%A3%E6%9E%90/ 深入分析LLM输出随机性的技术根源，从温度参数的数学原理到batch invariance这一被忽视的真正原因，以及如何在生产环境中实现可复现输出 https://answer.freetools.me/%E6%B5%AE%E7%82%B9%E6%95%B0%E7%9A%84%E6%B7%B1%E6%B8%8A%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%95%B0%E5%80%BC%E7%A8%B3%E5%AE%9A%E6%80%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E6%9E%90/ Thu, 12 Mar 2026 09:22:03 +0800 https://answer.freetools.me/%E6%B5%AE%E7%82%B9%E6%95%B0%E7%9A%84%E6%B7%B1%E6%B8%8A%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%95%B0%E5%80%BC%E7%A8%B3%E5%AE%9A%E6%80%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E6%9E%90/ 从IEEE 754浮点数标准到混合精度训练，从Softmax溢出到梯度消失，系统解析深度学习中数值稳定性问题的根源、表现与解决方案。涵盖FP16/BF16格式差异、Log-Sum-Exp技巧、损失缩放原理、Flash Attention数值优化等核心技术，以及PyTorch/TensorFlow中的最佳实践。 https://answer.freetools.me/softmax%E7%9A%84%E6%95%B0%E5%80%BC%E7%A8%B3%E5%AE%9A%E6%80%A7%E9%97%AE%E9%A2%98%E4%BB%8E%E6%BA%A2%E5%87%BA%E4%B8%8B%E6%BA%A2%E5%88%B0log-sum-exp%E6%8A%80%E5%B7%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E6%9E%90/ Wed, 11 Mar 2026 18:33:11 +0800 https://answer.freetools.me/softmax%E7%9A%84%E6%95%B0%E5%80%BC%E7%A8%B3%E5%AE%9A%E6%80%A7%E9%97%AE%E9%A2%98%E4%BB%8E%E6%BA%A2%E5%87%BA%E4%B8%8B%E6%BA%A2%E5%88%B0log-sum-exp%E6%8A%80%E5%B7%A7%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E6%9E%90/ 深入解析Softmax函数的数值稳定性问题，从IEEE 754浮点数表示的物理限制，到Log-Sum-Exp技巧的数学原理，再到混合精度训练中的Loss Scaling策略。涵盖Transformer注意力机制、Flash Attention在线Softmax算法，以及大模型训练中的数值问题诊断与解决方案。 https://answer.freetools.me/%E6%B5%AE%E7%82%B9%E6%95%B0%E4%B8%BA%E4%BD%95%E4%BC%9A%E6%92%92%E8%B0%8E%E4%BB%8E0.1-0.2%E4%B8%8D%E7%AD%89%E4%BA%8E0.3%E5%88%B0%E5%AF%BC%E5%BC%B9%E6%8B%A6%E6%88%AA%E5%A4%B1%E8%B4%A5%E7%9A%84%E6%8A%80%E6%9C%AF%E7%9C%9F%E7%9B%B8/ Fri, 06 Mar 2026 21:28:27 +0800 https://answer.freetools.me/%E6%B5%AE%E7%82%B9%E6%95%B0%E4%B8%BA%E4%BD%95%E4%BC%9A%E6%92%92%E8%B0%8E%E4%BB%8E0.1-0.2%E4%B8%8D%E7%AD%89%E4%BA%8E0.3%E5%88%B0%E5%AF%BC%E5%BC%B9%E6%8B%A6%E6%88%AA%E5%A4%B1%E8%B4%A5%E7%9A%84%E6%8A%80%E6%9C%AF%E7%9C%9F%E7%9B%B8/ 深入剖析IEEE 754浮点数标准的设计原理、精度问题的根源、以及历史上因浮点数错误导致的真实灾难。从0.1+0.2≠0.3这一经典问题出发，追溯William Kahan主导的标准诞生过程、渐进式下溢的激烈争议、Patriot导弹拦截失败的惨痛教训，揭示浮点数在精度、范围与性能之间的复杂权衡，以及在金融、科学计算、游戏开发中的应对策略。