https://answer.freetools.me/tags/%E6%8D%9F%E5%A4%B1%E7%BC%A9%E6%94%BE/ Recent content in 损失缩放 on Answer Hugo -- 0.152.2 zh-cn Mon, 09 Mar 2026 04:43:59 +0800 https://answer.freetools.me/bf16%E4%B8%BA%E4%BD%95%E6%AD%A3%E5%9C%A8%E5%8F%96%E4%BB%A3fp16%E6%88%90%E4%B8%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%9A%84%E6%A0%87%E5%87%86%E6%A0%BC%E5%BC%8F%E4%BB%8E%E5%8A%A8%E6%80%81%E8%8C%83%E5%9B%B4%E9%99%B7%E9%98%B1%E5%88%B0%E6%8D%9F%E5%A4%B1%E7%BC%A9%E6%94%BE%E7%9A%84%E6%8A%80%E6%9C%AF%E7%AA%81%E5%9B%B4/ Mon, 09 Mar 2026 04:43:59 +0800 https://answer.freetools.me/bf16%E4%B8%BA%E4%BD%95%E6%AD%A3%E5%9C%A8%E5%8F%96%E4%BB%A3fp16%E6%88%90%E4%B8%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%9A%84%E6%A0%87%E5%87%86%E6%A0%BC%E5%BC%8F%E4%BB%8E%E5%8A%A8%E6%80%81%E8%8C%83%E5%9B%B4%E9%99%B7%E9%98%B1%E5%88%B0%E6%8D%9F%E5%A4%B1%E7%BC%A9%E6%94%BE%E7%9A%84%E6%8A%80%E6%9C%AF%E7%AA%81%E5%9B%B4/ 深入解析混合精度训练中BF16与FP16的本质差异。从IEEE 754浮点数标准出发，系统阐述FP16的动态范围局限、梯度下溢问题、损失缩放机制的数学原理，以及BF16为何能成为大模型训练的"免调参"解决方案。涵盖NVIDIA Tensor Core硬件加速、Google Brain BF16论文核心发现、PyTorch AMP实现细节，以及从FP16到BF16的工程实践指南。