https://answer.freetools.me/tags/kl%E6%95%A3%E5%BA%A6/ Recent content in KL散度 on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 05:48:23 +0800 https://answer.freetools.me/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%BC%9A%E6%9C%AC%E4%BA%8B/ Thu, 12 Mar 2026 05:48:23 +0800 https://answer.freetools.me/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%BC%9A%E6%9C%AC%E4%BA%8B/ 从Hinton 2015年的开创性论文到DeepSeek R1的推理能力蒸馏，深入解析知识蒸馏的核心原理：温度参数如何软化概率分布？暗知识究竟是什么？损失函数如何平衡硬标签与软标签？涵盖PyTorch完整实现、响应蒸馏与特征蒸馏的技术差异、DistilBERT与TinyBERT的架构对比，以及温度参数选择的数学原理。 https://answer.freetools.me/%E4%BA%A4%E5%8F%89%E7%86%B5%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%99%E4%B8%AA%E5%85%AC%E5%BC%8F%E7%BB%9F%E6%B2%BB%E4%BA%86%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%A6%82%E7%8E%87%E9%A2%84%E6%B5%8B/ Wed, 11 Mar 2026 22:38:36 +0800 https://answer.freetools.me/%E4%BA%A4%E5%8F%89%E7%86%B5%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%99%E4%B8%AA%E5%85%AC%E5%BC%8F%E7%BB%9F%E6%B2%BB%E4%BA%86%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%A6%82%E7%8E%87%E9%A2%84%E6%B5%8B/ 从信息论的自信息概念出发，深入解析交叉熵损失函数的数学原理、梯度推导、与最大似然估计的等价性，以及在大语言模型训练中的核心作用。涵盖熵、KL散度、困惑度、数值稳定性、标签平滑等关键技术细节。