https://answer.freetools.me/tags/%E8%BD%AF%E6%A0%87%E7%AD%BE/ Recent content in 软标签 on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 05:48:23 +0800 https://answer.freetools.me/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%BC%9A%E6%9C%AC%E4%BA%8B/ Thu, 12 Mar 2026 05:48:23 +0800 https://answer.freetools.me/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%BC%9A%E6%9C%AC%E4%BA%8B/ 从Hinton 2015年的开创性论文到DeepSeek R1的推理能力蒸馏，深入解析知识蒸馏的核心原理：温度参数如何软化概率分布？暗知识究竟是什么？损失函数如何平衡硬标签与软标签？涵盖PyTorch完整实现、响应蒸馏与特征蒸馏的技术差异、DistilBERT与TinyBERT的架构对比，以及温度参数选择的数学原理。 https://answer.freetools.me/%E8%BD%AF%E6%A0%87%E7%AD%BE%E7%9A%84%E7%A7%98%E5%AF%86%E4%B8%BA%E4%BB%80%E4%B9%88%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E8%83%BD%E8%AE%A9%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%8B%A5%E6%9C%89%E5%A4%A7%E6%99%BA%E6%85%A7/ Mon, 09 Mar 2026 03:45:14 +0800 https://answer.freetools.me/%E8%BD%AF%E6%A0%87%E7%AD%BE%E7%9A%84%E7%A7%98%E5%AF%86%E4%B8%BA%E4%BB%80%E4%B9%88%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E8%83%BD%E8%AE%A9%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%8B%A5%E6%9C%89%E5%A4%A7%E6%99%BA%E6%85%A7/ 深入解析知识蒸馏技术的数学原理与工程实践。从Hinton 2015年原始论文中的温度参数与软标签概念，到DeepSeek-R1将推理能力迁移到小模型的最新突破。系统阐述蒸馏损失函数、特征蒸馏、注意力迁移、思维链蒸馏等核心技术，以及容量差距、暗知识的理论解释。包含MNIST实验数据、大模型蒸馏的性能基准、以及蒸馏技术的边界与挑战。