https://answer.freetools.me/tags/%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9/ Recent content in 模型压缩 on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 05:48:23 +0800 https://answer.freetools.me/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%BC%9A%E6%9C%AC%E4%BA%8B/ Thu, 12 Mar 2026 05:48:23 +0800 https://answer.freetools.me/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%BC%9A%E6%9C%AC%E4%BA%8B/ 从Hinton 2015年的开创性论文到DeepSeek R1的推理能力蒸馏，深入解析知识蒸馏的核心原理：温度参数如何软化概率分布？暗知识究竟是什么？损失函数如何平衡硬标签与软标签？涵盖PyTorch完整实现、响应蒸馏与特征蒸馏的技术差异、DistilBERT与TinyBERT的架构对比，以及温度参数选择的数学原理。 https://answer.freetools.me/%E4%B8%BA%E4%BD%954%E4%BD%8D%E9%87%8F%E5%8C%96%E8%83%BD%E8%AE%A970b%E6%A8%A1%E5%9E%8B%E5%A1%9E%E8%BF%9B%E5%8D%95%E5%BC%A0%E6%98%BE%E5%8D%A1%E4%BB%8E%E6%95%B0%E5%80%BC%E8%A1%A8%E7%A4%BA%E5%88%B0%E5%BC%82%E5%B8%B8%E5%80%BC%E5%A4%84%E7%90%86%E7%9A%84%E6%8A%80%E6%9C%AF%E5%85%A8%E8%A7%A3/ Mon, 09 Mar 2026 06:53:36 +0800 https://answer.freetools.me/%E4%B8%BA%E4%BD%954%E4%BD%8D%E9%87%8F%E5%8C%96%E8%83%BD%E8%AE%A970b%E6%A8%A1%E5%9E%8B%E5%A1%9E%E8%BF%9B%E5%8D%95%E5%BC%A0%E6%98%BE%E5%8D%A1%E4%BB%8E%E6%95%B0%E5%80%BC%E8%A1%A8%E7%A4%BA%E5%88%B0%E5%BC%82%E5%B8%B8%E5%80%BC%E5%A4%84%E7%90%86%E7%9A%84%E6%8A%80%E6%9C%AF%E5%85%A8%E8%A7%A3/ 深入解析大模型量化技术的核心原理与工程实践。从INT4量化的数学本质出发，系统阐述GPTQ的近似二阶信息方法、AWQ的激活感知策略、LLM.int8()的混合精度分解、SmoothQuant的激活平滑、GGUF的分层量化、FP8的硬件原生支持，以及BitNet 1.58-bit的极端量化。涵盖权重与激活量化的差异、异常值处理技术、量化感知训练（QAT）、KV Cache量化，以及在vLLM、llama.cpp等推理框架中的实际应用指南。 https://answer.freetools.me/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%89%AA%E6%9E%9D%E4%B8%BA%E4%BD%95%E9%9A%BE%E4%BB%A5%E8%90%BD%E5%9C%B0%E4%BB%8E%E5%BD%A9%E7%A5%A8%E5%81%87%E8%AF%B4%E5%88%B0llm%E7%A8%80%E7%96%8F%E5%8C%96%E7%9A%84%E4%B8%89%E5%8D%81%E5%B9%B4%E6%8A%80%E6%9C%AF%E5%8D%9A%E5%BC%88/ Mon, 09 Mar 2026 04:37:38 +0800 https://answer.freetools.me/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%89%AA%E6%9E%9D%E4%B8%BA%E4%BD%95%E9%9A%BE%E4%BB%A5%E8%90%BD%E5%9C%B0%E4%BB%8E%E5%BD%A9%E7%A5%A8%E5%81%87%E8%AF%B4%E5%88%B0llm%E7%A8%80%E7%96%8F%E5%8C%96%E7%9A%84%E4%B8%89%E5%8D%81%E5%B9%B4%E6%8A%80%E6%9C%AF%E5%8D%9A%E5%BC%88/ 深入解析神经网络剪枝技术从理论到实践的三十年演进。从LeCun 1990年Optimal Brain Damage的理论奠基，到Frankle 2018年彩票假说的革命性发现，再到SparseGPT和Wanda等LLM剪枝方法的工程突破。系统阐述结构化与非结构化剪枝的本质差异、OBS/OBD二阶方法的数学原理、NVIDIA 2:4稀疏性的硬件支持，以及剪枝与量化的联合优化策略。 https://answer.freetools.me/%E8%BD%AF%E6%A0%87%E7%AD%BE%E7%9A%84%E7%A7%98%E5%AF%86%E4%B8%BA%E4%BB%80%E4%B9%88%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E8%83%BD%E8%AE%A9%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%8B%A5%E6%9C%89%E5%A4%A7%E6%99%BA%E6%85%A7/ Mon, 09 Mar 2026 03:45:14 +0800 https://answer.freetools.me/%E8%BD%AF%E6%A0%87%E7%AD%BE%E7%9A%84%E7%A7%98%E5%AF%86%E4%B8%BA%E4%BB%80%E4%B9%88%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F%E8%83%BD%E8%AE%A9%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%8B%A5%E6%9C%89%E5%A4%A7%E6%99%BA%E6%85%A7/ 深入解析知识蒸馏技术的数学原理与工程实践。从Hinton 2015年原始论文中的温度参数与软标签概念，到DeepSeek-R1将推理能力迁移到小模型的最新突破。系统阐述蒸馏损失函数、特征蒸馏、注意力迁移、思维链蒸馏等核心技术，以及容量差距、暗知识的理论解释。包含MNIST实验数据、大模型蒸馏的性能基准、以及蒸馏技术的边界与挑战。 https://answer.freetools.me/%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E5%8E%8B%E7%BC%A9%E5%88%B0%E5%8E%9F%E6%9D%A5%E7%9A%841/4%E5%8D%B4%E5%87%A0%E4%B9%8E%E4%B8%8D%E6%8D%9F%E5%A4%B1%E6%80%A7%E8%83%BD%E9%87%8F%E5%8C%96%E6%8A%80%E6%9C%AF%E7%9A%84%E6%95%B0%E5%AD%A6%E7%9C%9F%E7%9B%B8/ Sun, 08 Mar 2026 14:32:14 +0800 https://answer.freetools.me/%E4%B8%BA%E4%BB%80%E4%B9%88%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%83%BD%E5%8E%8B%E7%BC%A9%E5%88%B0%E5%8E%9F%E6%9D%A5%E7%9A%841/4%E5%8D%B4%E5%87%A0%E4%B9%8E%E4%B8%8D%E6%8D%9F%E5%A4%B1%E6%80%A7%E8%83%BD%E9%87%8F%E5%8C%96%E6%8A%80%E6%9C%AF%E7%9A%84%E6%95%B0%E5%AD%A6%E7%9C%9F%E7%9B%B8/ 深入解析神经网络量化技术的数学原理与工程实现。从FP32到INT4的8倍压缩背后,揭示了神经网络的冗余性、权重分布特性、硬件优化的三重真相。系统阐述对称/非对称量化、量化误差分析、GPTQ/AWQ/SmoothQuant等核心算法,以及INT8 Tensor Core等硬件加速机制。包含量化在175B参数模型上的实证数据、精度损失的理论分析、以及极低比特量化的技术边界。