https://answer.freetools.me/tags/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0/ Recent content in 激活函数 on Answer Hugo -- 0.152.2 zh-cn Thu, 12 Mar 2026 22:35:33 +0800 https://answer.freetools.me/%E4%B8%87%E8%83%BD%E9%80%BC%E8%BF%91%E5%AE%9A%E7%90%86%E4%B8%BA%E4%BB%80%E4%B9%88%E4%B8%A4%E5%B1%82%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%83%BD%E9%80%BC%E8%BF%91%E4%BB%BB%E6%84%8F%E5%87%BD%E6%95%B0/ Thu, 12 Mar 2026 22:35:33 +0800 https://answer.freetools.me/%E4%B8%87%E8%83%BD%E9%80%BC%E8%BF%91%E5%AE%9A%E7%90%86%E4%B8%BA%E4%BB%80%E4%B9%88%E4%B8%A4%E5%B1%82%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%83%BD%E9%80%BC%E8%BF%91%E4%BB%BB%E6%84%8F%E5%87%BD%E6%95%B0/ 从Cybenko 1989的数学证明到Telgarsky的深度优势理论，深入解析万能逼近定理的内涵、证明思路、局限性以及对深度学习实践的指导意义 https://answer.freetools.me/sigmoid%E4%B8%8Esoftmax%E5%A4%9A%E5%88%86%E7%B1%BB%E4%B8%8E%E5%A4%9A%E6%A0%87%E7%AD%BE%E4%BB%BB%E5%8A%A1%E7%9A%84%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E9%80%89%E6%8B%A9%E9%80%BB%E8%BE%91/ Thu, 12 Mar 2026 08:45:14 +0800 https://answer.freetools.me/sigmoid%E4%B8%8Esoftmax%E5%A4%9A%E5%88%86%E7%B1%BB%E4%B8%8E%E5%A4%9A%E6%A0%87%E7%AD%BE%E4%BB%BB%E5%8A%A1%E7%9A%84%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E9%80%89%E6%8B%A9%E9%80%BB%E8%BE%91/ 深入解析Sigmoid与Softmax激活函数的本质差异、数学原理、梯度特性，以及在多分类与多标签任务中的正确选择方法。从概率分布假设到训练动态，全面揭示这个面试高频问题背后的技术真相。 https://answer.freetools.me/%E6%A2%AF%E5%BA%A6%E6%B6%88%E5%A4%B1%E4%B8%8E%E6%A2%AF%E5%BA%A6%E7%88%86%E7%82%B8%E4%B8%BA%E4%BB%80%E4%B9%88%E6%B7%B1%E5%B1%82%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E6%9B%BE%E7%BB%8F%E5%8F%AA%E8%83%BD%E5%A0%86%E5%8F%A0%E4%BA%94%E5%B1%82/ Thu, 12 Mar 2026 00:23:55 +0800 https://answer.freetools.me/%E6%A2%AF%E5%BA%A6%E6%B6%88%E5%A4%B1%E4%B8%8E%E6%A2%AF%E5%BA%A6%E7%88%86%E7%82%B8%E4%B8%BA%E4%BB%80%E4%B9%88%E6%B7%B1%E5%B1%82%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E6%9B%BE%E7%BB%8F%E5%8F%AA%E8%83%BD%E5%A0%86%E5%8F%A0%E4%BA%94%E5%B1%82/ 从1991年Hochreiter发现梯度消失问题，到2015年ResNet突破1000层训练障碍，深度学习的"深度"困境经历了二十五年的技术突围。本文深入解析梯度问题的数学本质、历史演进与解决方案。 https://answer.freetools.me/swiglu%E4%B8%BA%E4%BD%95%E6%88%90%E4%B8%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%A0%87%E9%85%8D%E4%BB%8Erelu%E5%88%B0%E9%97%A8%E6%8E%A7%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E7%9A%84%E5%8D%81%E4%BA%94%E5%B9%B4%E6%BC%94%E8%BF%9B/ Wed, 11 Mar 2026 15:12:58 +0800 https://answer.freetools.me/swiglu%E4%B8%BA%E4%BD%95%E6%88%90%E4%B8%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%A0%87%E9%85%8D%E4%BB%8Erelu%E5%88%B0%E9%97%A8%E6%8E%A7%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E7%9A%84%E5%8D%81%E4%BA%94%E5%B9%B4%E6%BC%94%E8%BF%9B/ 深入解析大语言模型激活函数的演进历程：从ReLU的困境到GELU的平滑化，从GLU的门控机制到SwiGLU的完美结合。基于Google 2020年GLU论文的实验数据，揭示为什么LLaMA、Mistral等现代大模型都选择了SwiGLU作为FFN层的激活函数，以及参数量与性能之间的权衡考量。