https://answer.freetools.me/tags/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E6%9E%B6%E6%9E%84/ Recent content in 神经网络架构 on Answer Hugo -- 0.152.2 zh-cn Wed, 11 Mar 2026 23:19:42 +0800 https://answer.freetools.me/transformer%E7%9A%84%E5%89%8D%E9%A6%88%E5%B1%82%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%99%E4%B8%AA%E9%85%8D%E8%A7%92%E5%8D%A0%E6%8D%AE%E4%BA%86%E6%A8%A1%E5%9E%8B%E4%B8%89%E5%88%86%E4%B9%8B%E4%BA%8C%E7%9A%84%E5%8F%82%E6%95%B0/ Wed, 11 Mar 2026 23:19:42 +0800 https://answer.freetools.me/transformer%E7%9A%84%E5%89%8D%E9%A6%88%E5%B1%82%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%99%E4%B8%AA%E9%85%8D%E8%A7%92%E5%8D%A0%E6%8D%AE%E4%BA%86%E6%A8%A1%E5%9E%8B%E4%B8%89%E5%88%86%E4%B9%8B%E4%BA%8C%E7%9A%84%E5%8F%82%E6%95%B0/ 深入解析Transformer架构中最被低估的组件——前馈网络(FFN)。从数学原理到设计权衡，揭示为什么这个看似简单的两层全连接网络承载了模型大部分参数，以及它在知识存储、特征变换中的核心作用。 https://answer.freetools.me/swiglu%E4%B8%BA%E4%BD%95%E6%88%90%E4%B8%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%A0%87%E9%85%8D%E4%BB%8Erelu%E5%88%B0%E9%97%A8%E6%8E%A7%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E7%9A%84%E5%8D%81%E4%BA%94%E5%B9%B4%E6%BC%94%E8%BF%9B/ Wed, 11 Mar 2026 15:12:58 +0800 https://answer.freetools.me/swiglu%E4%B8%BA%E4%BD%95%E6%88%90%E4%B8%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%A0%87%E9%85%8D%E4%BB%8Erelu%E5%88%B0%E9%97%A8%E6%8E%A7%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E7%9A%84%E5%8D%81%E4%BA%94%E5%B9%B4%E6%BC%94%E8%BF%9B/ 深入解析大语言模型激活函数的演进历程：从ReLU的困境到GELU的平滑化，从GLU的门控机制到SwiGLU的完美结合。基于Google 2020年GLU论文的实验数据，揭示为什么LLaMA、Mistral等现代大模型都选择了SwiGLU作为FFN层的激活函数，以及参数量与性能之间的权衡考量。