Softmax函数：为什么这个公式统治了神经网络的概率输出
在神经网络的输出层，我们经常看到这样一个公式： $$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$它看起来如此简单——指数、求和、归一化。但为什么是这个特定的形式？为什么不直接除以总和？为什么要有指数？为什么这个函数能统治从图像分类到大语言模型的几乎所有概率输出？ ...
在神经网络的输出层，我们经常看到这样一个公式： $$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$它看起来如此简单——指数、求和、归一化。但为什么是这个特定的形式？为什么不直接除以总和？为什么要有指数？为什么这个函数能统治从图像分类到大语言模型的几乎所有概率输出？ ...