softmax（多类分类下为什么用softmax而不是用其他归一化方法）
本文目录
- 多类分类下为什么用softmax而不是用其他归一化方法
- softmax function是一个怎样的函数
- softmax的假设函数为什么是指数形式
- 数字图像中的softmax是什么意思
- softmax回归代价函数为什么是这样的
多类分类下为什么用softmax而不是用其他归一化方法
如果用 cross entropy 做 cost function 的话，backpropagation 的时候要针对 cross entropy 求导，并向后传导。假设当前样本的 label 为 ，对应输出层结点为， 那么 cost 是 ，求导可得 。这里面 就是从输出层开始还得往后传继续求导的部分。
这里在（即输出层输出的概率）比较小的时候，会出现 numerically unstable (overflow) 的情况，很容易就强撸灰飞烟灭了。而如果输出层是 softmax（或者二分类时的 sigmoid，其实可以看成 softmax 的一种特殊情况），这个分母部分刚好可以被 softmax 层的导数（部分）消除。
softmax function是一个怎样的函数
sigmoid拟合Bernoulli distribution(二项分布)，softmax拟合Multinomial distribution(多项分布)。
softmax的假设函数为什么是指数形式
交叉熵损失函数
在先前的教程中，我们已经使用学习了如何使用Logistic函数来实现二分类问题。对于多分类问题，我们可以使用多项Logistic回归，该方法也被称之为softmax函数。接下来，我们来解释什么事softmax函数，以及怎么得到它。
数字图像中的softmax是什么意思
Softmax 是一个函数
维基上的解释和公式是：
“softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of values”
如果某一个zj大过其他z,那这个映射的分量就逼近于1,其他就逼近于0，主要应用就是多分类，sigmoid函数只能分两类，而softmax能分多类，softmax是sigmoid的扩展。
softmax回归代价函数为什么是这样的
先理解max. 对一个三类问题，某样本经过NN处理后，最后一层输出值为[24,3,0.1]的话，那么经过max之后的结果为[1,0,0]。对不？
（至于为啥要max，输出结果本来挺奇怪 经过max以后就是categorical 的了，那么样本的类标就可以和他的预测值一起合体 直观地计算cost function。）
我们最需要的其实是max，但是max有个缺点就是不可导，没法用在dp里，于是有人就想出了softmax。思路就是指数级扩大最后一层的输出，每个值都会增大，然而最大的那个值相比其他值扩大的更多，然后归一化一下，考虑一下极限，如果最大值x_1经过指数运算后想对其他值为无穷大，那么exp(x_1)/exp(x_1)+others =1,其他输出值对应的为0。所以softmax模拟了max的行为，同时他还可导。
更多文章：
2026年10月11日 08:10
易语言网页api接口怎么调用（易语言，怎么读取网页json的api）
2026年10月11日 08:00
majority of（the majority of 和 a majority of的区别以及用法例句）
2026年10月11日 07:40
2026年10月11日 07:20
2026年10月11日 06:30
2026年10月11日 06:20
2026年10月11日 05:40
another time（another time和other time的区别）
2026年10月11日 05:00
2026年10月11日 04:50
2026年10月11日 03:00
