一、概念区别

1. 均方差损失函数（MSE）

简单来说，均方误差（MSE）的含义是求一个batch中n个样本的n个输出与期望输出的差的平方的平均值

2. Cross-entropy（交叉熵损失函数)

交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况。它刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。

为什么分类用交叉熵损失不用平分损失

1.交叉熵loss权重更新更快
    mse:梯度更新表达式包含激活函数的导数
    交叉熵：交叉熵损失函数关于输入权重的梯度表达式与预测值与真实值的误差成正比且不含激活函数的梯度
2.MSE是非凸优化问题而 Cross-entropy 是凸优化问题

可以总结为：
分类中为什么交叉熵损失函数比均方误差损失函数更常用？

答： 交叉熵损失函数关于输入权重的梯度表达式与预测值与真实值的误差成正比且不含激活函数的梯度，而均方误差损失函数关于输入权重的梯度表达式中则含有，由于常用的sigmoid/tanh等激活函数存在梯度饱和区，使得MSE对权重的梯度会很小，参数w调整的慢，训练也慢，而交叉熵损失函数则不会出现此问题，其参数w会根据误差调整，训练更快，效果更好。

详细原因参考下面的图：
请输入图片描述

参考：
1.https://blog.csdn.net/woshiliulei0/article/details/124710184
2.https://aitechtogether.com/article/15966.html

标签: none

添加新评论